Backuppen van grote Mysql Database

[mad_max234]

Ik wil eens wat mogelijkheden bespreken over grote databases en het backuppen en verplaatsen ervan. Ik had voor kort alleen maar te maken met database van paar MB maar zins kort beheer is sites met database van 2GB of meer, dus vraagt dat om nieuw aanpak van backups maken.

Ik heb al wat gezocht met google en heb op phphulp ook wat gezocht, en kwam tot de conclusie dat het alleen maar gaat met een eigen geschreven script (of een van het internet af plukken), klopt deze conclusie? of zijn er ook andere manieren die geschikt zijn?

Verder zijn alle tips welkom.

[EnigmA-X]

Het ligt er een beetje aan op welk platform je DB draait.

Ik draai zelf DB's van dat formaat op een Linux platform en draai iedere nacht een cronjob die iedere database afzonderlijk dumpt en gzipt naar een locatie waar een paar uurtjes later een rsync overheen gaat van de backup-machine.

Als je onder Windows draait kan je daar meest iets gelijksoortigs doen door een batchfile te schrijven en die in de task scheduler te proppen... (zelfde idee).

[ Voor 21% gewijzigd door EnigmA-X op 22-01-2009 16:23 ]

[mad_max234]

Dat is inderdaad niet onbelangrijk, het gaat om gedeelde linux hosting servers (even uit mijn hoofd weet niet zeker of dat voor alle sites het geval is), met plesk server. Moet er dus even vanuit gaan dat ik niet overal extra software kan installeren, en zit ook vast aan phpMyadmin.

[DiedX]

Als je het wil automatiseren dan heb je niets aan PHPMyAdmin. Cron is dan je vriend. Ik begrijp eruit dat je de machine niet zelf in beheer hebt?

[KabouterSuper]

Wellicht kan je mysqldump gewoon gebruiken....ik gebruik het volgende stukje code (zowel werkend op windows als op linux, behalve de zip functionaliteit)

PHP:

//windows
$mysqldump_command="c:\\program files\\mysql\\bin\\mysqldump";
//linux
$mysqldump_command="/usr/bin/mysqldump";

$backup_file = $backupdir; 
$backup_file .= $db_database; 
$backup_file .= ".sql"; 
if ($mysqldump_use_zip){$backup_file.=".bz2";}


$cmd="\"$mysqldump_command\" -u$db_username -p$db_password -h$mysqldump_db_server $db_database";
if ($mysqldump_use_zip){$cmd.="  | bzip2 -c ";}
$cmd.=" > $backup_file";
//echo $cmd;
$backup = system($cmd);

[ Voor 14% gewijzigd door KabouterSuper op 22-01-2009 16:34 ]

[mad_max234]

Klopt, server staat niet in eigen beheer, maar een een gehuurde remote server bij een hosting bedrijf. Kan dus alleen via plesk panel inloggen, kan ook niks installeren.

PhpMyadim heb ik inderdaad niks aan, kan ook geen andere installeren helaas, anders had ik via die weg misschien nog wat kunnen proberen maar dat is niet mogelijk.

Zat dus te denken aan een script, maar dat zal waarschijnlijk een fikse belasting opleveren ben ik bang voor.

KabouterSuper schreef op donderdag 22 januari 2009 @ 16:32:
Wellicht kan je mysqldump gewoon gebruiken....ik gebruik het volgende stukje code (zowel werkend op windows als op linux, behalve de zip functionaliteit)

PHP:

//windows
$mysqldump_command="c:\\program files\\mysql\\bin\\mysqldump";
//linux
$mysqldump_command="/usr/bin/mysqldump";

$backup_file = $backupdir; 
$backup_file .= $db_database; 
$backup_file .= ".sql"; 
if ($mysqldump_use_zip){$backup_file.=".bz2";}


$cmd="\"$mysqldump_command\" -u$db_username -p$db_password -h$mysqldump_db_server $db_database";
if ($mysqldump_use_zip){$cmd.="  | bzip2 -c ";}
$cmd.=" > $backup_file";
//echo $cmd;
$backup = system($cmd);

Dit script zal denk ik niet gaan, php kan niet zo een groot opdracht uitvoeren, maar ik heb zelf al een script die wle met grote database overweg kan, en php niet een time out geeft na bepaalde tijd, heb hem alleen nog niet getest, zal van avond eens testen als de site wat rustiger is met bezoekers.

Edit/

Zie dat dit script een dump maakt naar de machine, en die heb ik niet in het beheer, maar ik zoek ook geen script, maar wil graag wat mogelijkheden horen, zodat ik niks over het hoofd zie en misschien nieuwe en beter mogelijkheden kan vinden, waar ik nu het bestaan nog niet van weet.

[ Voor 62% gewijzigd door mad_max234 op 22-01-2009 16:41 ]

[DiedX]

Tsja, dat het wat belasting op gaat leveren is logisch.

Bovenstaand klinkt opzich goed, maar waarom vraag je je hostingpartij niet of zij nachtelijk een backup kunnen maken naar een .htaccess beschermde map? Kan jij 'm automagisch downloaden op x moment.

[KabouterSuper]

Ach.....wat is belasting.... Je schrijft op een rustig moment op de server een groot bestand weg. Als de database server dezelfde is als de webserver, dan is er geen netwerkverkeer, dus dan zie ik geen problemen.

[ Voor 3% gewijzigd door KabouterSuper op 22-01-2009 16:38 ]

[mad_max234]

DiedX schreef op donderdag 22 januari 2009 @ 16:37:
Tsja, dat het wat belasting op gaat leveren is logisch.

Bovenstaand klinkt opzich goed, maar waarom vraag je je hostingpartij niet of zij nachtelijk een backup kunnen maken naar een .htaccess beschermde map? Kan jij 'm automagisch downloaden op x moment.

Kost geld bij deze hosting, vandaar dat ik het zelf wil doen, bij mijn eigen sites heb ik wel de mogelijkheid, maar de sites waar het omgaat beheer ik alleen maar technisch gezien, ik host ze niet en heb geen inspraak op waar ze op dit moment hosten, wellicht na dat dit contract afloopt verhuizen, want ook bandbreedte is te weinig en te duur en de ruimte is ook te klein aan het worden.

Mar tot dan zit ik vast aan deze host.

[KabouterSuper]

mad_max234 schreef op donderdag 22 januari 2009 @ 16:35:
Zie dat dit script een dump maakt naar de machine, en die heb ik niet in het beheer, maar ik zoek ook geen script, maar wil graag wat mogelijkheden horen, zodat ik niks over het hoofd zie en misschien nieuwe en beter mogelijkheden kan vinden, waar ik nu het bestaan nog niet van weet.

Als je wilt backuppen, dan zijn er geen heilige gralen....
je kunt enerzijds een dump maken, deze eventueel zippen, en vervolgens veilig stellen. Een andere manier is in het algemeen om de datafiles te backuppen, zodat je een restore kunt doen. Echter, omdat je zo weinig kunt op de server is dit geen optie. Daarbij is dit nog niet zo eenvoudig.

[mad_max234]

Ik heb het laatst met de hand alles over gezet, was meer dan 2 uur bezig, moest sommige tabellen helemaal opsplitsen anders kreeg ik ze niet gedownload, alles lijkt me handiger dan dat.

En begin langzaam aan te twijfelen of er wel een handig manier is voor mij, net wat je zegt kan niet bij de machine zelf en kan niks installeren, phpmyadim is niet geschikt voor dit soort zaken.

Jammer had gehoopt dat ik gewoon iets had gemist met het zoeken, en dat er een handige manier zou zijn.

[RobIII]

Waar hoort mijn topic?
WEB >> DTE Oh, wacht. Die is opgedoekt >> PRG

[BalusC]

offtopic:
Haal DTE dan ook weg van die sticky.

[frickY]

Het scheelt ook nogal welke MySQL engine je draait.
Met InnoDb zijn je mogelijkheden een stuk beperkter dan bij MyIsam, waarvan je bijvoorbeeld gewoon de datafiles uit de data-folder kunt kopieëren.

[gertvdijk]

frickY schreef op donderdag 22 januari 2009 @ 18:40:
Het scheelt ook nogal welke MySQL engine je draait.
Met InnoDb zijn je mogelijkheden een stuk beperkter dan bij MyIsam, waarvan je bijvoorbeeld gewoon de datafiles uit de data-folder kunt kopieëren.

Terwijl de database in gebruik is?
Daarnaast heeft TS waarschijnlijk geen toegang tot de ruwe datafiles als simpele klant op een shared hosting.

@TS: met dergelijke grote databases/websites zou ik eens gaan kijken naar een VPS of dedicated server. Je hebt dan veel meer in eigen hand.

[ Voor 13% gewijzigd door gertvdijk op 22-01-2009 18:45 ]

[EnigmA-X]

mad_max234 schreef op donderdag 22 januari 2009 @ 16:35:
Klopt, server staat niet in eigen beheer, maar een een gehuurde remote server bij een hosting bedrijf. Kan dus alleen via plesk panel inloggen, kan ook niks installeren.

Zover ik weet heeft Plesk al een tijdje de mogelijkheid om cronjobs mee te nemen, of heeft je hoster dit uitgezet? Heb je dit gecheckt?

[jant]

Ondergetekend beheert een omgeving met een DB > 200G. Onze backupstrategie wordt met name bepaald door onze storage (NetApp). Elke twee uur wordt een consistente snapshot van de database gemaakt. Elke vier uur wordt het geheel gesnapmirrored naar een uitwijk locatie. En elke nacht wordt op de uitwijk locatie een binary dump van de DB gemaakt.

Waar ik een budget heb om een tweetal NetApps aan te schaffen, zou jij kunnen denken aan een setup met Solaris en ZFS. Dan heb je dezelfde functionaliteit. Een dergelijk setup gebruik ik voor mijn development omgevingen.

[RobIII]

BalusC schreef op donderdag 22 januari 2009 @ 17:50:

offtopic:
Haal DTE dan ook weg van die sticky.

offtopic:
Is al doorgegeven. Komt goed. Bennie gek

[Verwijderd]

Ik gebruik meestal mysqlhotcopy

http://dev.mysql.com/doc/refman/5.0/en/mysqlhotcopy.html

[Kalentum]

Sommige hostingbedrijven laten toe dat je vanaf een ander systeem kan connecten op de mysql server. Misschien kan dat ook bij je shared hosting provider? In dat geval kan je met mysqldump remote een backup maken. (met de optie -C gaat dit gecompimeerd).

[drm]

Is niet echt een antwoord, maar je kunt je afvragen waarom je gegevens zou backuppen waar geen (niet voldoende) budget voor vrijgemaakt wordt; kennelijk zijn die gegevens dan niet belangrijk genoeg.

[mad_max234]

drm schreef op vrijdag 23 januari 2009 @ 18:28:
Is niet echt een antwoord, maar je kunt je afvragen waarom je gegevens zou backuppen waar geen (niet voldoende) budget voor vrijgemaakt wordt; kennelijk zijn die gegevens dan niet belangrijk genoeg.

Dat is inderdaad gehele offtopic en niet relevant aan wat ik vraag.

En gaat om een sites die geheel zonder sponsoren (op wedstrijden sponsoren na) werkt of inkomen genereert, dus ja we willen het graag zo goedkoop mogelijk houden, maar moet niet te kosten gaan van alles natuurlijk, en dan moet nog de eigenaar er over beslissen, ik heb daar niet het laatste woord in.

Maar goed dit staat helemaal lost van de vraag die ik stel.

Even ontopic verder met de vraag, ik heb een backup gemaakt van database van iets meer dan 500MB, met een script, dat mysql dump in stukjes opslaat in op de server, viel inderdaad wel mee, site was gewoon nog te bezoeken was eigenlijk niks aan te merken, en na uurtje was het klaar.

Het bij een site corn job gevonden in plesk, genaamd corn tab, alleen is deze niet bij elke host beschikbaar, maar word nu mail verstuurt om te vragen of dit ingeschakeld kan worden.

Ga dit maar eens tijd testen, en kijken hoe dit bevalt.