Online backup vanuit een datacentrum, waar en hoe?

[Wolfboy]

Aangezien de site waar ik op het moment aan werk binnenkort online gaat begint het wel tijd te worden dat we eens aan off-site backups gaan denken. Nu weet ik uiteraard wel een aantal partijen die hier oplossingen voor leveren maar het grootste gedeelte is nogal Windows georienteerd. Tevens vraag ik mij af wat de meest praktische oplossing zou zijn voor online backups, rsync? Specifieke software gebruiken? Etc...

Data die gebackupt moet worden
[list]• Database server (MySQL op het moment maar PostgreSQL kan hier in de toekomst aan toegevoegd worden)
• Subversion repository
• Binaire bestanden (e.g. afbeeldingen, alles wat niet in de SVN staat)

Het gaat overigens om dedicated servers (draaiend op Centos 5) in een datacentrum in A'dam

Hebben jullie nog specifieke aanraders hiervoor? Bij een ask slashdot die ik een paar weken geleden las (kan 'm helaas niet terugvinden) hadden ze het over rsync.net die zo te zien wel alles aanbieden wat we nodig hebben. Maar ik heb bij voorkeur toch een Nederlandse partij, of iig.. een partij met servers in Nederland om de latency laag te houden (ssh'en naar machientjes aan de westkust USA is niet fijn ). Dus, iemand ervaringen met een bepaalde partij?

[ Voor 3% gewijzigd door Wolfboy op 20-06-2008 01:02 ]

[Blonde Tux]

Zelf ben ik een voorstander van Jungle Disk, een service van Amazone, waar je ongelimiteerd en encrypted als je wilt al je data kan opslaan. Geloof dat je alle soorten data kan opslaan. Ik weet niet precies maar ik dacht dat de S3 servers van Amazone over de hele wereld stonden.

Je betaald per gebruikte GB. Voordeel het werkt op elk type OS, dus je kan 1 account aanmaken en via elk OS alles backuppen.
Da Linkorzzz

[MisterData]

Wij hebben op kantoor een server staan die via Unison om de zoveel tijd verbinding maakt met de colo-server en synchroniseert. Hierbij wordt de kantoor-data dus naar de colo-server gestuurd en andersom. Kost even tijd om in te stellen, maar werkt daarna prima! Unison is er ook voor Windows (ik denk onder Cygwin). Verkeer gaat via SSH, dus het is nog veilig ook.

[ Voor 6% gewijzigd door MisterData op 18-06-2008 23:08 ]

[Wolfboy]

MisterData schreef op woensdag 18 juni 2008 @ 23:08:
Wij hebben op kantoor een server staan die via Unison om de zoveel tijd verbinding maakt met de colo-server en synchroniseert. Hierbij wordt de kantoor-data dus naar de colo-server gestuurd en andersom. Kost even tijd om in te stellen, maar werkt daarna prima! Unison is er ook voor Windows (ik denk onder Cygwin). Verkeer gaat via SSH, dus het is nog veilig ook.

Unison gebruik ik lokaal ook altijd om mijn werkstation en laptop met m'n servertje te synchroniseren, werkt inderdaad ideaal al is die exacte oplossing voor mij niet echt geschikt. Op kantoor hebben we gewoon alleen een SDSL en ADSL verbinding en als we ooit eens een backup moeten terug zetten schiet 2mbps en 1mbps respectievelijk niet echt op. De hoeveelheid data is nu nog redelijk beperkt maar zit toch al wel rond de 10GiB.

Blonde Tux schreef op woensdag 18 juni 2008 @ 22:46:
Zelf ben ik een voorstander van Jungle Disk, een service van Amazone, waar je ongelimiteerd en encrypted als je wilt al je data kan opslaan. Geloof dat je alle soorten data kan opslaan. Ik weet niet precies maar ik dacht dat de S3 servers van Amazone over de hele wereld stonden.

Je betaald per gebruikte GB. Voordeel het werkt op elk type OS, dus je kan 1 account aanmaken en via elk OS alles backuppen.
Da Linkorzzz

Ga ik eens naar kijken, ziet er best goed uit en aangezien ik al heel wat positieve berichten over de Amazon Elastic Compute Cloud heb gelezen heb ik er wel vertrouwen in dat dit ook goed geregeld zal zijn.

Bedankt iig beiden

[CyBeR]

Wolfboy schreef op woensdag 18 juni 2008 @ 23:44:
[...]
Unison gebruik ik lokaal ook altijd om mijn werkstation en laptop met m'n servertje te synchroniseren, werkt inderdaad ideaal al is die exacte oplossing voor mij niet echt geschikt. Op kantoor hebben we gewoon alleen een SDSL en ADSL verbinding en als we ooit eens een backup moeten terug zetten schiet 2mbps en 1mbps respectievelijk niet echt op. De hoeveelheid data is nu nog redelijk beperkt maar zit toch al wel rond de 10GiB.

10 gig is vrij weinig. Dat sync je een keer in een nachtje over, en als je daarna alleen maar de verschillen over hoeft te sturen (bijvoorbeeld doormiddel van rsync) dan heb je 't waarschijnlijk over een paar meg. Je restores hoeven over 't algemeen ook geen 10 gig te zijn maar zullen meestal over een paar filetjes gaan. Trek dat over je ADSL binnen en er is geen probleem. Zelfs al mocht alles de fik in gaan en moest je die hele 10 gig gaan zitten restoren, dat lukt je met een fatsoenlijke ADSL verbinding redelijk snel. Kun je doen terwijl je nog met de brandschade bezig bent


Amazon S3 is overigens standaard op servers in de VS, maar kan optioneel (en tegen een meerprijs) ook in Europa. Waar in europa weet ik niet.

[ Voor 6% gewijzigd door CyBeR op 19-06-2008 01:04 ]

[AtleX]

Is de snelheid van restoren zo belangrijk? Als je server kaduuk gaat dan krijg je die nieuwe server toch op kantoor binnen om te installeren. Dan kan je gewoon via je 100/1000mbit LAN de boel restoren. Als je alleen een disk hoeft te vervangen kan je de backup even op een externe harde schijf meenemen als je toch naar die server gaat met de nieuwe disk. Als je het echt over je ADSL upload wilt doen, tjsa, even wachten dan.

[Wolfboy]

AtleX schreef op donderdag 19 juni 2008 @ 01:10:
Is de snelheid van restoren zo belangrijk? Als je server kaduuk gaat dan krijg je die nieuwe server toch op kantoor binnen om te installeren. Dan kan je gewoon via je 100/1000mbit LAN de boel restoren. Als je alleen een disk hoeft te vervangen kan je de backup even op een externe harde schijf meenemen als je toch naar die server gaat met de nieuwe disk. Als je het echt over je ADSL upload wilt doen, tjsa, even wachten dan.

CyBeR schreef op donderdag 19 juni 2008 @ 01:02:
[...]


10 gig is vrij weinig. Dat sync je een keer in een nachtje over, en als je daarna alleen maar de verschillen over hoeft te sturen (bijvoorbeeld doormiddel van rsync) dan heb je 't waarschijnlijk over een paar meg. Je restores hoeven over 't algemeen ook geen 10 gig te zijn maar zullen meestal over een paar filetjes gaan. Trek dat over je ADSL binnen en er is geen probleem. Zelfs al mocht alles de fik in gaan en moest je die hele 10 gig gaan zitten restoren, dat lukt je met een fatsoenlijke ADSL verbinding redelijk snel. Kun je doen terwijl je nog met de brandschade bezig bent

Uiteraard correct maar om meerdere redenen niet praktisch. De 10GiB waar het nu om gaat zal binnen een jaar zeker op de 100GiB zitten en daarnaast hebben we lokaal niet echt de hardware staan om backups te regelen. Geen tape drive bijvoorbeeld.
Tevens is data veiligheid ook een probleem, als het kantoor zou affikken en daarmee opeens de backups weg zijn zou dat vervelend zijn natuurlijk

Amazon S3 is overigens standaard op servers in de VS, maar kan optioneel (en tegen een meerprijs) ook in Europa. Waar in europa weet ik niet.

Dat klopt, gelukkig is een abbonnementje op Amazon niet duur dus dat kan ik eenvoudig testen.

Ik sta overigens volledig open voor andere opties, al ben ik er redelijk zeker van dat een backup bij ons op het kantoor geen praktische oplossing zou zijn

[axis]

Houd even in de gaten dat backup niet hetzelfde is als replicatie.. Als je wat data weggooit, of er raakt wat corrupt, en je repliceert dat allemaal netjes door, heb je een probleem.

Zit met dezelfde problemen, en ik heb zelf wat dedicated machines waar ik meerdere backups naartoe schrijf, en vervolgens repliceer ik die backups weer door. Zo kan ik telkens nog een tijd terug. Bij brand kan ik altijd nog die 2e server ophalen op de 2e locatie om snel te kunnen restoren.

Maar voor een kantoor waar je makkelijk fysieke toegang toe hebt, is denk ik nog steeds een tapedrive het makkelijkst en snelst. Backuppen gaat vrij snel, en binnen 2 minuten heb je de backup off-site gehaald (uit de tape drive en in je rugzak), doe dat maar eens na over je ADSL lijntje.

Erg goed boek wat redelijk wat concepten en open source oplossingen uitlegt:

[Wolfboy]

axis schreef op donderdag 19 juni 2008 @ 10:08:
Houd even in de gaten dat backup niet hetzelfde is als replicatie.. Als je wat data weggooit, of er raakt wat corrupt, en je repliceert dat allemaal netjes door, heb je een probleem.

Zit met dezelfde problemen, en ik heb zelf wat dedicated machines waar ik meerdere backups naartoe schrijf, en vervolgens repliceer ik die backups weer door. Zo kan ik telkens nog een tijd terug. Bij brand kan ik altijd nog die 2e server ophalen op de 2e locatie om snel te kunnen restoren.

Dat is helemaal waar, ik ben dan ook op zoek naar een backup oplossing voor een gedeelte van de bestanden en andere delen (de svn repository bijvoorbeeld) hoeven alleen gerepliceerd te worden. De MySQL database heeft een binary log waarmee replicatie in principe voldoende zou moeten zijn maar deze zal ik toch volledig backuppen aangezien mijn ervaringen met corrupt gaande MySQL databases... minder positief zijn

Maar voor een kantoor waar je makkelijk fysieke toegang toe hebt, is denk ik nog steeds een tapedrive het makkelijkst en snelst. Backuppen gaat vrij snel, en binnen 2 minuten heb je de backup off-site gehaald (uit de tape drive en in je rugzak), doe dat maar eens na over je ADSL lijntje.

Dat zou inderdaad makkelijk zijn, maar helaas is dat geen optie aangezien het hier ook om dedicated servers gaat (zo te zien ben ik dat vergeten te vermelden, sorrie ).

Erg goed boek wat redelijk wat concepten en open source oplossingen uitlegt:

[afbeelding]

Eens kijken of ik daar snel aan kan komen, klinkt in ieder geval erg interessant

[silentsnake]

Kijk anders eens naar Bacula. Wel een flinke studie in het begin, maar je kan daarmee ook prima incremental / full / differential backups maken op tape, of op hard disk. Wij gebruiken Bacula voor zo een 15 tal servers, en de Bacula server zelf wordt Tivoli Storage Manager op tape gezet. We gebruiken Bacula omdat FreeBSD en TSM niet samen gaan, als je je afvraagt waarom. Ook kunnen we op die manier besparen op de TSM licenties.

[smokalot]

ZFS van sun heeft op zich alle features ingebouwd om ook voor dit doel te kunnen dienen. Door snapshots te nemen weet je zeker dat je terug kunt naar een vorige versie, en je kunt met zfs send/recieve ook repliceren over ssh. Door de snapshots ook op de productieserver te laten staan (het gebruikt toch niet zo veel ruimte), kun je bij een corrupt bestand oid gewoon direct restoren. Door de ingebouwde RAID ondersteuning ben je veilig als er 1 of 2 schijven uitvallen, en heb je je offsite backup dus alleen nog nodig voor echte noodgevallen.

Je hebt alleen niet veel keuze kwa OS wat je dan kunt draaien, Solaris of Opensolaris heeft de meest volwassen ZFS implementatie, FreeBSD en OS X hebben ook implementaties, maar die zou ik niet voldoende vertrouwen met mn data.

[DiedX]

silentsnake schreef op donderdag 19 juni 2008 @ 16:24:
Kijk anders eens naar Bacula. Wel een flinke studie in het begin, maar je kan daarmee ook prima incremental / full / differential backups maken op tape, of op hard disk. Wij gebruiken Bacula voor zo een 15 tal servers, en de Bacula server zelf wordt Tivoli Storage Manager op tape gezet. We gebruiken Bacula omdat FreeBSD en TSM niet samen gaan, als je je afvraagt waarom. Ook kunnen we op die manier besparen op de TSM licenties.

Second bacula. Ik gebruik het prive, en zakelijk heb ik het ook 2 keer uitgerold. Werkt als een trein.

Al eerder genoemd: de snelheid van restore kan van belang zijn. En heb je wel eens online backup in google geramd?

[ralpje]

DiedX schreef op donderdag 19 juni 2008 @ 16:51:
[...]

Second bacula. Ik gebruik het prive, en zakelijk heb ik het ook 2 keer uitgerold. Werkt als een trein.

Beetje topickaping wellicht, maar is Bacula ook geschikt voor het maken van remote backups? Onze klanten zitten via een (eigen) DSL lijn op ons netwerk aangesloten, en we willen een backup-server ergens in een datacentrum zetten. Het gaat dus om verschillende klanten, op verschillende locaties, met verschillenden domeinen etc. En de sync moet over een DSL lijn in een window 's nachts te doen zijn.

[TimDJ]

Wij hebben een goedkope tweede dedicated server (denk aan 35,- per maand) laten plaatsen waarnaartoe we via rsync een kopie schrijven. Daarbij meegenomen een differential backup van een week. De belangrijkste data halen we af en toe ook nog binnen naar lokale pc.

[Wolfboy]

silentsnake schreef op donderdag 19 juni 2008 @ 16:24:
Kijk anders eens naar Bacula. Wel een flinke studie in het begin, maar je kan daarmee ook prima incremental / full / differential backups maken op tape, of op hard disk. Wij gebruiken Bacula voor zo een 15 tal servers, en de Bacula server zelf wordt Tivoli Storage Manager op tape gezet. We gebruiken Bacula omdat FreeBSD en TSM niet samen gaan, als je je afvraagt waarom. Ook kunnen we op die manier besparen op de TSM licenties.

Bacula heb ik al eens eerder mee gewerkt, doet z'n werk prima maar dan moet ik nog steeds een doel hebben om naar te kopieren. Een tape drive bij ons op kantoor is geen praktische oplossing voor de lange termijn dus dan staat of valt de oplossing met de partij waar we de data heen laten sturen.

smokalot schreef op donderdag 19 juni 2008 @ 16:45:
ZFS van sun heeft op zich alle features ingebouwd om ook voor dit doel te kunnen dienen. Door snapshots te nemen weet je zeker dat je terug kunt naar een vorige versie, en je kunt met zfs send/recieve ook repliceren over ssh. Door de snapshots ook op de productieserver te laten staan (het gebruikt toch niet zo veel ruimte), kun je bij een corrupt bestand oid gewoon direct restoren. Door de ingebouwde RAID ondersteuning ben je veilig als er 1 of 2 schijven uitvallen, en heb je je offsite backup dus alleen nog nodig voor echte noodgevallen.

Je hebt alleen niet veel keuze kwa OS wat je dan kunt draaien, Solaris of Opensolaris heeft de meest volwassen ZFS implementatie, FreeBSD en OS X hebben ook implementaties, maar die zou ik niet voldoende vertrouwen met mn data.

ZFS heb ik zowel onder Solaris als onder FreeBSD al eens gebruikt, werkt prima maar aangezien we op het moment alleen Linux hebben draaien (FreeBSD zie ik nog wel als mogelijkheid in de toekomst) is het geen optie op het moment. Eventueel zou een interessante oplossing misschien wel zijn om te rsyncen naar een OpenSolaris machine die dan snapshots maakt, al is die oplossing wel wat omslachtig

DiedX schreef op donderdag 19 juni 2008 @ 16:51:
Al eerder genoemd: de snelheid van restore kan van belang zijn. En heb je wel eens online backup in google geramd?

Jazeker, daarom staat online backup ook in het topic
Het probleem is alleen niet dat er geen goede partijen zijn, maar dat het moeilijk is een goede inschatting te maken van welke partij goed is, reviews zijn imho moeilijk te vinden en ik hoop dan ook meer dat er hier mensen zijn met goede ervaringen bij bepaalde partijen.

Online backup is iig _het_ probleem hier, backup vanuit een paar dedicated linux bakjes.

ralpje schreef op donderdag 19 juni 2008 @ 17:16:
Beetje topickaping wellicht, maar is Bacula ook geschikt voor het maken van remote backups? Onze klanten zitten via een (eigen) DSL lijn op ons netwerk aangesloten, en we willen een backup-server ergens in een datacentrum zetten. Het gaat dus om verschillende klanten, op verschillende locaties, met verschillenden domeinen etc. En de sync moet over een DSL lijn in een window 's nachts te doen zijn.

Ik heb het nooit over een DSL lijntje geprobeerd maar het maken van remote backups is juist een sterk punt van Bacula, ik kan alleen even geen goede schatting maken van de snelheid over een DSL verbinding. Volgens mij deed bacula het backuppen redelijk intelligent dus het zou wel doenbaar moeten zijn.

FAD schreef op donderdag 19 juni 2008 @ 17:20:
Wij hebben een goedkope tweede dedicated server (denk aan 35,- per maand) laten plaatsen waarnaartoe we via rsync een kopie schrijven. Daarbij meegenomen een differential backup van een week. De belangrijkste data halen we af en toe ook nog binnen naar lokale pc.

Dat is ook nog wel een optie ja, al zit je dan nog steeds met het gevaar dat als dat datacentrum affikt/zonder stroom zit/etc... dat je dan je backups kwijt bent danwel niet meer bij kan. Nog steeds best risicovol dus imho.

[Verwijderd]

Ik zou een van de onderstaande programma's adviseren:

rdiff-backup
of
rsnapshot

Eenvoudig te configureren en te gebruiken, vrijwel overal toepasbaar en betrouwbaar

[TimDJ]

[...]
Dat is ook nog wel een optie ja, al zit je dan nog steeds met het gevaar dat als dat datacentrum affikt/zonder stroom zit/etc... dat je dan je backups kwijt bent danwel niet meer bij kan. Nog steeds best risicovol dus imho.

je zou natuurlijk ook een server in een ander data centrum aan de andere kant van het land dan wel wereld kunnen plaatsen. Dan kun je er in in ieder geval bij.

[_JGC_]

Wolfboy schreef op vrijdag 20 juni 2008 @ 01:00:
Bacula heb ik al eens eerder mee gewerkt, doet z'n werk prima maar dan moet ik nog steeds een doel hebben om naar te kopieren. Een tape drive bij ons op kantoor is geen praktische oplossing voor de lange termijn dus dan staat of valt de oplossing met de partij waar we de data heen laten sturen.

Bacula kan ook file backups maken

Dat is ook nog wel een optie ja, al zit je dan nog steeds met het gevaar dat als dat datacentrum affikt/zonder stroom zit/etc... dat je dan je backups kwijt bent danwel niet meer bij kan. Nog steeds best risicovol dus imho.

Wat denk je van in een ander datacenter plaatsen? Er zijn genoeg partijen die buiten Amsterdam colocation aanbieden. Als het datacenter in Amsterdam affikt draait je backupserver in Groningen gewoon door.

[P5ycho]

ik heb een tijd terug uitgebreid research gedaan en ben op strongspace en rsync.net uitgekomen.
Strongspace is ondertussen zeer hard onderuit gegaan (een Sun X4500 met ZFS en 24TB aan storage met een corrupte zpool doordat je vergeet het OS te patchen is geen lolletje als je geen backup hebt, domdom!) en rsync.net gebruik ik zelf en werkt perfect. Snelle respons op vragen en eerlijke mensen.

Ik zou me niet zo druk maken over latencies, je hoeft maar 1x een keypair te maken en remote te uploaden. Daarna kan je backupscript alles zelf als je het netjes doet.

Vanuit mijn colo in amsterdam naar rsync in zwitserland:

--- ch-s010.rsync.net ping statistics ---
10 packets transmitted, 10 packets received, 0.0% packet loss
round-trip min/avg/max/stddev = 15.759/39.668/69.662/18.664 ms

[ Voor 16% gewijzigd door P5ycho op 20-06-2008 09:43 ]

[axis]

Poeh, op de homepage van rsync.net staan al prijzen vanaf $1.60 per GB per maand..

Als je zelf een server ophangt (ik heb een paar 5TB doosjes van rond de EUR 6000 hangen), die kosten je dus over 36 maanden 167 euro per maand. Daarnaast hang je zo'n servertje op bij coloboer. Bijvoorbeeld klein rackje bij xs4all, kost je denk ik rond de 300 euro per maand, inclusief stroom en bijna onbeperkte bandbreedte. Dan zit je op 467 EUR per maand, da's dus 0,09 EUR per GB/maand. Da's nogal een verschil

[Wolfboy]

_JGC_ schreef op vrijdag 20 juni 2008 @ 09:11:
Wat denk je van in een ander datacenter plaatsen? Er zijn genoeg partijen die buiten Amsterdam colocation aanbieden. Als het datacenter in Amsterdam affikt draait je backupserver in Groningen gewoon door.

FAD schreef op vrijdag 20 juni 2008 @ 09:03:
je zou natuurlijk ook een server in een ander data centrum aan de andere kant van het land dan wel wereld kunnen plaatsen. Dan kun je er in in ieder geval bij.

Het is inderdaad wel een optie om de backups op zowel de huidige servers als een andere server op te slaan. Al is dat voorlopig een duurdere en dus minder aantrekkelijke optie. Al zal dat over een tijdje wel interessant worden, al is het alleen al om de load te kunnen verdelen tegen die tijd

P5ycho schreef op vrijdag 20 juni 2008 @ 09:35:
ik heb een tijd terug uitgebreid research gedaan en ben op strongspace en rsync.net uitgekomen.
Strongspace is ondertussen zeer hard onderuit gegaan (een Sun X4500 met ZFS en 24TB aan storage met een corrupte zpool doordat je vergeet het OS te patchen is geen lolletje als je geen backup hebt, domdom!) en rsync.net gebruik ik zelf en werkt perfect. Snelle respons op vragen en eerlijke mensen.

Ja... strongspace is leuk bezig geweest idd. geweldig voorbeeld van hoe erg het fout kan gaan

Ik zou me niet zo druk maken over latencies, je hoeft maar 1x een keypair te maken en remote te uploaden. Daarna kan je backupscript alles zelf als je het netjes doet.

Vanuit mijn colo in amsterdam naar rsync in zwitserland:

--- ch-s010.rsync.net ping statistics ---
10 packets transmitted, 10 packets received, 0.0% packet loss
round-trip min/avg/max/stddev = 15.759/39.668/69.662/18.664 ms

Ik maak me ook niet heel veel zorgen om latencies zolang de server maar in Europa staat, servers in Azie of de VS zijn gewoon niet goed genoeg te bereiken imho, niet praktisch iig

rsync.net kende ik inderdaad al, nog geen ervaring mee maar zeker een interessante partij om naar te kijken. Samen met Jungle Disk op dit moment de meest interessante opties, met op iets langere termijn (denk 6 maanden ofzo) als de inkomsten beginnen te komen een paar extra servers als mooie optie. Al blijft een off-site backup natuurlijk altijd fijn

axis schreef op vrijdag 20 juni 2008 @ 15:13:
Poeh, op de homepage van rsync.net staan al prijzen vanaf $1.60 per GB per maand..

Als je zelf een server ophangt (ik heb een paar 5TB doosjes van rond de EUR 6000 hangen), die kosten je dus over 36 maanden 167 euro per maand. Daarnaast hang je zo'n servertje op bij coloboer. Bijvoorbeeld klein rackje bij xs4all, kost je denk ik rond de 300 euro per maand, inclusief stroom en bijna onbeperkte bandbreedte. Dan zit je op 467 EUR per maand, da's dus 0,09 EUR per GB/maand. Da's nogal een verschil

Prima optie ja, maar op het moment nog geen interessante optie. De komende 1-3 maanden is mijn budget voor investeringen redelijk beperkt, daarna zou zoiets een prima optie zijn