Advies gevraagd: professionele backup voor home office

[Tomatoman]

Na een stevige harddiskcrash beraad ik me op een degelijke backupstrategie. Eerst maar eens wat gegevens op een rijtje zetten. De reden dat ik dit topic start in Professional Networking & Servers is dat ik vrees dat ik in andere forums de mensen misloop die mij op weg kunnen helpen. Er zijn immers weinig tweakers die een high-end tapestreamer thuis hebben .


Achtergrond
Omgeving: home office met een centrale server (Win2003) een paar XP clients. Alle belangrijke data worden centraal op de server bewaard, die een gecombineerde domeincontroller en file server is. Aan de server komt binnenkort een tapestreamer te hangen, die regelmatig backups maakt. Tapes kunnen veilig in de aanwezige kluis. Tot zover niets vreemds, totdat ik de term home office beter omschrijf. Het gaat namelijk om een netwerk thuis, waar naast de standaard MP3-verzameling ook kritische gegevens op staan, met name zelfgeschreven software. De MP3-verzameling mag verloren gaan, de resultaten van mijn programmeerwerk niet.

Aan de backupstrategie stel ik een paar eisen:
• het moet een degelijke oplossing zijn (geen houtje-touwtje);
• de hardware moet minstens 5 jaar mee kunnen;
• de kosten moeten te overzien zijn;
• ik wil geen full-time systeembeheerder worden.

Data op de server:
• nu ongeveer 200 GB, waarvan 20 GB kritisch
• hooguit 10 GB verandert er nu in een dag, hooguit 20 GB in een week (worst case)
• uitgaande van 25% meer data per jaar kom ik over 5 jaar op totaal 600 GB
• kritische data nemen een stuk harder toe, misschien wel 50% per jaar (150 GB over 5 jaar)


Hardware
Als tapestreamer heb ik twee alternatieven:
• Fujitsu Siemens VXA-2: 80-160 GB, 6-12 MB/s, ongeveer 1000 euro excl. BTW• Fujitsu Siemens LTO2 Ultrium: 200-400 GB, 35-70 MB/s, ongeveer 3000 euro excl. BTW

VXA-2 heeft het voordeel van de prijs. Nadeel is dat ik nu al niet meer alle gegevens op één tape kwijt kan. Ik weet niet of deze oplossing het 5 jaar zal uithouden. LTO2 heeft als voordeel dat de high-end specificaties van nu over 5 jaar nog acceptabel zijn (denk ik) en dat ik vooralsnog geen tapes hoef te verwisselen bij een full backup (zie ook verderop). Groot nadeel is de prijs, hoewel ik misschien wat kan regelen. Ik ga ervan uit dat twee ATA harddisks in RAID-0 snel genoeg zijn om de LTO2 streamer - die automatisch afgeremd kan worden tot 17,5 MB/s native - van data te voorzien. Reden Fujitsu Siemens: via mijn werkgever kan ik daar goede prijzen krijgen.

Ik ben bereid om een eenmalige investering te doen in software + hardware voor de komende 5 jaar. Het geld komt uit mijn eigen zak, zodat ik goed wil weten wat ik doe. De tapes zie ik als variabele kosten, omdat het aantal afhankelijk is van het te kiezen backupschema. Waarom dan geen low-budgetoplossing? Omdat ik inmiddels uit ervaring weet dat dat leidt tot dataverlies wegens achterstallige backups (1x inbraak, 1x harddiskcrash, > 1x systeemcrash ). Inmiddels is de maat vol en wil ik iets echt goeds.

        >  Eerste vraag: hebben jullie suggesties voor de hardware?


Software
Hier ben ik nog niet aan toegekomen. Veritas Backup Exec misschien? Ik zet voor de software voorlopig even 500 euro opzij.

        > Tweede vraag: voorlopig nog geen vraag over software


Backupschema en tapes
Backups wil ik best regelmatig maken, tweemaal per week of misschien dagelijks, maar ik wil natuurlijk geen slaaf worden van de tapestreamer. Dit heeft als consequentie dat ik een backupschema ga volgen dat (1) ervan uitgaat dat ik niet halverwege de nacht mijn bed uit kom om de volgende tape van de tapeset in de streamer te steken; en (2) dat ik ongetwijfeld zo nu en dan een geplande backup oversla (op vakantie/ geen tijd/ whatever). Een backupschema zoals de Tower of Hanoi is voor mij daarom geen optie.

Grandfather - father - son lijkt me al een stuk beter. Aangezien tapes met 40 tot 80 euro per stuk echter bepaald niet goedkoop zijn en ik weinig dataverandering per dag heb, lijkt een schema met differentiële backups me echter beter. Er is bovendien nog een andere reden. Stel dat ik in de nacht van maandag op dinsdag een backup draai. Ik ben pas dinsdagavond weer terug om de tape in de kluis te stoppen en een verse tape in de streamer te steken voor de volgende nacht. Als er dinsdag overdag wordt ingebroken, wordt de streamer met tape en al meegenomen. Het maakt dan niet uit of ik als schema
    full - full - full - full
gebruik, of
    full - differential - full - differential
of
    full - differential - differental - full - differential - differential
(differential mag ook incremental zijn). Ongeacht of bij de diefstal een full of een differential backup is verdwenen, het dataverlies is altijd de wijziging sinds de vorige backup, die netjes in de kluis ligt. Is er een schema dat gebruik maakt van dit gegeven om tapes te besparen? Bij LTO2 zit ik met 20 'goedkope' tapes van 50 euro meteen op 1000 euro, dat hakt er flink in .

        >  Derde vraag: heeft iemand een kostenbesparende suggestie voor een
            backupschema? En hoeveel tapes kost me dat in de rotatie
            (dus exclusief de tapes die ik permanent archiveer)?


Het is een heel lang verhaal geworden, ik hoop navenant veel goede raad te krijgen .

[ Voor 14% gewijzigd door Tomatoman op 10-01-2005 04:40 . Reden: opmaak verbeterd om leesbaarheid te vergroten ]

[Femme]

Persoonlijk zou ik voor thuissituaties gewoon diskbackup gaan gebruiken. Het is snel en kost weinig. Je zet bijvoorbeeld de online data van de server op een RAID 5 array van drie 300GB-schijven. Zo heb je al je 600GB opslagcapaciteit voor de komende vijf jaar. De data laat je backuppen op een vaste backupschijf van 300GB en twee externe harde schijven van eveneens 300GB die je om de week wisselt en waarvan je er één in een kluis gewaard. Over twee jaar zullen deze schijven te klein worden en zul je even wat nieuwe schijven moeten aanschaffen die tegen die tijd voor een redelijke prijs 500GB of groter zullen zijn. Eventueel zou je in plaats van de externe USB 2.0 of FireWire ook een SATA-hotswap schijf kunnen gebruiken, dat is sneller en zou ook moeten kunnen werken als de swappende schijven dezelfde drive letter gebruiken.

Hardwarebenodigdheden:

- 8-poorts RAID-adapter (420,-)
- 4x 300GB SATA-harde schijf (700,-)
- 2x 300GB externe harde schijf (500,-)

Vervolgens heb je nog goede software nodig om het backuppen te regelen. Robocopy (zeer spartaans), NTBackup (minimale functionaliteit) of andere complete backupprogramma's.

[teigetjuh]

Misschien is een S-DLT-unit een betere optie als je voor een lange life cycle gaat. DLT en SDLT is iets wat bijzonder veel voorkomt binnen het bedrijfsleven, LTO komt toch relatief weinig voor. Een SDLT 160/320 drive zou voldoende moeten zijn voor jouw doeleinden. Anders zou je aan een taperobot met minder grote tapes kunnen denken. (Bijvoorbeeld een DDS-4 streamer met een magazijn voor 10 of 12 tapes)

Over backup strategie...
Hoeveel data wil je blijven bewaren of is het in geval van nood weer terug plaatsen belangerijker? Dat laatste kun je denken aan een schema als dit:
1 x per maand (bijvoorbeeld laatste dag)een full backup met een retentie van 6
maanden (6 tapes dus)
1 x per week (bijvoorbeeld vrijdag) een full backup met een retentie van 4 weken
(4 tapes dus)
1 x per dag een differential backup. (dit moet op 1 tape kunnen)

Dit is een schema wat in grote lijnen ook veel in bedrijven gebruikt wordt en kost relatief weinig geld en biedt grote zekerheid want je kan een half jaar terug met backup. Vaak wordt dit nog aangevuld met een eindejaars-backup.

Veritas is prima pakket, alleen weet ik niet of je het daarmee voor 500 € gaat redden. Zorg in elk geval dat er een goede scheduling in zit, want zoals je zelf al aangeeft je wilt niet 's nachts naar je pc om de backup te starten. Arcserve is op zich ook een prima pakket en meer low-budget zijn er ook pakketen te vinden. Die laatste categorie heeft vaak wat minder functionaliteit.

[Yalopa]

NTbackup.exe zal als software wel volstaan denk ik. Diskbackup zou ik dan weer niet doen, als je server gestolen wordt hebben ze die ook mee (daar zit je blijkbaar mee) over hotswap disken: los van het feit dat hotswap disken niet bedoeld zijn om als removable storage te gebruiken, denk je er maar beter niet aan wat er gebeurd als je zo'n ding laat vallen.

Mischien heb je voldoende aan volgend schema?

ma di wo do full, elke week hergebruikt
vrij full hergebruik je elke 4 weken

totaal dus 8 tapes waarmee je tot een maand kan teruggaan. Als je wil kan je natuurlijk ook de 2 ander dagen dekken met 2 extra tapes (als je die dagen ook werkt.) een tape een week laten zitten omdat er nog data bij kan zou ik ook niet doen (alweer om je diefstal angst)

Aangezien je zegt dat de goedkope tapedrive nu al niet voldoende plaats bied zou ik die niet meer in overweging nemen. Blijft over LTO, of zoals ergens anders reeds geopperd een DLT variant.

Als je backup echt superbelangrijk is neem je natuurlijk ook een hardwarecontract op die drive..

[ Voor 10% gewijzigd door Yalopa op 10-01-2005 12:32 ]

[Tomatoman]

Harde schijven gebruiken voor backups vind ik niet zo'n best plan, omdat ik dan maar een of twee full backups achter de hand kan houden. Bang dat mijn server gestolen wordt ben ik niet echt, maar het is naïef om er geen rekening mee te houden. Er is echter nog een andere reden om wat oudere backups achter de hand te houden: virussen. Even teruggrijpen naar een backup van een maand geleden in geval van een pas laat ontdekte virusinfectie is er bij een diskbackup niet bij. Ook heb ik dan geen mogelijkheid om zo nu en dan een backup voor archiefdoeleinden te bewaren.

S-DLT zou weleens interessant kunnen zijn. Na een snelle googletocht over internet lijkt het me bijna net zo duur te zijn als LTO2, terwijl de snelheid een stuk lager ligt. Maar goed, ik heb nog niet uitgebreid gezocht.

Het schema van Yalopa zette me aan het denken. Ervan uitgaande dat er voorlopig een full backup en een differential backup samen op één tape passen zie ik nog een aardige manier om een paar tapes te besparen. Bij een full backup wordt de tape eerst gewist, bij een differential backup wordt hij er bijgezet op de tape. Dan kun je het volgende schema volgen:

maandag: diff., tape A
dinsdag: full, tape B
woensdag: diff., tape C
donderdag: full, tape A
vrijdag: diff., tape B
zaterdag: full, tape C
zondag: full, tape iedere 4 weken hergebruiken

Ten opzichte van Yalopa's schema heb ik dan hooguit één dag minder aan backups beschikbaar (altijd 6 of 7 dagen terug), terwijl ik 3 tapes bespaar. 3 tapes lijkt weinig, maar misschien is er nog wel wat beters te verzinnen. Zijn hier geen veelgebruikte standaardschema's voor?

[Yalopa]

Denk dat je schema wel ok is, hoewel ik geen 2 dagen na elkaar zou backuppen op dezelfde tape, bij verlies van tape ben je dus meerdere dagen kwijt. Op de prijs van je tapdrive vallen die 3 tapes toch in het niets, en je moet zeker ook wat reservetapes hebben:

Standaard schema's: als je een proffesioneel pakket als veritas of ARCserve gaat kopen zitten er dus al schema's in. maar ook dit zijn de schema's zoals hier reeds genoemd. (GFS hanoi) Jou schema is dus een gemixt FS schema nu niets mis mee verder. Om er GFS van te maken heb je weer een 12 tal tapes extra nodig naadat je de 4 weektapes gebruikt hebt neem je een maandtape. Die maandtapes bewaar je dan buitenshuis bankkluis.

Wat betreft je budget voor software, louter indicatief: ARCserve v11 koste een jaar geleden ong 450 eur, dus met dat budget zit je ook wel goed. Voordelen van een dergelijk pakket:

Als je wat anders dan data te backuppen hebt gaat het een stuk makkelijker doordat er agents zijn voor de vele producten
netware servers
databases allerhande
exchange / groupwise plugins
disaster recovery options
etc

gecentraliceerde logging waneer je meerdere backupsysteemen hebt
product eigen drivers voor de meeste tapesstreamers
automatische media labeling
eenvoudig eigen schema's aanmaken
etc...

maar zoals ik al aanhaalde: voor jou waarschijnlijk overkill

[DukeMan]

Ik zelf maak gebruik van diskbackup. Hierbij gebruik ik 2 USB schrijven van elk 250 Gb. Zo kan ik er altijd eentje uitpluggen om weg te zetten/op te bergen.

Vervolgens laat ik de even dagen op disk 1 backuppen en de oneven dagen op disk 2. Op deze manier zorg ik ervoor dat als 1 disk uitvalt ik altijd nog de andere heb.

Daarnaast worden de backups in een map met backup timestamp geplaatst. Op deze manier kan op 1 disk meerdere (oudere) backups komen te staan. Op het moment dat de schrijf vol begint te lopen kan ik handmatig enkele mappen op zij zetten of wordt dit automatisch (de oudste eerst) door mijn backup programma weg gehaald.
Dit werkt best prettig, want je kan altijd een tijdje terug, en mocht 1 disk het begeven of gestolen worden, heb je altijd die van 1 dag eerder nog.

Op zondag draai ik een full backup en de doordeweekse dagen een differential.

[Koffie]

Ik heb het niet opgezocht, maar ik denk dat er weinig fabrikanten zijn die je garanaderen dat de tapejes over 5 jaar nog 100% error-vrij te lezen zijn (al scheelt het als je ze netjes in het doosje in een kluis bewaard).

[Verwijderd]

Ik vindt 5 jaar ook een beetje overdreven. Je kunt ook niet verwachten dat je pc over 5 jaar nog perfect is.

Schrap dat puntje maar eerst van je lijst.

Zeker in thuis situaties kan data enorm groeien. Dus zou ik alleen van belangrijke data uitgaan.

[DeBolle]

Volgens enkele bronnen (zoals http://www.cmpnetasia.com/PrintArticle.cfm?Artid=394 ) is de shelflife van tape langer dan vijf jaar:
'Data saved on tapes have a long archival storage life. DLT media offers up to 30 years while DAT offers up to 10 years.'
of Exabyte ( http://www.exabyte.com/products/tape/lto.cfm )
'Archival life of over 30 years'
Ook VXA zet in op 30 jaar ( http://www.exabyte.com/products/tape/vxa.cfm )
'With a shelf life of 30 years and a minimum usage life of up to 500 uses'

Uiteraard is eventuele garantie op de levensduur een wassen neus - kun je de data niet meer lezen, dan mag je een gratis nieuwe cartridge tegemoet zien, maar jouw data komt niet terug
Lastiger is het een backup na vijf jaar sowieso te lezen, wellicht zijn de drives te oud of bestaan niet meer, het backuppakket draait op een OS welke al drie jaar niet meer wordt ondersteund, enzovoorts.
Regelmatig oudere backups converteren naar nieuwe media dus, voor meer zekerheid op langere termijn.

[Antonius]

Ik zou ook voor een grote drive gaan - als je nu al tapes moet wisselen voor een enkele full backup, wordt je daar over een paar jaar niet vrolijk van. Hardware zou ik dus LTO2 voor kiezen, (als ik het kon betalen ). De tapes zijn al aardig goedkoper geworden, waren niet zo lang geleden nog rond €70 ex BTW, nu rond €40.

Op het werk gebruiken wij rotatiesets van 10 tapes, iedere werkdag een full backup, tapes komen na 2 weken dus steeds terug in rotatie. Laatste werkdag van iedere maand is permanente opslag, die gaat buitenshuis de kluis in. Na de eerste aanschaf kost dit nog slechts 12 tapes per jaar, als je bereid bent om 3000 voor een drive neer te tellen, moet je over die paar tapes niet te kinderachtig doen.

Ik zou de MP3's en kritische data qua backup strategie scheiden. LTO tapes en streamers vind ik nog wat prijzig om er MP3tjes op te knallen. Mijn insteek zou zijn: categorie MP3 ofwel geen backup, of met twee externe drives, waarvan er altijd hooguit 1 in huis (of in jouw geval buiten de kluis) is. Andere optie: naast de regelmatige kritische backup eens in de maand een "MP3" backup naar tape draaien, die je na bijvoorbeeld 2 of 3 maanden weer overschrijft.

Log van backup houden we niet alleen in een bestandje op de server bij, maar ook op papier. Gewoon na iedere backup even de basic stats opschrijven. Wij noteren dagelijks op papier wel/niet gelukt/aantal tapes, datum/tijd start, datum/tijd klaar, aantal MB. Om de paar dagen werken we dit bij in een spreadsheetje om er makkelijk uitdraaitjes en stats van te maken (ontwikkeling omvang e.d.).

Tenslotte (vaak vergeten): naast de automatische verify die je natuurlijk na iedere backup laat doen, toch regelmatig even handmatig een file recoveren. Je zult de eerste niet zijn die jarenlang trouw backups maakt, en bij de eerste echte disaster merkt, dat er niks zinvols van de tapes te brouwen is.

[Tomatoman]

DeBolle schreef op dinsdag 11 januari 2005 @ 19:55:
[Interessant stukje over levensduur van tapes]

Kleine aanvulling:

quote: http://www.fujifilmmedias...ecs/new/lto/ltolife00.pdf

Even daily use on an application requiring the maximum passes for full capacity access, would require 49 years to reach 18,000 uses. Even then, you can expect that the Fujifilm LTO Ultrium Data Cartridge will continue performing flawlessly. [...] LTO Ultrium has archival durability > 30 yeards and waery durability > one million passes, making it the right choice for high duty-cycle and long-term archiving applications.

Ook bij IBM heb ik gelezen dat ze het over 30 jaar bewaren hebben, alleen spreekt IBM over slechts 250 keer gegandeerd probleemloos beschrijven. Niettemin: 250 keer beschrijven betekent dat je een tape 5 jaar lang 1x per week kunt beschrijven. Neem je een tape na 3 jaar uit de roulatie en zet je hem in als bewaartape voor het archief, dan kom je niet eens in de buurt van het gegarandeerde aantal cycli.

Uiteraard is eventuele garantie op de levensduur een wassen neus - kun je de data niet meer lezen, dan mag je een gratis nieuwe cartridge tegemoet zien, maar jouw data komt niet terug
Lastiger is het een backup na vijf jaar sowieso te lezen, wellicht zijn de drives te oud of bestaan niet meer, het backuppakket draait op een OS welke al drie jaar niet meer wordt ondersteund, enzovoorts.
Regelmatig oudere backups converteren naar nieuwe media dus, voor meer zekerheid op langere termijn.

Daar heb je een goed punt. Met harddisks heb je deze problemen niet, met zelfgebrande cd's en dvd's is dit al een veel groter probleem. Dat is een van de redenen dat tape mijn voorkeur heeft - bij cd's die niet onder ideale condities zijn bewaard heb je soms na drie jaar al leesproblemen. Om verdere problemen te voorkomen met oude drives wil ik liever geen oplossing die nu al twee generaties aan opvolgers in de winkel heeft liggen.

Antonius, bedankt voor je nuttige tips. Nog even over die automatische verify: sommige tapesystemen doen direct een read after write (de leeskop zicht achter de schrijfkop), wat dus eigenlijk een verify overbodig maakt. Of zie ik dat verkeerd?

Al met al begin ik na alle reacties steeds meer te neigen naar LTO2, al zal ik daar wel flink voor moeten sparen. Backup op losse disks zou alleen een (aanvullende) oplossing kunnen zijn voor niet-kritische data.