Gathering of Tweakers

Thema topic: Backups

Introductie

Welkom in het derde thema topic! Drie maanden geleden zijn we gestart met een nieuw item in de Softe Goederen fora om ook de andere aspecten van een ICT omgeving te belichten. Het eerste topic ging over monitoring, in het tweede thema topic bespraken we het toekennen van rechten.

Deze maand hebben we gekozen voor het thema "Backups". Iedereen maakt backups (of denkt toch dat hij ze maakt! ) maar we vergeten dat onderdeel graag

Thema: Backups

Vertel eens hoe jij backups maakt - je kan het hier onder gepostte voorbeeld lijstje gebruiken maar gewoon een verhaaltje typen kan natuurlijk ook en is misschien wel net zo leuk.

Interessant voor in dit topic kan bijvoorbeeld zijn welke backup software je gebruikt, of je het GFS rotatie systeem gebruikt, welke soorten servers je allemaal moet backuppen, waar je precies naar toe backed up etcetera.

Voorbeeldje

• Backup je eigenlijk wel?
• Waarop backup je dan? Op tape? Op disk? Op beide? Heeft (bijna) elke server een eigen backup device of heb je dit centraal?
• Hoe vaak backup je? Werk je met incremental of differential backups?
• Waarmee backup je? Gebruik je shell scripts, ntbackup of bijvoorbeeld backupexec?
• Restore je ook wel eens? Verplicht om dat je data kwijt bent of heb je een regelmatig restore test schema?
• Kunnen gebruikers zelf bestanden terug zetten (bijv. met previous versions)?

Het volgende thema topic...

Bestanden delen - hoe doe je dat en waarom?

Mocht je suggesties hebben voor een volgend thema-topic, laat het ons dan weten op softegoederen @ tweakers.net.

Heb afgelopen weekend de Onetouch4 van Maxtor gekocht. 500 gb externe harde schijf.
Op zich prima (hoewel beetje cheape behuizing). 1 x instellen wat je wil back-uppen en wanneer, en een kind kan de was doen. Speciaal voor mijn vriendin gekocht, die bang is voor de enorme collectie foto's die we inmiddels hebben (en die zij allemaal uitgezocht heeft). Bedienings gemak stond dus op 1. Er zit een knopje op de voorkant van de drive, die als je hem indrukt, meteen een backup maakt. Supereasy.
Hier worden de "mijn documenten" map en mijn foto's / digitale video's mee ge-back-upped. Ik twijfel nog of ik mijn muziek er ook aan toe zal voegen, ruimte zat op zich.
Backup trouwens 1 keer per week (zondag 18:00). Totale grootte van backup is nu nog 50 gb.

mthijz wijzigde dit bericht 18-02-2008 09:27 (7%)

Ha, leuk topic. Maandagavond 10 uur is mijn wekelijkse backup moment. Ik backup alleen data naar een interne harde schijf. Mijn main harde schijf bevat onder andere 3 data partities (documenten, fotos, video) en mijn tweede harde schijf die als backup dient bevat ook die 3 partities. Elke maandagavond worden de nieuwe documenten van de eerste harde schijf naar de tweede harde schijf gekopieerd door middel van een SyncBack schedule.

Deze zijn zo ingesteld dat op de backup schrijf nooit iets wordt verwijderd en er wordt alleen overschreven als het nieuwe bestand qua omvang groter is dan het oude. Het werkt prima zo en het heeft mij al een paar keer uit de brand geholpen. Zo een beetje halfjaarlijks maak ik nog een kopie van de backup schijf op DVD's. En deze DVD's heb allemaal nog bewaard, dus ook van de eerste backups in 2005.

Ik ben over de werkwijze op zich wel tevreden maar dat de backupschijf intern zit voelt op de een of andere manier niet zo lekker. Ik ben binnenkort toe aan een nieuw systeem en dan ga ik er ook zeker een externe harddisk bij nemen die dan als backup gaat dienen. Maar daar heb ik mij nog niet zo in verdiept.

Het nadeel van het verouderd systeem en backup schijf is dat ik nooit plek had om mijn muziekcollectie te backuppen. Dat heeft nu al 2x een totale verlies van mp3's gekost (20Gb) waarna ik mijn CD's opnieuw mocht gaan rippen met EAC.

Edit:
Dan vergeet ik helemaal te vertellen dat ik op dit moment ook (als een soort test) het meest belangrijke via Jungle Disk online te back-uppen. Jungle Disk maakt gebruik van Amazon's S3 service. Lekker goedkoop online backupruimte.

ma9ma wijzigde dit bericht 18-02-2008 09:44 (17%)

Mijn weekelijkse back-up is zondag morgen om 01.45u. Back-up dan de config dirs, logs, spool en www directories. Ook back-up ik elke dag mijn maildirs. Dit doe ik naar een partitie op dezelfde schijf, dit dient dan ook als back-up voor als ik iets naar de klote help
De maildirs back-up ik elke dag omdat die erg belangrijk zijn hier.
Verder heb ik een deonet in m'n server hangen, en wissel om de week van schijf.

Dit werkt prima moet ik zeggen, en ben erg blij dat ik zo'n ding heb aangeschaft

voor degene die niet weten wat een deonet is: http://www.deonetbackup.com/

weijl wijzigde dit bericht 18-02-2008 10:07 (8%)

Zelfde opstelling en methode als Magma hierboven.

'k heb vier snelkoppelingen naar syncbackprofielen op mijn bureaublad staan. Af en toe gewoon aanklikken en de rest gebeurt automatisch van eerste naar tweede (backup)schijf. (al kan je het met dat (freeware) progje ook automatisch op een bepaald tijdstip laten gebeuren)

Prive:
De belangerijkste mappen zoals de MijnDoc's en de Public worden elke nacht naar Idrive.com gebackupped (12GB storage via het eigen tooltje van Idrive). De overige data wordt regelmatig naar een externe hd gekopieerd via een robocopy script.
Daarnaast is ShadowCopy geactiveerd voor het gebruik van vorige versies. (Dit gebruik ik zelf regelmatig)
Het enige wat nu niet wordt gebackup is de exchange omgeving, met Ex2003 werden de postvakken (4) naar pst gebackupped (Exmerge) maar dat werkt nog niet helemaal met Ex2007.

Zakelijk:
3x servers, waarvan 1 met een LTO drive (200/400GB). Hierop worden elke nacht backups gemaakt volgens het GFS rotatie systeem (nooit geweten dat die naam ervoor was). Dit wordt gedaan met de MS Backup tool, verder weinig bijzonders.

Ook hier ShadowCopy geactiveerd, scheelt ons toch weer tijd nu mensen zelf back-to-the-future kunnen gaan. Dit alles voor een 25 gebruikers.

Ik doe aan een hele simpele backup:

Ik heb op m'n pc een schijf voor windows en applicaties. Daarnaast een RAID-1 opstelling voor alle documenten die me dierbaar zijn. In de praktijk komt dat neer op "My Documents" en een paar directories in "C:\Documents and Settings\*\Application Data". My Documents staat overigens standaard naar die RAID-1 schijf te wijzen ipv de standaard "C:\Documents Settings\*\My Documents". In het ketelhok staat een pc met dezelfde harde schijf opstelling.

Als ik aflog gaat er automatisch een batch file draaien dat robocopy aanslingert. Robocopy struint die directories af naar wijzigingen welke weer worden doorgevoerd op m'n servertje. Bij een schone windows install kan ik meestal de gebackupte directories gewoon weer terugzetten. Simpel, maar voor mij voldoende.

Een nadeel is dat het afsluiten van de pc af en toe wel eens erg lang kan duren als ik veel nieuwe bestanden heb toegevoegd in bijvoorbeeld "Mijn Afbeeldingen". Daarnaast kan ik ook niet terug naar de situatie van een bepaalde datum, maar eerlijk gezegd heb ik daar ook nog nooit behoefte aan gehad.

Ik doe het dus wel, maar heb me nooit echt verdiept in het maken van backups. Misschien is dit daar wel een mooi moment voor

En het enige wat ik nu echt nog zou willen is een hogere upload snelheid zodat dat die server op een andere lokatie kan staan, want bij brand ben ik nu nog alles kwijt.

Tsja, Backup:

Voor exchange / fileserver heb ik 2 licenties voor backupAssist. (www.backupassist.com).

Werkt prettig, nette reports ook al is het 'maar' een schil om ntbackup heen.
Verder trek ik dagelijks een 6tal Mysql DB's naar de 1TB NAS, maar da's allemaal scripting spul.
De overige machines gaan gewoon dagelijks via NTbackup (zonder backupassist) richting de NAS.

Elke 4 weken gaan de schijven uit de NAS en gaan er 4 nieuwe schijven in. De gebruikte schijven gaan mee naar huis. Elke maand roteren zodat er altijd een redelijk recente backup buiten het pand aanwezig is.

Elke dag op werk de persoonlijke netwerkdrive synchroniseren met 1) harde schijf laptop en 2) externe harde schijf, via het programma Allway Sync. Externe POP3-mail wordt verzameld via POPBeamer op een Exchange server, die de werkmail daarnaast gewoon op de server. Twee laptops halen via POP3 alle emails dagelijks op, ik backup mijn Exchange server niet. Verder wordt er een tweede externe harde schijf gebruikt eens per twee weken, en eens per half jaar DVDs branden met data.

Verder een Norton Ghost image van de systeemdrive (C) van al mijn PCs, elke 6 maanden. Als er files kwijt zijn is het toch meestal user-error

Ik gebruik (dagelijks) een maxtor onetouch III 300GB usb schijf voor completesystembackup. Verder maak ik van mijn belangrijke bestanden (documenten en foto's) een online backup met Mozy (2GB+ gratis serverruimte!)

jochie79 wijzigde dit bericht 18-02-2008 11:41 (5%)

hier richten wij servers in dan met snapshot.exe trekken wij complete images ervan die bewaren we dan fijn. Verder al naar gelang wat klant heeft gebruiken wij online backup, arc server ,backup exec etc met dagelijks full backups. Sommige klanten hebben disk to disk en dan naar tape backups.

Wij backuppen met Backup Exec op de fileserver en enkele agents op member servers. De backup schrijven we weg naar LTO tape en naar een tweede server via DFS op een remote locatie. De tapes hebben dagelijks een fullbackup. Elke maandag en donderdag tape bewaren we een maand. De tape welke op de eerste van de maand gemaakt wordt blijft een jaar in storage liggen. Aan het einde van het jaar maken we een jaartape welke permanent offsite opgeslagen ligt.

Van de servers maken we images welke op dvd opgeslagen liggen. Binnenkort gebruiken we VMware converter om van alle servers een virtueel image te maken welke we op een remote locatie in een ESX server inladen. Hierdoor kunnen we bij een calamiteit snel met corebusiness applicaties en up to date data door draaien. Uiteraard zal dit periodiek getest gaan worden.

Gebruikers kunnen zelf geen files terug zetten. Hier moet ik nog naar kijken of we dit aanpassen. Restore acties worden net als UPS tests periodiek uitgevoerd. Gebruikers vragen er echter zelden om.

Onze backup procedure is zoals onderstaand:

Job 1: DLT; backup van enkele server, full backup. Backup Exec
Job 2: LTO2; backup van 6 servers, full backup, Backup Exec icm Remote plugins.
Job 3: LTO2 (append); backup van (ERP) db, welke wordt aangemaakt tijdens job 2.

Tapes worden dagelijks verwisseld. Schema wat we gebruiken is zoals onderstaand:

- ma, di, wo en vrijdag.
- donderdag wisselt; week 1, 2 + 3 en maand 1, 2 en 3.

Owja -- Restore test wordt wekelijks uitgevoerd (van verschillende tapes; naar eigen inzicht), cleaning tapes 2 wekelijks. Gebruikers die een restore willen doen dit op aanvraag.

Masch wijzigde dit bericht 18-02-2008 12:20 (17%)

Simpel systeem hier om backup te maken van 1 server met ongeveer 30GB belangrijke data:

Iedere dag een disk-to-disk backup met RoboCopy. Daar wordt elke week een tape backup van gemaakt met ntbackup naar een DAT72 tape. Deze tapes worden offsite bewaard. Ook worden er natuurlijk kwartaaltapes gemaakt.

Eerder deden we elke dag een tape backup, maar dan zijn die HP drives wel erg snel versleten... Gelukkig geven ze wel een goede garantie bij HP.

Backups testen doe ik ongeveer 1 keer in het half jaar, zou eigenlijk wel wat vaker mogen.

Ik heb en tijdje geleden een Buffalo Linkstation voor de backup van mijn fotos en documenten aangeschaft. Gebruik syncback om de belangrijkste directories te backuppen, die draai ik minimaal 1 keer per week.
Ik heb hem wel precies op het juiste moment aangeschaft, 2 weken nadat ik hem had aangeschaft begaf mn notebookschijf het. hij heeft zn geld dus in ieder geval wel opgebracht

Ik heb alleen te maken met prive backuppen en dat gaat zo:
mijn machine maakt zondag middag een backup naar een Nas
mijn vriendin doet dit op maandag avond.

De backup bestaad uit mail, documenten, foto's en websites die ik ooit gemaakt heb.
Geen incremental, gewoon de full monthy.

de nas staat op een andere locatie in huis, niet in de studeerkamer.

1x per kwartaal gaat er ook nog een 40gig schijf met documenten en foto's naar een locatie buitenhuis. (schoonouders > kluis) deze data staat in een truecrypt image zodat als het ooit verloren mocht gaan (lees gestolen) niemand iets met de data kan.

Dat lijkt me wel voldoende voor een thuis situatie

op kantoor wordt dat allemaal geregeld, met tape units en externe opslag van tapes e.d.

Ik maak wekelijkse backups van mijn (web)server door alle belangrijke gegevens naar een aparte patitie te kopieeren en dat vervolgens met rsync te versturen naar 2 andere servers op andere locaties.
Mijn backupscript zorgt ervoor dat in ieder geval /home volledig mee genomen wordt (waar ook de websites van klanten staan) verder maak ik per table in mysql een aparte volledige dump en ook neem ik de mysql bin log files mee in de backup.

Voor mail is het vrij makkelijk, aangezien dit allemaal in de database zit (ik draai een Zarafa server), maar aangezien ik mail erg belangrijk vind doe ik wel voer ik wel dagelijks een incremental zarafa-backup uit waarmee ik losse mailtjes eventueel weer terug kan zetten indien noodzakelijk. Deze dagelijkse incremental backup stuur ik vooralsnog niet door naar een andere server. Echter deze backup files gaan wel mee met de normale backup procedure.

Voor de rest hoeft er weinig gedaan te worden, hoewel alle config files ook meegenomen worden zodra deze zijn veranderd ten opzichte van de vorige keer (als er een wijziging is dan worden ze allemaal meegenomen)

quote:

-Jaap-io schreef op maandag 18 februari 2008 @ 12:29:
1x per kwartaal gaat er ook nog een 40gig schijf met documenten en foto's naar een locatie buitenhuis. (schoonouders > kluis) deze data staat in een truecrypt image zodat als het ooit verloren mocht gaan (lees gestolen) niemand iets met de data kan.

Maar de kans lijkt me groter dat je uncrypted pc met data wordt gestolen, dan een crypted schijf in een kluis?

Bij ons thuis lopen twee systemen door elkaar:

• Computers die 1x per dag een backup gooien naar een thuisserver
• Computers die sowieso alleen data op de server opslaan

's Nachts worden alle documenten incremental (als ik het nu goed onthouden heb ) naar een externe backupserver geupload in een datacenter. 1x per week gaat er ook nog een full-backup heen (maandag).

Grote zaken, zoals mijn foto-archief gaan als backup (als er weer wat nieuwe files zijn) op een externe schijf die daarna in de garage twee straten verderop wordt bewaard.

Als er een Boeing op ons huis neerstort verliezen we dus max 1 dag aan data (mits hij de garage mist ).

Dit overigens allemaal met SyncbackSE. Aan clones van windowsinstallaties doen we niet, omdat ik al twee jaar geen windows opnieuw heb moeten installeren, het tijd kost en opslagruimte.

quote:

Gizz schreef op maandag 18 februari 2008 @ 12:38:
[...]

Maar de kans lijkt me groter dat je uncrypted pc met data wordt gestolen, dan een crypted schijf in een kluis?

zit wat in, maar ik vind het voor de hand liggender dat er bij mijn schoonouders wordt ingebroken ipv bij ons
plus dat het risico dat iemand anders aan die schijf komt groter is omdat ik er zelf geen toezicht op kan houden.

Prive / Lokale files:
Homedirs worden via rsync elke shutdown gesynced naar mijn fileserver. Eens in de week kopieert mijn fileserver die backup nogmaals intern naar een andere hard disk. Alles staat ingesteld om in mijn homedir terecht te komen (WWW root, email, etc.)

Servers: (1 dedicated waarop ook in vmware een mailomgeving draait)
Mijn eigen email word ook dagelijks(nouja, veel vaker zelfs waarschijnlijk) via imap gesynced, waardoor het dus ook in mn lokale backup proces terecht komt.
www-root word wekelijks gekopieerd naar een backup server van een provider. Databases worden dagelijks gedumpt en eens in de week mee gekopieerd naar de backup server.
Databases die op de email server staan worden ook dagelijks gedumpt en gelijktijdig meegekopieerd naar de backup server.
Vmware disk images worden eens in de 2 weken gebackupped naar een public ftp (omdat ik daar toevallig veel ruimte heb en hij snel is.) Ik heb een script wat de image eerst door openssl gooit en het met een key encrypt met aes-256. Zonder de key zijn de files dus niet te herkennen als vmware images en heeft niemand er wat aan.

That's about it als ik niks over het hoofd zie

één sbs server met tapestreamer en een aantal applicatie/file servers.

met robocopy worden de wijzigingen van de andere servers naar de sbs server gezet, die dagelijks full backup op Ultrium tapes wordt gezet (ook weektapes en maandtapes die gecycled worden). Qua software gebruik ik de Data Protector Express software die erbij zat, uitgebreid met een sbs licentie voor exchange/sql. Ben niet zo kapot van de beperkte mogelijkheden en de brakke interface, maar goed genoeg voor wat we er mee willen.

Waarom full back-up? Het gaat me voornamelijk om disastery recovery. Server repareren/vervangen -> tape erin -> knopje inhouden bij opstarten en hoppa. Die one-button disaster recovery mogelijkheid kan ik helaas niet testen (wel na de inrichting gedaan), maar anders kan een normale restore ook. Hierboven las ik dat HP drives snel slijten.. Ik hoop het niet Maar goede ervaringen met de HP service en het service contract betreft ook de tapestreamer. Ook is het bij full back-ups minder problematisch als iemand vergeet de tape te wisselen.

Als andere servers mochten sneuvelen kan ik simpel de mappings veranderen naar de robocopy versie.

Sinds het gebruik van shadowcopies heb ik de tapes zelden nodig om bestanden terug te zetten. Het gaat voornamelijk om hbo'ers die goed met de standaard previous versions interface kunnen omgaan. Elke maand die ik wel een test restore, al zou ik dat wat meer random moeten doen (heb nog geen random afspraken in outlook gezien ). Vroeger ging het wel regelmatig via tapes en zul je net zien dat werknemers vragen om een versie die extern ligt: waste of time voor meerdere personen.

Wat ik nog zou willen doen? In de toekomst misschien zoveel mogelijk virtueel maken, zodat het helemaal niks meer uitmaakt op wat voor machine je het restored. Ik denk dat een backup trekken van een VM ook een stuk sneller gaat (back-up&verify)?

Privé:
Hier backup ik eigenlijk veel te weinig. Af en toe eens een kopie manueel van m'n pc naar een externe harde schijf. Ik heb niet zo enorm veel kritieke data. Dingen die ik niet kwijt wil zitten in m'n email. Dat is toch imap bij gmail.
Ik zou nog eens een keer een automatische backup moeten instellen, maar het komt er niet van, ben er al genoeg mee bezig op m'n werk.

Werk:
We backuppen iets van 25 servers bij ons op het werk. Gaande van fileservers tot applicatieservers. Van debian naar windows naar redhat,.....
Voor bijna al de servers gebruiken we Veritas NetBackup Puredisk. Vroeger (en nu nog voor een paar oude servers) gebruikten we DataProtect van DataCenter Technologies. Het nieuwe systeem werkt soortgelijk.
Dan is er nog 1 server die gebackuped wordt met Bacula.

We gebruiken bij ons enkel disk-based backup, geen tapes dus. We hebben 1 backupmachine in de serverrooms bij de andere servers, en een dubbel hiervan op een externe locatie.
De Puredisk werkt niet meer echt met full / incremental / differential; allez, je moet niet meer om de zoveel tijd een full maken met dit systeem.

Wat PureDisk doet is alle bestanden in stukjes van 128KB kappen waarvan hij dan een hash maakt. Voor het backuppen maakt hij een index van al de bestanden en gaat hij al die hashes vergelijken met degene die hij reeds gebackupped heeft in het verleden. Heb je bijvoorbeeld een bestand van 2MB vol met platte tekst, waarin 1 KB aan data gewijzigd is, dan gaat hij maar 1 blokjes van 128KB naar de backup server versturen in plaats van e volle 2MB. In een dataset van 1GB gewijzigde data (vnl office bestanden) wordt zo 350MB gebackuped in 1 van onze backup jobs die ik random kies nu. Dit vergelijken doet hij zelfs over verschillende servers. Heb je bijvoorbeeld 10 identieke windows servers draaien, dan gaan bijvoorbeeld dingen onder system32 (voorbeeldje) maar 1 keer moeten gebackuped worden omdat die in vele gevallen identiek zijn aan elkaar.
Zo is er nu op 2 weken (reïnstal geweest) tijd 540GB van de backup server in beslag. Onze fileserver alleen is iets van 700-800GB schat ik. Dan komen daar nog eens een hele hoop applicatieservers, sql servers,... bij.

Op ons systeem stel je dus niet in 1 maandelijkse, 1 wekelijkse en 1 dagelijkse backup, maar werk je met removal policies. De backup jobs blijven dus elke dag een incrementele/differentiele backup maken (weet niet wat hij juist doet op de achtergrond) maken. Daarnaast draaien er aparte policies die data gaan verwijderen uit de backup. Bij ons gaat dat afhankelijk van de server na 7dagen, 14 dagen en 56 dagen. Hij verwijdert dus niet hele backup jobs uit de backup, maar de versies van bestanden ouder dan de tijd ingesteld in de removal policy. Je kan ook instellen dat hij een bestand x aantal versies lang moet bijhouden. Dus dat er maar 10 wijzigingen moeten bijgehouden worden van een bestand, ongeacht de tijd.

Backups worden elke avond/nacht genomen, een beetje verspreid over de servers (al hoeft het niet echt met een volledig Gbit-netwerk). Door de dag loopt dan de replicatie van de backup server naar z'n dubbel op de andere locatie.

De Bacula werkt dan wel weer met het klassieke systeem van full, differential en incremental. Daar doe ik maandelijks een full, wekelijks eendifferential en dagelijks een incremental backup.

Testen van backups terugzetten gebeuren maar af entoe eigenlijk. we hebben hier (nog) niet echt een vaste policy/scheduling voor. De fileserver moeten we sowieso geregeld wat van terugzetten, al gebeurt dat meestal via Salvage (Novell fileserver). Dat zouden we eigenlijk eens een keertje moeten vastleggen op vaste momenten.

DinX wijzigde dit bericht 18-02-2008 14:16 (4%)

Voor mijn computer gebruik ik een 2de harde schrijf die ik incremental (dagelijks) + full (wekelijks) backup met SimpleBackup. Om de drie dagen backup mijn home directory naar mijn externe hardeschrijf (rsync). Heb eigenlijk nog nooit iets moeten restoren, maar je weet maar nooit

nvmd... server-related, not client

M2M wijzigde dit bericht 18-02-2008 16:27 (95%)

ik heb hier op het werk een servertje of 8 te backuppen, en totaal zo'n 350 GB aan data.

We hebben hier een sony AIT LIB81 tape library, passen 8 tape's in.

Elke vrijdag avond draait er een full-backup op 3 tape's (weekly backup).
Elke zondag draait er wederom een full-backup op 3 tape's (sunday backup)

's maandags gaan de 3 tape's van de weekly backup naar de bank.

Verder draait er maandag t/m donderdag een differential backup welke op 1 tape pas.

Weekly tape's hebben we van week 1/tm 5
Eind van het jaar een volledige jaar backup.

De VM's van VMWARE worden dmv esx ranger gebackupt op een externe HDD.

Software is Veritas BackupEXEC.

Eigenlijk wel tevreden over zoals het nu gaat.