Hoe grote disks backuppen ?

Pagina: 1
Acties:

  • PtrO
  • Registratie: November 2001
  • Laatst online: 00:22
Hoe zorgen jullie voor veiligstellen en terugzetten van jullie grote hoeveelheden data ?

Ik heb ik het hier over grote hoeveelheden van 260GByte en meer die verspreid is over meerdere systemen. Het tape- laat staan DVD/CD stadium heb ik al lang verlaten, te bewerkelijk.

Heb samengevat 2TByte verspreid over Win2K3 (Raid-1 met 500GB), mediastreamer (500GB) en diverse (ook portable) clients met elk tussen de 120GB en 250GB.
Alleen al het (volledig 500GB) backuppen van m'n Win2K3 neemt 28 uur, die van een enkele (250B) client al snel 12 uur. Effectief bereik dus "maar" iets van 5 à 6 Mbyte/sec aan doorvoer.

Om mijn hele park te backuppen op disk, ben ik dus maandelijks, dik 4 dagen bezig. Tussentijds doe ik oplopende incrementals. Deze backups terugzetten, is helemaal een complete nachtmerrie.

Zo je zult begrijpen begint het volume mij nu behoorlijk te drukken, niet alleen qua virusscannertijd (tweede zorgenkind) maar met name qua backuptijden. Verder zeul me een ongeluk aan die mooie "goedkope" USB disks. Netwerkbackup ooit wel eens geprobeerd maar met een doorvoer van ca 1 à 2 MB/sec was dat om te huilen. Systemen een dag uitschakelen en het nemen van (snelle) diskimages is niet werkbaar.

Ik weet dat ik veel "data" heb en dit te verminderen is niet aan de orde. Helaas heb ik nooit echt aan dataclassificatie gedaan dus selectief backuppen is met > 800.000 bestanden, ook niet goed te doen.

De meeste kritische data heb ik nu met RAID-1 beveiligd wat overigens geen bescherming biedt voor systeem- of gebruiksfouten. De mooiste (onbetaalbare) oplossing is natuurlijk een ge'sync'ed FC-SAN met dagelijkse snapshots op drie locaties. De goedkoopste oplossing is niet backuppen en je onbetaalbare verlies nemen.

Ik ben benieuwd naar (jullie) slimme tips of ervaringen.

Go with the flow blocking your way and use AD for achieving results


  • DukeBox
  • Registratie: April 2000
  • Nu online
Wat betreft je netwerkdoorvoer, wat voor backup applicatie gebruik je ? De beteren werken met een client/server systeem welke de data centraal halem met een beter transfer protocol dan het windows cifs. Ook gebruiken die vaak compressie om bij langzamere verbindingingen meer data te transferren.

Ook een gesynced FS-SAN + snapshots is geen echte backup. Een fout in de firmware of controller en al je data is corrupt (been there, done that).

Indien je data wil syncen met snapshots zou je naar iSCSI kunnen kijken, qua performance vrijwel gelijk, schaalbaarder en een stuk goedkoper.

Ik zou toch serieus weer eens naar tape kijken, en dan met name naar LTO4 o.i.d. Een kleine robot met 36tapes kost tegenwoordig niet meer dan 5000€ + 2500€ voor een LTO4 drive.

Bellangrijke volumes worden gerepliceerd via ons iSCSI SAN naar onze failover omgeving, dit is ieder uur een snapshot met gemiddeld 150GB aan blocklevel data. Dit is puur voor disaster recovery/failover mocht bijv. een vliegtuig de verkeerde afslag nemen.

Lokaal gaat het om ongeveer 12 TB data, wij maken alleen incrementals van onze data, domino en sql omgevingen. Gemiddeld gewijzigde data komt ongeveer op 750GB/dag uit wat binnen 1,5 uur op onze LTO4 tapedrives (3 stuks) staat. Hier houden we 14 dagen een kopie vast, dan 3 maanden per week en vervolgens per maand (mits gewijzigd).

Ook backuppen wij alle data voor al onze 25 europese locaties centraal, dat gaat om gemiddeld 5 tot 25gbyte per locatie (aan gewijzigde data + wat datrabases) per dat. TSM client comprimeerd dat tot gemiddeld 2a5gbyte die we dan lokaal halen.

Overigens hebben gebruikers zelf toegang tot de file en mail backups middels shadowcopy, ook de database beheerders, dit werkt zowel de san replica als de tabe backup.. welke op dat moment de snelste restore kan doen.

[ Voor 40% gewijzigd door DukeBox op 20-07-2008 11:14 ]


  • Pogostokje
  • Registratie: September 2001
  • Laatst online: 04-02 21:35

Pogostokje

* twiet *

Gaat het hier om een professionele omgeving? Of een thuis omgeving?

Bedrijven met xxTB aan data rennen al lang niet meer met tapes rond voor de grote bulken met data. De goedkoopste methode is het overzetten van de data naar een groot NAS via glasvezel netwerken. Liefst op een andere lokatie natuurlijk ivm de 747's die uit de lucht vallen. :)

edit: grappig dukebox, we roepen precies het tegenovergestelde. Nouja, zo zie je maar, ieder zijn ervaring en ideeen. :)

[ Voor 15% gewijzigd door Pogostokje op 20-07-2008 11:06 ]

... ook ik heb soms per ongeluk gelijk.


  • pistole
  • Registratie: Juli 2000
  • Laatst online: 16:34

pistole

Frutter

je vertelt niks over de gebruikte methode voor het maken van de backup (filecopy via SMB / NFS?) en je fysieke netwerk (100mbps/1Gbps?).

Als je nu 5 a 6 MB/s trekt vermoed ik een 100mbps netwerk? Kijk eens naar wat DukeBox zegt (client/server) of ga eens zoeken of je stuk "goedkope" software kan vinden dat op die manier (met een 'agent') werkt.

Waar je ook nog aan kan denken: Doe je full backups niet in 1x, maar splits het op in meerdere jobs die je over meerdere dagen kan inplannen. In plaats van 28 uur kan je dan (bv) 4x7 uur doen (dus 's nachts).

Ik frut, dus ik epibreer


  • Delerium
  • Registratie: Mei 2000
  • Niet online

Delerium

Mythology

Backupen moet passief gebeuren, dat kost je dan geen 28 uur wachten. Een beetje infastructuur aanleggen met grote HDD"s en snelle netwerken. Goede configuraties van Robocopy-achtige dingen enzovoort.

Het voornaamste speerpunt van TS is het samenbrengen van de data op 1 plek zodat het overzicht terugkomt en niet ieder dingetje apparaat bezocht moet worden voor z'n stukje data. Als alles op 1 plek centraal ligt hoeft er ook maar 1 plek gebackuped te worden. En via mirroring kan je toch die data op je specifieke werkplek zelf zetten.

  • ninjazx9r98
  • Registratie: Juli 2002
  • Laatst online: 17:52
Pogostokje schreef op zondag 20 juli 2008 @ 11:05:
Bedrijven met xxTB aan data rennen al lang niet meer met tapes rond voor de grote bulken met data. De goedkoopste methode is het overzetten van de data naar een groot NAS via glasvezel netwerken. Liefst op een andere lokatie natuurlijk ivm de 747's die uit de lucht vallen. :)
Dan moet er in de afgelopen drie weken toen ik vakantie had iets heel bijzonders gebeurd zijn in IT land als bedrijven met xxTB ineens niet meer rondrennen met tapes >:)
Rondrennen wordt inderdaad niet zo gek veel meer gedaan maar tapebackup is vandaag de dag nog steeds volop in gebruik en ook bij bedrijven met xxTB.
Kwestie van een fatsoenlijke taperobot, de juiste hoeveelheid drives en flink wat tapes.
Eventueel nog een virtuele library als extraatje.

PS
Bedoel je overigens niet een SAN in plaats van een NAS ?

  • DukeBox
  • Registratie: April 2000
  • Nu online
Ecteinascidin schreef op zondag 20 juli 2008 @ 11:16:
Goede configuraties van Robocopy-achtige dingen enzovoort.
Robocopy is nog steeds een van de traagste dingen.. geen file lookup cache en alles gaat via cifs.

  • PtrO
  • Registratie: November 2001
  • Laatst online: 00:22
@DukeBox, interessant en ik ken dat. Werk zelf in een bancaire omgeving waarbij we gebruik maken van o.a. EMC oplossingen. Allemaal erg kostbaar en voor thuis niet haalbaar. 2 à 3 mille uitgeven voor alle disks is waar ik maximaal aan denk.

@DukeBox: dat SAN firmware/issues je data kunnen vernietigen speelt idd bij SAN hobbybob oplossingen maar niet bij de professionals (werk met EMC en heb dat nog niet meegemaakt).

@Dukebox: 750Gbyte in 1.5 uur backup is 145 Mbyte/sec. Ik mag al heel blij zijn wanneer ik intern eentiende van die snelheit haal. Blocklevel (igv diskimage) haal ik iets van 20-25Mbyte/sec.

@pogostokje & @pistole, tis thuis waar ik nu (nog) een 100mbit heb liggen, ben bezig met upgrade (backbone) naar Gbit.

@Ecteinascidin: ik doe de backup nu idd passief waarbij (helaas) m'n consistency wat ver te zoeken is.

@Pistole: Ik backup nu dus gescheduled met vnl. NTBACKUP en inderdaad wat verdeeld over de dagen waarbij ik vooraf de omgewisselde USB disk(s) reeds heb aangesloten. Het is wel een heel geregel wat wel eens misgaat.

Voor een tape-LTO oplossing van 7500 euro, koop ik ca 50 1TByte USB disks dus tape is voor mij een gepasseerd station. Nu alleen nog opzoek naar een diskrobot >:)

Go with the flow blocking your way and use AD for achieving results


  • ninjazx9r98
  • Registratie: Juli 2002
  • Laatst online: 17:52
Ik mag toch hopen dat je niet daadwerkelijk meent wat je schrijft over het niet voorkomen van data corruptie ed alleen maar omdat je gebruik maakt van een professionele oplossing ???
Ook ik heb geen slechte ervaringen met EMC maar ken weldegelijk verhalen van sites waar men te maken kreeg met data corruptie nadat er snachts (zonder enige vorm van communicatie) een remote update had plaats gevonden door EMC.
Ook de combinatie Sun Solaris en EMC heeft in het verleden data corruptie opgeleverd als de Sun meer data aanleverde dan de EMC kon verwerken.

Heb overigens zelf enige tijd geleden meegemaakt met een HDS storage oplossing dat een defecte disk vele duizenden SCSI errors opleverde in de logfile van een server en dat de performance van die server volledig instorte.
Buiten het feit dat er voldoende spare disken aanwezig waren is het iets wat je absoluut niet verwacht van een dergelijke oplossing.

  • DukeBox
  • Registratie: April 2000
  • Nu online
PtrO schreef op zondag 20 juli 2008 @ 12:06:
@DukeBox: dat SAN firmware/issues je data kunnen vernietigen speelt idd bij SAN hobbybob oplossingen maar niet bij de professionals (werk met EMC en heb dat nog niet meegemaakt).
Het was toch echt een EMC Clariion II.. probleempje met volume resize/rebuild en dat werd keurig gerepliceerd zodat die ook currupt raakten incl. de snapshots.

Met 2à3 mille kun je ook 1 LTO4 drive kopen, daar pas 800GB uncompressed op kun je eventueel later nog een librairy omheenkopen indien nodig.
ninjazx9r98 schreef op zondag 20 juli 2008 @ 12:52:
Ik mag toch hopen dat je niet daadwerkelijk meent wat je schrijft over het niet voorkomen van data corruptie ed alleen maar omdat je gebruik maakt van een professionele oplossing ???
:Y

Heb zelf al met diverse storage oplossingen gewerkt, ik werkte voornamelijk in de disaster group als er flink wat mis ging.. en er is geen merk waar ik geen disasters mee heb meegemaakt (EMC Clariion, Hitatchi HDS, Equallogic PS).. dat is ook de reden dat ik mijn backup nog steeds op een niet aktief medium doe, namelijk TAPE. Hetzelfde als virtual tape oplossingen, erg mooi.. maar als je virtual tape op je storage staat en die stort in... been there, didn't do that..

[ Voor 53% gewijzigd door DukeBox op 20-07-2008 13:27 ]


  • Coach4All
  • Registratie: Januari 2003
  • Laatst online: 10:46

Coach4All

I'm a Coach 4 All

Zet je data op 2 of 3 van deze systemen en gebruik je USB / lokale schijven als backup?
PtrO schreef op zondag 20 juli 2008 @ 12:06:

Voor een tape-LTO oplossing van 7500 euro, koop ik ca 50 1TByte USB disks dus tape is voor mij een gepasseerd station. Nu alleen nog opzoek naar een diskrobot >:)
Ja.... en waarom denk je dat die "oplossing" zo goedkoop is? Je kunt er met geduld veel op kwijt, maar de kans dat je tijdig en met weinig moeite je data er ook weer af krijgt wordt met de (gebruiks-)dag kleiner......
:X (ook been there... done that....)

[ Voor 57% gewijzigd door Coach4All op 20-07-2008 13:40 ]

--- Systeembeheerdersdag --- Voedselintolerantie ---


  • PtrO
  • Registratie: November 2001
  • Laatst online: 00:22
Hi DukeBox, je bent goed op de hoogte 8) , al lid van een storage groep ??

FF reageren.
DukeBox schreef op zondag 20 juli 2008 @ 13:20:
[...]
Het was toch echt een EMC Clariion II.. probleempje met volume resize/rebuild en dat werd keurig gerepliceerd zodat die ook currupt raakten incl. de snapshots.
Wat dat resize/rebuild vanuit/door de Clariion of was de LUN op blocklevel door de client geresized ?
In het laatste geval, kan je de corruptie niet wijten aan de Clariion.
DukeBox schreef op zondag 20 juli 2008 @ 13:20:
[...]
Heb zelf al met diverse storage oplossingen gewerkt, ik werkte voornamelijk in de disaster group als er flink wat mis ging.. en er is geen merk waar ik geen disasters mee heb meegemaakt (EMC Clariion, Hitatchi HDS, Equallogic PS).. dat is ook de reden dat ik mijn backup nog steeds op een niet aktief medium doe, namelijk TAPE. Hetzelfde als virtual tape oplossingen, erg mooi.. maar als je virtual tape op je storage staat en die stort in... been there, didn't do that..
Eensch maar hier gaat het mij voornamelijk om een terughaaltijd van zeg niet langer dan een jaar geleden, diskjes blijven echt wel goed gedurende die tijd.

Een VTS zet je natuurlijk niet op een Raid-0 ;) maar liefst op een dure synchroon gemirrorde RAID-5 >:) .

Overigens met het bewaren van tapes heb ik zelf zeer pijnlijke ervaringen. Heb je een tape maar geen tapeunit of blijkt de tape gebroken of onleesbaar. Verder, wie controleert altijd of de tape wel goed is geschreven en (later) kan worden teruggelezen ?
Voor thuis, is USB-disk echt het handigste. Een LTO tape (laat staan unit) is ook niet echt goedkoop.

Go with the flow blocking your way and use AD for achieving results


  • PtrO
  • Registratie: November 2001
  • Laatst online: 00:22
ninjazx9r98 schreef op zondag 20 juli 2008 @ 12:52:
Ik mag toch hopen dat je niet daadwerkelijk meent wat je schrijft over het niet voorkomen van data corruptie ed alleen maar omdat je gebruik maakt van een professionele oplossing ???
Ook ik heb geen slechte ervaringen met EMC maar ken weldegelijk verhalen van sites waar men te maken kreeg met data corruptie nadat er snachts (zonder enige vorm van communicatie) een remote update had plaats gevonden door EMC.
Ook de combinatie Sun Solaris en EMC heeft in het verleden data corruptie opgeleverd als de Sun meer data aanleverde dan de EMC kon verwerken.

Heb overigens zelf enige tijd geleden meegemaakt met een HDS storage oplossing dat een defecte disk vele duizenden SCSI errors opleverde in de logfile van een server en dat de performance van die server volledig instorte.
Buiten het feit dat er voldoende spare disken aanwezig waren is het iets wat je absoluut niet verwacht van een dergelijke oplossing.
Ik snap je volledig ;) , een proffesionele oplossing dient gepaard te gaan met een proffesionele discipline. Dat wil o.a. zeggen dat je nooit zomaar moet toestaan dat EMC ongecontroleerd je flarecode gaat updaten. Ook het (niet) goed uitvoeren van performance monitoring, wijzigingen en replicaties hoort bij professioneel gedrag.
Mijn ervaring is dat de meeste fouten in een professionele omgeving ontstaan vanwege/door slordigheden van gebruikers of . . . . hun (san)beheerders.

Afijn, dit gaat wat weg van mijn probleem, Hoe ik thuis simpel en effectief enkele TB's kan backuppen zonder dat ik tienduizenden/miljoenen moet investeren.

Go with the flow blocking your way and use AD for achieving results


  • DukeBox
  • Registratie: April 2000
  • Nu online
PtrO schreef op zondag 20 juli 2008 @ 14:20:
Hi DukeBox, je bent goed op de hoogte 8) , al lid van een storage groep ??
Geen idee, heb me geloof ik wel es op linkedin aangemeld maar nog nooit iets mee gedaan.
Wat dat resize/rebuild vanuit/door de Clariion of was de LUN op blocklevel door de client geresized ?
Blocklevel, daar ging het fout, een controller had een resize gedaan, de andere kwam er pas een uur later achter dat er een resize was gedaan.
Het extenden van het client volume nog niet eens aan toegekomen.


B.t.w. ik wist niet dat het om een thuis oplossing ging, voor thuis heb ik mijn data a-synchroon gerepliceerd naar mijn ouders, verder maak ik een backup op een klein iscsi storage san met 4TB raid5 (iscsi is erg efficient qua protocol) dat ik uitzet als ik hem niet nodig heb.

Verwijderd

Wat dacht je van een fatsoenlijk NAS/NAS + tapebackup?

Ik doe op mijn werk rond de 1 GB per minuut naar de tape klatsen (ok, allemaal SCSI 320 10K schijven) maar dat is tussen de 2 en 3 duizend best voor elkaar te krijgen.

  • et36s
  • Registratie: Maart 2001
  • Laatst online: 08-02 17:03
Kan je niet je netwerk vervangen door GBiT en anders indelen door een een centrale opslagserver te gebruiken in RAID 5 voor opslag. Dan hoef je voor thuisgebruik toch geen overdreven backup voorziening te gebruiken?

  • PtrO
  • Registratie: November 2001
  • Laatst online: 00:22
et36s schreef op zondag 20 juli 2008 @ 14:54:
Kan je niet je netwerk vervangen door GBiT en anders indelen door een een centrale opslagserver te gebruiken in RAID 5 voor opslag. Dan hoef je voor thuisgebruik toch geen overdreven backup voorziening te gebruiken?
Reeds aan en in gedachte,
Ik heb al een goede functionerende RAID-1 (raid-5 is dan alleen maar moeilijker maar wel goedkoper).
Echter RAID biedt geen beveiliging tegen "stomme" gebuikersfouten en/of terughalen verloren/gewijzigde data.

Go with the flow blocking your way and use AD for achieving results


  • PtrO
  • Registratie: November 2001
  • Laatst online: 00:22
Verwijderd schreef op zondag 20 juli 2008 @ 14:40:
Wat dacht je van een fatsoenlijk NAS/NAS + tapebackup?

Ik doe op mijn werk rond de 1 GB per minuut naar de tape klatsen (ok, allemaal SCSI 320 10K schijven) maar dat is tussen de 2 en 3 duizend best voor elkaar te krijgen.
Da 's een mooie snelheid en zou ik dus voor zo'n 2 TByte, dus 34 uur bezig zijn met backuppen!
Niet echt werkbaar (voor thuis).
Yes, I know veel data (rotzooi zo je wilt) = veel consequenties :X .

Go with the flow blocking your way and use AD for achieving results


  • McKaamos
  • Registratie: Maart 2002
  • Niet online

McKaamos

Master of the Edit-button

Gaat het om thuis of bedrijf?
If thuis: Bouw een servertje met 1 (of enkele) Gbit PCIe netwerkkaarten (Intel heeft mooie voor een paar tientjes, de Pro/1000 PT).
Hang dat aan een switch (desnoods trunked) en voorzie je clients van Gbit ethernet.
Een backupje trekken moet dan al een stuk sneller gaan.
In de server plemp je een stevige RAID5 (of 6) controller met een goede hoeveelheid poorten, 8 ofzo, en hangt hem helemaal vol met 750 of 1000GB disks.
Daar laat je je backups dan heen sturen. Als je dan nog iets wil doen met tapes kan dat vanaf die server zodat de rest van je machines er geen last van heeft. Een klein tape-robotje mag ook niet zo extreem veel kosten afaik, dus dan kan je terwijl je @ work bent de backup laten draaien.

Backuppen laat je dan scripted vanaf de server uitvoeren en laat dan opvolgend tapes automagisch vol schrijven. incrementals kan je ook gewoon kwijt naast je initiele data.
Een paar backup reeksen naast elkaar bewaren op zo'n server is dan ook geen probleem meer (8TB storage lijkt me meer dan zat ;) )

edit:
Een tip voor een goeie grote kast is de Procase CRS8000 en dan een paar hotswap backplanes er in. Heb ik hier ook, heerlijke opstelling.

[ Voor 23% gewijzigd door McKaamos op 20-07-2008 18:55 ]

Iemand een Tina2 in de aanbieding?


Verwijderd

Ik heb een simpelere configuratie:

Ik gebruik nu RAID0 op primaire fileserver op een zestal 1TB WD GreenPower disks, leuke snelheid en incl. journaling. 's nachts wordt de backup bijgewerkt (dus alleen wat anders/nieuw is) naar een backup NAS (eigenlijk twee, maar doet nu niet ter zake). Kies voor energiezuinige componenten en bouw twee leuke NAS-systemen en investeer in een goed netwerk. Zorg dat je Cat5e/6/6a bekabeling gebruikt en een switch die jumbo frames ondersteunt, 9k MTU ofzo.

Aangezien je over nieuwe disks beschikt vind ik het risico van RAID0 niet zo groot, zeker wetende dat er altijd een nightly backup te vinden is. De backup servers draaien nu ook RAID5 zodat schijfuitval alleen mijn data niet in gevaar zou kunnen brengen. De backup delete standaard geen bestanden bij het syncen, dat doe ik zelf af en toe (maandelijks) als ik weet dat mijn bron nog goed is. Anders krijg je een vervelend scenario dat bij de bron de data weg is en je automatische backup dus ook alle bestanden weggooit. :+

[ Voor 11% gewijzigd door Verwijderd op 20-07-2008 19:11 ]


  • PtrO
  • Registratie: November 2001
  • Laatst online: 00:22
McKaamos schreef op zondag 20 juli 2008 @ 18:52:
Gaat het om thuis of bedrijf?
If thuis: Bouw een servertje met 1 (of enkele) Gbit PCIe netwerkkaarten (Intel heeft mooie voor een paar tientjes, de Pro/1000 PT).
Hang dat aan een switch (desnoods trunked) en voorzie je clients van Gbit ethernet.
Een backupje trekken moet dan al een stuk sneller gaan.
In de server plemp je een stevige RAID5 (of 6) controller met een goede hoeveelheid poorten, 8 ofzo, en hangt hem helemaal vol met 750 of 1000GB disks.
Daar laat je je backups dan heen sturen. Als je dan nog iets wil doen met tapes kan dat vanaf die server zodat de rest van je machines er geen last van heeft. Een klein tape-robotje mag ook niet zo extreem veel kosten afaik, dus dan kan je terwijl je @ work bent de backup laten draaien.

Backuppen laat je dan scripted vanaf de server uitvoeren en laat dan opvolgend tapes automagisch vol schrijven. incrementals kan je ook gewoon kwijt naast je initiele data.
Een paar backup reeksen naast elkaar bewaren op zo'n server is dan ook geen probleem meer (8TB storage lijkt me meer dan zat ;) )
Yep, komt meer in de buurt wat akelig door mijn hoofd spookt.

Had/was dat ooit (nu zo'n 4 jaar geleden) in gedachten met die Win2K3 server waarbij ik die in Raid-1 "volhing" met cold-swappable 250Gbyte disks. Dat verwisselen was uiteindelijk geen succes omdat het onboard offline raid-1 sync'n bijna 23 uur per disk nam.

Nu komt ik weer op een onvermijdellijk punt van nieuwe infrastructuur en lastige migraties wat ik juist (nog) wat wilde uitstellen. Ja ik weet het, vooruitgang . . . .

Afijn, ik denk dat m'n data eerst maar ga classificeren. Films, Download & Muziek zijn vrij statisch, de rest is mogelijk goed op te vangen met een jaarlijkse full-disk en incrementals die ik dan offload naar (remote over ethernet) USB disks.

Hoe dan ook, het is een interessant gegeven, hoe grote disks backuppen. Ga denk ik 4ever wachten op een betaalbaar replicated Fibre-SAN voor thuis met snapshots.

Go with the flow blocking your way and use AD for achieving results


  • DukeBox
  • Registratie: April 2000
  • Nu online
PtrO schreef op zondag 20 juli 2008 @ 19:20:
Hoe dan ook, het is een interessant gegeven, hoe grote disks backuppen. Ga denk ik 4ever wachten op een betaalbaar replicated Fibre-SAN voor thuis met snapshots.
Ik zou dan toch echt eens kijken naar een goedkoop iscsi san, zoiets als een http://www.thecus.com/products_spec.php?cid=11&pid=32. Prijs rond 800€, daar 5 1TB schijven à 120€ en je hebt voor 1400€ een SAN met hoge performance (trunked gbit), een 16 poort gbit switch met trunk/vlan/jumboframes mogelijkheden heb je al voor 130€.
Ik haal er zo'n 120Mbyte/s mee waarmee ik een in de week alle data kopieer.
Tussentijdse backups doe ik met vss en databases gaan wel elke dag keurig naar tape (kleine DLT160 library, 8 slots i.c.m. met TSM (studend licence) als backup applicatie)

Verwijderd

PtrO schreef op zondag 20 juli 2008 @ 18:32:
[...]

Reeds aan en in gedachte,
Ik heb al een goede functionerende RAID-1 (raid-5 is dan alleen maar moeilijker maar wel goedkoper).
Echter RAID biedt geen beveiliging tegen "stomme" gebuikersfouten en/of terughalen verloren/gewijzigde data.
Van hoelang wil je gegevens terug kunnen halen? Anders zou je naar shadow copy of salvage (Novell O+) moeten kijken. Dat beveiligt tegen de fouten. Een NAS/SAN met 4 TB SATA II kost rond de 1800 euro en dan kan je dat voorkomen.

Voor de rest zou ik dan alles remote nog wegschrijven met rsync oid. 1 keer een bulk en dan incremental.

Overigens is 34 uur backup niet heel veel, athans, ik vind het niet zo veel hoor :)

  • DukeBox
  • Registratie: April 2000
  • Nu online
Verwijderd schreef op maandag 21 juli 2008 @ 00:35:
Van hoelang wil je gegevens terug kunnen halen? Anders zou je naar shadow copy of salvage (Novell O+) moeten kijken. Dat beveiligt tegen de fouten.
Ik ben niet bekend met salvage, maar shadow copy kan afhankelijk van je SAN op blocklevel werken, in dat geval helpt het niet bij fouten. Ook worden de shadow copies standaard op hetzelfde volume geplaatst waardoor bij een corrupt volume je ook je 'backups' kwijt bent.
Shadow copy is wel een handige tool, vooral om systeembeheer te ontlasten en eindgebruikers het zelf te laten doen (alhouwel ze er ook dingen mee kunnen verklooten). Ik zou het nooit als 'backup' gebruiken, je kan het ook niet als backup zien aangezien het alleen voor oudere versies is.

  • Arnout
  • Registratie: December 2000
  • Laatst online: 05-02 22:41
4 dagen bezig per maand met de backup? :?

Ik zeg rsnapshot. Één keer goed configureren, geen omkijken meer naar. En alleen de wijzigingen, ik kan me niet voorstellen dat alle data elke maand geraakt wordt, maar slechts een klein gedeelte.

Ben je ook gelijk van dat gezeik met Full en Incremental backups af.

Zo synchroniseer ik tussen 2 bedrijven de data, off-site. Elke 2 uur een synchronisatie, kost op werkdagen doorgaans maar een kwartier (per 2 uur).

  • PtrO
  • Registratie: November 2001
  • Laatst online: 00:22
Arnout schreef op maandag 21 juli 2008 @ 10:12:
4 dagen bezig per maand met de backup? :?

Ik zeg rsnapshot. Één keer goed configureren, geen omkijken meer naar. En alleen de wijzigingen, ik kan me niet voorstellen dat alle data elke maand geraakt wordt, maar slechts een klein gedeelte.

Ben je ook gelijk van dat gezeik met Full en Incremental backups af.

Zo synchroniseer ik tussen 2 bedrijven de data, off-site. Elke 2 uur een synchronisatie, kost op werkdagen doorgaans maar een kwartier (per 2 uur).
Interessant, ik zie dat het bestemd is voor Linux (varianten).
Is er ook zoiets voor Windows omgevingen ?

rsnapsot draait volgens de site op/in/met Perl maar in betwijfel of je dat dus ook 'zomaaar' in Win32 kan draaien

Ben nog wel getipt over Acronis TrueImage wat volgens een maat in elk geval (online) images weet aan te maken.
Images maken kan (ook) met PQ-diskimage of Ghost maar die moet je dan standalone booten, niet fijn noch gewenst dus.

Over die backup, wordt het hier leuker en leuker :( , ben nu met ntbackup al 46 uur bezig voor iets van 450GByte, nog 1u43 te gaan. Ok m'n W2K3 servertje is een AMD Duron 1.3 maar zo lang heeft het nog nooit geduurd. Komt waarschijnlijk door Volume-Shadow copy, het ding draait nu continue op 100%. Kortom, de nood begint te stijgen voor backup innovatie.

Wel grappig eik, de continue cirkel van tekorten. Heb je je performance opgelost, dan is er wel weer een tekort aan netwerkt of disk. Is diskcapaciteit opgelost, is er weer een te kort aan snelheid van CPU of netwerk. Enfin, de cirkel van de vooruitgang >:)

Go with the flow blocking your way and use AD for achieving results


  • Arnout
  • Registratie: December 2000
  • Laatst online: 05-02 22:41
Ik heb daarvoor een Linux server gebruikt aan beide zijden, en deze mounten (maken verbinding met) Windows shares waar alle data op staat. Ik zou het zelf niet onder Windows proberen te draaien, dan is misschien robocopy een betere oplossing.

[ Voor 27% gewijzigd door Arnout op 21-07-2008 21:59 ]


Verwijderd

rSync heb je ook voor Windows. Gebruik ik zelf om diverse servers te backuppen naar mijn server in Amsterdam.

  • DDX
  • Registratie: April 2001
  • Laatst online: 08-02 22:40

DDX

Kijk eens naar http://www.drivesnapshot.de/en/index.htm
Gebruik ik (zakelijk en prive) om backups te maken van windows servers.
(na de initiele snapshot kan je differential images maken)

Ik heb gekeken naar software van Acronis en Symantec maar als je dan prijs vergelijkt van die 'proffesionele' pakketen van 500 euro (of meer) vs drivesnapshot van 100 euro (en leuke korting bij meerdere licenties)
Drivesnapshot is niets meer dan .exe file die je op commandline kan aanroepen (via winpe bootcd in geval van restore (of zelfs dos bootdisk)) en geen 'ingewikkelde' client installaties.
Ik zie daarom ook niet waarom ik bijvoorbeeld Acronis trueimage zou willen hebben.

(hiernaast gebruik ik zakelijk arcserve om dagelijkse data backups te maken)

[ Voor 5% gewijzigd door DDX op 25-07-2008 02:46 ]

https://www.strava.com/athletes/2323035


  • pistole
  • Registratie: Juli 2000
  • Laatst online: 16:34

pistole

Frutter

Arnout schreef op maandag 21 juli 2008 @ 10:12:
4 dagen bezig per maand met de backup? :?

Ik zeg rsnapshot. Één keer goed configureren, geen omkijken meer naar. En alleen de wijzigingen, ik kan me niet voorstellen dat alle data elke maand geraakt wordt, maar slechts een klein gedeelte.

Ben je ook gelijk van dat gezeik met Full en Incremental backups af.

Zo synchroniseer ik tussen 2 bedrijven de data, off-site. Elke 2 uur een synchronisatie, kost op werkdagen doorgaans maar een kwartier (per 2 uur).
Hoewel dit interessant klinkt vraag ik me af hoe je het dan doet als men de inhoud van een bestand verandert en na 3 weken het originele bestand opvraagt?

Ik frut, dus ik epibreer


  • Q
  • Registratie: November 1999
  • Laatst online: 15:02

Q

Au Contraire Mon Capitan!

Inmiddels al een oplossing gevonden?

Als je het geld kunt missen zie ik zelf maar 1 redelijk veilige oplossing.

Je hebt eigenlijk twee problemen.

1. 2 TB aan data dat veilig gesteld moet wordne
2. De data is verspreid over verschillende systemen.

Los eerst probleem 2 op. Gooi een NAS neer met gigabit. Stop er 4 of 5 TB disks in en doe die in raid 5, dan heb je 1 centrale plek voor al je data, met de capaciteit om 1 disk uitval te overleven.

Vervolgens zou je moeten denken aan een tweede losse nas voor de backup, identiek aan het eerste systeem, maar met hooguit meer disks. De macines laat je onderling 1x per dag syncen, voleldig geautomatiseerd natuurlijk, anders gebeurt het niet.

Kom je wel op 2K aan investeringskosten. Ik zelf accepteer het risico van gebruikersfouten en probeer alleen diskuitval te ondervangen door RAID 6 te draaien.

  • 0rbit
  • Registratie: Maart 2000
  • Laatst online: 18-03-2021
Ik zit zelf met ongeveer 1,5T aan rommel, maar bij mij verandert er hooguit een paar GB per dag (als ik weer eens met de camera op pad was bijvoorbeeld). Ik trek mijn backups dus als een volleerd n00b met Microsoft Synchtoy (een gratis powertoy voor Windows) vanaf mijn werkbak en laptop naar mijn RAID-1 NAS. Voorts heb ik voor de echt kritische zaken een handmatige backup die ik zo eens per week met de hand doe en die ik op mijn werk opberg.

Ik ben geheel voldaan, dank u wel!


  • Arnout
  • Registratie: December 2000
  • Laatst online: 05-02 22:41
pistole schreef op vrijdag 25 juli 2008 @ 22:15:
[...]

Hoewel dit interessant klinkt vraag ik me af hoe je het dan doet als men de inhoud van een bestand verandert en na 3 weken het originele bestand opvraagt?
Dan nemen ze contact met mij op en dan geef ik verschillende versies terug (tot wel 20 versies per bestand!). Ik heb hier nog geen interface voor bedacht, maar je zou bijv. de gebruikers read-only access naar de rsnapshot directory kunnen geven.

Maar dat gebeurt zo weinig dat ik daar verder niet mee bezig ga.

Backup is prio 1, het netjes terughalen is prio 99 ;)

Trouwens, voor alle mensen die geen off-site backup doen: al eens gedacht aan blikseminslag? Daar zit je dan met de NAS van € 2K, waardeloos bij een nabije blikseminslag (inductieschade of indirect via stroomnet).

  • Q
  • Registratie: November 1999
  • Laatst online: 15:02

Q

Au Contraire Mon Capitan!

Arnout schreef op zaterdag 26 juli 2008 @ 11:01:
[...]


Backup is prio 1, het netjes terughalen is prio 99 ;)
Ik snap je punt, maar de regel is: je hebt geen backup totdat je de restore hebt getest. ;)
Trouwens, voor alle mensen die geen off-site backup doen: al eens gedacht aan blikseminslag? Daar zit je dan met de NAS van € 2K, waardeloos bij een nabije blikseminslag (inductieschade of indirect via stroomnet).
Dat is niet zo'n groot risico, want zo'n bak hangt "uiteraard" aan een UPS met ingebouwde overspanningsbeveiliging. :)

  • _Dune_
  • Registratie: September 2003
  • Laatst online: 08-02 23:19

_Dune_

Moderator Harde Waren

RAID is geen BACKUP

Q schreef op zaterdag 26 juli 2008 @ 17:59:
[...]
Dat is niet zo'n groot risico, want zo'n bak hangt "uiteraard" aan een UPS met ingebouwde overspanningsbeveiliging. :)
En jij denkt werkelijk dat jouw overspanningsbeveiliging een blikseminslag overleeft? Bij een directe blikseminslag in de woning zal ook een overspanningsbeveiliging het loodje leggen met alles wat er achter zit.

Sinds 1999@Tweakers | Bij IT-ers gaat alles automatisch, maar niets vanzelf. | https://www.go-euc.com/


  • Arnout
  • Registratie: December 2000
  • Laatst online: 05-02 22:41
_Dune_ schreef op maandag 28 juli 2008 @ 10:02:
[...]


En jij denkt werkelijk dat jouw overspanningsbeveiliging een blikseminslag overleeft? Bij een directe blikseminslag in de woning zal ook een overspanningsbeveiliging het loodje leggen met alles wat er achter zit.
En als de bliksem dicht bij inslaat (50 meter of minder) dan heb je ook last van inductieschade, en daar zijn computers bijzonder gevoelig voor (en wanneer de bliksem via een bliksemafleider gaat is de inductie ook nog eens versterkt). Dat bedoel ik met inductieschade. En deze schade is doorgaans niet gedekt door je inboedelverzekering.

Zie ook: Arnout in "Blikseminslag fataal voor mb ?"

  • Q
  • Registratie: November 1999
  • Laatst online: 15:02

Q

Au Contraire Mon Capitan!

Dat een rechtstreekse inslag niet overleefd zal worden mag duidelijk zijn. Daar is het niet voor en die kans is enorm klein.

De "hoop" is dat als een stuk verder op de bliksem in slaat dat je daar enigszins tegen beschermd bent. Met een straal van zeg een paar honderd meter (of misschien wel verder) om je huis is dat risico toch wat groter.

Maar ik ben al aan het zoeken via google of mijn eigen ups iets over indirecte blikseminslag claimed (APC).

Of inductie / indirecte schade gedekt is hangt maar net af van je verzekering, wel handig om even te controleren.
Pagina: 1