Centrale back-upoplossing 16-tal servers (+/- 3TB data)

[Verwijderd]

Beste tweakers,

voor mijn stage heb ik als opdracht het opstellen van een centrale back-upoplossing voor een 16-tal servers.
Deze servers zijn ingericht met Windows 2003 Server Enterprise met daaronder een 4 tot 6 tal virtuele machines draaiende onder Microsoft Virtual Server 2005 SP1. De VHD's van deze servers staan lokaal op de host en worden iedere avond down gebracht waarna de host wordt herstart en vervolgens een back-up gemaakt wordt naar tape.
Het is de bedoeling dat al deze losse tape media vervangen wordt door een centrale back-upoplossing.

Hieronder een korte samenvatting van de situatie:
- 16 servers
- elk met gemiddeld 137,5GB aan VHD's welke geback-upped dienen te worden
- komt neer op 3TB aan data waarvan een back-up gemaakt dient te worden
- beschikking over gigabit ethernet
- liefst geen hoge investeringen in FiberChannel of InfiniBand
- een back-upwindow van 6 uur

Mijn eerste gedachte was een SAN omgeving op te zetten waar de back-up naar wordt weggeschreven op een tapelibrary rechtstreeks gekoppeld aan de SAN (tape kan vervolgens naar de uitwijklocatie).
Echter nu is het probleem dat de doorvoersnelheid van gigabit ethernet te laag is om de data van 3TB van 16 servers in 6 uur naar een SAN weg te zetten.

Een alternatief hiervoor zou zijn om de VHD's van alle 16 servers direct op de SAN te plaatsen. Aparte LUN's te maken voor verschillende klanten en deze aan een interface toe te wijzen. Alleen door de afwezigheid van een SAN op het moment van schrijven kan ik niet testen en dus niet goed inschatten of de performance voor de klanten dan goed zou blijven. Zeker omdat de servers van klanten hier staan en de klant dus ergens in het land zit, dus de data ook nog eens over ADSL (gem. 4mbit) gestouwd moet worden.
Tweede probleem waar ik tegenaan loop is dat, als de SAN uitvalt om welke reden dan ook, alle klanten in een keer geen toegang meer hebben tot hun servers en dus hun data. Met een tweede SAN zou dit probleem in te perken zijn als deze synchroon draait aan zijn origineel. Maar ik ben niet zo goed geïnformeerd over deze apparatuur om te weten of dit een safe optie is. Overigens zou er wel nog gewoon een back-up naar tape worden gemaakt gedurende de nachtelijke uurtjes, maar recoveren van zo'n hoeveelheid data zou een half dagdeel in beslag nemen.

Heeft iemand van jullie een frisse kijk op een soortgelijke situatie en kan hij/zij me op weg helpen met ideëen?
Of misschien heb je wel ervaring met SAN synchronisatie en kun je me dit als stabiele oplossing aanbevelen.
Als laatste wil ik erbij vermelden dat het een betaalbare, schaalbare oplossing te zijn.
Ik hoor het graag, alvast bedankt voor je bijdrage.

Roel Vliegen

[didi79]

Een backup window van 6u mét downtime ... wat een luxe !

How to back up virtual machines in Virtual Server 2005 Method 3 spreekt over online backup (zal wel gelijkaardig zijn aan VMware Consolidated backup). Degelijke backup software zou hiervoor agents moeten hebben.
Voor snellere backups is een SAN met degelijke tape library echt wel aan te raden.

[netranger1989]

Ik zou gewoon voor glusterfs gaan en deze laten kopieeren met winfuse. Dit is mischien ook de snelste oplossing en volledig redudant


Succes

[axis]

Echter nu is het probleem dat de doorvoersnelheid van gigabit ethernet te laag is om de data van 3TB van 16 servers in 6 uur naar een SAN weg te zetten.

Naja, onderschat de performance van gigabit niet, zeker niet getrunked Met 4xGbit trunked zou je theoretisch 10.5TB moeten kunnen overpompen in 6 uur. Dan moet je nog wel een storage systeem hebben dat dat aan kan, maar goed..

Ik snap trouwens geen drol over je verhaal met die SAN's en hoe zich dat verhoud tot de klanten, en welke data er nu precies over 4mbit lijnen gaat.. Welke servers staan nu waar, en waar zou je willen backuppen? Staan alle servers nu centraal of niet?

Over de betrouwbaarheid van SAN units: een echte SAN storage unit zoals een Equallogic gaat nagenoeg niet stuk. Ze garanderen 99,999% uptime, en da's genoeg voor de meeste bedrijven, tenzij je misschien echt een bank of een andere financiele instelling bent. Die Equallogics zijn bijvoorbeeld bijna helemaal redundant met dubbele voedingen, dubbele controllers, etc.. Als je er met een shotgun de helft af schiet blijft ie nog draaien (zeggen ze bij EQL natuurlijk). Maar je zult er wel voor in de buidel moeten tasten (35-40k voor een 16x1TB modelletje). Ultiem schaalbaar, dat dan weer wel. Je zet er eentje naast, je klikt op een paar knopjes, en tadaa, je ene virtuele storage unit is opeens 2x zo groot en 2x zo snel. Letterlijk, laatst ook gedaan.

Als je zo'n dure SAN hebt die zoveel IOPS kan verstouwen ben je natuurlijk gek als je niet ook daarop je VM's laat draaien. Het leuke van EQL is dat je alle licenties er al bij krijgt, zoals snapshots e.d., en volgens mij kan dat ook integreren met backupsoftware zoals BackupExec en NetBackup.

Als je alles op je SAN hebt staan, kun je er een tape library aan hangen, en een backupserver om de backups te coordineren. Geen idee hoe dat werkt echter, en volgens mij is alle bekende software ook erg duur.

Als het budget echter beperkt is, zou ik bijvoorbeeld een Dell PowerEdge 2900 nemen (kunnen 10 SATA/SAS disks in) en een extern disk cabinet zoals een MD1000 met nog eens 14 disks. Hoe meer disks, how meer throughput. Twee dikke xeons en 4-6 nics getrunked, en dan ben je alles bij elkaar denk ik 10-15k kwijt voor de hardware. Of je neemt voor een paarhonderd euro een 10GB nic, en je neemt een switch met een 10GB uplink module.


Wat ook interessant kan zijn, is niet host-based backuppen, maar vanuit de guest. Ik heb wat projecten waar bij ik iedere Win2003 guest met Acronis TrueImage een full backup laat maken naar een SMB/FTP share op een unix nas, en dat werkt als een trein, zonder de guest down te hoeven brengen. (Windows Server 2008 heeft trouwens een ingebouwde block-level backup agent, full block-level backups zonder downtime!) Alleen als je nog vast zit aan <W2008 betaal je je blauw aan Acronis als je dat voor iedere guest wil. Upgrade naar Windows Server 2008 is ook nog een optie Voordeel is dat de klant dan ook nog zelf kan restoren.

[CyBeR]

Verwijderd schreef op woensdag 26 augustus 2009 @ 10:49:

Echter nu is het probleem dat de doorvoersnelheid van gigabit ethernet te laag is om de data van 3TB van 16 servers in 6 uur naar een SAN weg te zetten.

Ben je gebonden aan gigE? Want voor dit probleem is 10gigE uitgevonden. Afhankelijk van wat je uitspookt kan link aggregation van meerdere 1gig links ook helpen, maar ik denk dat dat in dit geval niet helpt.

[Guru Evi]

Waarom wil je niet investeren in FibreChannel - het is niet zodanig duur en biedt een hoop voordelen vergeleken met Ethernet.

In ieder geval - als je wilt over Gigabit werken dan zou dit zeker moeten kunnen, ik back-up al mijn servers in 24u (10TB aan miljarden kleine bestandjes van gemiddeld 4kb) over een 2 Gigabit trunk en de gemiddelde bandbreedte is ongeveer 12MB/s.

De initiele backup gaat wat langer duren (voor mij was het 3 dagen vanwege het grote aantal bestanden) maar als je gewoon differentiele backups (rdiff-backup voor een gratis/open source oplossing) maakt dan gaat het enorm snel. Zeker als je 'slechts' 3TB hebt over 16 servers zou dit in enkele uurtjes opgelost zijn.

[Zwelgje]

waarom kijk je niet eens naar software welke op 'bitlevel' een backup maakt ipv op filelevel Microsoft Data Protection Manager bv kan dit

1x een full backup maken (dit kost even tijd) en vervolgens worden alleen de veranderde bitjes (en dat zijn er niet zo veel!) gebackupped.

http://www.microsoft.com/...anager/en/us/default.aspx

en het sluit ook nog eens goed aan op je bestaande Virtual Server 2005 omgeving

http://www.microsoft.com/...virtual-environments.aspx

[PolarBear]

Niet alleen naar backupwindow kijken maar ook naar je recovery window! Differentiële of incrimentele backups zijn leuk maar let op dat je restore tijden niet omhoog vliegen! En een backup is niets zonder een geteste restore!