Hoe realiseer je een I/O bandbreedte van meerdere gbps?

[chronoz]

Ik wil binnenkort een back-up storage oplossing creëren voor een grote hoeveelheid VPS-machines. Hiervoor is niet alleen een hoge netwerk bandbreedte nodig, maar ook een grote schrijfsnelheid voor de harde schijven.

Het zou voor mij dus ook erg handig zijn om ergens benchmarks te kunnen zien van snelheden die te halen zijn met bepaalde combinaties van harde schijven, raid-controllers en raid-levels.

In de RAID FAQ van GOT staat natuurlijk veel interessante informatie en die heb ik ook zeker doorgenomen, maar uiteindelijk zeggen 5 sterretjes bij sequentiële schrijfsnelheid natuurlijk erg weinig. Er moet namelijk elke nacht ongeveer 4TB aan data worden overgepompt, wat bij 125mB per seconde uitkomt op 8 uur en 52 minuten en bij 500mB per seconde op 2 uur en 13 minuten.

Indien jullie interessante links hebben, waarmee ik op weg geholpen kan worden voor het creëren van een goede storage oplossing, dan zou ik daar zeker open voor staan. Schaalbaarheid en een goede prijs-kwaliteit verhouding zijn erg belangrijk. Ik vraag me alleen af hoe schaalbaar back-up oplossingen als deze kunnen zijn.

[ Voor 1% gewijzigd door chronoz op 21-03-2010 21:44 . Reden: Het is blijkbaar al laat. 4GB gecorrigeerd naar 4TB en rekensom ook gecorrigeerd. ]

[Verwijderd]

chronoz schreef op zondag 21 maart 2010 @ 21:36:
Er moet namelijk elke nacht ongeveer 4GB aan data worden overgepompt, wat bij 125mB per seconde uitkomt op 8,889 uur en bij 500mB per seconde op 2 uur en 20 minuten.

Dit sommetje klopt niet lijkt me, kijk hier nog eens naar

[Fish]

overbodig i.v.m. correctie

[ Voor 129% gewijzigd door Fish op 21-03-2010 21:58 ]

[Verwijderd]

Hij zal wel 4 TB bedoelen...

[Convo]

Er zijn tegenwoordig geen normale schijven meer verkrijgbaar die geen 4GB per nacht kunnen schrijven. Mischien kun je even duidelijk maken of je het nu over bits of over bytes hebt. Daarnaast moet je even zorgen dat je nummertjes kloppen, want zo kunnen we natuurlijk geen advies geven.

TS aangepast... vergeet dit.

[ Voor 6% gewijzigd door Convo op 21-03-2010 21:49 ]

[chronoz]

Het spijt me mensen, het is al laat en door mijn onzorgvuldigheid is het topic dus nu al vervuild begonnen.

[Verwijderd]

Om het probleem te kunnen begrijpen en een gefundeerde reactie te kunnen geven gaat het om informatie en het beschikbare budget. Voor de benodigde opslagruimte kan het bijvoorbeeld van belang zijn of de overgedragen informatie bewaard en opgeslagen wordt of dat de informatie elke backupronde overgeschreven wordt. En dan is van belang wat de uiteindelijke totale benodigde opslagruimte is. Vandaaruit kan gekeken worden welke schijven in welke aantallen nodig zijn. De overdrachtssnelheid is waarschijnlijk minder van belang. Want er is waarschijnlijk weinig bezwaar tegen om een backupsysteem de hele nacht te laten draaien.

Als de aangepaste topicstart goed begrepen wordt is het de bedoeling om elke nacht 4.000 GB aan gegevens over te schrijven. Daar zijn per keer 4 schijven van 1 TB voor nodig. 4.000 gigabyte wordt gezien als 4.000.000 megabyte. Waarschijnlijk kan er uitgegaan worden van een schrijfsnelheid van gemiddeld 125 MB/s van een schijf van 1 TB. Zonder versnelling door een raidsysteem leidt dat tot de genoemde backuptijd van 9 uur. Als het backupsysteem zonder raid om 18.00 uur begint is de backup om 5 uur 's morgens opgeslagen.

Vragen betreffen onder andere of er uitgegaan wordt van harde schijven, programma's en computeronderdelen, die bestemd zijn voor consumenten of dat het de bedoeling is om verhoudingsgewijs duurdere onderdelen te gebruiken.

chronoz schreef op zondag 21 maart 2010 @ 21:56:
Het spijt me mensen, het is al laat en door mijn onzorgvuldigheid is het topic dus nu al vervuild begonnen.

Dat valt wel mee. De reacties tonen de belangstelling voor het onderwerp.

[ Voor 59% gewijzigd door Verwijderd op 21-03-2010 22:41 ]

[Fish]

het is een beetje de vraag wat een nacht is
dus concreet, hoeveel tijd heb je om te backupppen ?

[Verwijderd]

De goedkoopste harde schijf van 2 TB kost 122,-- euro. Dat betekent als er gebruik wordt gemaakt van algemeen verkrijgbare consumentengoederen een bedrag van 244,-- euro aan kosten voor opslagruimte per backup. Een behuizing voor een harde schijf met esata-verbinding kost 22,90 euro. 2 Behuizingen kosten 45,80 euro. Het meest simpele backupsysteem kost ongeveer 244,00 + 45,80 = 289,80 euro.

Deze berekening is bedoeld om het vraagstuk een beetje zichtbaar te maken. Waarschijnlijk kan vanaf deze basis verder gekeken worden naar een geschikte oplossing.

[ Voor 59% gewijzigd door Verwijderd op 21-03-2010 22:37 ]

[kalizec]

chronoz schreef op zondag 21 maart 2010 @ 21:36:
In de RAID FAQ van GOT staat natuurlijk veel interessante informatie en die heb ik ook zeker doorgenomen, maar uiteindelijk zeggen 5 sterretjes bij sequentiële schrijfsnelheid natuurlijk erg weinig.

Dat komt natuurlijk doordat dat afhangt van de implementatie. In theorie is RAID 5 in ieder geval prima voor sequentieel wegschrijven van data.

4TB aan data levert bij 125MB per seconde inderdaad bijna 9 uur op.

Vijf 'nette' schijven trekken in RAID5 zo'n vier maal (500 MB/s) de sequentiële schrijfsnelheid van een enkele schijf. Kortom, wat je nodig hebt, hangt af van wat je een nacht noemt. Als je er van uit gaat dat de backup een uur na reguliere 'housekeeping' plaats mag vinden dan kom je op een periode van 04:00 tot 07:00 uit en dan ben met je vijf 'nearline' schijven en een fatsoenlijke hardware controller met ondersteuning voor RAID5 en hotspare klaar.

Voor netwerk-bandbreedte zit je echter met een probleem... 1 Gbit/s trekt zelfs 125 MB/s niet en 10Gbit is niet goedkoop plus dat je dan nog steeds minimaal 5 of meer stations 1 Gbit/s aan data richting de back-up oplossing toe moeten sturen. Als die stations er niet zijn, dan ga je op de paar stations die er wel zijn inderdaad adapter-teaming nodig hebben en ook voldoende snelle disks.

[chronoz]

Het is de bedoeling om elke nacht een back-up te maken van tot 4TB aan data, het zal waarschijnlijk de bedoeling zijn om 8x2TB in een opslag-server te verwerken.

De vraag is alleen of het raid-5 of raid-6 zou moeten worden. Door http://blogs.zdnet.com/storage/?p=162 wordt duidelijk gemaakt dat raid-5 anno 2010 helemaal niet meer erg tolerant is ten opzichte van het verliezen van een schijf.

Er wordt tevens uitgelegd dat gemiddeld 1 byte op de 12TB ongeveer onleesbaar is. Het zal tegenwoordig met de steeds grotere storage oplossingen steeds vaker voorkomen, dat een raid-5 oplossing compleet te rebuilden is, indien er één schijf defect geraakt.

In principe is raid-6 steeds minder luxe, dan wel absolute noodzaak ten opzichte van raid-5.

#	Product	Prijs	Subtotaal
1	Areca ARC-1220	€ 420,-	€ 420,-
8	Samsung Spinpoint F3 HD203WI	€ 125,80	€ 1.006,40
Bekijk collectie Importeer producten		Totaal	€ 1.426,40

Al bevat de bovenstaande opstelling een oude raid controller uit 2007, welke ik waarschijnlijk niet zou nemen, maar het is dus zo simpel om een hoge I/O bandbreedte te realiseren?

Een raid-5 oplossing met 8 schijven is dus ook bijna 2x zo snel als een raid-5 oplossing met 4 schijven?

Op deze manier in combinatie met raid-6 heb ik 16TB aan schijven, waarvan uiteindelijk 12TB beschikbaar zou zijn op de back-up oplossing. Indien ik deze in een 4U barebone zet met 4x1gbps (link aggregation/bonding), dan zou ik dus voor €2000,- een uitstekende back-up oplossing kunnen realiseren met een I/O bandbreedte van een hele nette 500 mB per seconde?

Het lijkt me onmogelijk om een storage oplossing schaalbaar te maken, dus wellicht is het verstandiger om het direct groots aan te pakken en voor 16x2TB te gaan in combinatie met raid-6 voor 24TB aan online back-up ruimte. Op die manier is het echter weer vereist om de netwerk bandbreedte ook uit te breiden naar 10gbps, wat helaas nog enorm duur is.

[Midas.e]

Ik zou eerst eens kijken naar watvoor backup oplossingen je wil gebruiken. een beetje logisch backup systeem met of vss of een andere manier van volume awareness(helemaal bij vm's) zou al kunnen zorgen dat je backup window zelf een hele dag kan zijn zonder performance verlies. Simpelweg omdat een snap wordt gemaakt van je data op het moment van backup, backuppen van de data en het releasen van de snap + incremental backups zou je de eerste keer lang bezig zijn maar daarna de tijd naar minuten kunnen drukken mits er niet veel data verandert.

[Q]

Met disks van 2 TB is de rebuild tijd van een array 10+ uur aan stampwerk. Daarom is met dat soort diskformaten in mijn beleving RAID 6 noodzaak.

Mijn grote vraag met dit hele verhaal is: moet je echt 4 TB aan data over pompen, of wijzigt slechts een deel van deze set data en kun je gewoon een incremental backup doen. Dat de full backup over het weekend dan eens wat langer duurt, boeit dan niet.

Ik heb zelf veel getest met Bonding / trunking en ik heb het nog niet voor elkaar gekregen onder Linux om meer dan 1 gigabit /s te halen. Wel met meerdere parallele transfers, maar dat wil je niet. Je wilt 1 backup trekken die dan gewoon 200+ MB/s haalt ofzo.

Ik denk nu aan infiniband, is niet zo duur, maar voor thuis gebruik gaat dat me te ver. 10 GB is nog niet te betalen in mijn beleving.

[dvl-2]

chronoz schreef op zondag 21 maart 2010 @ 23:15:

Een raid-5 oplossing met 8 schijven is dus ook bijna 2x zo snel als een raid-5 oplossing met 4 schijven?

Helaas, dat zou theoretisch zo moeten zijn maar na ongeveer 6 disks zit de controller aan zn max. De snelste areca's (voor sata nog altijd de 12x1 serie en niet de 1680) halen in raid5 ongeveer 500MB/s schrijven, als je dan niet teveel read-i/o's genereerd. Het zou dus voldoende moeten zijn maar het houdt niet over om 4gbit vol te trekken.

Wat je eventueel zou kunnen doen, maar dan moet je wel eerst even goed uitzoeken hoe/wat is eventueel 2 areca's in je systeem te hangen, daarop 2x een raid5 aan te maken en die met software-raid0 tot 1 'schijf' te maken. Volgens mij is het namelijk niet mogelijk met de areca-software 1 volume te maken op 2 raidsets op 2 controllers.

[PeterPan]

Hou er rekening mee dat de maximale theoretische doorvoersnelheid, of zelfs de snelheid die je kunt halen met een benchmark programma, vaak niet je realistische doorvoersnelheid is.
De bottleneck is vaak NTFS en het SMB protocol (in het geval van Windows), Ethernet overhead enz.

[FireDrunk]

Als je 8 x 2TB opslaat kun je dus maar 2 versies bewaren? Als je met incrementele backups gaat werken natuurlijk meer, maar wat is het doel nou? 4TB altijd elke versie overal beschikbaar hebben? Of 4TB 1 malig backuppen en de volgende dag weer overschrijven zodat de backup eigenlijk nutteloos word?

Bovendien:
Waar ga je met 500MB/s naar toe (of komt het met 500MB/s binnen?)
Want dan moet de andere kant dus ook net zo snel zijn...
Simpele 10k 2.5" schijfjes in RAID1 halen dat echt niet hoor...

[ Voor 25% gewijzigd door FireDrunk op 24-03-2010 13:23 ]

[jayvol09]

Bedenk ook dat je niet echt 12TB hebt met 8x2TB in raid6- Dus als je precies 4000.000MB wilt overschrijven per dag zul je nooit 3 volledige dagen aan data hebben op een gegeven moment.

[chronoz]

Wij maken op het moment back-ups van 15 servers door hier een back-up op te slaan op een extra interne harde schijf. Er staat gemiddeld op elke server 350GB aan back-ups op een 500GB interne schijf (/dev/sdb). Dit is 2 weken aan back-ups, waarvan een gedeelte incrementeel. Ik weet niet precies welk gedeelte hiervan incrementeel is, omdat het systeembeheer door een extern bedrijf wordt gedaan. Ik heb ditzelfde bedrijf gevraagd om een schatting van de benodigde disk-ruimte en bandbreedte indien we willen uitbreiden naar een oplossing met externe opslag van back-ups.

Ik heb de ruime schatting van 4TB gemaakt, omdat we nog in de oriënterende fase zitten, maar dit bleek geen succes omdat blijkbaar exactere aantallen nodig zijn voor het maken van schattingen van benodigdheden in de back-up oplossing.

Indien er elke dag door 2 servers volledige back-ups gemaakt worden en door de andere servers, dan hebben na 7 dagen alle servers 1x een volledige back-up en 6x een incrementele back-up gemaakt. Zelfs indien dagelijks maar liefst 10% aan data verandert, is dat slechts 840GB aan data per dag, wat neerkomt op 112 minuten back-up tijd met een snelheid van 1gbps, wat ruim voldoende is.

Op het moment dat er 10gbit switches en 10gbit netwerkkaarten nodig zullen zijn, ziet het er sowieso naar uit dat het verstandig is om meerdere storage servers te gaan gebruiken ipv. alles op een grote back-up cluster te zetten. 4x1gbps zou in principe nog wel een interessante optie kunnen zijn, gezien sneller altijd beter is.

Ik heb gistermiddag dus een uitgebreide e-mail gestuurd met verzoek om meer informatie, omdat ik ontevreden ben over de schaalbaarheid, veiligheid van de huidige oplossing. Back-ups op een interne harde schijf is mijn inziens niet veilig genoeg en bij hardware defecten moet het binnen 4 uur mogelijk zijn om exact dezelfde server online te krijgen op andere hardware.

Gisterochtend kreeg ik te horen dat we nog een 8TB NAS ongebruikt hebben staan, dus de communicatie binnen het bedrijf mag sowieso wel beter, maar ik wacht de e-mail van systeembeheer af en we zijn sowieso van plan om back-ups van 2 servers eerst in te stellen op deze NAS.

PS: Opmerkingen over de rol die LTO-4 tapes hierin zouden kunnen spelen zijn ook welkom. Zou dat cost-effectiever kunnen zijn?

[FireDrunk]

LTO-4 is (naar mijn weten, niet ervaring) altijd trager dan disk backup. Simpelweg omdat tapestreamers gewoon traag zijn. Wat je wel kan doen, is diskbackup gebruiken als "near-line-storage" per week, en dan de langere backups op tape te zetten. De van backup-disk naar backup-tape jobs mogen natuurlijk prima 24 uur draaien...

[Yalopa]

Staan die VPS machines op een SAN? zo ja zou je via je SAN kunnen backupen.
Hoeveel veranderd die data? veel? weinig?


Door gebruik te maken van snapshots en replica's kan je erg snel gaan. vb 1 dag changes op een database LUN van 200 GB repliceren duurt pakweg 1 min (in de omgeving waar ik werk)

[ik222]

Maar als ik je laatste verhaal goed begrijp ,maakt dat de situatie al weer wat anders. De hoeveelheden van 4TB die je noemt bestaat dan uit diverse backups van 2 weken. Dan heeft het imo ook geen zin om dagelijks al die backups over te gaan pompen, beter schrijf je dan telkens enkel de backup van die dag naar je centrale backup storage.

Als je dan ook nog gebruikt maakt van meerdere storage servers welke elk voor een aantal servers zijn dan moet hetgeen je wilt niet zo moeilijk zijn.

[Q]

Als je parallel meerdere servers gaat backuppen, gooi dan gewoon meerdere netwerk kaarten in die machine, trunk deze en bandbreedte is geen punt. Je haalt met flink wat disks makkelijk meer snelheid dan gigabit aan kan, maar alleen met performance tests weet je het zeker.

Maar als ik dit zo lees hoef je echt niet iedere dag 4 TB over te pompen, hooguit enkele honderden GB.