Hoe betrouwbaar zijn kant-en-klare SANs tegenover zelf-bouw?

[chronoz]

Ik ga binnenkort een extra server aanschaffen en zit te overwegen om ook direct een SAN aan te schaffen. Op het moment draait 1 server op 2x1TB raid(1) en zijn er geen IO problemen.

Ik begrijp wel dat dure SANs en Storage Arrays veel betrouwbaarder zijn dan dat je ook zelf zou kunnen maken met zelf-bouw, maar ik vind het echt dramatisch om te zien dat je bij €1000 en €1500 gewoon bijna geen SAN-apparaten vind die raid10 ondersteunen en raid-5 ervaar ik niet meer als betrouwbaar met meerdere terabyte schijven. Ook valt het me op dat de specificaties vna de SAN's echt erg matig zijn, door aanhangers van ZFS/FreeNAS wordt mij aanbevolen om minstens 8GB te plaatsen, bij voorkeur 16 of 32GB voor goede caching, maar de Qnaps e.d. doen het met Atom(!)-processoren en 1 of 2GB geheugen. Op die manier kun je in een RAID-array toch nooit een through-put realiseren van meer dan 120MBps.

Voorbeelden van SANs waar ik naar heb gekeken:

#	Product	Prijs	Subtotaal
1	Netgear ReadyNAS 2100 RNRX4420	€ 1.201,90	€ 1.201,90
1	QNAP TS-459U-SP Turbo NAS	€ 949,-	€ 949,-
1	Synology Rack Station RS-810RP+	€ 1.520,-	€ 1.520,-

En dan zie ik dat deze jongen 4000 dollar heeft geinvesteerd in een NAS en nog matige prestaties haalt, terwijl hier iemand zijn €1500 Synology SAN vervangt door een zelf-bouw machine t.w.v. €1000. Ik zou best wat extra geld willen neerleggen voor een betrouwbare SAN, maar indien ik 4, 6 of 8 schijven in RAID10 zet, dan zou ik toch hopen op een hogere throughput dan 120MBps.

Een voorbeeld set-up zou er dus zo uit kunnen komen te zien, maar ik weet niet of ik de SSD nog zou gebruiken, ik heb deze voor mijn thuiscomputer gekocht, maar deze bleek te klein te zijn, dus ik zou hem verkopen 2e hands of in een server gebruiken indien de compatibiliteit goed blijkt te zijn. FreeNAS komt op een flashdisk te draaien, net als de ESXi servers:

#	Product	Prijs	Subtotaal
1	Intel Xeon E3-1220 Boxed	€ 165,08	€ 165,08
4	Samsung Spinpoint F3 HD103SJ, 1TB	€ 45,22	€ 180,88
1	Intel 320 40GB	€ 72,88	€ 72,88
1	Kingston ValueRAM KVR1333D3E9SK2/8G	€ 96,50	€ 96,50
Bekijk collectie Importeer producten		Totaal	€ 515,34

• In de praktijk, zijn deze goedkope Qnaps dan ook echt zo extreem betrouwbaar dat je de beperkte prestaties voor lief neemt?
• Wat is de reden dat zelf-bouw meestal als onbetrouwbaar wordt ervaren?
• Hoe betrouwbaar is RAID-Z en hoe snel? Het is nog vrij nieuw en ik mis helaas de benchmarks, daarbij leek het alsof ik al een bug had ontdekt, omdat bij een disk-replace de RAID array zichzelf niet automatisch ging rebuilden. Ik heb getest met RAID-Z in 2 schijven en dat net zo snel als raid-1, terwijl raid-0 2x zo snel was. Dus ik vraag me af of dit tegen raid-10 op kan.
• Zou ik NFS of iSCSI moeten gebruiken indien ik voor FreeNAS kies?
• Hoe belangrijk is netwerksnelheid? Het lijkt mij dat netwerk-bandbreedte alleen van invloed is op back-ups naar een externe server? Netwerk-bandbreedte is toch een stuk minder belangrijk, gezien de opslag toch wel op de SAN blijft, hoogstens gekopieerd of verplaatst wordt.

Alvast mijn excuses dat ik SAN en NAS misschien verwissel, maar ik heb het echt goed doorgenomen en heb een SAN nodig voor ESXi, waarbij ESXi de partitie formatteert en via iSCSI dingen kan toevoegen, maar ze worden vaak als NAS verkocht.

[Freezerator]

Wat wil je erop draaien, je spreekt over ESXi servers, hoeveel en wat voor functies? Wat is van belang? Veel iops? Hoge doorvoer?

Voor je NAS moet je de keuze maken, het voordeel van een QNAP of een Synology is bijvoorbeeld de software die erbij zit, het gemak van het apperaat.

Zelfbouw is op een gegeven moment goedkoper als je veel storage wil en meer power in je NAS. Wil je echt performance en betrouwbaarheid dan ga je kijken voor een echte storage oplossing, maar nogmaals dit hangt volledig af wat je ermee wil doen.

Voor het netwerk heb je een goede switch nodig die je desgewenst kan managen om LAG toe te passen om een hogere doorvoer dan 1Gbit op je netwerk te krijgen.

Met de producten die je geselecteerd mis ik je raidcontroller? Vergeet niet dat je met 4 sata schijven bij elke configuratie het gewoon traag blijft (random io). Je wil meer disks, liever 8 of 16 keer 500gb dan 4x 2 TB.

[ Voor 20% gewijzigd door Freezerator op 30-05-2011 17:20 ]

[Fiber-]

Je mist idd raid controller, mobo, case?

[Q]

Als ik deze post zo lees zie ik zoveel warrigheid.

Volgens mij weet je zelf niet waarvoor je wat wilt.

Wat wil je bereiken?

Hoe ziet de gewenste setup er uit in jouw beleving?

[ Voor 17% gewijzigd door Q op 30-05-2011 22:58 ]

[dutch_warrior]

Het verschil tussen ZFS storage oplossingen en bijvoorbeeld een qnap systeem is het filesystem, ZFS is totaal oplossing, ZFS is de raid engine en het filesystem. Een filsesystem op een qnap schrijft gewoon weg wat er wordt aangeleverd echter ZFS controleert ook of de data nog wel correct is. ZFS cached by design erg agressief en dus levert meer geheugen in normale situaties ook een prestatie verbetering op.

raidz is als je het heel simpel bekijkt een beetje vergelijkbaar met raid 5 dus van 3 schijven kan er 1 wegvallen, raidz2 is vergelijkbaar met raid6 van 4 schijven mogen er dan 2 wegvallen.
zfs pakt enkele tekortkomingen van traditionele bestandsystemen en raid implementaties aan waardoor je data met ZFS raid al een stuk veiliger is als met gewone raid 5.

Je vergelijkt een 2 disks raidz pool met raid 0 en raid 1, dit is echter nogal een vreemde vergelijking.
- een 2 disk raidz pool is niet echt optimaal je mist namelijk een 3e schijf, als je maar 2 disken gebruikt kan je beter raid 1 gebruiken. (of heb je na je disk replace getest ?)
- Natuurlijk is striping (raid0)sneller als raidz en mirror (raid1), striping is puur gericht op performance je data is echter volledig onveilig. Wanneer je meerdere mirrors gaat stripen (raid 1+0) dan zal dit op veel platformen sneller zijn als raidz of raidz2 echter is de netto capaciteit een stuk lager.
Bij raidz is de opslagcapaciteit het totale aantal schijven -1 en bij raidz 2 is het totaal -2.
Een raid 10 met 4 schijven levert twee beschikbare schijven op voor opslag terwijl dit bij raid 3 schijven zullen zijn, wanneer het aantal schijven toeneemt zal het voordeel van raidz dus groter worden.
CiPHER kan goed uitleggen hoe ZFS werkt en wat de verschillen, voordelen en aandachtspunten ten opzichte van traditionele filesystems zijn.

ZFS is alweer een behoorlijke tijd in ontwikkeling en is inmiddels ook wel stabiel genoeg voor data, echter in een productie omgeving zou ik het niet inzetten als je er geen ervaring mee hebt. Zelfbouw kan gewoon veel prestaties bieden voor relatief weinig geld, een goede vergelijkbare san kost dan veel meer geld.
Je moet echter zoals Q al aangeeft inderdaad gelijk eerst even op een rijtje moet zetten wat precies je doelen en wensen zijn want wellicht is ZFS helemaal niet de ideale oplossing.

[ Voor 13% gewijzigd door dutch_warrior op 31-05-2011 00:00 ]

[Verwijderd]

chronoz schreef op maandag 30 mei 2011 @ 17:02:
door aanhangers van ZFS/FreeNAS wordt mij aanbevolen om minstens 8GB te plaatsen, bij voorkeur 16 of 32GB voor goede caching, maar de Qnaps e.d. doen het met Atom(!)-processoren en 1 of 2GB geheugen.

Standaard filesystems hebben maar 32MB RAM ofzo nodig; ZFS kan rustig 32GiB aan RAM slurpen; een kleine factor 1024 verschil.

ZFS is ook heel anders dan traditioneel RAID; dat zit hem voornamelijk in de performancefeatures en de bescherming tegen dataverlies en corruptie. ZFS werkt met transacties en dat betekent dat er gigabytes aan 'dirty buffers' in je RAM kunnen blijven staan, zonder dat daarmee de integriteit van je data ter discussie staat. Bij dure hardware RAID met dedicated write-back DRAM heb je daarvoor een battery backup unit (BBU) nodig omdat bij verlies van zoveel data je filesystem niet meer consistent is. ZFS is van de grond af aan opgebouwd om daar dus wel mee om te gaan; mits ZFS directe controle heeft over je disks - dus gebruik van non-RAID controller is min of meer verplicht.

Op die manier kun je in een RAID-array toch nooit een through-put realiseren van meer dan 120MBps.

Je kunt zo hoog als je wilt; wat zijn precies je wensen? Als je data-integriteit het belangrijkst vindt, dan zit je met ZFS op het goede pad. Als je alleen hoge performance wilt zijn er meer keuzes en ZFS doet best wat concessies aan performance om de integriteit te bewaken.

Ik zou best wat extra geld willen neerleggen voor een betrouwbare SAN, maar indien ik 4, 6 of 8 schijven in RAID10 zet, dan zou ik toch hopen op een hogere throughput dan 120MBps.

Wat dacht je van een RAID-Z2 van 10 disks met Samsung F4 disks, 8 * 2TB = 16TB bruikbare opslag en toch zeker 800MB/s lezen en 500MB/s schrijven moet mogelijk zijn; met minimaal 8GiB RAM en liefst 16GiB. 16GiB ECC DDR3 koop je nu voor 150 euro dus dat mag het probleem niet zijn voor een nieuwe zelfbouw NAS.

Wat is de reden dat zelf-bouw meestal als onbetrouwbaar wordt ervaren?

Ik zou het omdraaien; waarom zijn kant-en-klare NAS onbetrouwbaar. Antwoord: ze bieden alleen proprietaire softwaretechnieken die niet gebouwd zijn om data-integriteit te bieden. Zelfbouw is vele malen betrouwbaarder, mits goed gedaan.

Hoe betrouwbaar is RAID-Z en hoe snel?

RAID-Z is niet zo heel betrouwbaar; een enkele failed disks en je kunt al rotte files krijgen door bad/weak sectors. RAID-Z2 is daarom veel gangbaarder. Daarvoor heb je geen sterke CPU nodig. Eigenlijk is elke x86 CPU wel goed, mits hij 64-bit is. ZFS schaalt wel enorm goed met het aantal cores; dus hoe meer cores hoe beter ZFS gebruikt ze allemaal. Ook als je 32 cores hebt.

Zou ik NFS of iSCSI moeten gebruiken indien ik voor FreeNAS kies?

Dat is een wereld van verschil. iSCSI is iets wat maar door één PC in je netwerk gebruikt kan worden (tegelijkertijd) en is dus SAN ipv NAS. NFS en Samba zijn wél NAS-protocollen waardoor meerdere computers bij dezelfde data kan. De server kan de data van iSCSI in principe niet aanspreken.

Nog wel een puntje over FreeNAS: die gebruikt nu ook UFS wat een groot nadeel is. Als het even kan zou ik voor een echte FreeBSD installatie gaan, liefst 100% ZFS-only. Anders kun je gewoon FreeNAS gebruiken en wat meer RAM (16GiB) erin proppen. Dan hoor je toch wel je performance-target te halen.

Weet wel dat gigabit je bottleneck zal worden, maar zodra 10GBaseT ethernet goedkoper wordt lijkt me dat een leuke upgrade.

[chronoz]

Heel erg bedankt voor de reacties! Heb er veel aan en denk dat ik me de komende weken ook flink ga verdiepen in de werking van raid-z en dit testen in een virtuele omgeving.

Ik denk inderdaad dat het kopen van een kant-en-klare SAN voor mij weinig opschiet, de betrouwbaarheid is beter dan noraid, maar de performance is nauwelijks schaalbaal bij deze hoeveelheid schijven.

Zit tevens nu al met problemen met de raid-z... zpool scrub, status, offline, replace, import, export, reboots, heb alles al geprobeerd maar ze komen er bij #zfs en #freenas ook niet uit. Dus dat ziet er al niet lekker uit. Betrouwbaarheid is cruciaal en ik heb het gevoel dat ik nu al enkele bugs ben tegen gekomen. FreeNAS 8 RC5 werkte ook niet, vanwege een bug werkte iSCSI al niet, veel mensen hadden dat probleem. Dat ziet er ook niet betrouwbaar uit. Het replacen via de FreeNAS GUI draait ook niet lekker.

FreeNAS maakt dus ook nog eens swap disks....

code:

freenas# ls -al /dev/gpt/
total 1
dr-xr-xr-x   2 root  wheel          512 May 31 03:01 .
dr-xr-xr-x  11 root  wheel          512 May 31 03:01 ..
crw-r-----   1 root  operator    0, 121 May 31 03:01 da1
crw-r-----   1 root  operator    0, 125 May 31 03:01 da2
crw-r-----   1 root  operator    0, 129 May 31 03:01 da3
crw-r-----   1 root  operator    0, 133 May 31 03:01 da4
crw-r-----   1 root  operator    0, 137 May 31 03:01 da5
crw-r-----   1 root  operator    0, 141 May 31 03:01 da6
crw-r-----   1 root  operator    0, 119 May 31 03:01 swap-da1
crw-r-----   1 root  operator    0, 123 May 31 03:01 swap-da2
crw-r-----   1 root  operator    0, 127 May 31 03:01 swap-da3
crw-r-----   1 root  operator    0, 131 May 31 03:01 swap-da4
crw-r-----   1 root  operator    0, 135 May 31 03:01 swap-da5
crw-r-----   1 root  operator    0, 139 May 31 03:01 swap-da6
freenas# zpool status
  pool: raid01
 state: DEGRADED
 scrub: none requested
config:

        NAME                       STATE     READ WRITE CKSUM
        raid01                     DEGRADED     0     0     0
          raidz2                   DEGRADED     0     0     0
            gpt/da3                ONLINE       0     0     0
            gpt/da4                ONLINE       0     0     0
            gpt/da5                ONLINE       0     0     0
            replacing              UNAVAIL      0     0     0  insufficient replicas
              3536829569605113077  OFFLINE      0     0     0  was /dev/gpt/da6/old
              6598545342393554955  UNAVAIL      0     0     0  was /dev/gpt/da6

errors: No known data errors

  pool: tank
 state: ONLINE
 scrub: none requested
config:

        NAME        STATE     READ WRITE CKSUM
        tank        ONLINE       0     0     0
          gpt/da1   ONLINE       0     0     0

errors: No known data errors

  pool: vol01
 state: ONLINE
 scrub: none requested
config:

        NAME        STATE     READ WRITE CKSUM
        vol01       ONLINE       0     0     0
          gpt/da2   ONLINE       0     0     0

errors: No known data errors
freenas#

Ze hebben mij aangeraden om ZFS direct controle over de schijven te geven, dat lijkt dus met de swap-disks niet te gebeuren. Ik ga sowieso niet met FreeNAS werken, mijn vorige Openfiler ervaring was veel vlekkelozer. Ik zal eens proberen om Nexenta OS te draaien, al is mijn Linux-ervaring beperkt tot CentOS en Debian.

Freezerator schreef op maandag 30 mei 2011 @ 17:15:
Wat wil je erop draaien, je spreekt over ESXi servers, hoeveel en wat voor functies? Wat is van belang? Veel iops? Hoge doorvoer?

Er draaien shared hosting servers op, op het moment. De capaciteit-uitbreiding moet geschikt zijn voor de komende 3 jaar en ik moet eerlijk zeggen dat ik niet veel of er veel iops nodig zijn, ik denk dat dat eerlijk gezegd wel meevalt en dat de capaciteit van de SAN nu nog maar beperkt gebruikt wordt, maar ik zou graag de komende 3 tot eventueel 5 jaar de hardware niet willen vervangen, doordat ik tekort kom in performance. Er komen initieel 15/20 virtuele machines op de SAN te draaien, maar zou graag de optie hebben om dit aantal naar 50/60 te krijgen. Op het moment draait alles op 1xraid(1) en de IO voldoet nog, er is wel een extra ESXi server nodig.

[Paul]

Verwijderd schreef op dinsdag 31 mei 2011 @ 00:01:
Dat is een wereld van verschil.

Klopt

iSCSI is iets wat maar door één PC in je netwerk gebruikt kan worden (tegelijkertijd) en is dus SAN ipv NAS. NFS en Samba zijn wél NAS-protocollen waardoor meerdere computers bij dezelfde data kan.

Niet echt iSCSI is block level, NFS en SMB zijn file level

Als je een iSCSI-target aanbiedt aan een initiator dan ziet die een volume waar het zelf een file system op moet zetten (voor zover nog niet aanwezig), bij NFS en SMB bied je een (network) file system aan aan de cliënt.

iSCSI is wel degelijk door meerdere initiators tegelijk te benaderen, alleen moet je dan wel zorgen dat ze er iets mee doen dat overweg kan met meerdere connecties. Mount je het onder Windows en formatteer je het met NTFS dan gaat het niet, mount je het als ESXi datastore dan gaat dat perfect (en is dat zelfs verplicht wil je dingen als vMotion kunnen gebruiken).

[Freezerator]

chronoz schreef op dinsdag 31 mei 2011 @ 14:35:


[...]
Er draaien shared hosting servers op, op het moment. De capaciteit-uitbreiding moet geschikt zijn voor de komende 3 jaar en ik moet eerlijk zeggen dat ik niet veel of er veel iops nodig zijn, ik denk dat dat eerlijk gezegd wel meevalt en dat de capaciteit van de SAN nu nog maar beperkt gebruikt wordt, maar ik zou graag de komende 3 tot eventueel 5 jaar de hardware niet willen vervangen, doordat ik tekort kom in performance. Er komen initieel 15/20 virtuele machines op de SAN te draaien, maar zou graag de optie hebben om dit aantal naar 50/60 te krijgen. Op het moment draait alles op 1xraid(1) en de IO voldoet nog, er is wel een extra ESXi server nodig.

Ik zou eerst eens dan goed uitzoeken wat je verwacht in I/O. Ik vind het in elk geval erg veel vm's om op een enkel eenvoudig sata pooltje te draaien. Ligt er natuurlijk aan wat de vm's verbruiken, maar zodra iemand de boel wat meer belast hebben al je andere klanten er ook last van. Hoeveel netto capaciteit heb je nodig?

[beerse]

chronoz schreef op maandag 30 mei 2011 @ 17:02:
Ik ga binnenkort een extra server aanschaffen en zit te overwegen om ook direct een SAN aan te schaffen. Op het moment draait 1 server op 2x1TB raid(1) en zijn er geen IO problemen.

Ik begrijp wel dat dure SANs en Storage Arrays veel betrouwbaarder zijn dan dat je ook zelf zou kunnen maken met zelf-bouw, maar ik vind het echt dramatisch om te zien dat je bij €1000 en €1500 gewoon bijna geen SAN-apparaten vind die raid10 ondersteunen en raid-5 ervaar ik niet meer als betrouwbaar met meerdere terabyte schijven.

Zelf zie ik het verschil tussen san en nas als volgd:
- San: iSCSI als primair te bieden service. Geen zicht op onderliggend filesystem en/of os en zo. Extra fasciliteiten zoals replicatie en dergelijke maar geen webservers en dergelijke. Meestal hardware-accelerated en daarom duur. Alleen in speciaalzaken te koop.
- Nas: Netwerk-filesystemen als primaire service: nfs en smb/samba/cifs/windows-shares. Extra fasciliteiten zoals websevers en dergelijke. Ook is het onderliggende filesysteem en os duidelijk(er) zichtbaar. Meestal unix/bsd/linux. Meestal voor consumenten prijzen. Te koop in veel webwinkels en computerwinkels. Soms zelfs bij de supermarkt.

Daarmee matcht jou 'shortlist' niet met je vraag: je vraagt een san en laat voornamelijk nas zien.

• Zou ik NFS of iSCSI moeten gebruiken indien ik voor FreeNAS kies?
• Hoe belangrijk is netwerksnelheid? Het lijkt mij dat netwerk-bandbreedte alleen van invloed is op back-ups naar een externe server? Netwerk-bandbreedte is toch een stuk minder belangrijk, gezien de opslag toch wel op de SAN blijft, hoogstens gekopieerd of verplaatst wordt.
[...]
Alvast mijn excuses dat ik SAN en NAS misschien verwissel, maar ik heb het echt goed doorgenomen en heb een SAN nodig voor ESXi, waarbij ESXi de partitie formatteert en via iSCSI dingen kan toevoegen, maar ze worden vaak als NAS verkocht.

Goed dat je het doel meldt. ESXi heeft (volgens VMware in ieder geval) een echt (hardware accelerated) san nodig met iscsi. Maar als het om een paar gasten gaat, dan moet het op een nas met nfs ook goed kunnen.

Vooral met de genoemde nassies kan dat zelfs beter werken omdat die meer voor nfs dan voor iscsi geoptimaliseerd zijn. Zet dan de disks liefst niet in raid-5 maar liefst in jbod (1 filesytsem per disk) en verdeel de gasten over de disks.