Storage en NAS.

[Jormungandr]

Storage 101

Het concept NAS

1. Wat is een NAS eigenlijk?
Een NAS is een systeem dat op file niveau shares beschikbaar stelt binnen een netwerk.
Dit wil zeggen dat vanaf wanneer je met je computer (of het nu je desktop is of een aparte server) bestanden deelt op het netwerk, je een NAS creëert.

2. Waarom zou ik een NAS willen, en niet gewoon 10 externe USB disks?
Een NAS heeft vele voordelen: Het is centraal, biedt verschillende niveaus van databeveiliging en is gemakkelijk te beheren.

3. Kost dat niet veel, een NAS?
Een NAS maak je zo duur als je zelf wil. Instapmodellen heb je al klaar voor een paar honderd euro’s. Wil je [H]ard gaan, dan kan je gerust duizenden euro’s uitgeven. The sky is the limit! Om de vraag te weerleggen: hoe duur is een recovery bedrijf om je vakantiefoto’s van je kapotte externe schijf te halen?

NAS hardware

1. Welke CPU-mobo combo is goed?
Open vraag, maar de meest populaire systemen zijn AMD Brazos en Intel Pentium/i3. Beide platformen kunnen 8GB+ aan en zijn zeer zuinig voor een kleine prijs en voldoende aansluitingen.

2. Hoeveel geheugen heb ik nodig?
Hangt er vanaf. Voor een Linux NAS kom je met 4GB al goed uit de voeten. ZFS is heel wat happiger naar geheugen. Voor details, zie het ZFS topic.

3. Heb ik een raid controller nodig?
Alleen als je fancy wil doen of Windows draait . Linux raid en ZFS prefereren directe access naar de disks, ofwel via SATA op het moederbord of via een HBA. Lekker goedkoop dus.

4. Heb ik hotswap nodig?
Helemaal niet nodig, maar het maakt disken swappen wel heel gemakkelijk. Als je een hekel hebt aan het opendraaien van je case of je services host op je NAS, dan is hotswap een plus voor beschikbaarheid. Hotswap bays kunnen kostelijk worden, hetzelfde voor rackmountables.

5. Kan ik gewone desktop cases gebruiken?
Jazeker, voor high density setups is rackmount beter, maar de gemiddelde tower case kan al snel rond 6 disks huisvesten.

6. Waar let ik best op als ik rackmountable ga?
Rackmountables zijn meestal zeer luid, aangezien ze gemaakt zijn voor datacenters, alwaar geluid wel het laatste is wat telt. De geringe hoogte van vele rackmountables zorgt ervoor dat er fans met veel RPM’s nodig zijn om voldoende te koelen.

7. Mag ik de casefans in rackmountables gewoon vervangen?
Jazeker, maar hou rekening met koeling. Disks zitten in rackmountables dicht op elkaar en hebben voldoende koeling nodig.

8. Dan toch maar een tower kopen, welke kies ik best?
Dit is persoonlijk, tel het aantal disks waarmee je start en tel daar de helft bij op. Dit zou voldoende plaats moeten bieden om uit te breiden.

9. Lets talk green, hoe zit het met energiebesparing?
Aangezien een NAS vaak 24/7 draait moet deze zo zuinig mogelijk zijn. Naast de cpu is het mogelijk om je schijven in "spindown" te plaatsen. In deze modus parkeren ze de koppen en gaan ze in een eco-modus waardoor het energieverbruik drastisch daalt. Hou wel rekening met een vertraging wanneer je data wilt benaderen op deze schijven, ze moeten immers opnieuw opspinnen.

Harde schijven

1. Kan ik mijn consumentenschijf gebruiken op mijn RAID controller?
Ja en neen. Consumentenschijven hebben geen TLER. Dit zordt ervoor dat disks niet als removed gemarkeerd worden wanneer ze niet meteen antwoorden op een query van je RAID controller. Het werkt, maar je disken zullen uit de array droppen.
Raid controller? Raid-ready disks.

2. Wat zijn de nadelen aan de zogenoemde green power disks tov reguliere of RAID schijven?
Het belangrijkste is de garantie en of ze 24/7 certified zijn. Disks zoals de WD RED zijn consumentenschijven die 24/7 mogen draaien, langere garantie hebben EN TLER aan boord hebben.

3. Ga ik minder risico lopen met duurdere RAID disks?
Geen garantie. Ondanks dat deze gemaakt zijn voor 24/7 gebruik kunnen deze ook snel falen. Goed testen en controleren op bad blocks vooraleer data aan een disk toe te vertrouwen!

4. Welk merk/type is het beste voor mijn NAS?
Elk merk heeft zijn ups en downs. Lees de fora door en kijk naar de features/prijs.

5. En wat met SSD’s?
Als je het geld hebt en wilt patsen, waarom niet. Dat terzijde gelaten zijn SSD’s nog steeds geen goede optie voor massaopslag.
- SSD: veel IOPS, hoge throughput, weinig opslagruimte.
- HDD: weinig IOPS, matige throughput, veel opslagruimte.

6. Hoe betrouwbaar zijn SSD’s?
SSD’s zijn inmiddels betrouwbaar geworden en minder onderhevig aan slijtage en temperatuur. Ze hebben echter een maximaal aantal schrijfacties. SSD’s hebben ook de neiging om in 1 klap kapot te gaan, dit in tegenstelling tot hdd’s die sneller tekenen van slijtage tonen vooraleer effectief kapot te gaan.

7. Wat bij een kapotte schijf?
Wanneer je RAID hebt, is je array degraded. Afhankelijk van het raid level zit je in een risicozone of niet. Hot/Cold spares zijn een goede optie om tijd in degraded mode te verkleinen.

8. Help, een dual disk failure op mijn Array
Tijd voor je backup oplossing om zichzelf te bewijzen.
Wat ook helpt, is het vervangen van de printplaat op de kapotte disk. Soms ligt de oorzaak van een kapotte disk bij de printplaat en NIET in het mechanische gedeelte.

NAS Software

1. Welk OS is nou het beste voor een NAS?
Dit is afhankelijk van welke raid infrastructuur je wilt implementeren:

• Software RAID: Linux/Unix.
• Hardware RAID: Windows.
• ZFS: Solaris/BSD. (Linux staat in de kinderschoenen).

Uiteraard is dit geen must, alleen een leidraad. Hardware raid kan perfect op Linux, en software op Windows.

2. Stel ik ga voor linux, welke distro?
Er zijn 2 soorten distro’s: rolling release en standard release. Rolling releases pushen steeds de nieuwste release van een pakket naar je packet manager, standard releases doen dat op gezette tijden. Voordeel van een rolling release is dat je de allernieuwste pakketten hebt, nadeel is dat er mogelijk bugs in zitten die je stabiliteit beïnvloeden.

3. Dusssss? Welke distro?
Ubuntu en Debian hebben een server versie en bieden stabiele packages aan en zijn daardoor zeer populair. Wil je rolling gaan, kan je bv bij Arch linux terecht.

4. Hoe vaak update ik dan mijn packets?
Dat kies je grotendeels zelf, maar controleer de release notes van belangrijke packets (mdadm, kernel, samba, nfs,…) vooraleer je update.

5. En wat met Windows?
Windows is gewoon een valide, maar minder gekozen oplossing.

6. Wat met ZFS on Linux?
Dit staat nog in de kinderschoenen maar maakt snel progressie. Goed voor testdoeleinden, nog te nieuw voor persoonlijke data.

Zelfbouw Vs. Appliance

1. Who shines where?
Zelfbouw:

• Goedkoper bij groot aantal disks.
• Zeer flexibel in uitbreiding en part replacement.
• 100% naar je eigen zin/hand.
• Kan met minimale inspanning zeer goed presteren.

Appliance:

• Vaak zeer goede beheerssoftware.
• Goedkoper bij een klein aantal disks.
• Gemakkelijke installatie, weinig onderhoud, centrale garantie en vaak helpdesk.
• OS is specifiek aan het device en is geoptimaliseerd.
• Updates zijn steeds getest vooraleer ze gereleased worden.

2. And who fails in what?
Zelfbouw:

• Je moet alles van A tot Z zelf installeren, instellen en onderhouden.
• Geen maintenance contracten en garantie op het totaal.
• Software moet in sommige gevallen getuned worden.
• Onderhevig aan bugs en fouten in software updates.
• Niet altijd even gemakkelijk om proper te houden.

Appliance:

• Disk configuratie staat vast, uitbreiden is dus moeilijk.
• Durft duur uitvallen wanneer je veel disks hebt.
• Beperkte mogelijkheden van de software.
• Niet altijd de snelste.

3. Kan ik disks uit mijn Company X nas box in mijn desktop steken?
Vele appliances draaien een uitgeklede linux met mdadm. In vele gevallen kan je deze dus op een linux systeem aansluiten en data benaderen. Lees dit echter goed na, er zijn altijd uitzonderingen!

4. Mijn bedrijf/KMO wil gedeelde storage, is een zelfbouw een goed idee?
Neen. Misschien is mijn visie biased, maar de kostenbesparing van een DIY box wegen NIET op tegen de software/hardware support, verantwoordelijkheid en maintenance van een appliance. Wanneer de NAS box down gaat en jij bent op vakantie, wil je echt niet de storage verantwoordelijke zijn. Business outage is verloren geld en serious business, plan accordingly!

Raid

1. Wat is een Raid controller nou?
Een Raid controller is een uitbreidingskaart voor harde schijven waar een rekenchip op zit. Deze chip verzorgt de parity berekeningen en het beheer van de schijven. Vaak waarschuwen deze kaarten de gebruiker ook bij een defecte schijf.
Deze controllers hebben ook geheugen onboard die als cache dient. Een batterij is hierbij steeds aan te raden om bij een stroomuitval de data in de cache te behouden.

2. Wat is het verschil tussen een HBA en een Raid controller?
Een HBA is net zoals een Raid controller een adapter waarop men harde schijven kan aansluiten, maar bezit geen intelligentie. De HBA toont de aangesloten schijven als individuele schijven aan het OS.

3. Waarom zou ik dan een HBA gebruiken?
HBA’s worden bij software raid gebruikt. In dit geval doen immers het OS en de CPU alle raid zaken en hebben we geen nood aan de parity CPU, cache en batterij. Een hardware raid kaart is in dit geval eerder een barriere dan een helpende hand.

4. Hoe zit het dan met de parity bij software raid? Moet mijn CPU dit overnemen?
Bij software raid doet de CPU inderdaad de parity en logica. Een parity is echter een XOR berekening, iets waar een CPU verdacht goed in is. De impact van parity op je CPU is dus miniem.

5. Is er nog een verschil?
Hardware raid kaarten zijn doorgaans veel duurder dan HBA’s. Dit komt door de parity chip, cache, batterij, ed. HBA's hebben veel minder logica aan boord. HBA's laten ons ook toe gewone consumentenschijven te gebruiken.

6. Kan ik ZFS en linux software raid combineren?
Neen. Raid op linux doet enkel wat het zegt: raid. ZFS doet een hele boel meer, waaronder filesystem, raid, error checking, … . Ofwel ZFS, ofwel MDADM, nooit beide.

7. Kan ik de onboard controller van mijn moederbord combineren met een insteekkaart?
Dit is situationeel. Voor software raid werkt dit doorgaans wel, maar controleer goed de manual van de kaart en je moederbord. Kies voor een degelijke HBA en geen cheapo multiplier.

8. Welke raid levels worden ondersteund door software raid?
MDADM: 0,1,4,5,6,10
ZFS: stripe (0), mirror (1), raidz (5), raidz2 (6), raidz3. Deze kunnen genest worden.

9. Welke raid levels ondersteund mijn moederbord?
Check je manual. Let goed op, sommige raid levels ondersteunen maar een bepaald aantal disks.
Vele moederborden ondersteungen 0, 1 en 5. Sommigen ook 6 en 10. In alle gevallen is het zo dat dit GEEN hardwarematige raid is maar gewoon software RAID.

10. Kan ik dan niet gewoon mijn "mobo-Raid" gebruiken?
Ja, maar dat heeft vele nadelen. Wanneer je moederbord defect gaat, moet je hetzelfde type hebben om terug aan je data te kunnen. Onboard raid is ook geen hoogvlieger qua snelheid, en is beperkt in opties / raid levels. Afblijven dus.

11. Kan ik verschillende schijfgroottes gebruiken in mijn RAID opstelling?
Ja, maar de members in de array zullen maar zo groot zijn als de kleinste disk. Sommige exotische hybride RAID types kunnen dit opvangen.

Storage en virtualisatie

1. Kan ik op mijn NAS VM’s draaien?
Dat kan, maar als je het clean wil houden draai je dit toch best op een aparte machine.

2. Mag ik mijn HTPC virtualiseren?
Op sommige uitzonderingen na is het virtualiseren van grafische kaarten niet waterdicht. Hou je HTPC dus gewoon gescheiden van je NAS en mount je collectie via smb/nfs/… .

3. Kan ik mijn NAS virtualiseren?
Jazeker. Zolang je je disks dmv passtrough aan je NAS VM geeft kan je hosten wat je wil. Virtual disks brengen een grote performance penalty met zich mee en zijn te vermijden tenzij voor testopstelling.

Backup

1. Maar ik gebruik toch raid?
Neen, neen en neen. RAID is nooit een backup. RAID is gemaakt om verlies in beschikbaarheid door schijfuitval tegen te werken, niet als backup.

2. Welke raid levels zijn ok in mijn backup machine/appliance?
Alles met mirroring of parity is ok. Raid6 is een populair raid level voor backup omdat het 2 schijfuitvallen kan overleven en bij een enkele schijfuitval geen risico loopt tijdens de rebuild.
ZFS is hierin nog eens sterker doordat het silent corruption kan detecteren.

3. Wat is een goede back-up setup?
Dit is persoonlijk, maar een backupplan met RTO en RPO naar jouw noden met minstens een lokale en offsite encrypted backup is optimaal. De offsite back-up kan gaan van een 2e NAS tot een externe USB disk. Om diefstal tegen te gaan encrypteer je best de disks.

[b]4. Kan ik niet gewoon op een andere interne schijf backuppen?
Tot je voeding je PC opblaast, of je moederbord kapot gaat, of je backplane stuk gaat, of … . Voor alle data geldt: backuppen naar een extern device.

5. Is er nog zorg aan een backup?
Indien mogelijk test je een restore best van tijd tot tijd. Niets zo pijnlijk als een back-up willen restoren en dan pas merken dat die corrupt/onvolledig is. Draai je een script om te backuppen, controleer dan GOED of het script zijn werk naar behoren doet.

6. Ik zie dat ZFS dedup doet, gebruiken die handel?
Dedup is alleen handig wanneer je veel duplicate data backupt, zoals VM’s. De dedup ratio’s zijn zeer verschillend naargelang je data. Over het algemeen is het dus voor thuisgebruik eerder een gimmick dan lifesaver. ZFS dedup brengt ook een hoger geheugengebruik met zich mee, hou hier dus rekening mee bij het bouwen van je NAS indien je dit wil. Details zijn terug te vinden in het ZFS topic.

7. En toch wil ik deduppen!
Goed, geen probleem. Zorg dan wel dat je backups volledig en 100% sane zijn. Bij dedup is er maar 1!!! Kopie van de data, als die corrupt of onvolledig (iets waar ZFS niets aan kan doen) is dan zijn alle backups kwijt.

Nuttige links:

• Het DIY NAS topic: http://gathering.tweakers.net/forum/list_messages/1345847
• Het grote ZFS topic: http://gathering.tweakers.net/forum/list_messages/1452380
• WMarrow's RAID en IOPS calculator: http://www.wmarow.com/strcalc/raidslider.html
• Forum over zelfbouw: http://www.servethehome.com/
• MUX best-buy-guide voor NAS: http://ssj3gohan.tweakblogs.net/blog/cat/2217
• Het zuinige server topic: http://gathering.tweakers.net/forum/list_messages/1207455
• Het zuinige ESX server topic: http://gathering.tweakers.net/forum/list_messages/1455241

[ Voor 14% gewijzigd door Jormungandr op 04-11-2012 22:59 ]

[Jormungandr]

Changelog

12/11/03: RAID uitgebreid.

[ Voor 70% gewijzigd door Jormungandr op 03-11-2012 12:59 ]

[pipo de C]

Dit zijn idd wel zo'n beetje de meest gestelde vragen. Kan me voorstellen dat als je hier niet al een tijd mee bezig bent je de weg een beetje kwijt raakt. Goede FAQ!

TLER & HW NAS (areca based) is wel wat genuanceerder. Ik denk dat ik alsnog voor de WD RED disken ga van de week maar TLER is bij Areca niet strikt noodzakelijk. Areca controllers hebben een feature waar je de timeout kan instellen of uitzetten zodat een disk niet zomaar uit een array wordt gegooid. Als ik hier in de 10TB+ systemen rondkijken hebben een heleboel NAS setup een Areca controller icm gewone consumentenschijven.

Ik heb hier zelf NOG geen praktijkervaring mee maar het is wel een belangrijke overweging voor de keuze van de HW vandaar even deze reactie.

[Q]

Goed initiatief!

Suggestie: maak het wat concreter, voor veel mindere computer goden zal je terminologie niet helder zijn:

Wat is een NAS eigenlijk?

Een NAS is een apparaat binnen je netwerk waar je al je data centraal bewaart. Je data is via het netwerk toegankelijk voor alle computers binnen je netwerk.

Een NAS heeft vele voordelen:

1. meerdere computers kunnen tegelijk bij de data;
2. Je data staat op 1 plek, dus niet verspreid over verschillende computers of harde schijven;
3. de mogelijkheid voor redundancy: als een disk stuk gaat ben je niet je data kwijt (RAID)

[EnerQi]

Alleen als je fancy wil doen of Windows draait . Linux raid en ZFS prefereren directe access naar de disks, ofwel via SATA op het moederbord of via een HBA. Lekker goedkoop dus

HBA uitschrijven en eventueel voorbeelden gebruiken.

Bij NAS software mis ik ZFSguru en FreeNAS (7 en .

2. Welke raid levels zijn ok in mijn backup machine/appliance?
Alles met mirroring of parity is ok. Raid6 is een populair raid level voor backup omdat het 2 schijfuitvallen kan overleven en bij een enkele schijfuitval geen risico loopt tijdens de rebuild.
ZFS is hierin nog eens sterker doordat het silent corruption kan detecteren.

RaidZ3 als ultime oplossing aanbieden? Eigenlijk voor beschikbaarheid

6. Ik zie dat ZFS dedup doet, gebruiken die handel?
Dedup is alleen handig wanneer je veel duplicate data backupt, zoals VM’s. De dedup ratio’s zijn zeer verschillend naargelang je data. Over het algemeen is het dus voor thuisgebruik eerder een gimmick dan lifesaver.

Vermeld ook even een hoger geheugen gebruik bij ZFS.

Mooie handleiding!

[GoT]

Dit is wat mij betreft een dedicated NAS: http://tweakers.net/categorie/685/nas-behuizingen/producten/

De andere oplossing die jij noemt, met een OS erop, moederbord, geheugen etc. noem ik een server.

Snap het niet ???

[3DDude]

GoT schreef op zaterdag 03 november 2012 @ 14:47:
Dit is wat mij betreft een dedicated NAS: http://tweakers.net/categorie/685/nas-behuizingen/producten/

De andere oplossing die jij noemt, met een OS erop, moederbord, geheugen etc. noem ik een server.

Snap het niet ???

Als jij die 'server puur voor storage' gebruikt, is het in weze een NAS... ?

[Q]

Er bestaat niet zoiets als een 'dedicated NAS'. Iets is een NAS of niet, of bijvoorbeeld een DAS.

Het is een beetje een woorden issue. Een NAS is eigenlijk gewoon een file server. Tegenhangers zijn DAS (usb disk aan je computer) of SAN (FC/iSCSI oplossingen).

In de context van thuisgebruik zou je de QNAP / Synology dingen een NAS kunnen noemen, maar eigenlijk zijn het gewoon heel goedkope file servertjes.

Het leuke is echter dat anno 2012 die dingen vaak ook SAN features ondersteunen zoals iSCSI enzo, of ook als DAS aangesloten kunnen worden.

Geen punt allemaal, maar het is wel handig om die context duidelijk te maken.

[ Voor 73% gewijzigd door Q op 04-11-2012 10:54 ]

[Edmin]

Om verwarring te voorkomen is de term FAQ uit de titel verwijderd.

[Q]

Ik denk dat het goed is om een hoop onnodig engels taalgebruik te vertalen, zoals: availability = beschikbaarheid, te 'counteren' is 'te waarborgen' (in deze context).

Als je de inhoud leest dan is het goed om de titel daadwerkelijk betekenis te geven. Storage en Nas zijn net zoiets als 'brood en boter'. Dus? Wat kun je in dit topic vinden?

Maar het is wel als een FAQ geschreven, dus door dat uit de titel te halen...

[ Voor 10% gewijzigd door Q op 04-11-2012 11:34 ]

[mux]

Ik doe eens in de zoveel tijd een BBG zuinige NAS, oftewel NAS-configuraties die zoveel mogelijk op laagst energieverbruik out-of-the-box zijn gericht. Misschien interessant voor de TS.

Topics die nog interessant zijn in het kader van servers+zuinig zijn Nieuwe zuinige server en Zuinige ESXi server

[Jormungandr]

De engelse woordenschat is beroepsmisvorming, ik heb de 2 woorden in kwestie vervangen, morgen scan ik de tekst wel even opnieuw door ivm leesbaarheid.

De titel is niet meteen duidelijk nee, maar ik wist niet goed wat er van te maken. Als de mods een goed idee hebben, pas maar aan.

Ik heb ook wat links toegevoegd die Mux aanhaalt. Hoe meer info hoe beter.

Ivm de discussie "dedicated". dedicated wil imo zeggen uitsluitend, wanneer je NAS ook nog aan webhosting, SQL, video-encoding, downloading, ... doet is het niet meer dedicated. Maar een NAS is een NAS inderdaad dus ik heb het woord eruit gehaald.

[Edmin]

Jormungandr schreef op zondag 04 november 2012 @ 23:02:
De titel is niet meteen duidelijk nee, maar ik wist niet goed wat er van te maken. Als de mods een goed idee hebben, pas maar aan.

Stuur Dune of Cipher (de lokale mods) even een DM om te vragen of ze er brood in zien je werk in de FAQ te integreren. De term FAQ willen we reswerveren voor de stickies.

[Anoniem: 15758]

Wat mij betreft mag dit topic dienen als feedbacktopic voor een nieuwe startpost van DIY RAID NAS. Een speciaal eigen topic voor vragen hierover lijkt mij overbodig. De uitgebreide lijst met vraag en antwoord zou beter in de startpost van DIY RAID NAS of daar direct onder kunnen worden opgenomen.

Dank voor je werk Jordmungandr! Ik zal er binnenkort met wat meer detail naar kijken. Ik was namelijk al bezig met de startpost van het grote ZFS topic. DIY RAID NAS is de volgende kandidaat.

[MikeVM]

6. Wat met ZFS on Linux?
Dit staat nog in de kinderschoenen maar maakt snel progressie. Goed voor testdoeleinden, nog te nieuw voor persoonlijke data.

is dit nog steeds zo, of is linux ondertussen stabiel genoeg voor ZFS?
ik heb echt geen zin om een ander OS te gebruiken dan windows of Linux

of is dan het beter linux te draaien; met daaronder een VM voor mijn ZFS?

[ Voor 11% gewijzigd door MikeVM op 05-11-2012 11:36 ]

[Q]

ZFS on Linux is wel stable maar nog niet geoptimaliseerd, dus performance zal slechter zijn dan onder BSD / Solaris derivaat.

Ik heb wat hardware gehad en ga komende weken nog eens benchen met 4 disks en ZFS vs MDADM + XFS.