Zoekt naar tips, opmerkingen en kritiek voor storage server

[ChrisVrolijk]

Hi,

Ik ben een storage server aan het bouwen met de volgende onderdelen.
moederbord ASUS P8B75-M
CPU Intel I3 2120
MEM 16Gb Corsair
Controller Adaptec 51245
Disk Seagate 4TB ST4000DM000

Controller config
1x array 5x 4Tb
1x array 5x 4Tb
2x global hot spare

Operating system
Xpenology

Doel
NFS naar ESXi
NFS naar Windows server 2012 R2
NFS naar Windows server 2016

Ik weet nog niet hoe groot ik de NFS partities ga maken.

Ik ben op zoek naar kritiek, tips, opmerkingen, things to remember and consider.

Superbedankt en alvast een fijn weekend

[Rolfie]

ChrisVrolijk schreef op vrijdag 10 februari 2017 @ 13:16:
Controller config
1x array 5x 4Tb
1x array 5x 4Tb
2x global hot spare

Dit wordt en 2 * RAID5? Nadeel van dit soort schijven is dat bij 1 disk uitval, tijdens de rebuild een 2de fout op de disks geconstateerd worden. Waarna je RAID set kwijt bent.

Why RAID Cannot Cope With Large Disks: Rebuild Times
Persoonlijk vind ik dit een risico met je disk opzet en zou ik niet volledig mijn kritieke data hierop willen hebben staan, zonder goede backup.

Alternatief is RAID6, ofwel 2 parity disks.

Doel
NFS naar ESXi
NFS naar Windows server 2012 R2
NFS naar Windows server 2016

Hoe moeten we dit zien? Windows kan standaard niet direct iets met NFS doen. Eventueel ISCSI luns zou wel weer kunnen. Of onder ESX aanbieden en VMFS volumes van maken.

Ik ben op zoek naar kritiek, tips, opmerkingen, things to remember and consider.

Mijn eerste reactie zou zijn, waarom niet FreeNAS icm ZFS? Nadeel is wel, dat ZFS eigenlijk de disken direct wilt aanspreken en niet via een RAID controller. En volgens mij ondersteund dat de controller niet.

[Verwijderd]

ChrisVrolijk schreef op vrijdag 10 februari 2017 @ 13:16:
Controller config
1x array 5x 4Tb
1x array 5x 4Tb
2x global hot spare

Dit vind ik vreemd. Je wilt twee maal 5 disks in RAID5, met dubbele hot spare. Waarom dan niet gewoon twee maal RAID6? Waarom überhaupt twee arrays? Je kunt ook één RAID6-array van 12 disks maken zonder hot spare bijvoorbeeld, of een RAID6-array van 11 disks met één hot spare.

Doel
NFS naar ESXi
NFS naar Windows server 2012 R2
NFS naar Windows server 2016

Ik weet nog niet hoe groot ik de NFS partities ga maken.

Wat bedoel je met partities want NFS is een NAS-protocol en geen SAN-protocol. Dit betekent dat NFS gewoon directe toegang tot een directory geeft bijvoorbeeld; alle ruimte blijft gedeeld tussen alle NFS shares op hetzelfde volume. Kortom, ze hebben allemaal geen vaste grootte zoals je wel hebt bij gebruik van een SAN-protocol als iSCSI.

Ik ben op zoek naar kritiek, tips, opmerkingen, things to remember and consider.

Mijn grootste kritiekpunt is dat je kiest voor legacy storage; ouderwets RAID5 of RAID6 op een Hardware RAID controller. Dat is vandaag de dag toch wel zonde aangezien er veel betere en vooral veiligere alternatieven zijn. Want RAID5 is gewoon niet veilig; al zijn er sommigen op dit forum en elders die daar anders over denken; de mainstream inclusief vrijwel alle developers van storage platforms vinden dat RAID5 niet meer kan vandaag de dag. Enorm gevoelig voor bad sectors, timeouts, onveilige write-back, RAID5 write hole en gebrek aan checksums maakt dat het echt véél en véél minder bescherming biedt dan bijvoorbeeld ZFS. Ik zou willen stellen dat een normale enkele disk zonder enige poespas véél veiliger is dan een dergelijke RAID5-array als jij van plan bent - ook al heb je hot spares.

Kortom, een ZFS platform en een HBA-controller ipv RAID-controller is wel iets wat je zou kunnen overwegen. Mijn mening is wel dat je een goede reden moet hebben om vandaag de dag geen ZFS te draaien. Er kunnen goede redenen zijn, maar bij gebrek aan een goede reden ligt een ZFS NAS toch echt voor de hand. Bedenk wel dat je RAID-controller waarschijnlijk niet geschikt is voor ZFS - daarvoor wil je een non-RAID controller oftewel een HBA (Host-Bridge Adapter) hebben zodat ZFS directe controle over de disks krijgt. Dat zou wel een nadeel zijn van de ZFS-route, dat je je huidige controller niet meer kunt gebruiken. Je kunt wel kijken of je write-back kunt uitschakelen en of je I/O reordering kunt uitschakelen - dat laatste is cruciaal want vrijwel de enige manier om ZFS te slopen is door een hardware RAID controller te gebruiken die aan onveilige I/O reordering doet. Dat is funest voor de integriteit van ZFS.

[ Voor 5% gewijzigd door Verwijderd op 11-02-2017 17:25 ]

[cobo]

De Seagate 4TB ST4000DM000 disk zijn niet compatibel met een Adaptec raid controller. Een Areca raid controller wel.

[ChrisVrolijk]

Super bedankt voor de opmerkingen allemaal. Ik ga beginnen met knippen en plakken van quotes

Rolfie schreef op zaterdag 11 februari 2017 @ 16:08:

[...]

Dit wordt en 2 * RAID5? Nadeel van dit soort schijven is dat bij 1 disk uitval, tijdens de rebuild een 2de fout op de disks geconstateerd worden. Waarna je RAID set kwijt bent.
Alternatief is RAID6, ofwel 2 parity disks.

[...]

De 5 is bedoeld voor 5 disken. Het wordt inderdaad RAID6 vandaar de 2 global hot spares.
Het is geen kritieke data maar mijn rips uit mijn dvd collectie om het te kunnen afspelen via een mediaplayer. Dus als het klapt is het alleen maar tijd wat ik kwijt ben. Het origineel heb ik nog pronkend in de kast.

Rolfie schreef op zaterdag 11 februari 2017 @ 16:08:

[...]

Hoe moeten we dit zien? Windows kan standaard niet direct iets met NFS doen. Eventueel ISCSI luns zou wel weer kunnen. Of onder ESX aanbieden en VMFS volumes van maken.

[...]

Windows Server 2012 R2 met NFS laten praten is een feature die je kan installeren zeg ik uit mijn hoofd. Voor iSCSI moet je een netwerk kaart hebben die het ondersteund. Ik heb dit nog niet gecontroleerd.

Rolfie schreef op zaterdag 11 februari 2017 @ 16:08:

[...]

Mijn eerste reactie zou zijn, waarom niet FreeNAS icm ZFS? Nadeel is wel, dat ZFS eigenlijk de disken direct wilt aanspreken en niet via een RAID controller. En volgens mij ondersteund dat de controller niet.

Ik wil nog wel een keer gaan kijken naar Freenas maar eigenlijk heb je dan zelf de vraag beantwoord

Verwijderd schreef op zaterdag 11 februari 2017 @ 17:24:
[...]

Dit vind ik vreemd. Je wilt twee maal 5 disks in RAID5, met dubbele hot spare. Waarom dan niet gewoon twee maal RAID6? Waarom überhaupt twee arrays? Je kunt ook één RAID6-array van 12 disks maken zonder hot spare bijvoorbeeld, of een RAID6-array van 11 disks met één hot spare.


[...]

Nee het is RAID6 met 2 global hot spares.
Ik heb gekozen voor 2 arrays omdat ik anders bij een upgrade alle disken tegelijk moet vervangen. Het is voor thuis dus kosten speelt een rol.

Verwijderd schreef op zaterdag 11 februari 2017 @ 17:24:

[...]

Wat bedoel je met partities want NFS is een NAS-protocol en geen SAN-protocol. Dit betekent dat NFS gewoon directe toegang tot een directory geeft bijvoorbeeld; alle ruimte blijft gedeeld tussen alle NFS shares op hetzelfde volume. Kortom, ze hebben allemaal geen vaste grootte zoals je wel hebt bij gebruik van een SAN-protocol als iSCSI.


[...]

OK, hier moet ik dus nog naar kijken, blijkbaar mis ik hier wat kennis.

Verwijderd schreef op zaterdag 11 februari 2017 @ 17:24:

[...]

Mijn grootste kritiekpunt is dat je kiest voor legacy storage; ouderwets RAID5 of RAID6 op een Hardware RAID controller. Dat is vandaag de dag toch wel zonde aangezien er veel betere en vooral veiligere alternatieven zijn. Want RAID5 is gewoon niet veilig; al zijn er sommigen op dit forum en elders die daar anders over denken; de mainstream inclusief vrijwel alle developers van storage platforms vinden dat RAID5 niet meer kan vandaag de dag. Enorm gevoelig voor bad sectors, timeouts, onveilige write-back, RAID5 write hole en gebrek aan checksums maakt dat het echt véél en véél minder bescherming biedt dan bijvoorbeeld ZFS. Ik zou willen stellen dat een normale enkele disk zonder enige poespas véél veiliger is dan een dergelijke RAID5-array als jij van plan bent - ook al heb je hot spares.

Kortom, een ZFS platform en een HBA-controller ipv RAID-controller is wel iets wat je zou kunnen overwegen. Mijn mening is wel dat je een goede reden moet hebben om vandaag de dag geen ZFS te draaien. Er kunnen goede redenen zijn, maar bij gebrek aan een goede reden ligt een ZFS NAS toch echt voor de hand. Bedenk wel dat je RAID-controller waarschijnlijk niet geschikt is voor ZFS - daarvoor wil je een non-RAID controller oftewel een HBA (Host-Bridge Adapter) hebben zodat ZFS directe controle over de disks krijgt. Dat zou wel een nadeel zijn van de ZFS-route, dat je je huidige controller niet meer kunt gebruiken. Je kunt wel kijken of je write-back kunt uitschakelen en of je I/O reordering kunt uitschakelen - dat laatste is cruciaal want vrijwel de enige manier om ZFS te slopen is door een hardware RAID controller te gebruiken die aan onveilige I/O reordering doet. Dat is funest voor de integriteit van ZFS.

Je zal best gelijk hebben maar met uitzondering van de disken is dit wat ik nu heb liggen en heb verzameld. Als ik naar ZFS ga heb ik waarschijnlijk weer meer resources nodig (CPU/ MEM). Ik heb lang geleden al eens kort gegeken naar ZFS en zag toen dat ZFS voor elke GB best veel geheugen nodig heeft. Vandaar mijn keuze voor een hardwarematige oplossing met RAID6.

cobo schreef op zondag 12 februari 2017 @ 17:24:
De Seagate 4TB ST4000DM000 disk zijn niet compatibel met een Adaptec raid controller. Een Areca raid controller wel.

Ow, dat is wel een belangrijk punt. Waar heb je dit gevonden en hoe want ik heb al een tijdje een RAID5 set draaien met 8 disken zonder problemen.

[_JGC_]

RAID5 met hotspare is geen RAID6. Persoonlijk draai ik liever RAID6 zonder hotspare dan RAID5 met.

[cobo]

ChrisVrolijk schreef op maandag 13 februari 2017 @ 09:24:

Ow, dat is wel een belangrijk punt. Waar heb je dit gevonden en hoe want ik heb al een tijdje een RAID5 set draaien met 8 disken zonder problemen.

Mijn ervaring met de Seagate 4TB ST4000DM000 hdd's op een adaptec raid 3405 werkte niet. En aangezien adaptec voor zijn aansturing van de hdd's de zelfde fimware/bios gebruikte voor zijn raid controllers. Lijkt het er op dat het ook niet werkt op een Adaptec 51245. Op de Compatibility Report staan de schijven trouwens ook niet. Zie Compatibility Report

[ChrisVrolijk]

_JGC_ schreef op maandag 13 februari 2017 @ 11:37:
RAID5 met hotspare is geen RAID6. Persoonlijk draai ik liever RAID6 zonder hotspare dan RAID5 met.

De bedoeling is 2arrays in RAID6 met 2 global hotspares.

cobo schreef op maandag 13 februari 2017 @ 12:48:
[...]


Mijn ervaring met de Seagate 4TB ST4000DM000 hdd's op een adaptec raid 3405 werkte niet. En aangezien adaptec voor zijn aansturing van de hdd's de zelfde fimware/bios gebruikte voor zijn raid controllers. Lijkt het er op dat het ook niet werkt op een Adaptec 51245. Op de Compatibility Report staan de schijven trouwens ook niet. Zie Compatibility Report

Mijn disk staat er volgens mij niet tussen maar ik zal vanavond even thuis goed kijken.
Ik heb in ieder geval al langere tijd een RAID5 draaien met dezelfde controller.
Dank voor de link

[TommieW]

ChrisVrolijk schreef op maandag 13 februari 2017 @ 09:24:
Windows Server 2012 R2 met NFS laten praten is een feature die je kan installeren zeg ik uit mijn hoofd. Voor iSCSI moet je een netwerk kaart hebben die het ondersteund. Ik heb dit nog niet gecontroleerd.

WS2k12R2 heb ik alleen zien werken als een NFS server, niet als een NFS client.

Uit een paar tests die ik heb uitgevoerd, ben ik tot de conclusie gekomen dat de performance van NFS een stuk minder is (in ieder geval bij het schrijven van grote files) dan dat van SMB. Zéker bij een Windows client raad ik je aan om gebruik te maken van SMB. Dat werkt ook prima onder FreeNAS e.d.

Edit: Daarnaast heb ik ook nog nooit gezien dat je voor iSCSI een compatible ethernet adapter nodig hebt. Dit is (IIRC) wel het geval bij bijvoorbeeld FCoE.

[ Voor 10% gewijzigd door TommieW op 13-02-2017 13:18 ]

[Tsurany]

ChrisVrolijk schreef op maandag 13 februari 2017 @ 09:24:
Je zal best gelijk hebben maar met uitzondering van de disken is dit wat ik nu heb liggen en heb verzameld. Als ik naar ZFS ga heb ik waarschijnlijk weer meer resources nodig (CPU/ MEM). Ik heb lang geleden al eens kort gegeken naar ZFS en zag toen dat ZFS voor elke GB best veel geheugen nodig heeft. Vandaar mijn keuze voor een hardwarematige oplossing met RAID6.

ZFS heeft niet perse veel resources nodig om te draaien. Je kan met die 16GB en een i3 prima uit de voeten. Je zal alleen wat aan snelheid inboeten, voor thuisgebruik en het opslaan van media lijkt me dat helemaal geen probleem.

[ChrisVrolijk]

TommieW schreef op maandag 13 februari 2017 @ 13:17:
[...]

WS2k12R2 heb ik alleen zien werken als een NFS server, niet als een NFS client.

Uit een paar tests die ik heb uitgevoerd, ben ik tot de conclusie gekomen dat de performance van NFS een stuk minder is (in ieder geval bij het schrijven van grote files) dan dat van SMB. Zéker bij een Windows client raad ik je aan om gebruik te maken van SMB. Dat werkt ook prima onder FreeNAS e.d.

Edit: Daarnaast heb ik ook nog nooit gezien dat je voor iSCSI een compatible ethernet adapter nodig hebt. Dit is (IIRC) wel het geval bij bijvoorbeeld FCoE.

Dankjewel voor de tip. Ik ben helemaal niet thuis in NFS maar zal er eens naar gaan kijken. Welke tool heb je gebruikt voor het meten?

Tsurany schreef op maandag 13 februari 2017 @ 13:28:
[...]

ZFS heeft niet perse veel resources nodig om te draaien. Je kan met die 16GB en een i3 prima uit de voeten. Je zal alleen wat aan snelheid inboeten, voor thuisgebruik en het opslaan van media lijkt me dat helemaal geen probleem.

Hmm, langzaam nieuwsgierig aan het worden. Ik zal op mijn todo list zetten dat ik eens een testopstelling ga maken. Ik zag dat er heel veel topics over freenas en nas4free zijn dus ik zal er ever een tijdje eens induiken.

[Q]

Letop met ZFS: je krijgt de random I/O performance van 1 disk per vdev. Maak je 1 VDEV met 10 disks? dan krijg je nog steeds de random I/O performance van 1 drive. Da's niet veel. Daarom is het van belang om met ZFS met mirrors te werken als je geeft om performance. Of meerdere kleinere RAIDZ1 VDEVs.

Met legacy RAID krijg je gewoon de 'normale' IOPs die je van een bepaald RAID level kunt verwachten.

Ik zou even goed testen van te voren.

[ Voor 14% gewijzigd door Q op 13-02-2017 13:38 ]

[TommieW]

ChrisVrolijk schreef op maandag 13 februari 2017 @ 13:30:
[...]


Dankjewel voor de tip. Ik ben helemaal niet thuis in NFS maar zal er eens naar gaan kijken. Welke tool heb je gebruikt voor het meten?

Voor het testen heb ik gewoon een bash scriptje gebruikt die een file van 8GB met random data kopieert en meet hoe lang het duurt. Ik heb geen meting gedaan van de random I/O performance.

[ChrisVrolijk]

[quote]Rolfie schreef op zaterdag 11 februari 2017 @ 16:08:
[...]

Why RAID Cannot Cope With Large Disks: Rebuild Times

[...]

Ik heb het artikel gelezen. Ik heb er op zich geen moeite mee als het rebuilden een week in beslag neemt. Zolang ik maar voortgang zie en geen dataverlies heb.

[Rolfie]

ChrisVrolijk schreef op maandag 13 februari 2017 @ 14:34:
[quote]Rolfie schreef op zaterdag 11 februari 2017 @ 16:08:
[...]

Why RAID Cannot Cope With Large Disks: Rebuild Times

[...]

Ik heb het artikel gelezen. Ik heb er op zich geen moeite mee als het rebuilden een week in beslag neemt. Zolang ik maar voortgang zie en geen dataverlies heb.

Het probleem is meer dat bij een grote rebuild op RAID5, het risico is, dat er tijdens de rebuild een 2de disk defect gaat. En dan is je data weg.
Maar je gaat voor RAID6 dus is niet direct van toepassing. Waarom eigenlijk RAID6 met hotspare? De hotspare bied niet erg veel toegevoegde waarde op een RAID6. Waarbij je nu ook erg veel overhead hebt op je raid volumes. Van de 6 disken gebruik je er nu maar effectief 3, dat is 50% verlies. Van je 10 disken blijven er dus maar 5 over voor je data.

NFS icm met Windows server, werkt... Maar ik zou het je zeker niet aanbevelen. Of je Windows server ook al NFS client kan gebruiken, volgens mij wel, maar ik zou dit eerst allemaal eens goed testen.
ISCSI luns kunnen ook gewoon direct onder Windows werken. Je hoeft geen netwerk kaart ondersteuning te hebben. Volgens mij is dat alleen nodig als je wilt booten van een ISCSI LUN. Er zit wel een belangrijk verschil tussen beide. ISCSI is blockbased en NFS is file based.

Wat is de redenen waarom je Windows server wilt gaan gebruiken? Meestal kan je juist alles op een NAS goed aanbieden icm met NFS of SMB (samba). Bijna alle clients kunnen hiermee overweg.
Ik draai zelf een FreeNAS met 6 disks in RAIDZ2 (RAID6), Plex, DNLA, NFS, SMB, AFS samen met OpenVPN server en client. Werkt als een speer, zonder enige issues.
Mijn hoofd redenen voor FreeNAS was juist ZFS storage. Met 32Gb memory is dit zeer snel, en zeer veilig vanuit de ZFS techniek.

[Verwijderd]

ChrisVrolijk schreef op maandag 13 februari 2017 @ 09:24:
De 5 is bedoeld voor 5 disken. Het wordt inderdaad RAID6 vandaar de 2 global hot spares.

Wat bedoel je nu precies?

Bedoel je:

A ) twee keer een RAID6 met ook nog dubbele hot-spare; dus in totaal 2+2+2 = 6 disks die niet voor opslag gebruikt kunnen worden. Je hebt de effectieve opslag van 2x drie disks. Dit lijkt mij weinig plausibel.
B ) twee keer een RAID5 met dubbele hot-spare; jij beschouwt dat als 'RAID6' maar dat is onjuist!

Een hot-spare erbij doet niet zoveel; het beschermt je pas als de rebuild is afgelopen. Een RAID5 is zéér kwetsbaar en al helemaal als een disk is uitgevallen en je bent aan het rebuilden. De kans dat je dan een bad sector tegenkomt op de overige disks is vrij groot; groot genoeg om deze configuratie te heroverwegen.

Het is geen kritieke data maar mijn rips uit mijn dvd collectie om het te kunnen afspelen via een mediaplayer. Dus als het klapt is het alleen maar tijd wat ik kwijt ben. Het origineel heb ik nog pronkend in de kast.

Dan nog is het veel werk en ben je van optical disks niet zeker dat je deze later nog foutloos kunt uitlezen. Zorg gewoon dat je betrouwbare opslag hebt; dat is prima mogelijk in dit tijdperk met moderne software (lees: ZFS).

Bovendien, als dit klopt dan begrijp ik niet dat je dubbele RAID6 met dubbele hot spare draait.

Voor iSCSI moet je een netwerk kaart hebben die het ondersteund. Ik heb dit nog niet gecontroleerd.

Nee. Dergelijke iSCSI kaarten zijn voor een hardwarematige implementatie als je ouderwetse software (oude Windows-versies) draait. Met iSCSI bedoelt vrijwel iedereen dat je een softwarematige iSCSI draait, dus iSCSI-target op de server en iSCSI-initiator op de client. Dat doe je allemaal met software en kan elke computer, ook computers van 20 jaar geleden. Als het maar een netwerkkaart heeft en moderne software kan draaien.

Ik heb gekozen voor 2 arrays omdat ik anders bij een upgrade alle disken tegelijk moet vervangen. Het is voor thuis dus kosten speelt een rol.

Maar het feit dat je 2+2+2=6 disks niet effectief voor opslag kunt gebruiken, vind je geen rol spelen? Ik snap je overwegingen niet zo. De overwegingen die je aanvoert zijn niet in lijn met de gekozen route.

Bovendien; disks vervangen? Je voegt toch disks toe als je wilt upgraden; je vervangt disks toch nooit? Wat doe je met de oudere disks dan? Je hebt het denk ik over dat je 4TB disks straks door 6TB disks ofzo vervangt? Dat lijkt mij erg zonde. Bouw dan een nieuwe array met grotere disks ernaast lijkt me.

Als ik naar ZFS ga heb ik waarschijnlijk weer meer resources nodig (CPU/ MEM). Ik heb lang geleden al eens kort gegeken naar ZFS en zag toen dat ZFS voor elke GB best veel geheugen nodig heeft. Vandaar mijn keuze voor een hardwarematige oplossing met RAID6.

Je moet niet alle onzin geloven die wordt verteld; en dat is heel veel ook op dit forum helaas.

ZFS heeft helemaal niet veel resources nodig; en gebruikt ook minder RAM geheugen dan elk ander filesystem dat ik ken: FAT16, FAT32, NTFS, Ext2, Ext3, Ext4, UFS1, UFS2, HFS, XFS, JFS, wat hebben we nog meer?

ZFS kan RAM geheugen wel heel effectief gebruiker; beter dan andere 'domme' filesystems die gewoon een FIFO-cache hanteren van laatst aangesproken bestanden. Dat is ouderwets en daarom dat RAM cache voor die filesystems een beetje verspilling is van de potentie van RAM geheugen.

Qua CPU heb je een zeer krachtige processor met je i3; krachtiger dan de meeste ZFS servers die ik heb draaien. De langzaamste 64-bit desktop processor (AMD C60) draait ZFS ook prima en kan bijna de gigabit voltrekken. Jouw CPU is denk ik minimaal een factor 10 keer sneller. De meeste ZFS servers die ik aanraad zijn instapservers op basis van Apollo Lake: dat is een moederbord waar een low-power Intel processor op zit 'gesoldeerd' en 6W TDP op 4 cores doet. Dat is echt ruim voldoende voor een reguliere ZFS NAS.

cobo schreef op maandag 13 februari 2017 @ 12:48:
[...]
Mijn ervaring met de Seagate 4TB ST4000DM000 hdd's op een adaptec raid 3405 werkte niet.

Werkt niet in welke zin? Wordt de disk in zijn geheel niet gezien door de controller? Hardware compatibility list vind ik maar onzin; er worden wat testjes gedraaid met vooral oudere hardware en daarna ligt zo'n lijst te verrotten terwijl nieuwere hardware uitkomt. Compatibility is ook onzin want er zijn standaarden zoals de ATA standaard en als iets niet werkt komt dat omdat één van de partijen zich niet aan de specs houdt; dat is een bug geen compatibility.

Wel is een punt dat veel consumentendisks geen TLER ondersteunen. Ouderwetse RAID controllers met strenge timeouts kunnen dan gaan trippen als een disk een bad sector krijgt; de disk wordt dan uit de RAID configuratie gesmeten en dat kan prima met meerdere disks gebeuren, zodat je RAID6 opeens de helft van de disks mist en daardoor onbruikbaar wordt. Dat is een vrij groot risico voor legacy RAID in combinatie met consumenten hardeschijven met uBER 10^-14; dat wil zeggen normale hardeschijven die gemiddeld genomen regelmatig bad sectors produceren.

Maar ook met TLER kan een disk met bad sectors uit je RAID configuratie worden geschopt. Een disk met bad sectors is vanuit het perspectief van een legacy RAID controller gewoon een defecte disk. En dat betekent dat de zogenaamde 'failure rate' van hardeschijven opeens enorm stijgt omdat ook hardeschijven die prima binnen de specs van de fabrikant opereren volgens de controller 'failed' zijn en je RAID array sloopt zodra de schijven uit de array worden gegooid.

Mijn conclusie: in dit tijdperk hebben we iets héél moois voor gebruikers als jij (de topicstarter dus) en ik vind dat je dat serieus zou moeten overwegen. ZFS biedt je vele voordelen. Probeer het zelf eens uit in een virtual machine. Voel je ook vrij om hulp te vragen over ZFS of andere onderwerpen; we helpen je graag! Wel wil ik je vragen even de topicstart (eerste post) van het Het grote ZFS topic. Daarin staat veel informatie om je een eerste indruk te geven van ZFS.

Succes!

[cobo]

Verwijderd schreef op maandag 13 februari 2017 @ 17:24:


[cobo schreef op maandag 13 februari 2017 @ 12:48:

Mijn ervaring met de Seagate 4TB ST4000DM000 hdd's op een adaptec raid 3405 werkte niet.]

Werkt niet in welke zin? Wordt de disk in zijn geheel niet gezien door de controller? Hardware compatibility list vind ik maar onzin; er worden wat testjes gedraaid met vooral oudere hardware en daarna ligt zo'n lijst te verrotten terwijl nieuwere hardware uitkomt. Compatibility is ook onzin want er zijn standaarden zoals de ATA standaard en als iets niet werkt komt dat omdat één van de partijen zich niet aan de specs houdt; dat is een bug geen compatibility.

Het probleem was dat de controller de hardeschijven niet herkende. Verder ik prijs de compatibility list ook niet de hemel in. Het is meer van om er rekening mee te houden. Verder weet ik niet of de topic starter de harde schijven en/of de raid controller al heeft. Deze info is vooral van belang bij aankoop. Ik zal zeker bij nieuwe aan te schaffen hardware er rekeningen mee houden. Anders zit je met een een aantal hdd's en een raid controller waar je niks mee kunt.

[Verwijderd]

Akkoord. Dat niet herkennen kan inderdaad echt een compatibility ding zijn. Meestal ook gewoon dat één partij zich niet aan de specs houdt. Soms is het verholpen met een firmware-update van de controller.

[ChrisVrolijk]

Verwijderd schreef op maandag 13 februari 2017 @ 17:24:
[...]

Wat bedoel je nu precies?

Bedoel je:

A ) twee keer een RAID6 met ook nog dubbele hot-spare; dus in totaal 2+2+2 = 6 disks die niet voor opslag gebruikt kunnen worden. Je hebt de effectieve opslag van 2x drie disks. Dit lijkt mij weinig plausibel.
B ) twee keer een RAID5 met dubbele hot-spare; jij beschouwt dat als 'RAID6' maar dat is onjuist!

Een hot-spare erbij doet niet zoveel; het beschermt je pas als de rebuild is afgelopen. Een RAID5 is zéér kwetsbaar en al helemaal als een disk is uitgevallen en je bent aan het rebuilden. De kans dat je dan een bad sector tegenkomt op de overige disks is vrij groot; groot genoeg om deze configuratie te heroverwegen.

Mijn veronderstelling is als volgt.
RAID6 minimaal 5 disken en 2 hotspares. Totaal dus 7 disken.
De 2 hot spares kan ik op mijn controller kaart aanmerken als global hotspares.
Ik kan ze dus laten fungeren als hotspares voor meerdere arrays.

Verwijderd schreef op maandag 13 februari 2017 @ 17:24:
[...]

Bovendien; disks vervangen? Je voegt toch disks toe als je wilt upgraden; je vervangt disks toch nooit? Wat doe je met de oudere disks dan? Je hebt het denk ik over dat je 4TB disks straks door 6TB disks ofzo vervangt? Dat lijkt mij erg zonde. Bouw dan een nieuwe array met grotere disks ernaast lijkt me.

[...]

Inderdaad vervangen, ik heb niet zoveel ruimte in mijn kast

Verwijderd schreef op maandag 13 februari 2017 @ 17:24:
[...]

Mijn conclusie: in dit tijdperk hebben we iets héél moois voor gebruikers als jij (de topicstarter dus) en ik vind dat je dat serieus zou moeten overwegen. ZFS biedt je vele voordelen. Probeer het zelf eens uit in een virtual machine. Voel je ook vrij om hulp te vragen over ZFS of andere onderwerpen; we helpen je graag! Wel wil ik je vragen even de topicstart (eerste post) van het Het grote ZFS topic. Daarin staat veel informatie om je een eerste indruk te geven van ZFS.

Succes!

Dankjewel, ik zal het opslaan in mijn favorieten en een keer gaan lezen. Maar 700 pagina's is best veel.

Voor nu hou ik het op 2x RAID6 met 2 GHS en hou ik mijn back-up er nog maar even naast.
Daarna installeer ik ESXi op een USB stick en zet Xpenology in een VM. De disken voor xpenology zat ik eerst in een datastore en wordt niet RDM.

Je verhaal is sterk voor ZFS maar ik moet eerst de keus gaan maken of ik voor NAS4FREE of Freenas ga.

Wederom thanks

[Verwijderd]

ChrisVrolijk schreef op dinsdag 14 februari 2017 @ 14:09:
Mijn veronderstelling is als volgt.
RAID6 minimaal 5 disken en 2 hotspares. Totaal dus 7 disken.

Maar dat betekent dus dat je 2+2+2 = 6 disks niet effectief kunt gebruiken; dat is niet erg efficient. Zeker omdat je zegt dat de data opnieuw te genereren is, vraag ik me af waarom je hier voor hebt gekozen? Met een andere opstelling zoals 5+5+2 = 12 disks in RAID-Z2 (ZFS tegenhanger van RAID6) lijkt mij veel economischer, omdat je dan maar 2 disks 'kwijt' bent aan redundancy/overhead ipv je huidige 6. Dat betekent meer effectieve opslagruimte. Bovendien acht ik een 12-disk RAID-Z2 veel veiliger dan welke RAID6-array dan ook.

Inderdaad vervangen, ik heb niet zoveel ruimte in mijn kast

Wat doe je met de oude schijven dan? Logischer klinkt het voor mij als je na verloop van tijd gewoon een nieuwe machine ernaast bouwt voor extra opslag en je huidige machine bijvoorbeeld als geautomatiseerde nightly backup gebruikt die vrijwel altijd uit staat en alleen 's nachts even online komt (dat kun je in BIOS instellen) voor het syncen van je backup.

Hardeschijven is niet zoveel innovatie meer; er komen wel grotere schijven maar die zijn veelal SMR-schijven die je niet wilt hebben en de prijs-per-gigabyte ligt al tijden stil. Kortom, schijven vervangen lijkt mij niet heel economisch in dit tijdperk.

Dankjewel, ik zal het opslaan in mijn favorieten en een keer gaan lezen. Maar 700 pagina's is best veel.

Maar ik doelde ook op de topicstart; dus de éérste post in dat topic wat boordevol informatie staat; zie maar: Het grote ZFS topic. De rest van de posts hoef je natuurlijk niet te lezen; dan kun je beter posten wat je nog niet begrijpt en leggen wij het uit. Maar de eerste post in dat topic ('topicstart') bevat veel informatie en is geschreven voor mensen die ZFS nog niet kennen maar RAID wel enigszins. Dus dat zou een mooi beginpunt zijn, al is het maar om te overwegen of ZFS inderdaad iets voor je is.

Je verhaal is sterk voor ZFS maar ik moet eerst de keus gaan maken of ik voor NAS4FREE of Freenas ga.

Je kunt beide in een VM uitproberen, zoals met virtualbox. Maar besef wel: je kunt achteraf je keuze altijd nog wijzigen. Je kunt je ZFS pool meenemen van het ene platform naar het andere, naar Linux, zelfs naar Mac OSX en dan weer naar FreeNAS. Soms zitten er haken en ogen zoals hoe de disks geformatteerd worden en je hebt ook een moderne ZFS implementatie nodig, maar in principe kan dit gewoon. Dat is het mooie van ZFS ten opzichte van concurrerende projecten zoals Btrfs wat Linux-only is, en ReFS wat Microsoft-only is.

Als je besluit dat ZFS niet voor jou is, prima, maar ik raad je wel om het serieus te overwegen. De startpost eens doorlezen van het ZFS topic zou een goed begin zijn. Als ik je nog ergens mee kan helpen hoor ik het wel!

Succes!

[MvL]

Één groot nadeel van ZFS vind ik nog altijd het uitbreiden van je storage.

[Verwijderd]

Gezien het feit dat zijn kast geen ruimte voor extra schijven heeft, en hij dus òf een extra kast/server moet bouwen òf de schijven één voor één dient te vervangen voor grotere exemplaren, is dat nadeel op hem nauwelijks van toepassing.

[DukeBox]

Als je toch xpenology gaat draaien, waarom dan niet alles 1 op 1 doorgeven en binnen synology shr2 gebruiken ?

[ChrisVrolijk]

Verwijderd schreef op dinsdag 14 februari 2017 @ 18:04:
[...]

Maar dat betekent dus dat je 2+2+2 = 6 disks niet effectief kunt gebruiken; dat is niet erg efficient. Zeker omdat je zegt dat de data opnieuw te genereren is, vraag ik me af waarom je hier voor hebt gekozen? Met een andere opstelling zoals 5+5+2 = 12 disks in RAID-Z2 (ZFS tegenhanger van RAID6) lijkt mij veel economischer, omdat je dan maar 2 disks 'kwijt' bent aan redundancy/overhead ipv je huidige 6. Dat betekent meer effectieve opslagruimte. Bovendien acht ik een 12-disk RAID-Z2 veel veiliger dan welke RAID6-array dan ook.


[...]

Ik snap dat 2+2+2 niet. Hoe kom je aan die getallen? Mij is uitgelegd dat ik met deze controller 2 hotspares als global kan toewijzen. Hierdoor zouden ze beschikbaar moeten zijn voor elke array. Ik heb dus maar op 1 array disk verlies.

Ik moet het nog lezen maar wil als het mag 3 vragen stellen.

[VRAAG1]
Stel dat ik toch voor ZFS wil gaan. Kies ik dan voor Freenas of voor Nas4Free?

[VRAAG2]
Ik installeer xpenology altijd in een VM en maak de datastores beschikbaar voor xpenology. Hierdoor kan ik makkelijker terug als er iets mis gaat. Kan dit ook met ZFS (Freenas/Nas4Free)?

[VRAAG3]
Wordt mijn hardware ondersteund?

DukeBox schreef op dinsdag 14 februari 2017 @ 20:35:
Als je toch xpenology gaat draaien, waarom dan niet alles 1 op 1 doorgeven en binnen synology shr2 gebruiken ?

Ik heb altijd begrepen dat dubbele redundancy geen goed idee is. Dus eerst op hardware niveau en daarna op software niveau. Als 2e heb ik altijd onthouden dat software raid veel performance kost maar dat blijkt ook sterk achterhaald te zijn.

Echt, mijn hele plan valt uit de steigers en eigenlijk heb ik niet de tijd om een compleet nieuwe storage oplossing te gaan uitdiepen omdat mijn andere omgeving op 95% staat. Aan de ene kant wil ik het graag veilig hebben maar aan de andere kant. Ik kan wel 90% opnieuw genereren maar dat kost idd tijd. Er zitten ook wat download tussen maar die kunnen ook wegblijven.

[Tsurany]

Vraag 1: Het is persoonlijke voorkeur. Ik zou zelf FreeNAS aanraden. Zit erg goed in elkaar en heeft een grote community. Ook is de interface zeer duidelijk. Er komt op korte termijn overigens een nieuwe versie aan.

Vraag 2: Je wilt dat bij ZFS het OS de volledige controle heeft over de schijf. Idealiter geef je dus je controllers door aan je VM via VT-D. Dat zal jouw CPU echter niet ondersteunen. Ik zou dan FreeNAS als OS draaien en via bijvoorbeeld VirtualBox of Docker andere VM's.

Vraag 3: FreeNAS is gebaseerd op FreeBSD en heeft uitstekende driver ondersteuning.

[_JGC_]

Ik ken je controller verder niet, maar begrijp dat je 12 disks hebt. Voor RAID6 raak je per array 2 disks kwijt. Hotspare hoeft niet, mag wel. Een global hotspare houdt in dat die disk gewoon voor de sier meedraait en ingezet wordt op het moment dat een andere disk vervangen moet worden.
Hotspare doe je eigenlijk in 2 situaties:
- bij zwakke RAID implementaties zoals RAID5 of RAID1 die na 1 diskuitval zonder redundantie draaien, daarbij wil je meteen beginnen met rebuilden
- bij servers die in een datacenter staan, ik heb geen zin om voor 1 dode disk naar Amsterdam te reizen, daarom heb ik afhankelijk van het aantal disks in een server een of meerdere hotspares

Voor thuisgebruik kan je net zogoed met een coldspare werken: 1 disk op de plank, als er een disk sterft trek je die eruit, zet je de vervangende disk terug en kan ie rebuilden. Bij hardware RAID doet een defecte disk toch niet meer mee en kan ie er net zo goed uit.

Maargoed, persoonlijk heb ik ook liever ZFS: niet afhankelijk van een hardware RAID implementatie, disks met bad sectors doen gewoon mee tijdens een rebuild, geen geklooi met TLER zoals bij hardware RAID.

[afterburn]

ChrisVrolijk schreef op woensdag 15 februari 2017 @ 11:29:
[...]


Ik snap dat 2+2+2 niet. Hoe kom je aan die getallen? Mij is uitgelegd dat ik met deze controller 2 hotspares als global kan toewijzen. Hierdoor zouden ze beschikbaar moeten zijn voor elke array. Ik heb dus maar op 1 array disk verlies.

RAID6 = array met 2 parity schijven, met andere woorden de capaciteit is N-2. In jouw geval dus 12TB per array (5-2 * 4TB)
2x RAID6 = 2x 2 parity schijven
2x hotspare = is, wel, 2.

Totaal is 2+2+2= 6 schijven die niet voor data worden gebruikt, uit een totaal van 12.

Beter is dan om gewoon 2 * 6 schijven in RAID6 te gebruiken (=16TB per array) en 2+2=4 schijven die niet voor data worden gebruikt, omdat hotspares bij RAID6 niet zo vreselijk veel toevoegen. Als er een schijf stuk gaat heb je nog tijd om een nieuwe schijf te regelen of te pakken voordat de array stuk gaat. Er mogen bij RAID6 immers 2 schijven stuk gaan voordat de je een kritieke situatie hebt.

[ChrisVrolijk]

Eindelijk, het kwartje valt. Wat stom van mij.
Ik dacht steeds dat de hotspares en de parity disken dezelfde disken zijn.

Ik dank jullie voor het blijven hameren en volhouden!

[ChrisVrolijk]

Ik ga even op onderzoek uit of mijn controller de adaptec 51245 en Freenas ook werkelijk vriendjes zijn en hoe ik freenas moet installeren.

[ChrisVrolijk]

Zit net in de hardware requirements guide te kijken op de freenas site en de RAM aanbeveling is best hoog

RAM
ZFS and, by extension, FreeNAS require a lot of RAM. A rule of thumb for RAM sizing is 1GB per
1TB of storage. This rule is left deliberately vague as it is only a rule of thumb.
The minimum requirement for FreeNAS is 8GB of RAM and lower quantities are not supported.
16GB is probably the sweet spot for most home users, but more RAM is generally an easy way
of improving server performance. For heavy jails/VM/plugin usage, 32GB might be a better
starting point.
Higher-density DIMMs are highly recommended (except where their cost is significantly higher,
such as when higher densities are enabled by using LR-DIMMs instead of RDIMMs), to facilitate
future upgrade paths, thanks to the empty DIMM slots.

Dus mijn controller is niet goed, en ik kan niet voldoende geheugen kwijt op mijn moederbord..
Om dezelfde reden als vorige keer haak ik dus af van Freenas.
Ik heb niet voldoende middelen om dit nu te maken

[Q]

@CookiesMonster: als jij een 'SAN' wilt bouwen voor je VMs die dus aan je ESXi server wordt gekoppeld dan is mijn advies:

Gebruik iSCSI als protocol. En gebruik Windows 2012 als iSCSI target server met storage spaces. Een alternatief is - als je vet into Linux bent - iSCSI op Linux met MDADM software RAID als backend. Lijkt me prima.

[Verwijderd]

ChrisVrolijk schreef op donderdag 16 februari 2017 @ 12:36:
(..) Dus mijn controller is niet goed, en ik kan niet voldoende geheugen kwijt op mijn moederbord..
Om dezelfde reden als vorige keer haak ik dus af van Freenas.
Ik heb niet voldoende middelen om dit nu te maken

Je controller is inderdaad wel een probleem; maar dat geldt evengoed voor Linux software RAID. Het probleem hierbij is dat je Hardware RAID controller besluit disks onzichtbaar te maken zodra deze bad sectors krijgen. Dat maakt je storage-setup erg gevoelig. Zo kan het anderhalve jaar zonder problemen draaien en het volgende moment zijn drie disks onzichtbaar en is je RAID array ontoegankelijk. Dan is nog niet alle data verdwenen, maar een stabiele setup is dit niet.

Qua RAM geheugen: ZFS zelf kan overweg vanaf 64 megabyte RAM. Dus 8GiB is zeker ruim voldoende voor een instap NAS. De eisen die je noemt zijn ook niet afkomstig van ZFS, maar van de ontwikkelaars achter FreeNAS. Die zijn nogal streng voor wat betreft welke hardware je moet draaien. Het feit dat jouw systeem geen ECC heeft bijvoorbeeld; betekent dat zij al neerkijken op je systeem.

Afgezien van je controller gaat alles prima werken op FreeNAS, ongeacht alle extreme adviezen die je hier en daar zult lezen. Je kunt ook overwegen een ander platform zoals NAS4Free, of als je echt alleen ZFS storage wilt kun je zelfs ZFSguru overwegen - daar werk ik zelf aan. De LiveCD van ZFSguru heeft ZFS beperkt tot 64 megabyte RAM; al moet je wel 2GiB RAM hebben om het te kunnen installeren in het begin.

Kortom, ik hoop dat je je niet laat afschrikken door meningen en gewoon zelf gaat proberen. Druk op de knop en kijk of het werkt voor jou. Het alternatief is echt een heel stuk minder goed.

[Q]

Het alternatief is ook prima gegeven deze specifieke toepassing.

Vanwege de beperkte performance van vdevs qua random iops zou legacy raid mogelijk zelfs een betere keuze kunnen zijn, ondanks alle optimalisaties in zfs.

De kans dat je tegen meerdere bad sectors aanloopt over meerdere schijven tegelijk is zo klein, dat je het kunt verwaarlozen, zeker thuis.

Voor iedere raid oplossing geldt: scrub / scan regelmatig, liefst 1x per maand thuis. Zo ontdek je bad sectors voordat ze voor echte problemen kunnen zorgen.


Waar ik het zeker mee eens ben: test zelf en meet, als je het echt wilt weten.

Als je met ZFS wilt testen dan raadt ik aan om mijn artikel in mijn signature door te lezen, staan relevante tips in voor jouw situatie.

[ Voor 43% gewijzigd door Q op 16-02-2017 19:01 ]

[ChrisVrolijk]

Hoe kan ik bepalen wat een goede controller is.
Ik heb bijvoorbeeld nog een Perc5 en een Perc6 liggen.

[Verwijderd]

Alle RAID controllers zijn eigenlijk per definitie niet goed; je wilt een HBA controller hebben - een controller zonder RAID.

Je kunt wel gebruik maken van wat je nu hebt. Maar heel belangrijk is dat je rekening houdt dat je disks onzichtbaar worden (detached) voor het operating system en dus ook voor ZFS of Linux software RAID zodra deze bad sectors tegenkomen. Die kans is statistisch vrij groot als je een rebuild doet en de overige schijven moeten hard werken voor een langere tijd. Dit maakt je setup veel gevoeliger.

Voor ZFS is dit net iets minder een probleem want zodra je disks weer zichtbaar zijn, fixt ZFS automatisch alles weer. Dus vaak een kwestie van rebooten. Wel mag je controller absoluut geen I/O reordering doen, want dan is je hele ZFS pool stuk en alle data permanent verloren, en bij legacy RAID kun je ook corruptie krijgen al zal het probleem zich daar beperken tot filesystem schade wat door 'fsck' wordt gerepareerd; al weet je dan eigenlijk niet wat er beschadigd is. Maar dat is inherent aan legacy RAID.

Kortom, je kunt het wel proberen. Maar die controllers zijn bedoeld voor een ander tijdperk. Nu met Linux software RAID of ZFS heb je er niet veel meer aan. De rest van je systeem is wel prima. Dus dan zou het neerkomen op een nieuwe controller. Bedenk dat je prima poorten van verschillende controllers kunt mixen; dus je onboard SATA zijn de best mogelijke poorten en daarbij kun je dan een SAS HBA nemen.

Zelf heb ik mijn ogen gericht op deze controller: Broadcom SAS-9305-24i. Wordt door BSD ondersteund; al kan FreeNAS nog ondersteuning ontberen door de oudere versie die wordt gebruikt; dat moet je nog wel even opzoeken. Maar er zijn veel SAS controllers die goed werken onder BSD en dit 24-poorts monster op PCI-express 3.0 en SAS 12Gbps heb je wellicht niet nodig. Maar voor de prijs krijg je wel veel. En SAS 12Gbps is leuk voor SAS expanders eventueel.

[ChrisVrolijk]

Kaartje is boven mijn budget. Is het uberhaupt mogelijk om een freenas te bouwen met een controller tot 150 EURO (mag 2e hands zijn)

[ChrisVrolijk]

Even snuffelen.

Onderstaand verhaal>
https://forums.freenas.or...ptec-51245-adapter.35650/

brengt mij op deze advertentie
http://link.marktplaats.nl/m1129126970

Advies?

[_JGC_]

Kan, of een IBM M1015. Belangrijk is dat je die dingen naar een LSI firmware in IT mode flasht.

[ChrisVrolijk]

_JGC_ schreef op zondag 19 februari 2017 @ 16:58:
Kan, of een IBM M1015. Belangrijk is dat je die dingen naar een LSI firmware in IT mode flasht.

LSI firmware in IT mode?

[Verwijderd]

Een IBM M1015 is een controller met een LSI SAS2008 chip. Die kun je ook met de originele LSI firmware flashen.

IR mode firmware = RAID mode
IT mode firmware = HBA mode (non-RAID)

Hier staat hoe dat flashen werkt; dit doen veel mensen die ZFS gebruiken: http://www.servethehome.com/ibm-serveraid-m1015-part-4/

Over die link die je noemt; bedenk dat FreeNAS oudere BSD releases heeft; dus het kan zijn dat FreeNAS 10 het wel ondersteund; dat kun je het makkelijkste gewoon proberen door te booten van een FreeNAS USB-stick. Gewoon proberen dan komt alles goed!

[ChrisVrolijk]

Verwijderd schreef op zondag 19 februari 2017 @ 17:09:
Over die link die je noemt; bedenk dat FreeNAS oudere BSD releases heeft; dus het kan zijn dat FreeNAS 10 het wel ondersteund; dat kun je het makkelijkste gewoon proberen door te booten van een FreeNAS USB-stick. Gewoon proberen dan komt alles goed!

Ik moet een controller gaan kopen dus ik probeer wel enige zekerheid te krijgen.

Maar met het moederbord en de controller kom ik samen op 6 + 8 sata poorten. De controller kan in IT mode worden geflashed en het moederbord kan 16Gb aan geheugen aan.

Dan ben ik volgens mij met de hardware excl disken rond.
Er komen in totaal 12 SATA disken in en nog 2 SSD's.

Het doel van de machine is ook iets veranderd.
* Opslag van videofiles (mkv/avi/avchd)
* Backup en images van machines
* Software repository

Als bovenstaand nu klopt kan ik gaan kijken naar de configuratie van freenas door te gaan lezen

[Verwijderd]

Je hebt echt geen 16GiB nodig; 8GiB is prima. Minder zal ook prima werken, al hebben sommigen een 'felle mening' over wat jij 'hoort' te doen, maar dat is een mening en heeft geen technische relevantie; 4GiB werkt ook gewoon - zij het trager. In elk geval als we het over ZFS hebben.

De hardware heb je al; enige is nog een controller. Je kunt een 8-poorts of 16-poorts LSI SAS controller overwegen, zoals de IBM M1015. Maar er zijn ook nog meer opties. Normale AHCI HBA's zijn goedkoper, maar hebben veelal minder poorten. Alles hangt dus af hoeveel poorten en hoeveel PCI-express slots je hebt.

Wat wil je met SSDs gaan doen? Voor jouw setup lijkt me dat overkill; tenzij je ze al hebt. FreeNAS zelf kun je het beste van USB-stick draaien en L2ARC en sLOG is op FreeNAS niet zo handig want dan moet je je hele SSD daarvoor dedicaten. Ik zou het niet zo snel doen. Houd het lekker goedkoop. Bedenk ook: je kunt het altijd later achteraf nog doen.

Voor 14 SATA apparaten heb je genoeg aan 8-poorts HBA + 6 poorten op je moederbord/chipset.

[ChrisVrolijk]

Verwijderd schreef op zondag 19 februari 2017 @ 18:08:
Je hebt echt geen 16GiB nodig; 8GiB is prima. Minder zal ook prima werken, al hebben sommigen een 'felle mening' over wat jij 'hoort' te doen, maar dat is een mening en heeft geen technische relevantie; 4GiB werkt ook gewoon - zij het trager. In elk geval als we het over ZFS hebben.

De hardware heb je al; enige is nog een controller. Je kunt een 8-poorts of 16-poorts LSI SAS controller overwegen, zoals de IBM M1015. Maar er zijn ook nog meer opties. Normale AHCI HBA's zijn goedkoper, maar hebben veelal minder poorten. Alles hangt dus af hoeveel poorten en hoeveel PCI-express slots je hebt.

Wat wil je met SSDs gaan doen? Voor jouw setup lijkt me dat overkill; tenzij je ze al hebt. FreeNAS zelf kun je het beste van USB-stick draaien en L2ARC en sLOG is op FreeNAS niet zo handig want dan moet je je hele SSD daarvoor dedicaten. Ik zou het niet zo snel doen. Houd het lekker goedkoop. Bedenk ook: je kunt het altijd later achteraf nog doen.

Voor 14 SATA apparaten heb je genoeg aan 8-poorts HBA + 6 poorten op je moederbord/chipset.

Die felle mening maakt het wel lastig voor mij om aan de relevante informatie te komen. Maar zoals je al aan hebt gegeven kan ik beter op tweakers blijven dat naar het freenas forum gaan.

Ik heb het geheugen liggen dus als ik het hierdoor sneller kan maken is dat geen probleem.
Ja, we hebben het idd over ZFS als vervanger voor RAID. Toch? of zie ik nu al door de bomen het bos niet meer.

Door gebruik te maken van de 8 poorten op de controller en de 6 extra op mijn moederbord kom ik precies uit. Tenzij jij zegt dat een controller met meer poorten beter is want dan moet ik weer op zoek.

Ik heb de SSD's liggen dus ik ga even lezen waar ik ze voor kan gebruiken en of ik dit nuttig vind.

[Verwijderd]

ChrisVrolijk schreef op zondag 19 februari 2017 @ 18:19:
Die felle mening maakt het wel lastig voor mij om aan de relevante informatie te komen. Maar zoals je al aan hebt gegeven kan ik beter op tweakers blijven dat naar het freenas forum gaan.

Ik begrijp je probleem; wie te geloven; de meningen staan tegenover elkaar en bijna iedereen is behoorlijk standvastig in zijn opinie. Dat maakt het voor jou als beginner in deze wereld moeilijk om je te oriënteren en om een sterke mening te onderscheiden van daadwerkelijk nuttige informatie die jou helpt een beslissing te vormen.

Ook op dit forum zijn er een paar mensen die zulke felle meningen hebben die zo tegen alle gangbare conventies ingaan, dat het ook voor mij soms nutteloos lijkt me nog uit te spreken en gebruikers als jou ietwat een genuanceerd beeld proberen te geven.

Wat me vooral stoort is het effect van dergelijke sterke meningen. Mensen haken af van ZFS en kiezen een véél minder veilige oplossing. Dat kan soms een redelijke afweging zijn, maar als die afweging wordt geïnstigeerd door bangmakerij als dat ZFS heel veel RAM 'nodig' heeft of dat je zonder ECC al helemaal geen ZFS hoort te draaien. Dat zijn echt extremistische radicale denkbeelden die jou totaal niet helpen als beginnende gebruiker die leuke opslag wilt regelen voor jezelf.

Aan jou dus de moeilijke taak om enigszins proberen zelf nuance te scheppen uit alle informatie die je aangeboden krijgt. Op het FreeNAS forum is dat nog veel erger dan hier. Daar moet je het precies zo doen als de leiders op dat forum vertellen; anders hoor je er niet bij en heb je ook geen 'recht' om veilige opslag te hebben. Ik kan me daar soms echt kwaad om maken; maar dat heeft allemaal geen zin....

Het enige dat ik kan doen is vragen geduld te hebben en sommige dingen goed uit te zoeken en vooral ook zelf uit te proberen. Dan zul je ontdekken dat je ook met minder-ideale hardware prima ZFS kunt draaien en dat dat enorm veel voordelen biedt waar je nu en later enthousiast over kan worden.

Ik heb het geheugen liggen dus als ik het hierdoor sneller kan maken is dat geen probleem.

Als je het hebt, prima! 16GiB is best ruim voor een thuis NAS. Ik zelf ben groot voorstander van veel RAM, omdat ZFS het nuttig kan gebruiken. Vooral voor het cachen van metadata. Daarvoor moet je wel wat zaken tunen, anders wordt je RAM vooral gebruikt voor het cachen van data en dat acht ik minder nuttig.

Met 'cachen' bedoel ik dat een deel van de data op je disks in RAM wordt opgeslagen. Vooral metadata cachen is nuttig, zodat je supersnel door directories kunt browsen met veel bestanden en zoekopdrachten kunt doen, alsmede kunt zorgen dat je mechanische hardeschijven geen of minder metadata hoeven te lezen tussen de echte data door, wat zorgt voor minder random seeks en dus meer sequential I/O en dat betekent dat je hardeschijven een hogere doorvoersnelheid kunnen behalen; een zwaarbeladen vrachtmachine kan dan even lekker een lange weg doorgassen ipv elke keer bochten te maken waar zo'n vrachtwagen enorm enorm enorm langzaam bij is. Een SSD is als een Ferrari die die kleine bochten juist heel snel kan maken: 100 tot 1000 keer zo snel als een mechanische hardeschijf.

Ja, we hebben het idd over ZFS als vervanger voor RAID. Toch? of zie ik nu al door de bomen het bos niet meer.

ZFS is een 3e generatie filesystem wat zijn eigen 'RAID' doet. Dus als je ZFS gebruikt, dan gebruik je geen RAID: geen software RAID en geen hardware RAID controller. Het kan wel overigens, bijvoorbeeld om twee 2TB schijven in een 4TB schijf te veranderen en die samen met andere 4TB schijven in een ZFS pool te stoppen; zoiets kan nuttig zijn. Maar in zijn algemeenheid: als je ZFS gebruikt, gebruik je geen RAID.

ZFS ondersteunt een enkele disk, RAID0 met meerdere disks, RAID1 mirroring met meerdere disks en ten slotte parity RAID oftewel: RAID5 en RAID6 en RAID7 (RAID-Z1/2/3).

Door gebruik te maken van de 8 poorten op de controller en de 6 extra op mijn moederbord kom ik precies uit. Tenzij jij zegt dat een controller met meer poorten beter is want dan moet ik weer op zoek.

8-poorts SAS HBA is nog betaalbaar; meer poorten op één controller is vaak duurder per poort. Het maakt het wel makkelijker om je pool uit te breiden. Maar zo'n 8 poorts HBA is nog wel een tijd nuttig. Bedenk alleen wel: ze verbruiken nog aardig wat stroom. 8 watt voor zo'n 8 poorts HBA. 8 watt is evenveel als een superzuinige Intel quadcore setup; een hele computer dus, maar dan wel helemaal gestript en getuned. Maar toch vind ik die verhouding zelf slecht; HBA's verspillen best wat energie. 8 watt komt overeen met 16 euro per jaar als het zaakje 24/7 altijd aan staat. Toch iets om te overwegen.

Veel goede alternatieven zijn er niet. Er is de Delock controller: pricewatch: Delock PCI Express Card > 1 x 10 Gigabit LAN RJ45

Die is extreem zuinig en veel goedkoper, maar heeft slechte compatibiliteit. Ik heb hem zelf ook en is alleen bruikbaar onder FreeBSD versie 12 vanaf februari dit jaar. Dus zelfs de FreeNAS 10 beta is daarvoor ongeschikt. Je enige optie voor deze controller is vanilla FreeBSD of ZFSguru. Dat laatste is het project waar ik aan werk (tegenhanger van FreeNAS) en wat als voordeel heeft dat het veel modernere releases heeft van BSD; 10.x, 11.x en 12.x terwijl 10.x nog beta is bij FreeNAS. Vooral bij hardware compatibility kun je dat verschil merken. Voor de rest niet zo.

Ik heb de SSD's liggen dus ik ga even lezen waar ik ze voor kan gebruiken en of ik dit nuttig vind.

Twee SSDs kun je heel goed gebruiken als je de SSDs al hebt; maar het hangt wel af wat voor SSDs. Onveilige SSDs moet je NOOIT gebruiken als sLOG/ZIL maar alleen als L2ARC caching en als algemene opslag (gewoon een ZFS pool met je SSDs). Voor jou is sLOG/ZIL ook niet heel interessant; veiliger is om dit niet te gebruiken. Je SSD moet namelijk goede PLP (Power-Loss Protection) hebben voor sLOG. Alle Samsung consumenten SSDs zijn ongeschikt voor sLOG en vele andere SSDs ook. Eigenlijk alleen Crucial M en MX-serie is geschikt als consumenten SSD voor deze functie. Die hebben echtere capacitors en eerbiedigen het FLUSH-commando.

Zelf vind ik het tof om twee SSDs in te zetten voor alles:

• een ZFS pool waar je het operating system op installeert; die doe je in mirror zodat de twee SSDs beide bootbaar zijn en je fouttolerantie hebt; één SSD stuk of problemen en je server draait vrolijk verder.
• L2ARC caching voor je ZFS pool van hardeschijven. L2ARC zorgt min of meer voor meer RAM geheugen door je SSD als RAM te gebruiken, simpel gezegd. Het grootste nadeel voor consumenten is dat na een reboot dit effect weer weg is en hij opnieuw de cache moet opbouwen. Dus L2ARC is alleen nuttig als je server vele weken achter elkaar aan staat, eigenlijk 24/7 gewoon. L2ARC kan flink wat schrijfacties veroorzaken op je SSD, maar je kunt via de SMART in de gaten houden op hoeveel procent levensduur (MWI) je SSD zit. Voor L2ARC maakt het niet als je SSD het begeeft, want dan wordt er gewoon van de hardeschijven gelezen. Dus L2ARC doe je altijd in stripe (RAID0 zeg maar). 2x40GB = 80GB.
• Tenslotte sLOG want als je een veilige SSD hebt kun je dit ook gebruiken. sLOG doe je dan weer in mirror voor de veiligheid. Dus 2x4GB = 4GB en niet 8GB. Je hebt maar enkele gigabyte nodig voor sLOG.
• Ten slotte, heel belangrijk vooral als je L2ARC gebruikt: overprovisioning. Je gebruik een consumenten SSD als server SSD dus dan moet je handmatig 25 tot 50 procent ruimte reserveren als overprovisioning; ongebruikte ruimte. Zorg wel dat je die ruimte beschikbaar maakt voor je SSD middels TRIM erase of secure erase procedure van tevoren.

Vraag gerust dingen die je nog niet begrijpt; daar zijn we hier voor.

Succes!

[ChrisVrolijk]

Wat is een goed startpunt om te gaan lezen over installatie en configuratie?
Mag ik de opties en keuze's die ik wil gaan maken hier bespreken?
SSD valt dus af want de storage server zal niet 7x24 actief zijn.

[Verwijderd]

Ik denk dat het vooral uitproberen is in een virtual machine; dat zal je denk ik helpen om een beeld te krijgen van hoe de dingen werken.

Je mag alle opties voor jou 'project' hier bespreken; in brede zin.

SSDs zijn voor jouw configuratie waarschijnlijk niet nuttig als je de server vaak uitschakelt. Misschien in de toekomst als we 'persistent L2ARC' hebben; dan wordt de cache ook na een reboot/power cycle bewaard. Maar voor nu gewoon een USB-stick voor FreeNAS en je hardeschijven als opslag.

[Q]

Ik vind het maar een verwarrend verhaal.

Verwijderd schreef op zondag 19 februari 2017 @ 20:14:

ZFS is een 3e generatie filesystem wat zijn eigen 'RAID' doet. Dus als je ZFS gebruikt, dan gebruik je geen RAID: geen software RAID en geen hardware RAID controller. Het kan wel overigens, bijvoorbeeld om twee 2TB schijven in een 4TB schijf te veranderen en die samen met andere 4TB schijven in een ZFS pool te stoppen; zoiets kan nuttig zijn. Maar in zijn algemeenheid: als je ZFS gebruikt, gebruik je geen RAID.

ZFS ondersteunt een enkele disk, RAID0 met meerdere disks, RAID1 mirroring met meerdere disks en ten slotte parity RAID oftewel: RAID5 en RAID6 en RAID7 (RAID-Z1/2/3).

ZFS = software RAID + file system + logical volume manager in één

Met software RAID hoef je dus geen hardware RAID controller te kopen, maar is een 'domme' SATA controller of HBA zonder RAID support prima. (goedkoper)

ZFS past gewoon de concepten van RAID toe zoals 'legacy' RAID oplossingen maar noemt het RAIDZ in plaats van RAID5 en RAIDZ2 in plaats van RAID6.

RAID1 = mirroring, meerdere mirrors in een pool is effectief RAID10.

Oude wijn in nieuwe zakken. Je hoeft geen RAID toe te passen, zeker, maar in deze context lijkt me dat toch wel wenselijk.

Dat ZFS onderwater wat trucjes doet om haar RAID implementatie nog beter te maken, is hier even niet van belang, het gaat om het idee en daar is niets anders aan.

Omdat RAID en File laag elkaar snappen hoeft ZFS alleen de daadwerkelijke data te reconstrueren als een disk stuk gaat. Bij 'legacy' RAID moeten alle disks tot op de laatste bit helemaal ingelezen worden voor de reconstructie van een vervangende disk. ZFS kan dus afhankelijk van de hoeveelheid data veel sneller rebuilden dan legacy RAID bijvoorbeeld.

[ Voor 5% gewijzigd door Q op 19-02-2017 22:51 ]

[ChrisVrolijk]

Ik heb nog niet alle hardware binnen om mijn nieuwe NAS compleet te maken dus ik ga starten met het opbouwen van freenas in een VM

[ChrisVrolijk]

Voortgang 23-02
Ik heb een virtual machine gemaakt in VMWare workstation 12 Pro. Machine heeft de laatste stable freenas ISO, 2 cores, 2GB RAM, 1 system disk van 30GB en 5 data disks van 10Gb. Ik heb ergens gelezen dat er minimaal 5 disks in moeten zitten om alle RAIDZ types te zien. Tijdens de installatie gekozen voor BIOS en niet voor UEFI omdat mijn moederbord geen UEFI bios heeft. Leek me logisch.

Volgende stap:
Keuze maken voor disk layout.

Ik heb via youtube een installatie gevold. Als iemand vind dat ik een andere instructie moet gebruiken dan hoor ik het graag.

[Tsurany]

Installatie en configuratie is vrij eenvoudig, lees vooral de support documentatie op de FreeNAS website als je iets niet begrijpt. In principe kan je nu een RAIDZ1 of RAIDZ2 opstelling inrichten.

[ChrisVrolijk]

Eerst even uitzoeken wat een pool is, vdev's zijn en het verschil in Z1..Z3 qua netto diskspace, redundancy en performance.

[Giesber]

ChrisVrolijk schreef op donderdag 23 februari 2017 @ 10:39:
Eerst even uitzoeken wat een pool is, vdev's zijn en het verschil in Z1..Z3 qua netto diskspace, redundancy en performance.

Daarvoor vond ik de powerpoint in deze post op het Freenas forum uiterst handig.