Het grote DIY RAID NAS topic deel 3

[Damic]

Wat zou ik nog kunnen vragen voor een pricewatch: Areca ARC-1220ML (8x SATA300 RAID, XOR, 256MB, PCI-e x8) zonder bbu?

[FireDrunk]

Weinig denk ik. Euro of 60-80?

[Damic]

Eeek das zeer weinig, had gehoopt op wat meer. Maarja is ook oude kaart.

[ Voor 54% gewijzigd door Damic op 19-12-2015 13:30 ]

[Q]

NiVanc schreef op vrijdag 18 december 2015 @ 15:07:
Daarenboven is er afgelopen nacht een update geweest van Plex waardoor het transcoden op de server niet meer nodig is. Hierdoor dalen mijn cpu vereisten aanzienlijk. Over een goede timing gesproken

Als transcoden niet meer nodig is, waarom wil je zelfbouw?

Een QNAP of Synology is misschien in jouw situatie veel makkelijker. Zeker voor het budget wat je beschikbaar hebt. Dan kun jij een hele mooie Synology voor uitzoeken.

Wat gaat zelfbouw jouw bieden over een Synology in dezelfde prijsklasse?

Je bent bijvoorbeeld van plan om 3 disks in een RAIDZ te zetten, maar besef je dat je daar geen disks aan kunt toevoegen en dat je niet makkelijk kunt uitbreiden?

Misschien zoek je alleen maar info over ECC en maak ik het nu te groot allemaal. In dat geval sluit ik me bij het advies van Player-x aan: de belangrijkheid van je data bepaalt wat verstandig is.

[ Voor 10% gewijzigd door Q op 19-12-2015 13:43 ]

[silverball]

Hallo allemaal!
Mijn NAS werkt nog steeds naar behoren:

#	Product	Prijs	Subtotaal
1	Intel Pentium G3420 Boxed	€ 68,90	€ 68,90
1	Gigabyte GA-H81N-D2H	€ 50,26	€ 50,26
1	WD Blue WD5000AAKX, 500GB	€ 45,25	€ 45,25
1	Cooler Master Elite 110	€ 40,95	€ 40,95
1	Crucial CT51264BA160BJ	€ 18,95	€ 18,95
1	be quiet! System Power 7 300W	€ 32,95	€ 32,95
Bekijk collectie Importeer producten		Totaal	€ 257,26

Zit nog 2x WD green 500 gig in (RAID-1) en een losse 250 gig hdd van onbekend merk voor onbelangrijke data.

Echter wil ik een stapje verder gaan, ik wil om meerdere reden gaan virtualiseren. Daarin wil ik de volgende OS'sen draaien:

- OpenSUSE (webhost)
- FreeNAS (?)
- CentOS (LDAP, kerberos 5 server)
- Centos (Torrent server, kodi mySQL backend)
Ik wil waarschijnlijk vSphere gaan gebruiken(geen ervaring mee). Lijkt jullie dit haalbaar? En zijn deze OS'sen aangeraden of zouden jullie voor iets anders gaan? Ik gebruik deze omdat ik met CentOS en SUSE al enig ervaring heb, maar iets anders is ook prima.

[ Voor 0% gewijzigd door silverball op 19-12-2015 14:12 . Reden: Spelling ]

[FireDrunk]

Kan prima gok ik zo, maar bedenk je wel dat ESXi kieskeurig is qua hardware.
Zo zal je wat kunstjes moeten uitvoeren om je NIC aan de praat te krijgen, en kan je geen Software RAID1 doen in ESXi.

[Verwijderd]

4GiB RAM is wel enorm jammer - hoe wil je gaan virtualiseren dan? Je RAM uitbreiden lijkt me de eerste stap, naar 2x 8GiB. Dat zou betekenen dat je je 4GiB reepje moet vervangen. Dat is een reden dat ik nooit aanraad om een 4GiB reepje te kopen maar altijd 8GiB reepjes. Achteraf duurkoop.

Al kun je overwegen om naast de 4GiB een 8GiB reepje te plaatsen. Ik weet alleen niet of je dan de mogelijkheid tot dual channel verliest.

[FireDrunk]

Nee, je hebt dan nog steeds dual channel (mits de reepjes compatible zijn met elkaar).

[silverball]

Verwijderd schreef op zaterdag 19 december 2015 @ 15:24:
4GiB RAM is wel enorm jammer - hoe wil je gaan virtualiseren dan? Je RAM uitbreiden lijkt me de eerste stap, naar 2x 8GiB. Dat zou betekenen dat je je 4GiB reepje moet vervangen. Dat is een reden dat ik nooit aanraad om een 4GiB reepje te kopen maar altijd 8GiB reepjes. Achteraf duurkoop.

Al kun je overwegen om naast de 4GiB een 8GiB reepje te plaatsen. Ik weet alleen niet of je dan de mogelijkheid tot dual channel verliest.

Ja dat is achteraf inderdaad een foute keuze geweest. Gelukkig kan ik die 4 gig wel kwijt.

FireDrunk schreef op zaterdag 19 december 2015 @ 14:38:
Je kan geen Software RAID1 doen in ESXi.

Hmmz, behalve hardware RAID, is er verder een alternatief?

[ Voor 14% gewijzigd door silverball op 19-12-2015 18:27 ]

[FireDrunk]

Een VM maken die een disk heeft op twee verschillende datastores, daar RAID 1 in doen (software RAID).
Vanuit de VM terugsharen naar je host via NFS.

Nadeel is dat 9/10 keer je VM afgeschoten wordt als 1 van de datastores wegvalt.

Je behoudt je data dus wel, maar je VM's klappen wel uit.

[Q]

Is het dan niet een stuk simlerer om gewoon een supported entry-level RAID kaartje te scoren voor het OS + VM die dan verder storage (VT-d van controller) weer aanbiedt via NFS/iSCSI aan ESXi?

[ Voor 6% gewijzigd door Q op 19-12-2015 19:06 ]

[LiquidSmoke]

Of je disken als physical RDM aanbieden en hier ZFS overheen gooien en dan aanbieden als NFS datastore? Kun je gewoon met de onboard sata controller af (mits ondersteund al dan neit via een aanpassing in ESXi)!

[ Voor 38% gewijzigd door LiquidSmoke op 19-12-2015 19:37 ]

[synoniem]

Q schreef op zaterdag 19 december 2015 @ 19:06:
Is het dan niet een stuk simlerer om gewoon een supported entry-level RAID kaartje te scoren voor het OS + VM die dan verder storage (VT-d van controller) weer aanbiedt via NFS/iSCSI aan ESXi?

Waarom zou je dat willen? Hardware RAID die door ESXi ondersteund wordt en al je VM's kunnen het dan toch zonder RAID af?

[LiquidSmoke]

synoniem schreef op zaterdag 19 december 2015 @ 19:38:
[...]

Waarom zou je dat willen? Hardware RAID die door ESXi ondersteund wordt en al je VM's kunnen het dan toch zonder RAID af?

Indien je geen ZFS wilt gebruiken is dit inderdaad de makkelijkste en vaak beste optie. Een groot deel van de makkelijk verkrijgbare raid controllers is gewoon ondersteund, en je hebt niet het geneuzel van VM's die eruit klappen als je storage VM down gaat.

[Q]

LiquidSmoke schreef op zaterdag 19 december 2015 @ 19:41:
[...]


Indien je geen ZFS wilt gebruiken is dit inderdaad de makkelijkste en vaak beste optie. Een groot deel van de makkelijk verkrijgbare raid controllers is gewoon ondersteund, en je hebt niet het geneuzel van VM's die eruit klappen als je storage VM down gaat.

Ja, desnoods een wat duurdere (2e hands) RAID kaart zodat je wat meer disks kwijt kunt, het is een beetje wat je zoekt.

Ik noem het omdat een aantal mensen hun NAS/SAN dan virtueel draait met ZFS of een andere laag die de storage weer terug aanbiedt aan ESXi of gewoon als NFS/SMB share.

Maar een 'ouderwetse' hardware RAID controller is prima iin deze context en om eerlijk te zijn denk ik dat dit voor de meeste mensen de beste optie is.

[ Voor 5% gewijzigd door Q op 20-12-2015 13:29 ]

[Shunt]

Ik ben van pan deze maand mijn Media Center en NAS los te peuteren van elkaar.
Enige tijd geleden heb ik een media center gebouwd met 6x 3tb disks. Ik heb er toen voor gekozen om geen raid array te bouwen en mijn belangrijke data te backup-en met een externe disk en een interne disk in mijn pc.

Echter met het oog op de toekomst en de twijfelachtige kwaliteit van mijn overige 5 disks wil ik het hele zooitje los gaan koppelen en een nieuwe losse NAS bouwen met een software RAID-6 config. De planning is om te beginnen met 4 nieuwe disks in een raid-6 config en de data hier langzaam naartoe te moven. Zodra er twee oude disks leeg zijn worden deze bij de raid-6 array gezet.

Mijn grootste vraag is eigenlijk of er nog relatief goedkope kasten zijn waar comfortabel 10/12 disks in passen. Ik heb al gekeken naar de lijken niet op voorraad te zijn en ook maar sporadisch wel op voorraad te komen.

Verder vroeg ik me nog af of er specifiek tooling is voor linux die het gemakkelijk maakt om live raid array's te extenden met nieuwe disks.

[Q]

Als je Linux met software RAID gaat draaien dan is het groeien van je array twee commando's op de CLI. Geen speciale tools. MD device groter maken en vervolgens je file system vergroten. Ik adviseer in deze context XFS als file system.

[Shunt]

Q schreef op zondag 20 december 2015 @ 16:09:
Als je Linux met software RAID gaat draaien dan is het groeien van je array twee commando's op de CLI. Geen speciale tools. MD device groter maken en vervolgens je file system vergroten. Ik adviseer in deze context XFS als file system.

Aye zo ver was ik al.
Ik heb eerst in een VM wat onderzoek gedaan en getest wat de beste methode was.
Ik wordt alleen een beetje euh krigel dat je geen direct visuele interactie hebt als je de de grow doet.
Denk dat krijg je als je de laatste 5 jaar bijna exclusief met Microsoft spul werkt.
Als ik helemaal opnieuw zou kunnen beginnen zou ik waarschijnlijk beginnen met een ZFS omgeving maar dat gaat me nu gewoon te duur worden.

[FireDrunk]

Cockpit installeren

(www.cockpit-project.org)

Daar kan het volgens mij redelijk visueel

[Q]

Shunt schreef op zondag 20 december 2015 @ 16:15:
[
Denk dat krijg je als je de laatste 5 jaar bijna exclusief met Microsoft spul werkt.

Ok fair enough. Ik begreep je vraag verkeerd / las niet goed.

Als ik helemaal opnieuw zou kunnen beginnen zou ik waarschijnlijk beginnen met een ZFS omgeving maar dat gaat me nu gewoon te duur worden.

Het is een beetje wat je zoekt, betere gegevensbescherming maar minder flexibiliteit (geen grow zoals je met mdadm kunt).

[Shunt]

Q schreef op zondag 20 december 2015 @ 21:21:
[...]


Ok fair enough. Ik begreep je vraag verkeerd / las niet goed.


[...]

Het is een beetje wat je zoekt, betere gegevensbescherming maar minder flexibiliteit (geen grow zoals je met mdadm kunt).

Zoals het er nu naar uit ziet gaat het een distro als CentOS gaat zijn (enige linux ervaring die ik heb is RedHat). De bedoeling is dat ik alles zo goed mogelijk via web kan beheren dus het boven genoemde cockpit klinkt wel fijn daar voor. Er komen SAB en of Sickbeard op te draaien. Plex weet ik nog niet zeker omdat die toch best wel hongerig is naar CPU met het transcoden.
Ik heb er heel lang over lopen twijfelen. Maar voor nu is mdadm meer dan voldoende voor de rotzooi die ik verzamel. Als er eens een file "corrupt" raakt dan is dat niet het einde van de wereld. Alles wat belangrijk is staat twee keer in het zelfde huis en een keer buitens huis.

Ik zit met name nog met de kast. Als je zoekt op kasten die geschikt zijn voor NAS doeleinde kom je toch vaak op kasten die ruimte bieden voor max zes tot acht disks.

[ Voor 30% gewijzigd door Shunt op 20-12-2015 21:34 ]

[Q]

Met deze torens zul je een aantal disks kwijt moeten in 5 1/5 " bays. Ook wel wat 'duurder'.

pricewatch: Fractal Design Arc Midi Tower

pricewatch: Fractal Design Define XL R2 Titanium Grey

Dit kan helpen:

pricewatch: Silverstone CFP52B

[Psycho_Bartje]

pricewatch: Antec Nineteen Hundred Green

Standaard ruimte voor 10HDD en met een drivebay zoals die hierboven vermeld kom je ook wel aan de 12

[idef1x]

Als ik zo op de antec site kijk kunnen er al standaard 12x 3,5" disks in hoor : http://www.antec.com/product.php?id=706727&fid=84

[Q]

Zo'n groene kast vind ik persoonlijk geen pan, maar smaken verschillen.

Bij 10+ disks ga je toch ook vaak al kijken naar 19" rack mount chassis omdat die ook meteen voor die prijs met hot-swap bays komen.

Losse hot-swap bays in een reguliere toren is vaak even duur omdat die bays vaak al 60-100 per stuk zijn waar er vaak slechts 5 disks in kunnen.

Fuck deze is mooi (wel aan de prijs)

pricewatch: Lian Li PC-Q26B Zwart

[ Voor 17% gewijzigd door Q op 21-12-2015 22:53 ]

[Psycho_Bartje]

Die PC-Q26B is idd erg fraai. Prima kwaliteit ook (ervaring) en mITX

Ri-vier deed in leuke racks, maar levert sinds enige tijd niet meer. (de mijne staat te koop...)

[idef1x]

Q schreef op maandag 21 december 2015 @ 22:49:
Zo'n groene kast vind ik persoonlijk geen pan, maar smaken verschillen.

Dan neem je de rode variant toch?

[silverball]

silverball schreef op zaterdag 19 december 2015 @ 14:09:
Hallo allemaal!
Mijn NAS werkt nog steeds naar behoren:


Echter wil ik een stapje verder gaan, ik wil om meerdere reden gaan virtualiseren. Daarin wil ik de volgende OS'sen draaien:

- OpenSUSE (webhost)
- FreeNAS (?)
- CentOS (LDAP, kerberos 5 server)
- Centos (Torrent server, kodi mySQL backend)
Ik wil waarschijnlijk vSphere gaan gebruiken(geen ervaring mee). Lijkt jullie dit haalbaar? En zijn deze OS'sen aangeraden of zouden jullie voor iets anders gaan? Ik gebruik deze omdat ik met CentOS en SUSE al enig ervaring heb, maar iets anders is ook prima.

Ik kom er vandaag achter dat ik twee hardeschijven heb die enorm tikken. Ik ga dus eerst mijn data veilig stellen en die vervangen. Gelukkig is eentje deel van een raid configuratie.

[WTM]

Ik ga morgen de volgende onderdelen ophalen (yeey! :-)) kan er iemand checken of ik zo alle benodigdheden heb om een werkend systeem te hebben met de componenten die ik hieronder heb:

Bij 't moederbordje en voeding zitten alle stekkertjes om ze aan te sluiten incl. omvormers (als ik 't zo mag noemen) om de sata schijven op de LSI controller aan te sluiten (dat is sas aansluiting).
(basic tools heb ik wel zoals schroevendraaiers :-P)

Nog tips die mensen kwijt willen :-) ? Ik zal zo eens kijken hoe zo'n socket 1150 er uitziet en hoe ik daar makkelijk de processor ik kan zetten :-P (laatste wat ik in elkaar gezet had is een socket 775). Hoop dat de stock-cooler makkelijker aan te sluiten is dan die irritante pinnen als bij een socket 775.

Qua software: ik heb Freenas gedownload als main os. Eerst maar eens inrichten als simpele download en stream server, met ZFS. Dat lijkt me al een 'hell of a job'. Daarna wil ik met Freenas als Host vm's via virtualbox gaan draaien.

#	Product	Prijs	Subtotaal
1	Intel Xeon E3-1231 V3 Boxed	€ 261,51	€ 261,51
1	ASRock E3C224D4I-14S	€ 277,50	€ 277,50
3	WD Green HDD, 4TB	€ 138,50	€ 415,50
1	Fractal Design Define R5 Zwart	€ 101,95	€ 101,95
1	Kingston ValueRAM KVR16E11K4/32	€ 238,50	€ 238,50
1	Cooler Master V Series V550 - 80+ Gold	€ 96,95	€ 96,95
Bekijk collectie Importeer producten		Totaal	€ 1.391,91

[ Voor 5% gewijzigd door WTM op 22-12-2015 21:42 ]

[Q]

Lijkt mij zo verder niets op aan te rekenen, maar pin me er niet op vast
Misschien nog een paar extra case fans van noctua? Maar ik betwijfel of dat nodig is.

Mooie setup, ga je wel plezier van beleven.

[ Voor 27% gewijzigd door Q op 23-12-2015 00:31 ]

[WTM]

Thanks! Fan kan ik wel erbij kopen denk ik zo.

Moet ik die LSI controller nog flashen naar IT mode (geen idee of ik dat moet doen maar ik lees er veel over maar nog niet duidelijk) op asrock rack site is in elk geval wel firmware te vinden voor freenas?

[Shunt]

Ik weet niet of ik nu helemaal gek aan het worden ben of dat er gewoon te veel dingen zijn veranderd sinds de laatste keer dat ik met FreeNAS heb gespeeld maar is het daar in eens niet meer mogelijk om software raid-6 aan te maken? Ik bedoel dus geen Raidz2 maar echt Raid-6 zodat ik mijn array nog kan uitbreiden.

[Verwijderd]

RAID6 is er nooit geweest. Er is wel Concatenating (geom_concat), RAID0 (geom_stripe), RAID1 (geom_mirror), RAID3 (geom_raid3) en RAID5 (geom_raid5) geweest. Software RAID6 bestaat niet op BSD en heeft nooit bestaan, afaik. Deze ondersteunen ook geen uitbreiding, dus kunnen veel minder dan ZFS kan want die kun je behoudens enkele belangrijke beperkingen wél uitbreiden.

Bovendien zit je dan vast aan een ouderwets filesystem als UFS2 en dat is echt een verkeerde keuze als je belangrijke data op wilt slaan. En ook voor minder belangrijke data denk ik dat je dan de verkeerde weg behandelt, al kun je daarover nog van mening verschillen.

Wil je echter toch legacy storage, overweeg dan een Areca RAID controller, die kan wel wat jij wilt op BSD OS en werkt ook met FreeNAS. Bedenk wel dat deze controller incompatible is met ZFS pools - je hele pool kan corrupt en onbruikbaar worden indien je data van de pool op een Areca RAID array opslaat.

[FireDrunk]

Zelfs als je write-through gebruikt en alle andere vormen van caching uit zet? (Dus sync=always bijvoorbeeld).

[Shunt]

Verwijderd schreef op woensdag 23 december 2015 @ 09:26:
RAID6 is er nooit geweest. Er is wel Concatenating (geom_concat), RAID0 (geom_stripe), RAID1 (geom_mirror), RAID3 (geom_raid3) en RAID5 (geom_raid5) geweest. Software RAID6 bestaat niet op BSD en heeft nooit bestaan, afaik. Deze ondersteunen ook geen uitbreiding, dus kunnen veel minder dan ZFS kan want die kun je behoudens enkele belangrijke beperkingen wél uitbreiden.

Bovendien zit je dan vast aan een ouderwets filesystem als UFS2 en dat is echt een verkeerde keuze als je belangrijke data op wilt slaan. En ook voor minder belangrijke data denk ik dat je dan de verkeerde weg behandelt, al kun je daarover nog van mening verschillen.

Wil je echter toch legacy storage, overweeg dan een Areca RAID controller, die kan wel wat jij wilt op BSD OS en werkt ook met FreeNAS. Bedenk wel dat deze controller incompatible is met ZFS pools - je hele pool kan corrupt en onbruikbaar worden indien je data van de pool op een Areca RAID array opslaat.

Voor mijn toepassing is ZFS zware overkill de data die belangrijk is staat redelijk safe door het gewoon op meerdere plekken op te slaan. Als ik ZFS wil gebruiken wil ik RAIDZ2 gebruiken en dan gaat het me te kostbaar worden om daar eerst een pool te maken die groot genoeg is om mijn huidige hoeveelheid data op te slaan en om daarna van mijn huidige disk weer een nieuwe pool te maken.

Ik zat juist aan software raid te denken omdat je dan niet vast zit aan controllers van bepaalde merken of soorten.

[Verwijderd]

FireDrunk schreef op woensdag 23 december 2015 @ 12:18:
Zelfs als je write-through gebruikt en alle andere vormen van caching uit zet? (Dus sync=always bijvoorbeeld).

sync=always heeft geen zin omdat Areca de FLUSH-commando's negeert. Je kunt de controller wel in write-through modus zetten. Dan zou je pool niet stuk mogen gaan, omdat er geen re-ordering wordt toegepast al weet ik dit niet helemaal zeker! Wat blijft, is het probleem dat je disks onzichtbaar worden (detached) bij bad sectors en non-TLER schijven. Wat je ook met Areca doet: RAID array, passthrough disk, hele controller in 'JBOD' modus - je schijven blijven eruit gegooid worden. Het zou wel kunnen zijn dat nieuwere firmware dan de 1.46 ofzo die ik had getest, dit oplost.

Shunt schreef op woensdag 23 december 2015 @ 12:18:
Voor mijn toepassing is ZFS zware overkill

Hoe kan een filesystem met betere bescherming overkill zijn? Baat het niet dan schaadt het niet?! Hetzelfde argument hoor ik vaak met RAM geheugen; omdat de CPU maar DDR3/1333 ondersteunt, willen mensen geen DDR3/1600 kopen wat gewoon nieuwere modules zijn voor dezelfde prijs. Maar waarom? Koop gewoon 1600MHz dat draait prima op 1333MHz. Mogelijk heb je er later wel profijt van. Volgens mij gaat eenzelfde argument ook wel op voor ZFS. En daar heb je naast de veiligheid nog vele andere voordelen, zoals goede compressie, snapshots, send/receive, enzovoorts.

de data die belangrijk is staat redelijk safe door het gewoon op meerdere plekken op te slaan.

Dat is dus niet veilig als je een legacy filesystem gebruikt. Corruptie wordt niet gedetecteerd en kan dus doorstromen naar al je backups zonder dat je het weet. Dus ook met duizend backups ben je niet veilig tegen alle risico's. Je kunt dit wel deels opvangen door zelf te checksummen. Maar een filesystem waar die functionaliteit al in zit is natuurlijk vele malen beter.

Als ik ZFS wil gebruiken wil ik RAIDZ2 gebruiken en dan gaat het me te kostbaar worden om daar eerst een pool te maken die groot genoeg is om mijn huidige hoeveelheid data op te slaan en om daarna van mijn huidige disk weer een nieuwe pool te maken.

Ik snap je niet helemaal, maar je doelt denk ik op uitbreiden van de pool. Weet dat je bijvoorbeeld een degraded RAID-Z2 kunt aanmaken, en je kunt beginnen met kleine disks en deze vervangen door grotere disks. Ook kun je natuurlijk uitbreiden door vdevs toe te voegen.

[Paul]

Verwijderd schreef op woensdag 23 december 2015 @ 12:45:
Ik snap je niet helemaal

Als je niet (semi) "greenfield" begint dan is het redelijk lastig om met ZFS te beginnen, want je raakt alle data die nu op de schijven die je in je pool stopt kwijt Zelfs als je (double) degraded begint heb je tijdelijk toch (minimaal) 200% van je data aan diskspace nodig

[Shunt]

Verwijderd schreef op woensdag 23 december 2015 @ 12:45:
Hoe kan een filesystem met betere bescherming overkill zijn? Baat het niet dan schaadt het niet?! Hetzelfde argument hoor ik vaak met RAM geheugen; omdat de CPU maar DDR3/1333 ondersteunt, willen mensen geen DDR3/1600 kopen wat gewoon nieuwere modules zijn voor dezelfde prijs. Maar waarom? Koop gewoon 1600MHz dat draait prima op 1333MHz. Mogelijk heb je er later wel profijt van. Volgens mij gaat eenzelfde argument ook wel op voor ZFS. En daar heb je naast de veiligheid nog vele andere voordelen, zoals goede compressie, snapshots, send/receive, enzovoorts.

Omdat het de extra kosten die het mee neemt voor mij niet waard is.
Systeem dat aanzienlijk meer geheugen nodig gaat hebben en ik zal meer disks moeten kopen.

Dat is dus niet veilig als je een legacy filesystem gebruikt. Corruptie wordt niet gedetecteerd en kan dus doorstromen naar al je backups zonder dat je het weet. Dus ook met duizend backups ben je niet veilig tegen alle risico's. Je kunt dit wel deels opvangen door zelf te checksummen. Maar een filesystem waar die functionaliteit al in zit is natuurlijk vele malen beter.

Zoals ik het begrepen heb heeft dit in mijn situatie alsnog niet veel nut. Als de files corrupt raken zal dit niet gebeuren door de NAS maar door de client systems / laptop / media center / pc's / tablets. Als een file al corrupt is bij het schrijven naar de ZFS omgeving gaat die hem neem ik aan niet magisch maken.

De kans dat mijn NAS een file corrupt maakt door hem aan te raken is volgens mij zo klein dat het voor mij verwaarloosbaar is.

Ik snap je niet helemaal, maar je doelt denk ik op uitbreiden van de pool. Weet dat je bijvoorbeeld een degraded RAID-Z2 kunt aanmaken, en je kunt beginnen met kleine disks en deze vervangen door grotere disks. Ook kun je natuurlijk uitbreiden door vdevs toe te voegen.

Ik bedoel dat als ik de overstap wil maken naar RAID-Z2 ik eerst een pool moet bouwen die net zo groot is als mijn huidige NAS dat zou dus 5x 3tb disks zijn. en dan moeten er uit eindelijk nog 2 parity disks bij. die ik dan uit mijn huidige nas kan halen. maar dan zit ik nog met 3 oude 3tb disks waar ik op dat moment niet veel nuttigs mee kan doen. En dan heb ik qua storage alsnog niet meer dan dat ik nu netto heb maar het kost me dan wel 5 nieuwe disks.

Als ik iemand zou kennen die 15tb aan disk space vrij heeft dan zou ik daar graag tijdelijk mijn data stallen zodat ik netjes kan beginnen met een 10 disk ZFS setup dan stap ik graag over!

Maar aangezien mijn originele plan niet door gaat ( ik had een 25tb nas op het werk kunnen lenen ) zal ik het met iets minders moeten oplossen.

[ Voor 6% gewijzigd door Shunt op 23-12-2015 13:54 ]

[Paul]

Shunt schreef op woensdag 23 december 2015 @ 13:52:
Systeem dat aanzienlijk meer geheugen nodig gaat hebben

Hoeveel heeft het nu dan? 512 MB? 1 GB? Voor de gemiddelde gebruiker in dit topic is 4 of 8 GB RAM ruim voldoende omdat er overwegend maar één concurrent gebruiker is en het meeste dataverkeer sequentieel is (films streamen).

en ik zal meer disks moeten kopen

Je zit inderdaad met de migratie, maar in de eindsituatie zal dat wel meevallen? Tenzij je van JBOD naar RAIDZ2 wil natuurlijk, maar dat probleem heb je met RAID 6 ook

Als een file al corrupt is bij het schrijven naar de ZFS omgeving gaat die hem neem ik aan niet magisch maken.

De kans dat mijn NAS een file corrupt maakt door hem aan te raken is volgens mij zo klein dat het voor mij verwaarloosbaar is.

Garbage in is inderdaad ook garbage out, maar terwijl het op je NAS staat kan het ook corrupt raken; storage is niet onfeilbaar Ik kopiëer het éénmalig van mijn PC naar mijn NAS, maar op die laatste staat het vervolgens maanden / jaren.

Als ik iemand zou kennen die 15tb aan disk space vrij heeft

Staan die 5x3 schijven ook helemaal vol? Ik heb 8.9 TB vrij... En als ze nu vol staan dan lijkt het me zonde te migreren naar iets dat exact even groot is... Met andere woorden, dan zou je waarschijnlijk toch al andere / meer schijven kopen

Als je de 'echt' belangrijke data toch al op 2 (of meer) plaatsen hebt staan en je wilt naar 10 schijven dan kun je ook een pool maken met 2 vdevs van 4+1 schijven in RAIDZ. Eerst maak je één RAIDZ vdev aan met je 5 nieuwe schijven, daar maak je een pool van, data van je oude schijven naar de nieuwe pool overzetten en dan van je oude schijven een 2e RAIDZ vdev maken dat je ook aan die pool hangt.

Als je echt naar RAIDZ2 (of RAID 6) over wil (en dan één vdev van 8+2 schijven neem ik aan?) dan moet je naast die 5 nieuwe schijven nog 3 van je oude schijven leeg moeten zien te krijgen, en accepteren dat je geen redundancy hebt totdat je die minimaal één van die laatste 2 toe kunt voegen.

[kihon]

Ik spring er maar gelijk even in.

Om verscheidene problemen heb ik nu 6x4TB JBOD's
En in een NAS een RAIDZ2 van 4x2 TB.

Nu wilde ik graag een FreeNAS systeempje op gaan zetten om alle data van die JBODs op 6x4TB RAIDZ2 array te zetten.
Wilde het volgende aanschaffen ervoor>

#	Product	Prijs	Subtotaal
1	Intel Pentium G4400 Boxed	€ 61,-	€ 61,-
1	ASRock B150M Pro4S	€ 76,10	€ 76,10
1	Crucial CT2K8G4DFD8213	€ 72,95	€ 72,95
Bekijk collectie Importeer producten		Totaal	€ 210,05

Nu is mijn vraag eigenlijk, kan ik ook overweg met 8GB RAM ipv 16?
En ja, voordat daar discussie over komt (weer) het is "gewoon" non -ECC ram
(heb dat hele tocpi hier op tweakers ook al gelezen. Op de FreeNAS forums hebben ze een erg lijnrechte blik erop)

Zal maar max 2 concurrent users zijn denk ik, heel soms 3.

[FireDrunk]

Ja hoor prima. Zelfs 4GB kan prima, zolang je je tuning parameters een beetje bijstelt.
Je moet alleen geen performance hoogvlieger verwachten.
Maar zolang je niet meer verwacht dan Gigabit kan je prima met 4 of 8GB toe.

[Paul]

kihon schreef op woensdag 23 december 2015 @ 14:39:
Nu wilde ik graag een FreeNAS systeempje op gaan zetten om alle data van die JBODs op 6x4TB RAIDZ2 array te zetten.

Wat is je migratiescenario? En hoe vol staan die schijven? Want je gaat er 8 TB aan ruimte op achteruit en je de bestaande data op je schijven gaat verloren zodra je er een RAIDZ2 van maakt...

[Shunt]

Paul schreef op woensdag 23 december 2015 @ 14:26:
[...]
Hoeveel heeft het nu dan? 512 MB? 1 GB? Voor de gemiddelde gebruiker in dit topic is 4 of 8 GB RAM ruim voldoende omdat er overwegend maar één concurrent gebruiker is en het meeste dataverkeer sequentieel is (films streamen).

Daar zit het eerste probleem mijn systeem draait nu als plex server en ik ben er nog niet helemaal over eens of ik dit zo ga houden. Er draaien gemiddeld 1 tot 3 actieve streams + 3 / 4 devices met my documents gecyned naar de nas (om de paar min een check / sync)

Je zit inderdaad met de migratie, maar in de eindsituatie zal dat wel meevallen? Tenzij je van JBOD naar RAIDZ2 wil natuurlijk, maar dat probleem heb je met RAID 6 ook

Als ik zou overstappen van JBOD naar RAID 6 zou ik beginnen met 4 disks raid 6 data over gooien van de JBOD omgeving naar de raid 6 omgeving en zodra er van de JBOD omgeving 2 disks vrij zijn die weer in de RAID omgeving er bij zetten en zo door tot alle disks er in zitten. (heb hier nog een lege 3tb disk liggen) mijn totale aanschaf qua disks zit dan op 3x 3tb disks.

Garbage in is inderdaad ook garbage out, maar terwijl het op je NAS staat kan het ook corrupt raken; storage is niet onfeilbaar Ik kopiëer het éénmalig van mijn PC naar mijn NAS, maar op die laatste staat het vervolgens maanden / jaren.

En wat is nu het echte risico in procenten dat een file die static op een disk staat en alleen door externe devices aangeraakt zal worden dat de NAS zelf een file corrupt maakt? Naar mijn weten is het nog altijd zo dat zolang de NAS zelf de files niet aan raakt een file niet op magische wijze kapot maakt. (met uitzondering van bad sectors natuurlijk.

Staan die 5x3 schijven ook helemaal vol? Ik heb 8.9 TB vrij... En als ze nu vol staan dan lijkt het me zonde te migreren naar iets dat exact even groot is... Met andere woorden, dan zou je waarschijnlijk toch al andere / meer schijven kopen

Laten we zeggen dat ik nog ongeveer 1.5tb vrij is. Ik hoef slechts 3 disks bij te kopen om op een totaal van 10 disks uit te komen wat uit zou komen op 24tb storage netto in een raid 6 config. Ik zou er dan dus 6tb op vooruit gaan met de mogelijkheid om meer disks bij te plaatsen.

Als je de 'echt' belangrijke data toch al op 2 (of meer) plaatsen hebt staan en je wilt naar 10 schijven dan kun je ook een pool maken met 2 vdevs van 4+1 schijven in RAIDZ. Eerst maak je één RAIDZ vdev aan met je 5 nieuwe schijven, daar maak je een pool van, data van je oude schijven naar de nieuwe pool overzetten en dan van je oude schijven een 2e RAIDZ vdev maken dat je ook aan die pool hangt.

Ik wil juist met al mijn data in ieder geval een disk failure kunnen overleven de echt belangrijke data daar zorg ik software matig voor dat die binnen mijn budget secure staat.

Als je echt naar RAIDZ2 (of RAID 6) over wil (en dan één vdev van 8+2 schijven neem ik aan?) dan moet je naast die 5 nieuwe schijven nog 3 van je oude schijven leeg moeten zien te krijgen, en accepteren dat je geen redundancy hebt totdat je die minimaal één van die laatste 2 toe kunt voegen.

Zover ik het begrijp kan ik gewoon bij een 4 disk raid 6 disks bij plaatsen en zodra de disks er bij hangen de volume growen.

[kihon]

Paul schreef op woensdag 23 december 2015 @ 15:18:
[...]
Wat is je migratiescenario? En hoe vol staan die schijven? Want je gaat er 8 TB aan ruimte op achteruit en je de bestaande data op je schijven gaat verloren zodra je er een RAIDZ2 van maakt...

Ik heb nog 2 lege 4 TB ( die dus in de Z2 array komen) disks en een handvol 2 TB die eveneens leeg zijn.
Net alle SMART waardes van de lege schijven geckeched en zijn allemaal 100% in orde.

Data die op de RAIDZ2 komt te staan eerst checksums van maken en dan naar de lege schijven kopieren en tenslotte terug naar de Z2. middels checksumming ofcourse
Gaat wel lang duren, maar kan geen sneller/beter? process bedenken.

[Kets_One]

#	Product	Prijs	Subtotaal
1	ASRock C2550D4I	€ 315,64	€ 315,64
3	WD Green HDD, 3TB	€ 97,95	€ 293,85
1	Fractal Design Node 304 Zwart	€ 75,95	€ 75,95
Bekijk collectie Importeer producten		Totaal	€ 685,44

Na jullie adviezen hebben gelezen en zelf wat gezocht te hebben heb ik een config samengesteld die ik jullie graag wil voorleggen (zie boven). Hierbij komt nog ECC geheugen (Crucial CT5008102).

Doel is een server te bouwen die meest backups maakt en films streamt (geen transcoding).
Misschien in de toekomst wat eenvoudige (firewall en downloadtaken). Ik denk erover om FreeNAS met ZFS te draaien.

Ik heb me laten overtuigen door:
- De geheugencapaciteit van 16GB die mogelijk is en de mogelijkheid van ECC
- De grote hoeveelheid SATA aansluitingen op dit bord (6x SATA3)
- De zuinigheid van de CPU (10W TDP) met toch nog genoeg reserve.

Alternatieven die ik heb bekeken, zoals J1900 of met de Pentium N3700 hebben allemaal max 8 GB mem, ondersteunen geen ECC, en hebben 2 SATA aansluitingen.

Wat me nog tegenvalt is de totale kosten. Hebben jullie nog ideeen?

[WTM]

Ik heb alles in elkaar gezet. Grote kast, misschien tikkie te groot ;-). De winkel had geen V550 voeding en kreeg ik een V650 mee zonder bijbetalen. Das wel fijn :-)

Het is nog wat slordig met kabels en zo maar alles werkt behalve de schijven lijken niet gevonden te willen worden... Toch hoor ik ze wel even ... Ik heb ze op verschillende plekken aangesloten maar geen sjoege... zal wel iets over 't hoofd zien. Mocht iemand een tip hebben, altijd fijn :-D.

Moet ik die LSI controller nog flashen naar IT mode? (https://forums.freenas.or...4s-to-p16-lsi-2308.36890/ las ik er bijvoorbeeld over maar nog geen idee of ik dat moet doen en waarom ik dat zou willen?)

#	Product	Prijs	Subtotaal
1	Intel Xeon E3-1231 V3 Boxed	€ 261,51	€ 261,51
1	ASRock E3C224D4I-14S	€ 277,50	€ 277,50
3	WD Green HDD, 4TB	€ 138,50	€ 415,50
1	Fractal Design Define R5 Zwart	€ 101,95	€ 101,95
1	Kingston ValueRAM KVR16E11K4/32	€ 238,50	€ 238,50
1	Cooler Master V Series V550 - 80+ Gold	€ 96,95	€ 96,95
Bekijk collectie Importeer producten		Totaal	€ 1.391,91

[/quote]

[ Voor 4% gewijzigd door WTM op 23-12-2015 22:57 ]

[Tsurany]

Kets_One schreef op woensdag 23 december 2015 @ 22:27:

Wat me nog tegenvalt is de totale kosten. Hebben jullie nog ideeen?

Als je wilt besparen kan je voor 8GB RAM gaan en PCI-E kaarten gebruiken voor meer SATA aansluitingen.
Die 16GB eis is leuk maar wel een punt waar je het meeste op kan besparen.

Anders Asus P9D-X met G4400?

[ Voor 4% gewijzigd door Tsurany op 23-12-2015 23:08 ]

[WTM]

Helaas gaat 't leven van mij als freenas bouwer niet over rozen. Hieronder wat er inzit (alleen voeding is een V650 ipv).

M'n harddisks, WD Greens, worden niet gezien zodra ze via de 'sata naar sas-kabel' aangesloten zitten. Wel op een losse sata poort (ik heb alle 3 die schijven getest, die worden dus via die andere route wel gezien.

Ik verdenk de sas naar sata kabel, dat die rot is maar ook de andere identieke kabel die erbij zat geeft hetzelfde ongewenste effect. De hd los aangesloten op de enkele sata poort die deed het wel (voeding zo gelaten en alleen de sata stekkertjes geprobeerd). Er zijn 3 sas-poorten (2 horen bij de LSI controller en de andere hoort bij de chipset controller. Op geen van de sas poorten krijg ik een sata schijf aan de praat / leesbaar in de bios / als boot optie etc.

Ik heb ook via FAQ's gekeken wat ik in de uefi/bios nog moest aanpassen. Ik krijg de LSI controller wel zichtbaar maar als ik verder ga kijken zie ik 0 physical disks verbonden....


Ik ga nu maar slapen, wie weet komt het antwoord vanzelf in de droommachine binnen ;-) (maar sta open voor jullie suggesties :-))

#	Product	Prijs	Subtotaal
1	Intel Xeon E3-1231 V3 Boxed	€ 261,51	€ 261,51
1	ASRock E3C224D4I-14S	€ 277,50	€ 277,50
3	WD Green HDD, 4TB	€ 138,50	€ 415,50
1	Fractal Design Define R5 Zwart	€ 101,95	€ 101,95
1	Kingston ValueRAM KVR16E11K4/32	€ 238,50	€ 238,50
1	Cooler Master V Series V550 - 80+ Gold	€ 96,95	€ 96,95
Bekijk collectie Importeer producten		Totaal	€ 1.391,91

[_-= Erikje =-_]

WTM schreef op donderdag 24 december 2015 @ 03:33:
Helaas gaat 't leven van mij als freenas bouwer niet over rozen. Hieronder wat er inzit (alleen voeding is een V650 ipv).

M'n harddisks, WD Greens, worden niet gezien zodra ze via de 'sata naar sas-kabel' aangesloten zitten. Wel op een losse sata poort (ik heb alle 3 die schijven getest, die worden dus via die andere route wel gezien.

Ik verdenk de sas naar sata kabel, dat die rot is maar ook de andere identieke kabel die erbij zat geeft hetzelfde ongewenste effect. De hd los aangesloten op de enkele sata poort die deed het wel (voeding zo gelaten en alleen de sata stekkertjes geprobeerd). Er zijn 3 sas-poorten (2 horen bij de LSI controller en de andere hoort bij de chipset controller. Op geen van de sas poorten krijg ik een sata schijf aan de praat / leesbaar in de bios / als boot optie etc.

Ik heb ook via FAQ's gekeken wat ik in de uefi/bios nog moest aanpassen. Ik krijg de LSI controller wel zichtbaar maar als ik verder ga kijken zie ik 0 physical disks verbonden....


Ik ga nu maar slapen, wie weet komt het antwoord vanzelf in de droommachine binnen ;-) (maar sta open voor jullie suggesties :-))

#	Product	Prijs	Subtotaal
1	Intel Xeon E3-1231 V3 Boxed	€ 261,51	€ 261,51
1	ASRock E3C224D4I-14S	€ 277,50	€ 277,50
3	WD Green HDD, 4TB	€ 138,50	€ 415,50
1	Fractal Design Define R5 Zwart	€ 101,95	€ 101,95
1	Kingston ValueRAM KVR16E11K4/32	€ 238,50	€ 238,50
1	Cooler Master V Series V550 - 80+ Gold	€ 96,95	€ 96,95
Bekijk collectie Importeer producten		Totaal	€ 1.391,91

Je weet dat er 2 types SAS fanout cables zijn? Los daarvan, word je controller in het OS wel herkend? (lspci/dmesg/lsmod etc)

Verder is het (volgens mij) nog steeds raadzaam de idle timer van die greens uit/lang te zetten om de cycles te limiteren

[rikadoo]

WTM schreef op donderdag 24 december 2015 @ 03:33:
Helaas gaat 't leven van mij als freenas bouwer niet over rozen. Hieronder wat er inzit (alleen voeding is een V650 ipv).

M'n harddisks, WD Greens, worden niet gezien zodra ze via de 'sata naar sas-kabel' aangesloten zitten. Wel op een losse sata poort (ik heb alle 3 die schijven getest, die worden dus via die andere route wel gezien.

Ik verdenk de sas naar sata kabel, dat die rot is maar ook de andere identieke kabel die erbij zat geeft hetzelfde ongewenste effect. De hd los aangesloten op de enkele sata poort die deed het wel (voeding zo gelaten en alleen de sata stekkertjes geprobeerd). Er zijn 3 sas-poorten (2 horen bij de LSI controller en de andere hoort bij de chipset controller. Op geen van de sas poorten krijg ik een sata schijf aan de praat / leesbaar in de bios / als boot optie etc.

Ik heb ook via FAQ's gekeken wat ik in de uefi/bios nog moest aanpassen. Ik krijg de LSI controller wel zichtbaar maar als ik verder ga kijken zie ik 0 physical disks verbonden....


Ik ga nu maar slapen, wie weet komt het antwoord vanzelf in de droommachine binnen ;-) (maar sta open voor jullie suggesties :-))

#	Product	Prijs	Subtotaal
1	Intel Xeon E3-1231 V3 Boxed	€ 261,51	€ 261,51
1	ASRock E3C224D4I-14S	€ 277,50	€ 277,50
3	WD Green HDD, 4TB	€ 138,50	€ 415,50
1	Fractal Design Define R5 Zwart	€ 101,95	€ 101,95
1	Kingston ValueRAM KVR16E11K4/32	€ 238,50	€ 238,50
1	Cooler Master V Series V550 - 80+ Gold	€ 96,95	€ 96,95
Bekijk collectie Importeer producten		Totaal	€ 1.391,91

Er zijn 2 verschillende soorten, je hebt Forward breakout en Reverse breakout, jij gaat waarschijnlijk van moederbord (HBA kaart sas aansluiting) naar SATA, dan moet je Forward breakout cable hebben.

Als je van SATA naar een SAS backplane gaat heb je Reverse breakout cables nodig.

[_-= Erikje =-_]

dat zeg ik

[Verwijderd]

Shunt schreef op woensdag 23 december 2015 @ 13:52:
Omdat het de extra kosten die het mee neemt voor mij niet waard is.
Systeem dat aanzienlijk meer geheugen nodig gaat hebben en ik zal meer disks moeten kopen.

De kosten zijn juist lager, omdat je geen speciale TLER-schijven nodig hebt en geen dure RAID controller, wat in jouw situatie wel vereist is.

Je hebt ook niet 'meer geheugen' nodig. 64 megabyte is voldoende om ZFS te gebruiken. De performance zal dan wel slechter zijn versus een legacy filesystem, maar dit is echt een mythe die veel genoemd wordt. ZFS gebruikt minder geheugen dan andere filesystems zoals FAT16, FAT32, NTFS, UFS, Ext2, enzovoorts.

Enig punt is wel dat omdat je mogelijkheden tot expansion beperkt zijn, je meer schijven in één keer moet kopen. Dus elke keer 4 - 8 schijven tegelijk. Dat is wel een punt. Staat tegenover dat je liever je geld aan schijven uitgeeft dan aan 'overhead' zoals een dure controller, een battery backup unit en duurdere schijven omdat je TLER nodig hebt.

Zoals ik het begrepen heb heeft dit in mijn situatie alsnog niet veel nut. Als de files corrupt raken zal dit niet gebeuren door de NAS maar door de client systems / laptop / media center / pc's / tablets.

Dat klopt opzich wel, daarom is ECC op de client ook belangrijk. Maar bedenk dat je de integriteit wel kunt controleren. En eenmaal in de handen van ZFS kun je de integriteit ook altijd bewaken door de errordetectie. Dus snapshots maken en je data is voor altijd beschermd. Met ZFS send/receive kun je veilig backups maken. Elke corruptie zal ooit ontdekt worden.

Als je clients vervolgens bestanden gaan wijzigen en daarbij corruptie voorkomt, heb je altijd nog de oudere versies van die bestanden dankzij de snapshots. Kortom, er is zeker toegevoegde waarde bij ZFS.

De kans dat mijn NAS een file corrupt maakt door hem aan te raken is volgens mij zo klein dat het voor mij verwaarloosbaar is.

Vraag maar aan wat mensen met een ZFS NAS of ze ooit checksum errors hebben gezien die ZFS heeft gecorrigeerd. Heel veel mensen hebben dit vroeg of laat toch wel gehad. Dus dat betekent ook dat je baat hebt bij de bescherming die ZFS biedt.

Kets_One schreef op woensdag 23 december 2015 @ 22:27:
Alternatieven die ik heb bekeken, zoals J1900 of met de Pentium N3700 hebben allemaal max 8 GB mem, ondersteunen geen ECC, en hebben 2 SATA aansluitingen.

Dat is niet waar. J1900 ondersteunt 16GiB. Veel moederbordfabrikanten zeggen inderdaad 8GiB. Dat is simpelweg onjuist al mijn J1900 bordjes draaien hier met twee reepjes van 8GiB. Inderdaad wel non-ECC dat is dus de grootste plus van een Avoton (C2550). Ook dat 2 SATA is niet helemaal waar want vaak worden er extra ASMedia-chipjes aangebracht. ASRock doet dat zodat je 4 SATA hebt en SuperMicro heeft een J1900 bord met 6x SATA. Beide bordjes heb ik in gebruik en die SuperMicro X10SBA is mijn hoofd NAS die altijd aanstaat. Prima ding met DC-DC onboard. Wel iets duurder dan andere J1900 bordjes.

Je betaalt nu best wel de hoofdprijs voor Avoton, terwijl dat hedendaags niet zoveel waar voor je geld biedt. Een duur systeem, maar niet veel performance en niet zoveel features. Met de IPMI controller ook helemaal niet zo zuinig. Het zijn allemaal afwegingen, maar een J1900 systeem zou veel goedkoper en ook zuiniger zijn, met als voornaamste verlies de mogelijkheid tot ECC RAM. Ik zelf raad vooral een keuze tussen J1900 en een veel krachtiger systeem aan, op basis van een Core i5 bijvoorbeeld. Daar tussenin is de prijs-kwaliteit verhouding gewoon veel slechter.

[WTM]

Heren, dank voor de reactie. Ik mag toch aannemen dat de kabels die ik erbij kreeg moeten passen/werken ?

Er zitten maar twee kabels bij die passen op de sas aansluiting, dat moeten toch de goede zijn?! Aan die kabel zit 1 sas aansluiting (die gaat met een 'klik' in de aansluiting) en dat loopt naar 4 s-ata aansluitingen 0,1,2,3.

LSI 2308: 8 x SAS2 6Gbps ( from 2x mini SAS 8087 connector )

Die schijven zijn goed, want op de 'echte' s-ata aansluiting werken ze stuk voor stuk. (Voeding is dus ook goed). De onboard LSI 2308 controller kan toch niet stuk zijn? Maar beide mini sas connector naar sata kunnen ook niet stuk zijn, wel heel toevallig.....

[_-= Erikje =-_]

Leuke is dat die kabels er optisch volledig hetzelfde uitzien, dus zonder te proberen ga je het niet kunnen zeggen...

[WTM]

Das inderdaad leuk ;-). maar van de twee die er bijgeleverd zijn werkt geen van beide..... ?

[Q]

Is de on-board LSI controller wel ingeschakeld?
Somme vraag misschien?
Als je in de BIOS kunt van de controller zie je daar schijven?

[_-= Erikje =-_]

WTM schreef op donderdag 24 december 2015 @ 09:50:
Das inderdaad leuk ;-). maar van de twee die er bijgeleverd zijn werkt geen van beide..... ?

Wie zegt dat het twee verschillende zijn?

Ik zou hoe dan ook even in je OS kijken of je de controller zelf uberhaubt ziet (lspci / dmesg enz)

[WTM]

De winkel (SiComputers) zegt dat het komt omdat de schijven niet compatible zijn omdat ze niet op de QVL staan. (http://www.asrockrack.com...p?Model=E3C224D4I-14S#HDD). Ik had ze gevraagd of ik hier een werkend systeem mee kon bouwen en dat gaven ze aan van wel.

Ik heb er wel twijfels bij, want op de intel controller werkt het via sata direct wel maar op de intel controller via die sas naar sata kabel niet. Op de LSI controller herkent het die geen enkele schijf.

[_-= Erikje =-_]

check nou eerst of je controller uberhaubt gezien word (cq enabled is), daarna kun je eens denken over of je kabels wel OK zijn. QVL is leuk om verantwoording af te schuiven, maar geen enkele fabrikant test alle mogelijke combinaties

[ Voor 29% gewijzigd door _-= Erikje =-_ op 24-12-2015 10:30 ]

[WTM]

De controller zie ik in de bios staan, dus die is er wel en staat enabled. OS booten, ik heb een stick gemaakt met freenas 9.3.1 die ziet ook geen schijven onder volume en disks.

Wat zou ik nog meer moeten nakijken?

Dank voor alle hulp en meedenken :-)

[ Voor 11% gewijzigd door WTM op 24-12-2015 10:34 ]

[_-= Erikje =-_]

oeps

[ Voor 172% gewijzigd door _-= Erikje =-_ op 24-12-2015 10:38 ]

[WTM]

die in de manual onder nummer 21 staat (maar die andere twee sas poorten, zelfde verhaal)

[_-= Erikje =-_]

WTM schreef op donderdag 24 december 2015 @ 10:37:
die in de manual onder nummer 21 staat (maar die andere twee sas poorten, zelfde verhaal)

In de manual staat die bij nummer 13.

Daarnaast kun je in het bios naar Storage Coniguration gaan, daar LSI controller op enabled zetten (ipv auto) en Bootable LSI Controller op enabled, dan krijg je iig het LSI option rom (waar je ook nog eea in kan stellen/controleren)

[WTM]

volgens mij stat in de manual dat de LSI controller nummer 21 + 15 is en de intel controller 13,14 en 16

In de bios staat het volgens mij aan ik kan de LSI alleen op auto zetten of disabled. Niet op enabled.

De LSI option rom heb ik gevonden maar daar zie ik ook bij disks 0 staan ?

/edit: ik heb ook naar Freenas geboot maar daar zie ik ook geen schijven

[ Voor 11% gewijzigd door WTM op 24-12-2015 10:47 ]

[_-= Erikje =-_]

Dan zou ik echt aan de kabel(s) gaan twijfelen :-)

Dat freenas geen schijven ziet is logisch als de bekabeling het issue is, wat wel handig is is kijken of freenas je controller gezien heeft (dus op de prompt even lspci intypen, daar zou iig iets van LSI tussen moeten staan dan)

Als het option rom al geen schijven ziet gaat je OS ze never nooit niet zien iig. Ritje naar de PC boer voor een goede fanout kabel?

[ Voor 78% gewijzigd door _-= Erikje =-_ op 24-12-2015 10:49 ]

[Shunt]

Verwijderd schreef op donderdag 24 december 2015 @ 09:08:
[...]

De kosten zijn juist lager, omdat je geen speciale TLER-schijven nodig hebt en geen dure RAID controller, wat in jouw situatie wel vereist is.

Je hebt ook niet 'meer geheugen' nodig. 64 megabyte is voldoende om ZFS te gebruiken. De performance zal dan wel slechter zijn versus een legacy filesystem, maar dit is echt een mythe die veel genoemd wordt. ZFS gebruikt minder geheugen dan andere filesystems zoals FAT16, FAT32, NTFS, UFS, Ext2, enzovoorts.

Voldoende om het te draaien ja maar om de zelfde prestaties te halen en van alle functies gebruik te kunnen maken is volgens mij het advies tussen de 8 en de 16gb als ik mij niet vergis. Dit is geen grote koste post maar het is er wel eentje.

Enig punt is wel dat omdat je mogelijkheden tot expansion beperkt zijn, je meer schijven in één keer moet kopen. Dus elke keer 4 - 8 schijven tegelijk. Dat is wel een punt. Staat tegenover dat je liever je geld aan schijven uitgeeft dan aan 'overhead' zoals een dure controller, een battery backup unit en duurdere schijven omdat je TLER nodig hebt.

En dit is nu het hele punt ik heb al een aantal disks en ik kan het financieel gewoon niet verantwoorden om nu in eens 10 nieuwe disks te kopen of 8 voor de zelfde storage. Eventueel zou ik natuurlijk kunnen smokkelen met het bouwen door even geen parity disks te plaatsen. Maar dan blijf ik tegen een kosten plaatje van 6 nieuwe disks vs 3 nieuwe zitten.

Verder heb ik geen nieuwe dure controller nodig. ik heb hier nog een zooi sas 3 controllers liggen waar mooi 8 disks per stuk op kunnen. Die zou ik dus mooi kunnen gebruiken in een software raid opstelling.
Enige kosten die ik dan nog heb zijn die van het nieuwe systeem (mobo, cpu, geheugen, PSU en kast) Die kosten heb ik ongeacht of ik nu voor ZFS of voor RAID 6 zou gaan.

Dat klopt opzich wel, daarom is ECC op de client ook belangrijk. Maar bedenk dat je de integriteit wel kunt controleren. En eenmaal in de handen van ZFS kun je de integriteit ook altijd bewaken door de errordetectie. Dus snapshots maken en je data is voor altijd beschermd. Met ZFS send/receive kun je veilig backups maken. Elke corruptie zal ooit ontdekt worden.

Als je clients vervolgens bestanden gaan wijzigen en daarbij corruptie voorkomt, heb je altijd nog de oudere versies van die bestanden dankzij de snapshots. Kortom, er is zeker toegevoegde waarde bij ZFS.

Ik weet het niet hoor maar ik ga niet al mijn hardware in huis vervangen door systemen die ECC hebben. Verder heb ik nog geen laptops, telefoons of tablets gezien met ECC geheugen. Ik snap dat als je honderd procent zekerheid wilt hebben je dit moet hebben. Alleen het gaat hier om huis tuin en keuken data niet om intellectual property rotzooi of medische gegevens.

Vraag maar aan wat mensen met een ZFS NAS of ze ooit checksum errors hebben gezien die ZFS heeft gecorrigeerd. Heel veel mensen hebben dit vroeg of laat toch wel gehad. Dus dat betekent ook dat je baat hebt bij de bescherming die ZFS biedt.

Dat geloof ik gelijk en dat is absoluut een mooi voordeel van ZFS maar de kosten wegen het gewoon niet op tegen de baten voor mij persoonlijk zodra ik greenfield opnieuw zou beginnen zou ik zo voor ZFS kiezen maar dat gaat nu gewoon niet. Op het werk zou ik ook graag voor alles de beste oplossing neer willen zetten. Maar ik heb daar ook geleerd de beste mogelijke optie te benutten die het beste past binnen budget, eisen en huidige situatie. En ik kan je verklappen dat is nagenoeg nooit de beste / leukste optie.

Tenzij iemand 15tb storage wil delen met mij zodat ik greenfield kan beginnen

[WTM]

maar zouden beiden kabels kapot zijn!?

Dit geeft lspci

00:1c.0 PCI bridge: Intel Corporation 8 Series/C220 Series Chipset Family PCI Ex
press Root Port #1 (rev d5)
00:1c.2 PCI bridge: Intel Corporation 8 Series/C220 Series Chipset Family PCI Ex
press Root Port #3 (rev d5)
00:1c.3 PCI bridge: Intel Corporation 8 Series/C220 Series Chipset Family PCI Ex
press Root Port #4 (rev d5)
00:1c.7 PCI bridge: Intel Corporation 8 Series/C220 Series Chipset Family PCI Ex
press Root Port #8 (rev d5)
00:1d.0 USB controller: Intel Corporation 8 Series/C220 Series Chipset Family US
B EHCI #1 (rev 05)
00:1f.0 ISA bridge: Intel Corporation C224 Series Chipset Family Server Standard
SKU LPC Controller (rev 05)
00:1f.3 SMBus: Intel Corporation 8 Series/C220 Series Chipset Family SMBus Contr
oller (rev 05)
02:00.0 Serial Attached SCSI controller: LSI Logic / Symbios Logic SAS2308 PCI-E
xpress Fusion-MPT SAS-2 (rev 05)
04:00.0 Ethernet controller: Intel Corporation I210 Gigabit Network Connection (
rev 03)
05:00.0 Ethernet controller: Intel Corporation I210 Gigabit Network Connection (
rev 03)
06:00.0 PCI bridge: ASPEED Technology, Inc. AST1150 PCI-to-PCI Bridge (rev 02)
07:00.0 VGA compatible controller: ASPEED Technology, Inc. ASPEED Graphics Famil
y (rev 21)
[root@freenas ~]# c

[_-= Erikje =-_]

WTM schreef op donderdag 24 december 2015 @ 10:53:
maar zouden beiden kabels kapot zijn!?

Nee, je hebt waarschijnlijk 2 reverse breakout kabels terwijl je een forward breakout nodig hebt

Dit geeft lspci

02:00.0 Serial Attached SCSI controller: LSI Logic / Symbios Logic SAS2308 PCI-E
xpress Fusion-MPT SAS-2 (rev 05)

Daar is ie iig

[WTM]

Maar zouden ze bij asrock de verkeerde kabels geleverd hebben? Twee? Het kan natuurlijk. Ok ik ga naar een winkel hier in Amsterdam, welke kabels moet ik precies hebben?

[_-= Erikje =-_]

Het is maar net wat je `verkeerd` vind, ze hebben beiden een ander doel met een reverse kabel kun je 4 sata poorten op 1 sas poort aansluiten (bv backplane van een kast enz)

Wat je nodig hebt is:
Mini SAS (SFF-8087) to 4 SATA Cable (forward breakout)

[WTM]

Ok, dat ga ik proberen op de kop te tikken, Suggesties voor een winkel in Amsterdam ? :-)

Maar wat doet die reverse breakout kabel dan? waar zou die nuttig voor zijn?

[_-= Erikje =-_]

Stel dat je een kast met hotswap bays hebt, die zitten vaak per 4 op 1 minisas connector. Als je dan een moederbord zonder sas poorten hebt maar alleen sata poorten kun je dus 4 sata poorten op 1 sas connector aansluiten en zo je hotswap bays gebruiken.

Suggesties, nee ik kom uit Utrecht en ben totaal niet bekend in Amsterdam

[WTM]

Ok.

Zou zoiets goed zijn? https://www.afuture.nl/productview.php?productID=256352

Het ziet er echt hetzelfde uit als mijn kabels, hoe kan ik checken wat voor'n kabels ik hier heb? Echt niets aan te zien?

[_-= Erikje =-_]

deze iig:
https://www.afuture.nl/productview.php?productID=76403

je kan er weinig aan checken aangezien de connectoren 1:1 hetzelfde zijn, alleen de pinout verschilt. Van die adaptec kan ik zo 123 niet vinden welke kant dat op is. Maar als je die vraag aan hun stelt kunnen ze je dat vast wel vertellen

[ Voor 14% gewijzigd door _-= Erikje =-_ op 24-12-2015 11:14 ]

[WTM]

Ik heb echt een hele boel winkels gebeld in Amsterdam. No-joy. Ik wil best naar Utrecht rijden als je me verteld waar :-D.

[_-= Erikje =-_]

Je zou Alternate kunnen proberen maar dan moet je wel naar Ridderkerk

[WTM]

maar het verbaasd je niet dat asrock rack dit mobo met deze kabels uitlevert ? (Ik las dit overigens: http://lime-technology.com/forum/index.php?topic=7003.0 over dit 'probleem' hebben we het?)

Ik ga kijken wat het dichtste bij is. Ik heb m'n zinnen gezet om te spelen met dit systeem kom ik niet verder ... grrr !! :-D Wel tof van je dat je zo meedenkt, anders had ik niet geweten waar het te zoeken.

[rikadoo]

dit is er ook 1

pricewatch: 3Ware 3Ware Multi-lane SATA cable CBL-SFF8087OCF-05M

En als je in arnhem of omg woont, kan je ook wel bij mij even 1tje komen lenen.

[ Voor 17% gewijzigd door rikadoo op 24-12-2015 11:57 ]

[Verwijderd]

Shunt schreef op donderdag 24 december 2015 @ 10:52:
Voldoende om het te draaien ja maar om de zelfde prestaties te halen en van alle functies gebruik te kunnen maken is volgens mij het advies tussen de 8 en de 16gb als ik mij niet vergis. Dit is geen grote koste post maar het is er wel eentje.

8GiB is vier tientjes. Maar je hebt echt niet persé 8GiB nodig voor goede prestaties. Sowieso heeft ZFS heel andere performance figures dan andere filesystems. Zo is de random write snelheid vele malen hoger doordat random writes als sequential worden weggeschreven. Ook is de caching intelligenter zodat metadata en random reads vaker door de ARC cache worden opgevangen. Daar staat tegenover dat de sequential write performance bij ZFS vaak wel lager is en ook gevoelig is voor de RAM grootte. Bij legacy filesystems is dit niet zo; met 64MiB RAM schrijf je even snel als met 64GiB RAM.

Toch vind ik dit argument, wat kennelijk vastgeroest is want ik hoor het heel vaak, complete bullshit. Je kunt ZFS NAS prima met minder RAM geheugen draaien. Voor gigabit in elk geval. En voor 4GiB praten we over twee tientjes. Dus waar praten we over?

Ik draai ZFS op mijn Geode LX met 1GiB geheugen. Voor modernere systemen is het wel leuk om veel RAM te hebben, zoals 16GiB op mijn J1900 systeempjes. Niet omdat het moet, maar omdat het leuk is. ZFS kan de RAM heel goed gebruiken. Maar dat is heel wat anders dan nodig hebben.

En dit is nu het hele punt ik heb al een aantal disks en ik kan het financieel gewoon niet verantwoorden om nu in eens 10 nieuwe disks te kopen of 8 voor de zelfde storage.

Dezelfde prijs ongeveer als met een dure controller, BBU en TLER disks. Maar dan heb je wel veel meer opslagruimte. Dus wat mij betreft een betere keuze.

Verder heb ik geen nieuwe dure controller nodig. ik heb hier nog een zooi sas 3 controllers liggen waar mooi 8 disks per stuk op kunnen. Die zou ik dus mooi kunnen gebruiken in een software raid opstelling.

Dat kan dus niet, want je kan geen Software RAID6 gebruiken op BSD platform, en al helemaal niet met online expansion feature. Dat kan wel onder Linux md-raid volgens mij. Maar bedenk je wel dat tijdens de expansion dingen kunnen misgaan en dan kun je alle data kwijt zijn of in elk geval grote problemen hebben om nog iets van je data terug te krijgen.

Wil je onder BSD platform, dan zit je vast aan een dure controller zoals Areca, aan een BBU want je wilt wel write-back of je write performance is helemaal knudde, en je hebt TLER disks nodig of ze worden uit je RAID array geschopt bij bad sectors. Dat zijn best wat kosten die je ook simpelweg aan meer schijven had kunnen uitgeven. Die optie vind ik echt veel beter.

[WTM]

Dank voor alle hulp !

Hoe kan ik aan deze: https://www.afuture.nl/productview.php?productID=76403 (Erikje) zien dat het forwardbreakout is?

[WTM]

Ik zie trouwens bijv. hier:

https://www.allekabels.nl...sata-kabels/sata-sas.html

Ik moet een sas naar sata hebben of een sata naar sas ? Wat is forward breakout ? :-D

[Verwijderd]

Forward breakout is een normale SAS kabel. De Mini-SAS connector gaat op je controller en de 4 SATA connectors op je disks. Reverse breakout is het tegenovergestelde; de Mini-SAS connector gaat op je backplane zoals bij een Norco kast, en de 4 SATA gaat op je moederbord. Je hebt dus Forward breakout nodig in bijna alle gevallen.

Mag ik je wel verzoeken voortaan de Wijzig-knop te gebruiken om je bericht te wijzigen? Het plaatsen van meerdere berichten achter elkaar is doorgaans ongewenst. Zeker voor kleine aanvullingen. Bij enorm grote lappen tekst kan het voor de overzichtelijkheid wel wenselijk zijn om meerdere berichten te plaatsen. Maar zoals bij jou is het beter als je dit voortaan in je voorgaande bericht opneemt door deze te wijzigen.

[analog_]

Ergens in dit topic of het ZFS topic heeft iemand ooit eens wat Samba benches gedraait op een mitx platform met 2,4 en 8GB. Resultaat was dat vanaf 4GB het niet zoveel meer uitmaakte.

[Verwijderd]

Verwijderd schreef op donderdag 24 december 2015 @ 12:00:
[...]

Maar bedenk je wel dat tijdens de expansion dingen kunnen misgaan en dan kun je alle data kwijt zijn of in elk geval grote problemen hebben om nog iets van je data terug te krijgen.

Dat is pertinente onzin. Mdadm is erg intelligent bij dat soort operaties en voert alleen kopiëeracties uit. Daarnaast wordt de voortgang bijgehouden zodat zelfs in het geval van stroomuitval de operatie gewoon hervat kan worden. Bij sommige operaties is wel een backup van één block nodig maar daarvoor is een simpele usb stick al groot zat (en als je het redundant wil doen kun je dat altijd naar een andere stick kopiëren). Bij dat soort operaties kan er wel e.e.a. fout gaan als er precies op dat moment een HDD stuk gaat, maar bij RAID 6 ben je pas data kwijt als er drie of meer schijven stuk gaan. Het growen van een mdadm array is dus zeker niet zo risicovol als jij wil doen geloven.

Verwijderd schreef op donderdag 24 december 2015 @ 12:00:
Wil je onder BSD platform, dan zit je vast aan een dure controller zoals Areca, aan een BBU want je wilt wel write-back of je write performance is helemaal knudde, en je hebt TLER disks nodig of ze worden uit je RAID array geschopt bij bad sectors. Dat zijn best wat kosten die je ook simpelweg aan meer schijven had kunnen uitgeven. Die optie vind ik echt veel beter.

Wie zegt dat het onder BSD moet? Ik gebruik ook liever BSD dan Linux (native welteverstaan, ik heb geen webinterface nodig ) maar je zou wel gek zijn om met een dure controller aan de slag te gaan als je hetzelfde kunt bereiken door Linux te gebruiken i.p.v. BSD.

Ik merk wel een erg hoog ZFS-fanboy gehalte. ZFS is een heel mooi systeem maar het feit dat een vdev niet uit te breiden is zorgt er voor dat je bij uitbreiding altijd veel schijven moet kopen. Of je vervangt al je schijven door nieuwe, of je maakt een extra vdev aan, maar dan ben je ook weer extra schijven kwijt aan redundantie. Raid mag dan minder goed beschermen dan ZFS, het is veel flexibeler en makkelijk en veilig uit te breiden. Voor een thuisgebruiker die storage niet als hobby heeft maar wel de mogelijkheid open wil houden om uit te breiden zonder veel schijven aan te hoeven schaffen is dat een killer feature. Niet iedereen heeft de mogelijkheid of is bereid om even een paar honderd euro aan extra schijven uit te geven als het ook een stuk goedkoper kan. En laten we eerlijk zijn, raid is misschien minder veilig dan ZFS maar altijd nog heel wat beter dan een losse schijf waarbij alle data foetsie is als die schijf stuk gaat.

[WTM]

Zo, alles vandaag opgelost. Dankzij een maatje een nieuwe kabel gekregen en het werkte direct!! In elk geval dank voor het troubleshooten.

Het was een kapotte kabel (er zaten er twee bij, beide waren defect. What are the odds!!). We denken wel dat de kabels van het juiste formaat waren, daar dit toch een retail bordje is en dit op deze manier bij anderen wel gewerkt heeft.... (met materiaal dat geleverd word).

Dank voor alle hulp nogmaals!

[Verwijderd]

Verwijderd schreef op donderdag 24 december 2015 @ 22:08:
Dat is pertinente onzin. Mdadm is erg intelligent bij dat soort operaties en voert alleen kopiëeracties uit. Daarnaast wordt de voortgang bijgehouden zodat zelfs in het geval van stroomuitval de operatie gewoon hervat kan worden.

Aangezien jij het zo goed weet, vertel mij eens wat er gebeurt als tijdens de urenlange zo niet dagenlange restripe procedure er bad sectors optreden op meerdere disks, die de redundancy overschrijden? Of een disk failure in combinatie met bad sectors, zoals dit artikel aanhaalt: Why RAID5 stops working in 2009.

Wat gebeurt er volgens jou in een dergelijke situatie?

[Q]

Verwijderd schreef op donderdag 24 december 2015 @ 22:08:
ZFS is een heel mooi systeem maar het feit dat een vdev niet uit te breiden is zorgt er voor dat je bij uitbreiding altijd veel schijven moet kopen. Of je vervangt al je schijven door nieuwe, of je maakt een extra vdev aan, maar dan ben je ook weer extra schijven kwijt aan redundantie. Raid mag dan minder goed beschermen dan ZFS, het is veel flexibeler en makkelijk en veilig uit te breiden. Voor een thuisgebruiker die storage niet als hobby heeft maar wel de mogelijkheid open wil houden om uit te breiden zonder veel schijven aan te hoeven schaffen is dat een killer feature. Niet iedereen heeft de mogelijkheid of is bereid om even een paar honderd euro aan extra schijven uit te geven als het ook een stuk goedkoper kan. En laten we eerlijk zijn, raid is misschien minder veilig dan ZFS maar altijd nog heel wat beter dan een losse schijf waarbij alle data foetsie is als die schijf stuk gaat.

Dit is een geluid wat eigenlijk te weinig gehoord wordt in dit topic. Ik ben zelf overtuigd dat zeker mensen die kleinere builds maken < 8-10 disks MDADM best kunnen overwegen. ZFS is beter qua bescherming van de integriteit van je data, maar daar betaal je dan ook voor omdat je - bij uitbreiding - dus extra parity disks moet kopen die je anders of niet nodig had, of voor data had kunnen inzetten.

Verwijderd schreef op donderdag 24 december 2015 @ 23:37:
[...]

Aangezien jij het zo goed weet, vertel mij eens wat er gebeurt als tijdens de urenlange zo niet dagenlange restripe procedure er bad sectors optreden op meerdere disks, die de redundancy overschrijden? Of een disk failure in combinatie met bad sectors, zoals dit artikel aanhaalt: Why RAID5 stops working in 2009.

Wat gebeurt er volgens jou in een dergelijke situatie?

De vraag is aan Wes gericht, maar ik heb helaas ook last van een mening. De kans op een URE tijdens een rebuild of een array grow actie is uiterst klein, zeker thuis.

De 10^14 specificatie voor wat betreft UREs is een worst-case specificatie. In de praktijk zijn disks VEEL betrouwbaarder. Anders zou ik met iedere scrub van mijn data op mijn 71 TB machine lees errors moeten zien. Ik zie er nul.

Als ik zelf kijk naar het aantal scrubs dat heeft gelopen over mijn servers dan hebben mijn machines over de tijd nu 1 Petabyte aan data gelezen zonder 1 READ of CHSHUM error.

De vraag is dus veel meer wat het publiek hier wil. Veel mensen starten met 4-6 disks maximaal. En die willen disks toevoegen naarmate ze meer capaciteit nodig hebben, maar pas op het moment dat ze het nodig hebben.

Dat kan in feite niet met ZFS, je moet ofwel flink van te voren investeren, of later als je gaat uitbreiden ben je nodeloos extra geld kwijt en dan praten we over 150-300 euro extra afhankelijk van de disks die je toepast + het feit dat je minder capaciteit kwijt kunt in je server.

Alles heeft een prijs. Of je die wilt betalen moet je zelf weten. Ik draai wel ZFS. Maar ik heb ook 7 jaar zonder problemen een 20-disk RAID6 gedraaid op basis van MDADM (en zonder ECC geheugen) en dat ging goed (wel met 10^15 schijven, maar dat is ook maar een nummer wat ze er op plakken).

Resultaten in het verleden zijn geen garantie voor de toekomst.

[ Voor 41% gewijzigd door Q op 25-12-2015 00:15 ]

[Verwijderd]

Q schreef op donderdag 24 december 2015 @ 23:56:
Dit is een geluid wat eigenlijk te weinig gehoord wordt in dit topic. Ik ben zelf overtuigd dat zeker mensen die kleinere builds maken < 8-10 disks MDADM best kunnen overwegen. ZFS is beter qua bescherming van de integriteit van je data, maar daar betaal je dan ook voor omdat je - bij uitbreiding - dus extra parity disks moet kopen die je anders of niet nodig had, of voor data had kunnen inzetten.

Je betaalt ervoor vind ik niet helemaal de juiste benaming. Want je krijgt dan ook meer disks en meer opslag. Ik zie het meer dat elk systeem zijn beperkingen heeft. ZFS heeft eigenlijk maar één echte beperking en dat is het niet met kunnen uitbreiden van bestaande vdevs. Voor thuisgebruikers wel lastig, maar valt prima omheen te werken. Zodra je eenmaal de iets grotere builds pakt, is het uitbreiden met 6 - 10 disks tegelijk ook prima te doen. Voor de kleinere builds is dit inderdaad wel een beperking die bijvoorbeeld mdadm niet heeft. Maar om daar nu alle voordelen van ZFS voor op te geven is wel heel draconisch. Voor mij begint veilige opslag met ZFS. Er zullen vast betere systemen komen in de (verre) toekomst, maar voorlopig is dit hét systeem om je data mee op te slaan.

De kans op een URE tijdens een rebuild of een array grow actie is uiterst klein, zeker thuis. De 10^14 specificatie voor wat betreft UREs is een worst-case specificatie. In de praktijk zijn disks VEEL betrouwbaarder.

10^-14 uBER betekent gemiddeld één bad sector per disk per dag, bij 100% duty cycle. Dat laatste is bij consumenten zelden het geval. Dus zeg ergens tussen eens per dag en eens per paar maanden. Dat valt toch zeker in de bandbreedte der mogelijkheden. Kijk bijvoorbeeld even in het grote SMART topic daar komen bad sectors aan de lopende band voorbij. Op ongeveer de helft van mijn disks en de systemen die ik voor kennissen heb gebouwd, komen ook bad sectors voor. Daar ben je gewoon immuun voor bij ZFS maar bij legacy RAID kan dit een groot probleem worden. Al helemaal als je aan het uitbreiden bent.

Je hebt zeker wel een goed punt als je zegt dat de uBER in de praktijk veel beter kan zijn. Maar ook 10^-15 is niet veilig genoeg.

Als ik zelf kijk naar het aantal scrubs dat heeft gelopen over mijn servers dan hebben mijn machines over de tijd nu 1 Petabyte aan data gelezen zonder 1 READ of CHSHUM error.

Dus? Het klinkt mij erg in de oren als de verhalen van een oma van 99 die heel haar leven heeft gerookt. Welke conclusie wil je daaraan verbinden? Dat het onzin is dat roken ongezond is? Leuk dat jij tot nu toe weinig last hebt gehad van uBER, maar dat betekent niet dat het probleem niet bestaat.

De vraag is dus veel meer wat het publiek hier wil.

Ik denk dat de meeste mensen een betrouwbaar opslagsysteem willen met de minste restricties. ZFS heeft één belangrijke restrictie voor thuisgebruikers, maar de overige systemen hebben een heleboel tekortkomingen. Het is dus een afweging wat je belangrijker vindt.

Het kunnen uitbreiden per disk zou inderdaad leuk geweest zijn. Maar aangezien er geen goed alternatief is voor ZFS (nee Btrfs en ReFS zijn dat lang nog niet) is dat niet aan de orde. Dus wat meer disks en voorruitplannen is dan het beste wat je kunt doen. Om zoveel geld gaat het niet want je kunt de goedkoopste disks gebruiken. En als ik zie hoe duur de systemen zijn die regelmatig voor simpele builds voorbij komen, denk ik dat het bezuinigen op andere onderdelen logischer is zodat je het geld meer in de disks kunt steken. Daar is het tenslotte allemaal om te doen, de rest is in feite allemaal 'overhead'.

Resultaten in het verleden zijn geen garantie voor de toekomst.

Daarmee lijkt je toch min of meer te zeggen dat hoewel jij er gelukkig vanaf bent gekomen met je 10^-15 disks en legacy RAID, het uiteindelijk toch wel fijn is dat je het ZFS tijdperk zonder kleerscheuren hebt weten te halen. Maar door dan nu maar mdadm aan te raden denk ik wel dat je je dient te beseffen dat anderen niet zo gelukkig hoeven te zijn als jij. Zeker als ze dagenlang gaan rebuilden hou ik mijn hart vast of dat allemaal goed gaat. En bedenk dat mensen die gewaarschuwd zijn en uiteindelijk toch het noodlot treffen, over het algemeen hiermee niet te koop lopen.

Better safe than sorry - zorg dat je data het onveilige tijdperk van het begin van de 21e eeuw overleeft. Backups is leuk, maar backups van een legacy filesystem biedt geen goede zekerheid. Backups met een 3e generatie filesystem zorgt voor iets van een begin van zekerheid.

[Q]

Verwijderd schreef op vrijdag 25 december 2015 @ 10:05:
[...]

Je betaalt ervoor vind ik niet helemaal de juiste benaming. Want je krijgt dan ook meer disks en meer opslag.

ZFS is gewoon niet gratis en dat is iets wat mensen zich moeten realiseren. Of ze die prijs willen betalen moeten zij zelf bepalen.

ZFS kost voor de meeste mensen op de korte of lange termijn extra geld ten opzichte van legacy oplossingen.

- Of je koopt de storage die je nodig denkt te hebben voor de komende 5 jaar upfront = extra geld
- Of over 3 jaar moet je een VDEV toevoegen en gooi je 1 a 2 disks aan parity weg = extra geld

Kies maar.

Dat is wat 'absolute' data integriteit en betere beschikbaarheid kost.

Als je nu geld moet uitgeven voor iets wat je de komende 3-5 jaar niet nodig hebt dan ben je dus onnodig geld aan het uitgeven. Dat is een paar honderd euro die je anders in je zak had kunnen hebben.

Voor de kleinere builds is dit inderdaad wel een beperking die bijvoorbeeld mdadm niet heeft. Maar om daar nu alle voordelen van ZFS voor op te geven is wel heel draconisch. Voor mij begint veilige opslag met ZFS. Er zullen vast betere systemen komen in de (verre) toekomst, maar voorlopig is dit hét systeem om je data mee op te slaan.

Ik heb enorm veel tijd gestoken in het begrijpen van ZFS en de risico's er om heen. Ik denk dat de risico's waar ZFS tegen beschermt zo klein zijn dat zeker in een thuis situatie je niet onverantwoord bezig bent als je GEEN ZFS draait.

Als je er voor kiest om Windows + Hardware RAID / Storage Spaces of Linux + MDADM te gebruiken, dan vind ik dat geen onverantwoorde keuze.

We hoeven niet een indruk te wekken dat als je geen ZFS draait dat je dan enorme risico's loopt.
Je loopt zeker risico, maar dat risico is erg klein.

10^-14 uBER betekent gemiddeld één bad sector per disk per dag, bij 100% duty cycle. Dat laatste is bij consumenten zelden het geval. Dus zeg ergens tussen eens per dag en eens per paar maanden. Dat valt toch zeker in de bandbreedte der mogelijkheden. Kijk bijvoorbeeld even in het grote SMART topic daar komen bad sectors aan de lopende band voorbij. Op ongeveer de helft van mijn disks en de systemen die ik voor kennissen heb gebouwd, komen ook bad sectors voor. Daar ben je gewoon immuun voor bij ZFS maar bij legacy RAID kan dit een groot probleem worden. Al helemaal als je aan het uitbreiden bent.

Het effect van een bad sector is voor reguliere RAID hetzelfde als dat een disk gewoon helemaal uitvalt. Stel je draait RAID5, dan is dat dus het effect van een double disk failure = data weg.

ZFS kan om die bad sector heen werken en dan heb je de rest van je data nog.

Maar de kans dat je thuis in deze situatie terecht komt, is zeer klein. Zeker als je gewoon RAID6 draait, wat sowieso wel een aanrader is vanaf zeg 6 disks omdat je dan de uitval van 2 disks kunt hebben.

Dus? Het klinkt mij erg in de oren als de verhalen van een oma van 99 die heel haar leven heeft gerookt. Welke conclusie wil je daaraan verbinden? Dat het onzin is dat roken ongezond is? Leuk dat jij tot nu toe weinig last hebt gehad van uBER, maar dat betekent niet dat het probleem niet bestaat.

Geen ZFS draaien ofwel Hardware RAID / MDADM / Storage Spaces gebruiken is analoog aan roken.

Subtiel hoor CiPHER.

Ik denk dat de meeste mensen een betrouwbaar opslagsysteem willen met de minste restricties. ZFS heeft één belangrijke restrictie voor thuisgebruikers, maar de overige systemen hebben een heleboel tekortkomingen. Het is dus een afweging wat je belangrijker vindt.

Met dat laatste ben ik het eens.

Ik denk zelf dat de ernst van die tekortkomingen wel mee valt en ik vind zelf ook dat het ZFS "team" hier vaak overdrijft.

Het kunnen uitbreiden per disk zou inderdaad leuk geweest zijn. Maar aangezien er geen goed alternatief is voor ZFS (nee Btrfs en ReFS zijn dat lang nog niet) is dat niet aan de orde. Dus wat meer disks en voorruitplannen is dan het beste wat je kunt doen. Om zoveel geld gaat het niet want je kunt de goedkoopste disks gebruiken. En als ik zie hoe duur de systemen zijn die regelmatig voor simpele builds voorbij komen, denk ik dat het bezuinigen op andere onderdelen logischer is zodat je het geld meer in de disks kunt steken. Daar is het tenslotte allemaal om te doen, de rest is in feite allemaal 'overhead'.

En het bezuinigen op die andere onderdelen is natuurlijk een subtiele hint naar onder andere het weglaten van ECC geheugen.

Maar als je dan toch zonder ECC geheugen draait, dan kun je evengoed nog 150-300 euro besparen aan disks door ook gewoon legacy RAID te draaien.

Het gaat allemaal over risico's en de kosten om ze af te dekken.

Machines zonder ZFS en zonder ECC geheugen staan bekend onder onderandere deze namen:

- Synology
- Qnap
- Buffalo
- Netgear

Daarmee lijkt je toch min of meer te zeggen dat hoewel jij er gelukkig vanaf bent gekomen met je 10^-15 disks en legacy RAID, het uiteindelijk toch wel fijn is dat je het ZFS tijdperk zonder kleerscheuren hebt weten te halen. Maar door dan nu maar mdadm aan te raden denk ik wel dat je je dient te beseffen dat anderen niet zo gelukkig hoeven te zijn als jij. Zeker als ze dagenlang gaan rebuilden hou ik mijn hart vast of dat allemaal goed gaat. En bedenk dat mensen die gewaarschuwd zijn en uiteindelijk toch het noodlot treffen, over het algemeen hiermee niet te koop lopen.

Nee, ik probeer niet te zegen dat ik er 'gelukkig' goed van af ben gekomen. Het laat zien dat het prima kan gaan. Ondanks alle risico's waar ZFS en ECC tegen beschermt.

Ik probeer eerlijk te zijn. Ik kan geen garanties afgeven dat het bij de lezer ook goed gaat. Iedereen moet zelf de risico's afwegen.

Je praat over dagen lang rebuilden maar dat is ook weer overdrijven.

Mijn 18 TB NAS rebuilde de array in 5 uur op basis van 1 TB disks. Dus met 4 TB disks zou je op 20 uur komen, zeg een dag, niet dagen.

En besef dat ook legacy RAID zoals MDADM scrubs doet. MDADM kan geen data corruptie detecteren zoals ZFS, maar zo 'triggert' MDADM wel eventuele bad sectors, zodat actie ondernomen kan worden.

Een disk met bad sectors moet je ten alle tijden gewoon vervangen (als het kan via garantie).
Een dergelijke disk is stuk en daar moet je niet mee verder draaien.
Ik weet dat het kan met ZFS maar waarom zou je?

root@server:/etc/cron.d# cat mdadm
#
# cron.d/mdadm -- schedules periodic redundancy checks of MD devices
#
# Copyright © martin f. krafft <[e-mail]>
# distributed under the terms of the Artistic Licence 2.0
#

# By default, run at 00:57 on every Sunday, but do nothing unless the day of
# the month is less than or equal to 7. Thus, only run on the first Sunday of
# each month. crontab(5) sucks, unfortunately, in this regard; therefore this
# hack (see #380425).
57 0 * * 0 root if [ -x /usr/share/mdadm/checkarray ] && [ $(date +\%d) -le 7 ]; then /usr/share/mdadm/checkarray --cron --all --idle --quiet; fi

En wat betreft het noodlot en daarmee niet te koop lopen: dat is wat mij betreft 100% speculatie en bangmakerij. Als ik dat argument ooit zelf heb gebruikt dan mag je me er op pakken.

Better safe than sorry - zorg dat je data het onveilige tijdperk van het begin van de 21e eeuw overleeft. Backups is leuk, maar backups van een legacy filesystem biedt geen goede zekerheid. Backups met een 3e generatie filesystem zorgt voor iets van een begin van zekerheid.

"Onveilige tijdperk .... overleeft" is precies zo'n theatrale overdrijving waar ik mij persoonlijk aan stoor.
Daarmee schets je een vertekend beeld naar de bezoekers hierzo.

Met zo'n theatrale uitspraak creeer je een indruk dat het levensgevaarlijk is om GEEN ZFS toe te passen.

Dat vind ik een onjuiste en ongenuanceerde voorstelling van zaken. Het is helemaal niet zo zwart-wit.

Merry Christmas

[Verwijderd]

Natuurlijk is ZFS wel gratis. Dat het een beperking heeft moet je niet verwarren met aanschafprijs. Want je kunt het net zo goed omdraaien: mdadm en andere legacy storage is superduur, want je hebt 10^-16 uBER disks nodig. Dat argument zou ik nog iets beter vinden, omdat je verder niets hebt aan een disk met een betere uBER. Je betaalt je blauw, maar je krijgt er niet meer opslag voor terug.

Als het zo is dat je bij ZFS meer disks per keer moet kopen, dan heb je wel degelijk profijt van de extra opslag. Je hoeft minder vaak extra disks te kopen omdat je al wat op de toekomst hebt voorbereid. Je zou hooguit kunnen zeggen dat de kosten van een ZFS NAS in het begin hoger zijn en met andere oplossingen je die meer kunt spreiden naar de toekomst. Dat zou wel een juiste voorstelling van zaken zijn.

Verder noem je het toevoegen van pariteit disks 'weggooien' - dat vind ik ook echt kul want hoeveel disks wil je in je RAID5 of RAID6 array proppen? Bij ZFS blijft de bescherming op peil omdat je ook extra parity disks koopt. Dus elke keer een 6-disk RAID-Z2 betekent 33% overhead en dat blijft gelijk naar mate je uitbreidt. Bij 10 disks - zo'n beetje de sweet spot - zakt de overhead naar 20% bij dubbele pariteit, maar dan moet je dus wel meer disks per keer kopen. Dat is de afweging die je hebt.

Verder is het ook zo dat de manier van uitbreiden bij ZFS helemaal veilig is en ook binnen een seconde klaar is. Het is heus niet alleen maar negatief. De manier hoe ZFS uitbreidt is eigenlijk juist heel goed. Voor Enterprise de enige juiste methode. Dat omspitten van data is voor Enterprise echt not-done. Het zijn vrijwel alleen thuisgebruikers die dat willen.

Je zegt verder dat mensen niet onverantwoord bezig zijn als ze voor hun thuis NAS geen ZFS draaien. Dat is een redelijk argument. Maar dan vraag ik me toch af; waarom draai jij zelf dan ZFS? Blijf dan bij het systeem wat jij kennelijk zoveel beter vindt met de mogelijkheid van per-disk uitbreiden. Dat uBER gezeik is allemaal kul of althans jij bent kennelijk immuun voor het risico. Je bagatelliseert het hele probleem, maar draait 'stiekem' zelf wel ZFS. Het komt allemaal niet heel geloofwaardig over eigenlijk.

Je zegt verder nog een heleboel dingen waar ik het totaal niet mee eens ben. Zoals: als je geen ECC draait, kun je beter helemaal geen ZFS draaien, als je disks één klein lullig bad sectortje hebben, gelijk als defect beschouwen. Allemaal dat soort meningen mag je natuurlijk hebben, maar dat is wel de reden dat sommige mensen ZFS maar links laten liggen, terwijl ze wel heel veel baat zouden hebben bij goede bescherming. Dat is heel erg jammer omdat een ZFS NAS van slechts 150 euro ze enorm veel waarde kan bieden en veel zekerheid voor hun gegevens.

Legacy oplossingen hebben nog wel enkele voordelen boven ZFS, maar die zijn eigenlijk vrij marginaal en weegt niet op tegen het risico dat mensen hun persoonlijke gegevens verliezen. En dat hoeft maar één keer te gebeuren en je data is voorgoed kwijt. Velen kunnen daarover meepraten. Legacy storage is onbetrouwbaar en als je data het tot nu toe heeft overleeft kun je maar beter zo snel mogelijk moderne opslag gebruiken. Zoveel mensen hebben al gegevens verloren aan legacy RAID - daar kan ik toch echt over meepraten want ik heb behoorlijk wat mensen geholpen met hun door bad sectors gefaalde RAID arrays. Dat risico is echt niet theoretisch ofzo.

Hoe ik er over denk is eigenlijk vrij simpel: al die legacy meuk is van een ouder tijdperk. Toen was het normaal dat dingen op hun bek gingen. Nu is het begin van een nieuw tijdperk waarbij het normaal is dat intelligente filesystems iets van bescherming bieden. ZFS is daarbij het eerste bruikbare systeem, maar velen zullen volgen. Het is geen religie, het is gewoon common sense dat je in die stroming meegaat.

/me wenst al jullie data een behouden kerst

[Xesxen]

Ik zit al enige tijd te kijken naar een mooie, compacte, zuinige setup om ZFS (of equivalent) op te gaan draaien. Op het moment beschik ik over een enkele WD RED 6TB, maar mijn plan is om een 5-drive RAIDZ2 setup te maken (waardoor ik effectief op ~18TB uit kom).

Wat ik dan ook zoek is een oplossing welke laag in verbruik is als hij niet gebruikt wordt (lees: standby), maar toch nog de kracht biedt om een filesysteem aan te kunnen zoals ZFS in RAIDZ2. Het ideaalste zou zijn dat de drives hierbij hot-swappable zijn mocht er een van de schijven kapot gaan, maar natuurlijk hoop ik dat dit niet nodig hoeft te zijn.

Helaas biedt de ProLiant die eerder in het topic vermeld was (pricewatch: HP Proliant MicroServer Gen8 G1610T) maar 4 bays aan (naast een limit van 12TB aan opslag). Een desktop case is dan weer in de meeste gevallen groot, iets wat voor mij niet wenselijk is.

Overigens ben ik niet onbekend in de Linux wereld, al enige tijd heb ik mijn Windows installatie gedag gezegd en draai ik inmiddels Arch als mijn dagdagelijkse OS.

[FireDrunk]

Ik heb gewoon 4TB disks in mijn HP MicroServer zitten. Werkt prima (in AHCI mode).

[Q]

Verwijderd schreef op vrijdag 25 december 2015 @ 12:49:
Natuurlijk is ZFS wel gratis. Dat het een beperking heeft moet je niet verwarren met aanschafprijs. Want je kunt het net zo goed omdraaien: mdadm en andere legacy storage is superduur, want je hebt 10^-16 uBER disks nodig. Dat argument zou ik nog iets beter vinden, omdat je verder niets hebt aan een disk met een betere uBER. Je betaalt je blauw, maar je krijgt er niet meer opslag voor terug.

Je geeft een veel te nauwe kijk op ZFS. Ja natuurlijk ZFS is gratis omdat het open source is. Maar dat is niet het hele verhaal.

De implementatie is precies waar alles om draait. En met ZFS zullen veel mensen een prijs moeten betalen in harde euros die er niet zou zijn als ze een legacy RAID oplossing zouden gebruiken.

Ook MDADM heeft een prijs, maar niet in termen van euro's in je hand.

De prijs is dat je een risico loopt. Als dat risico zich nooit voordoet heb je een paar honderd euro bespaard. Doet het zich wel voor dan ben je mogelijk data kwijt.

Dat risico is klein, zeker thuis. Hoe klein of groot is moeilijk te zeggen. Mensen mogen zelf bepalen of ze het willen lopen.

Als het zo is dat je bij ZFS meer disks per keer moet kopen, dan heb je wel degelijk profijt van de extra opslag. Je hoeft minder vaak extra disks te kopen omdat je al wat op de toekomst hebt voorbereid. Je zou hooguit kunnen zeggen dat de kosten van een ZFS NAS in het begin hoger zijn en met andere oplossingen je die meer kunt spreiden naar de toekomst. Dat zou wel een juiste voorstelling van zaken zijn.

Maar dat schrijf ik toch ook?

Verder noem je het toevoegen van pariteit disks 'weggooien' - dat vind ik ook echt kul want hoeveel disks wil je in je RAID5 of RAID6 array proppen? Bij ZFS blijft de bescherming op peil omdat je ook extra parity disks koopt. Dus elke keer een 6-disk RAID-Z2 betekent 33% overhead en dat blijft gelijk naar mate je uitbreidt. Bij 10 disks - zo'n beetje de sweet spot - zakt de overhead naar 20% bij dubbele pariteit, maar dan moet je dus wel meer disks per keer kopen. Dat is de afweging die je hebt.

Het gaat niet om percentages maar gewoon om harde euro's.

Hoeveel euro houdt ik op mijn bankrekening?

4 schijven vs 2 schijven kwijt zijn aan pariteit is dus gewoon de aanschafprijs van twee harde schijven 'weggooien'. Ik noem dat 'weggooien' omdat ik die extra bescherming voor thuis overkill vind.

Dan praten we over 100-200 euro per schijf afhankelijk van de grootte, dus totaal 200-400 euro aan geld wat je uitgeeft, maar waar je niets voor terug krijgt dat echt waardevol is.

En voor thuis vind ik een 12-disk RAIDZ2 of RAID6 veilig zat.

Verder is het ook zo dat de manier van uitbreiden bij ZFS helemaal veilig is en ook binnen een seconde klaar is. Het is heus niet alleen maar negatief.

De manier van uitbreiden van een pool in ZFS is niet relevant en al helemaal niet voor thuis. Het leidt alleen maar af van het feit dat als je naar het grotere plaatje kijkt, ZFS gewoon geld kost.

De manier hoe ZFS uitbreidt is eigenlijk juist heel goed. Voor Enterprise de enige juiste methode. Dat omspitten van data is voor Enterprise echt not-done. Het zijn vrijwel alleen thuisgebruikers die dat willen.

Dus daarom zit deze fijne feature nu al wel in BTRFS bedoel je?

Besef je dat zodra BTRFS ooit (hopelijk voor ons pensioen) een keer af is, dat er dan in mijn ogen geen reden meer is om mensen thuis ZFS te adviseren juist om de genoemde beperking?

Zover is het nog niet, BTRFS gaat traag, RAID met parity is nog niet betrouwbaar. Dat duurt nog wel een paar jaar. En tot die tijd is ZFS het beste wat we hebben.

Je zegt verder dat mensen niet onverantwoord bezig zijn als ze voor hun thuis NAS geen ZFS draaien. Dat is een redelijk argument. Maar dan vraag ik me toch af; waarom draai jij zelf dan ZFS?

Dat is een hele goede vraag. Het antwoord illustreert de manier van denken over hoe je tot je eigen DIY NAS komt.

Ik vind grote storage leuk en mijn oude 18 TB NAS zat vol. Ik wilde dus een 24-disk chassis vullen met 4 TB schijven om weer even vooruit te kunnen.

Voor mij is dus het groeien van een array zoals met MDADM kan helemaal niet relevant. Ik koop alles in een keer, maar daar betaalde ik dus letterlijk voor. ZFS kost mijn in deze context niets extra ten opzichte van MDADM. Dus de keuze voor ZFS wordt voor mij makkelijker.

Kleine zijstap: destijds met mijn 20-disk 18 TB NAS heb ik weldegelijk de grow feature gebruikt van MDADM om haasje over te doen met mijn disks om zonder data verlies van 10 disks naar 20 disks te groeien.

Verder heb ik de persoonlijke afweging gemaakt dat ik vooral de feature interessant vind die mij informeert of er ergens data corruptie is opgetreden. Maar nu komt het. 95% van de data op mijn NAS is media. ZFS is eigenlijk voor mij niet eens zo heel relevant.

Ik was echter gewoon geïnteresseerd in ZFS en ik was erg benieuwd wat ik zou gaan zien met ZFS qua data corruptie, juist vanwege alle verhalen omtrent ZFS.

Met 24 disks in een chassis kon ik mij wel voorstellen dat ik dan meer risico zou lopen, dus waarom niet ZFS nemen dan? Met een kleinere array zou ik mogelijk een andere keuze hebben gemaakt.

Ik heb bijvoorbeeld ook bewust de keuze gemaakt om met een 18 + 6 disk RAIDZ2 te draaien, wat niet standaard is, maar ik vond dat in mijn situatie wel een geaccepteerd risico. Gelukkig kun je tegenwoordig met ZFS gewoon 2 x 12 disk RAIDZ2 draaien, stuk makkelijker, maar dat terzijde.

Ook heb ik bewust de keuze gemaakt om extra geld uit te geven aan betere componenten. Niet de goedkoopste disks, maar specifiek HGST vanwege de goede betrouwbaarheidsstatistieken.

Dat ZFS ook mij kan redden bij een bad sector vond ik niet zo relevant, ik ga waarschijnlijk ook hard op mijn bek want ik ben de enige hier die zijn M1015 niet naar IT mode heeft geflashed (ik draai wel op AHCI passthrough). De ordinaire reden was dat het flashen mij niet lukte en ik had geen zin om er meer tijd aan te besteden.

Ik kies er voor om dat risico te accepteren, ik denk dat dit risico erg klein is.

Blijf dan bij het systeem wat jij kennelijk zoveel beter vindt met de mogelijkheid van per-disk uitbreiden. Dat uBER gezeik is allemaal kul of althans jij bent kennelijk immuun voor het risico. Je bagatelliseert het hele probleem, maar draait 'stiekem' zelf wel ZFS. Het komt allemaal niet heel geloofwaardig over eigenlijk.

Zoals aangegeven was per-disk uitbreiden helemaal niet relevant voor mij. Eigenlijk had MDADM mij niet zoveel te bieden, behalve dan een wat rationelere RAID layout.

Het feit dat ik persoonlijk in mijn specifieke situatie zelf wel voor ZFS heb gekozen maakt mij toch niet ongeloofwaardig of hypocriet?

Mijn situatie en budget is niet dat van anderen. Het gaat er om dat mensen op basis van de juiste informatie zelf een keuze maken. Ik laat hierboven zien hoe ik tot mijn keuzes kwam.

De grap is dat ik trouwens hierboven juist aantoon dat ik ook kwetsbaar ben voor het uBER risico omdat ik mijn controllers niet naar IT-mode heb geflashed. Who knows wat er gebeurt bij een uBER.

Dus ik leef ook zelf naar wat ik preek, hetzij deels onbedoeld.

Het enige wat ZFS echt doet voor mij ten opzichte van MDADM is dat het data corruptie aanwijst. Nul tot nu toe.

En dat is waarom ik ZFS waardeer: meten is weten. Met MDADM weet je het eigenlijk gewoon niet, net als met je eigen desktop/laptop.

Het meten heeft tot nu toe wel aangetoond dat ZFS mij tot nu toe niets heeft gebracht behalve het feit dat ik nu weet dat het tot nu toe niets heeft gebracht.

Maar dat is ook een reden om voor ZFS te kiezen

Je zegt verder nog een heleboel dingen waar ik het totaal niet mee eens ben. Zoals: als je geen ECC draait, kun je beter helemaal geen ZFS draaien

Die discussie ben ik hier bewust niet begonnen en die ga ik hier niet aan, ik verwees er alleen indirect naar.

, als je disks één klein lullig bad sectortje hebben, gelijk als defect beschouwen. Allemaal dat soort meningen mag je natuurlijk hebben, maar dat is wel de reden dat sommige mensen ZFS maar links laten liggen, terwijl ze wel heel veel baat zouden hebben bij goede bescherming. Dat is heel erg jammer omdat een ZFS NAS van slechts 150 euro ze enorm veel waarde kan bieden en veel zekerheid voor hun gegevens.

Als jij je druk maakt om het welzijn van mensen die misschien een budget hebben van 150 euro, dan vraag ik mij erg af waarom je ze dan niet verwijst naar een HP Proliant Microserver Gen8.

Want voor 150 euro ben je er niet, dat is alleen de prijs van het moederboard + CPU en geheugen. Daar moet nog een kast en voeding bij en misschien wat klein grut. Dan ga je snel over de 200 euro heen.

De huidige HP Proliant Microserver Gen8 wordt nu standaard geleverd met 4 GB geheugen, waarvan jij duidelijk hebt beargumenteerd dat dit voor de meeste situaties, zeker thuis, genoeg is. Dat ding kost 230 euro.

Zo'n server is in mijn beleving te prefereren boven zelfbouw als het past binnen je wensen. Degelijke machine, hot-swap, ECC geheugen, allemaal voordelen. De belangrijkste beperking is het aantal disks wat je er in kwijt kunt: 4 stuks.

Om een eerlijk plaatje te maken: de HP is niet zo zuinig als je met zelfbouw kunt realiseren, het ding zal op jaarbasis minimaal 20 euro duurder zijn qua stroom verbruik. Het is dus een beetje de vraag waar je prioriteiten liggen.

Zelf heb ik er nogal moeite mee om te snappen waarom we om ergens weer een paar tientjes te besparen, onze data gaan toevertrouwen aan het goedkoopste van het goedkoopste qua hardware.

Kwaliteit en betrouwbaarheid heeft een prijs.

Legacy oplossingen hebben nog wel enkele voordelen boven ZFS, maar die zijn eigenlijk vrij marginaal en weegt niet op tegen het risico dat mensen hun persoonlijke gegevens verliezen. En dat hoeft maar één keer te gebeuren en je data is voorgoed kwijt. Velen kunnen daarover meepraten. Legacy storage is onbetrouwbaar en als je data het tot nu toe heeft overleeft kun je maar beter zo snel mogelijk moderne opslag gebruiken. Zoveel mensen hebben al gegevens verloren aan legacy RAID - daar kan ik toch echt over meepraten want ik heb behoorlijk wat mensen geholpen met hun door bad sectors gefaalde RAID arrays. Dat risico is echt niet theoretisch ofzo.

Weer een paragraaf met een in mijn ogen overdreven uitspraak. Ik proef nu een beetje dat je mensen bang probeert te maken.

Het kern probleem wat je hier vooral illustreert is dat mensen hun backups vaak niet goed geregeld hebben. Dat staat los van de discussie over ZFS vs legacy.

Veel mensen kunnen in die context beter cloud backup kopen in plaats van geld stoppen in een NAS als ze moeten kiezen.

[Xesxen]

FireDrunk schreef op vrijdag 25 december 2015 @ 13:21:
Ik heb gewoon 4TB disks in mijn HP MicroServer zitten. Werkt prima (in AHCI mode).

Oh, zo te zien is het limiet 16TB, niet 12TB zoals ik eerder schreef. Dan haal ik het helaas nog steeds niet met 4x6TB, naast dat ik dan geen 5e HDD kan plaatsen er in.

[Q]

@Xesxen, zou onderstaande bij je wensen aansluiten? Het ding is nog goedkoper dan de Microserver.
Er kunnen zeker wel 6 schijven in als je de bovenste twee bays gebruikt. Met een extra controller en wat creativiteit kun je er denk ik wel 8 in kwijt.

De kast is groter, je verliest de hot-swap bays. De CPU is wat sneller.

(36.82 x17.5 x 47.52 cm)

pricewatch: HP Proliant ML10 v2 (814483-421)

Edit: ik lees dat je een desktop kast weer te groot vindt. Ik vrees dat je dan toch echt zelfbouw moet gaan doen met zoiets als deze kast, maar die kast doet al 160 euro.

pricewatch: Silverstone DS380

De vraag is dus een beetje wat je budget is en wat je wilt bereiken.

[ Voor 60% gewijzigd door Q op 25-12-2015 18:15 ]

[FireDrunk]

Als je met een 6TB disk langs komt, kan je zo ff testen of het niet stiekem toch werkt.
Ik verwacht namelijk dat het limiet met de RAID functies te maken heeft, en niet met AHCI modus.

Goede kans dat alles daar prima werkt.

[HyperBart]

Verwijderd schreef op vrijdag 25 december 2015 @ 10:05:
[...]

Je betaalt ervoor vind ik niet helemaal de juiste benaming.

Kom CiPHER, je weet wat ze bedoelen, je betaalt er wel voor ja en je krijgt het idd ook, maar het is veel geld ineens vs rustig groeien. Als ik met een BMW 5 wil rijden ja dan betaal ik er ook voor maar de bottom line is dat het ineens een heel grote investering is tegenover wanneer dat ik begin met een Polo en de Polo verkoop, een Golf koop, de Golf verkoop, een Passat koop, de passat verkoop en een 5-reeks koop. Ben ik in the long run meer geld kwijt? Kan goed zijn, maar het heeft minder "zeer gedaan" om tot die 5-reeks te geraken.
Ik kan meer dan goed genoeg begrijpen dat veel mensen idd willen groeien ipv op de groei al kopen. En dat is en blijft gewoon een ruk-nadeel van ZFS.

"Heeeey euhm schat, ik projecteer dat we over een paar jaar ongeveer 30TB aan data zullen hebben dus ik ga nu even een 1000 EUR aan disks uitgeven zodat we films en series kunnen opslaan met de foto's van de familie bla bla bla, goeie?"

vs

"Hey schatje, dit jaar mag je me een 4TB disk à 100 EUR voor kerst cadeau doen, kan ik de NAS uitbreiden, kunnen we weer wat films en series stockeren"

Drie keer raden wat je het makkelijkst verkocht krijgt.

Want je krijgt dan ook meer disks en meer opslag. Ik zie het meer dat elk systeem zijn beperkingen heeft. ZFS heeft eigenlijk maar één echte beperking en dat is het niet met kunnen uitbreiden van bestaande vdevs. Voor thuisgebruikers wel lastig, maar valt prima omheen te werken. Zodra je eenmaal de iets grotere builds pakt, is het uitbreiden met 6 - 10 disks tegelijk ook prima te doen. Voor de kleinere builds is dit inderdaad wel een beperking die bijvoorbeeld mdadm niet heeft. Maar om daar nu alle voordelen van ZFS voor op te geven is wel heel draconisch.

Dat ligt er aan, jij blijft zweren bij die dataveiligheid van ZFS, ik begrijp je daar in, ik vind het ook belangrijk maar als ik mijn scrubs nu zie en die van Q, dan moet je ook gewoon inzien dat het allemaal wel meevalt, jaja ik weet het met MDAM ga je het nooit geweten hebben maar de field tests laten ook wel zien dat het allemaal niet zo erg is als de statistiek wil laten garanderen of zichzelf indekken. Jaja het is allemaal weer geen valide steekproef (ik hoor je al aankomen) maar qua buikgevoel (jaja, buikgevoel) ben ik het met Q eens dat de cijfers er wel allemaal zijn maar dat de realiteit veel beter meevalt. Van alle mensen die QNAP'jes en Synology'tjes hebben thuis heb ik bv. nog maar één horroverhaal gehoord (jaja steekproef niet valide enz enz...) en ik zie ze nochtans vaak opduiken bij vrienden, kennissen of familie.

EDIT:

Voor mij begint veilige opslag met ZFS. Er zullen vast betere systemen komen in de (verre) toekomst, maar voorlopig is dit hét systeem om je data mee op te slaan als je kan leven met het feit dat je zwaar op voorhand moet gaan inkopen qua disks of moet workarounden door VDEV's toe te voegen bij voorkeur met hetzelfde aantal en pariteitsniveau als de vorige VDEV's en dat dat dan inefficienter is. Of dat je een forkliftupgrade moet doen door een nieuwe build of set disks aan te schaffen om je data naar te migreren


[...]

10^-14 uBER betekent gemiddeld één bad sector per disk per dag, bij 100% duty cycle. Dat laatste is bij consumenten zelden het geval. Dus zeg ergens tussen eens per dag en eens per paar maanden. Dat valt toch zeker in de bandbreedte der mogelijkheden. Kijk bijvoorbeeld even in het grote SMART topic daar komen bad sectors aan de lopende band voorbij. Op ongeveer de helft van mijn disks en de systemen die ik voor kennissen heb gebouwd, komen ook bad sectors voor. Daar ben je gewoon immuun voor bij ZFS maar bij legacy RAID kan dit een groot probleem worden (maar in de realiteit komt men dit ook bij thuis-systemen heel weinig tegen). Al helemaal als je aan het uitbreiden bent.

Ik geef je wel gelijk met dat uitbreiden, bij mijn QNAP moet ik toegeven dat ik bijzonder bijzonder bijzonder angstvallig aan het wachten was tot de array gerebuilded was, met ZFS heb ik echt veel meer gemoedsrust, dat is een feit, maar ik heb er dan ook wel een smak geld voor mogen neertellen.

Je hebt zeker wel een goed punt als je zegt dat de uBER in de praktijk veel beter kan zijn. Maar ook 10^-15 is niet veilig genoeg.

[...]

Dus? Het klinkt mij erg in de oren als de verhalen van een oma van 99 die heel haar leven heeft gerookt. Welke conclusie wil je daaraan verbinden? Dat het onzin is dat roken ongezond is? Leuk dat jij tot nu toe weinig last hebt gehad van uBER, maar dat betekent niet dat het probleem niet bestaat.


[...]

Ik denk dat de meeste mensen een betrouwbaar opslagsysteem willen met de minste restricties. ZFS heeft één belangrijke restrictie voor thuisgebruikers, maar de overige systemen hebben een heleboel tekortkomingen. Het is dus een afweging wat je belangrijker vindt.

Het kunnen uitbreiden per disk zou inderdaad leuk geweest zijn. Maar aangezien er geen goed alternatief is voor ZFS (nee Btrfs en ReFS zijn dat lang nog niet) is dat niet aan de orde. Dus wat meer disks en voorruitplannen is dan het beste wat je kunt doen. Om zoveel geld gaat het niet want je kunt de goedkoopste disks gebruiken.

En als ik zie hoe duur de systemen zijn die regelmatig voor simpele builds voorbij komen, denk ik dat het bezuinigen op andere onderdelen logischer is zodat je het geld meer in de disks kunt steken. Daar is het tenslotte allemaal om te doen, de rest is in feite allemaal 'overhead'.


[...]

Daarmee lijkt je toch min of meer te zeggen dat hoewel jij er gelukkig vanaf bent gekomen met je 10^-15 disks en legacy RAID, het uiteindelijk toch wel fijn is dat je het ZFS tijdperk zonder kleerscheuren hebt weten te halen. Maar door dan nu maar mdadm aan te raden denk ik wel dat je je dient te beseffen dat anderen niet zo gelukkig hoeven te zijn als jij. Zeker als ze dagenlang gaan rebuilden hou ik mijn hart vast of dat allemaal goed gaat. En bedenk dat mensen die gewaarschuwd zijn en uiteindelijk toch het noodlot treffen, over het algemeen hiermee niet te koop lopen.

Met dataverlies? Ik zou dat net WEL doen dan, mensen die gelukkig zijn met een oplossing of product hoor je net het minst, als het mis gaat dan hoor je het het vaakst. Of lees jij vaak topics die mensen gestart zijn omdat ze zo gelukkig zijn met een product? Voorbeeldje: auto's.

Better safe than sorry - zorg dat je data het onveilige tijdperk van het begin van de 21e eeuw overleeft. Backups is leuk, maar backups van een legacy filesystem biedt geen goede zekerheid. Backups met een 3e generatie filesystem zorgt voor iets van een begin van zekerheid.

[ Voor 8% gewijzigd door HyperBart op 25-12-2015 20:42 ]

[HyperBart]

Xesxen schreef op vrijdag 25 december 2015 @ 12:51:
Ik zit al enige tijd te kijken naar een mooie, compacte, zuinige setup om ZFS (of equivalent) op te gaan draaien. Op het moment beschik ik over een enkele WD RED 6TB, maar mijn plan is om een 5-drive RAIDZ2 setup te maken (waardoor ik effectief op ~18TB uit kom).

Wat ik dan ook zoek is een oplossing welke laag in verbruik is als hij niet gebruikt wordt (lees: standby), maar toch nog de kracht biedt om een filesysteem aan te kunnen zoals ZFS in RAIDZ2. Het ideaalste zou zijn dat de drives hierbij hot-swappable zijn mocht er een van de schijven kapot gaan, maar natuurlijk hoop ik dat dit niet nodig hoeft te zijn.

Helaas biedt de ProLiant die eerder in het topic vermeld was (pricewatch: HP Proliant MicroServer Gen8 G1610T) maar 4 bays aan (naast een limit van 12TB aan opslag). Een desktop case is dan weer in de meeste gevallen groot, iets wat voor mij niet wenselijk is.

Overigens ben ik niet onbekend in de Linux wereld, al enige tijd heb ik mijn Windows installatie gedag gezegd en draai ik inmiddels Arch als mijn dagdagelijkse OS.

Dat is inderdaad jammer aan die Gen8, de vorige generatie kon je in de ODD bay nog een disk wegmoffelen (N40L).

Wil je echt echt echt RAIDZ2 draaien? Met 5 disks is het net optimaal om RAIDZ te draaien en vind ik de afweging risico vs nadelen goed uitkomen hoor... Maar de disks zijn dan wel best groot, dat wel om RAIDZ te te draaien

Met jouw eis ben je eigenlijk veroordeeld tot een grotere kast (bv die Fractal Node 304 of een maatje groter, ken het model even niet) of een desktop kast...

[ Voor 7% gewijzigd door HyperBart op 25-12-2015 20:52 ]

[Xesxen]

HyperBart schreef op vrijdag 25 december 2015 @ 20:50:
[...]
Wil je echt echt echt RAIDZ2 draaien? Met 5 disks is het net optimaal om RAIDZ te draaien en vind ik de afweging risico vs nadelen goed uitkomen hoor... Maar de disks zijn dan wel best groot, dat wel om RAIDZ te te draaien

Naast het feit dat grotere disks een hogere kans hebben op fouten, wil ik voorkomen dat ik met een degraded array zonder parity kom te zitten. Dan moet ik toch echt een RAIDZ2 draaien wil ik dat voor elkaar krijgen.

Q schreef op vrijdag 25 december 2015 @ 18:00:
Edit: ik lees dat je een desktop kast weer te groot vindt. Ik vrees dat je dan toch echt zelfbouw moet gaan doen met zoiets als deze kast, maar die kast doet al 160 euro.

pricewatch: Silverstone DS380

De vraag is dus een beetje wat je budget is en wat je wilt bereiken.

Die Silverstone kast is geweldig, waarom ben ik die nog niet tegen gekomen...

Overigens heb ik het idee dat mini-DTX moederborden exotisch zijn. Om wat leukere snelheden te halen wil ik graag (later) een Infiniband controller er in duwen voor hogere snelheden tussen mijn PC en de NAS. Tevens heb ik zeer waarschijnlijk een HBA nodig om de disks aan te kunnen sluiten. Een enkele PCI-e slot voldoet dan jammer genoeg niet, en mini-DTX borden zijn ook niet te vinden.... tsja...

_{Ik heb op het moment nog geen budget in gedachten, maar aangezien de schijven alleen al op ~€1250 uit komt, kan een degelijke kast/moederbord/HBA ook nog wel bij}

[player-x]

Q schreef op vrijdag 25 december 2015 @ 11:34:
ZFS is gewoon niet gratis en dat is iets wat mensen zich moeten realiseren. Of ze die prijs willen betalen moeten zij zelf bepalen.

ZFS kost voor de meeste mensen op de korte of lange termijn extra geld ten opzichte van legacy oplossingen.

- Of je koopt de storage die je nodig denkt te hebben voor de komende 5 jaar upfront = extra geld
- Of over 3 jaar moet je een VDEV toevoegen en gooi je 1 a 2 disks aan parity weg = extra geld

Kies maar.

Dat is wat 'absolute' data integriteit en betere beschikbaarheid kost.

Als je nu geld moet uitgeven voor iets wat je de komende 3-5 jaar niet nodig hebt dan ben je dus onnodig geld aan het uitgeven. Dat is een paar honderd euro die je anders in je zak had kunnen hebben.

Of je kiest de derde optie en gaat voor BtrFS, dat nu echt productie rijp begint te worden.

RAID56: Status

From 3.19, the recovery and rebuild code was integrated. This brings the implementation to the point where it should be usable for most purposes. Since this is new code, you should expect it to stabilize over the next couple of kernel releases.

The one missing piece, from a reliability point of view, is that it is still vulnerable to the parity RAID "write hole", where a partial write as a result of a power failure may result in inconsistent parity data.

• Parity may be inconsistent after a crash (the "write hole")
• No support for discard? (possibly -- needs confirmation with cmason)
• The algorithm uses as many devices as are available: No support for a fixed-width stripe (see note, below)

If you'd like to learn btrfs raid5/6 and rebuilds by example (based on kernel 3.14), you can look atMarc MERLIN's page about btrfs raid 5/6..

Het ziet er nu naar uit dat R5/6 tegen productie klaar aan zit, alleen is een UPS wel zeer aan te bevelen, heb in mijn test systeem (10x 8TB in R6 BtrFS), verscheidende (+20 tests) disk failures getest gedaan waar ik een of twee disks los heb gekoppeld, een srink rebuild heb gedaan met negen of acht disks, en daarna weer een volledige rebuild met 10 disks, en het gaat tot nu nog steeds goed.

En van de documentatie die ik tot nu toe heb gelezen zit de betrouwbaarheid dicht tussen hardware NTFS R5/6, en ZFS RAIDZ1/RAIDZ2.

En BtrFS geeft je het beste van twee werelden, een file systeem dat OCE onderstreund, zodat je pas disk hoeft toe te voegen wanneer nodig, geen dure controllers, gratis file systeem.

Enige nadeel, het is op het moment wat minder betrouwbaar dan ZFS, maar daar komt steeds meer verandering in, met elke update van het BtrFS file systeem, dat op het moment qua R5/6 nu heel dicht tegen productie aan zit te komen, en zo als het er nu uit ziet binnen een jaar echt productie rijp zal zijn.