Het grote ZFS topic

[FireDrunk]

TheMOD schreef op zondag 02 oktober 2011 @ 18:15:
Even een vraagje uit nieuwsgierigheid: Mijn ZFS server draait nu al een tijdje met Smaba 3.5. In het begin had ik een snelheid Windows<-->ZFS van 1,5 MBps. Vandaag ging ik er weer mee aan de slag, en nu haal ik opeens bijna native snelheid van de HDD's o.O (~50MBps)

Ik ben toch wel erg benieuwd hoe dit kan. Ik dacht dat Samba 3.5 sowieso niet bekend stond om zijn snelheid, maar deze stemmingswisseling is toch wel bijzonder

Ik heb FreeBSD 8.2 met Samba 3.5 en een redeljik standaard config file. Dat alles op een ESXi dikke serverbak.

Misschien grotere default packet size? en TCP_NO_DELAY aan?


* FireDrunk moet niet dubbelposten...


50 disks gaat wel lukken...
http://www.chenbro.eu/cor...roducts_detail.php?sku=45

[ Voor 9% gewijzigd door FireDrunk op 02-10-2011 18:36 ]

[Aeogenia]

zzattack schreef op zondag 02 oktober 2011 @ 17:12:
Maar 8.2-STABLE heeft al een tijdje support voor v28, dus het is gewoon mogelijk om je pool te importen.

Dat was mijn aandacht ontsnapt, dan ga ik morgen het gewoon proberen. Bedankt.

CurlyMo schreef op zondag 02 oktober 2011 @ 17:00:
[...]


Dat kan niet.

Kort maar krachtig, bedankt.

[d1ng]

FireDrunk schreef op zondag 02 oktober 2011 @ 18:29:
[...]
50 disks gaat wel lukken...
http://www.chenbro.eu/cor...roducts_detail.php?sku=45

Waarom geen SSD ?

[Psycho_Bartje]

d1ng schreef op zondag 02 oktober 2011 @ 20:08:
[...]

Waarom geen SSD ?

Wel hoor: 4x een SSD van Crucial zie ik in z'n bouwplan vermeld.
Nou nog die sponsor(s)

[FireDrunk]

Mjah, best, en dan even de Nuon mailen of die mij ook willen sponsoren

Dit is wel een oplossing
http://www.dynapowerusa.com/dyna/ASP/RM_JE_NA380A-R.asp

#	Product	Prijs	Subtotaal
1	Supermicro H8DG6-F	€ 606,01	€ 606,01
1	Intel PRO/1000 PT serveradapter	€ 67,80	€ 67,80
2	AMD Opteron 6168 Boxed	€ 655,89	€ 1.311,78
64	Western Digital Caviar Green WD30EZRX, 3TB	€ 114,99	€ 7.359,36
4	LSI SAS 9201-16i	€ 374,90	€ 1.499,60
1	Seasonic X-850 80+ Gold Hybrid silent fan control	€ 190,50	€ 190,50
8	Crucial m4 CT128M4SSD2 128GB	€ 158,98	€ 1.271,84
8	Kingston ValueRAM KVR1333D3D4R9SK2/16G	€ 157,40	€ 1.259,20
Bekijk collectie Importeer producten		Totaal	€ 13.566

Toch maar zo dan?

[ Voor 90% gewijzigd door FireDrunk op 03-10-2011 09:29 ]

[Psycho_Bartje]

FireDrunk schreef op zondag 02 oktober 2011 @ 22:23:
Dit is wel een oplossing
http://www.dynapowerusa.com/dyna/ASP/RM_JE_NA380A-R.asp

Dat is nog eens een geinig concept; je koppelt een paar van de behuizingen aan elkaar, et voila !

[Verwijderd]

Dat is het heel idee inderdaad =) Een volwaardig SAN/NAS is niets anders dan een "controller" met een FC of SAS back-end met software die de hele oplossing managed.

Bij NetApp bijvoorbeeld kun je een active/active controller krijgen met een JBOD, vervolgens betaal je je scheel aan licenties zoals CIFS, NFS, SnapMirror etc. Bij NetApp gebruiken ze WAFL, soort gelijk aan ZFS alleen dan met beperkingen (100TB max volume size, 255 snapshots per volume etc) -- er gaat MEGA veel geld in om. 42% van het IT budget gaat op dit moment naar storage.

Het leuke van clubs als Nexenta is dat je deze functionaliteit + meer, kan krijgen of een software basis want bij NetApp betaal je voor 14x1TB disken ongeveer de prijs van een A3. Hierbij wordt dus het concept van een appliance toegepast, de software aanpak sluit meer aan bij VMware/HyperV/Xen -- met standaard hardware een en door slimme software een enterprise oplossing bouwen.

[ Voor 6% gewijzigd door Verwijderd op 04-10-2011 00:56 ]

[FireDrunk]

Probleem is wel dat je veel minder uitgebreide support hebt, en je support bij heel veel verschillende vendors moet halen als je custom oplossingen gaat bouwen.
Wat je wel zou kunnen doen is een dikke HP in elkaar schroeven en daar Nexenta op installeren, maar ja HP is ook duur.

[Verwijderd]

Nee hoor support wordt gegeven en 9 van de 10 keren zit daar een partner tussen die eerste lijns support doet.

[FireDrunk]

Ik zeg niet dat er geen support is, ik zeg dat je minder uitgebreide support hebt...
Bij NetApp heb je het voordeel van 1 vendor voor _alles_.

[Verwijderd]

Ik zie het voordeel niet maar goed. Als je disken stuk zijn krijg je via je partner gewoon een andere opgestuurd en als je wilt staat er een mannetje op de stoep die het voor je doet. Daarnaast, dat het concept werkt is wel bewezen kijk maar naar vmware, is ook software only.

[FireDrunk]

oh, zeker, het werkt uitstekend Ik zou (als geld een dusdanige rol speelt) zelf ook wel wat in elkaar willen klussen. Maar als je in de wat grotere werelden komt is NetApp / EMC / HDS toch wel de standaard.

Zeker jammer, want daardoor wint ZFS maar slecht terrein, terwijl het een prima oplossing is.

[Verwijderd]

Nexenta stond naast de groten op VMworld in vegas, naast EMC en NetApp waar elke 1.25 seconden een VM gedeployed werd - maar goed elk een eigen mening That said, EMC bv, draait RH Linux met XFS op hun blades die in de VNX 5xxx en hoger zitten. De shelves die netapp gebruikt zijn van xyratek dus och wat heet een grote "jongens"

[FireDrunk]

Ik vind zelfs de hardware in de helft van de Storage hardware nou niet echt super... 32GB ram in een 100TB NAS vind ik best tegenvallen... (Zoals wij hier hebben staan).

32GB NVRAM is dan wel weer leuk

[Verwijderd]

Dan kan je vast een cache device kopen van 256GB voor een prijs 20 tot 30K

[FireDrunk]

Zou kunnen, maar tis nog een vrij oude nas (nieuwe is in overleg) en 32 is max volgens mij
Maar inderdaad, zou kunnen

[Verwijderd]

Ik weet niet welk merk je het over hebt, maar das wel erg weinig idd.

[FireDrunk]

NetApp. 2005 volgens mij, weet exacte versie niet, maar ze hebben hem nog niet zo lang geleden geplaatst.
Ding is out-of-support, en er staat een nieuwe in de planning.

Ik zit zelf niet in het storage team, maar in het Windows en het VMWare team

[ImmortalSoul]

Ik ben na de ontdekking van ZFS helemaal fan geworden en ik wil nu zelf thuis een leuke opsteling bouwen.

Mijn huidige pc die nu fungeert als downloadbak/fileserver/HTPC:
Intel Core 2 Duo E6600:
Asus P5W DH Deluxe (Intel 975X +Intel ICH7R)
3GB DDR2 (2x1GB + 2x512MB)
2x320GB in Raid0 (Seagate 7200.11) Onboard Raid
3x1TB in Raid5 (Samsung Spinpoint F3) Onboard Raid
Windows 7 + XBMC

Ik zit nu met de volgende problemen:
- Mijn array van 2TB zit bijna vol.
- Ik kan geen extra HD's meer aan mijn array toevoegen.
- Ik vertrouw de huidige onboard raid voor geen meter.

Dus wil ik nog een 4de schijf aan mijn array toevoegen, dan zal ik een raid-controller (130e+) moeten toevoegen, of ik koop een nas (250e+). Maar zodra ik die extra TB vol heb, kan ik weer niet makkelijk uitbreiden en heb ik weer hetzelfde probleem.

Dus mijn plan:
- Huidige PC pakken. Raid0 array afbreken, extra 1TB schijf toevoegen en ZFS gebruiken.
- Nieuwe PC kopen met een mini-itx bordje met een Amd Fusion/Intel Atom + 4GB DDR3 als HTPC.
- Zodra ik storage tekort kom (en hopelijk meer geld heb), een raidcontroller/hba kopen + 4x3TB en mijn pool uitbreiden.

De NAS zal in het begin alleen gebruikt worden voor streaming van films/series (HD), af en toe filesharing en ik wil ook een diskless HTPC maken (met PXE). Maar die PXE boot en streaming zal dus nooit tegelijkertijd zijn.

Nu had ik nog wat vragen:
- Is de hardware van die oude PC voldoende?
- Kan ik misschien beter die nieuwe PC (Mini-itx met AMD Fusion/Intel Atom) als NAS gebruiken, omdat deze zuiniger is en meer RAM krijgt? Mijn oude pc heeft wel twee Gigabit aansluitingen.
- Hebben jullie misschien nog andere tips/suggesties?

[Verwijderd]

Je huidige systeem kan ZFS draaien maar is daar niet bijzonder geschikt voor:
1) slechts drie echte SATA poorten (je hebt een Silicon Image en JMicron controller voor extra poorten maar die kun je beter niet gebruiken)
2) DDR2 = duur geheugen en niet voldoende voor high-performance ZFS
3) hoog energieverbruik

Je zou dus kunnen kijken naar een nieuw zuinig systeem speciaal voor ZFS, zoals in mijn wenslijstje:

#	Product	Prijs	Subtotaal
1	Asus E35M1-I	€ 101,39	€ 101,39
6	Samsung EcoGreen F4EG HD204UI, 2TB	€ 58,89	€ 353,34
1	be quiet! Pure Power L7 300W	€ 34,85	€ 34,85
1	Transcend 8GB DDR3 Dual/Triple Channel Kit	€ 40,50	€ 40,50
Bekijk collectie Importeer producten		Totaal	€ 530,08

Bovenstaande configuratie is met name geschikt voor een 6-disk RAID-Z2. Minder dan 8GiB geheugen moet je niet doen als je voor DDR3 platform kiest. Je kunt eventueel ook PicoPSU gebruiken icm 150W DC adapter te koop bij Informatique, dan ben je nog zuiniger uit, maar wel beperkt wat betreft hoeveelheid schijven.

Verder nog een ding: koop NOOIT een RAID-controller voor gebruik met ZFS; ZFS wil een non-RAID controller en absoluut geen RAID controller. Je onboard Intel/AMD poorten zijn de beste poorten die je maar kan hebben; er bestaat niets beters.

Zie ook deze topics, met name als je in PicoPSU geïnteresseerd bent:
FreeNAS 8.0 zelfbouw of toch niet?
Verwijderd in "Zelfbouw NAS systeem"

[ImmortalSoul]

Verwijderd schreef op woensdag 05 oktober 2011 @ 02:05:
Je huidige systeem kan ZFS draaien maar is daar niet bijzonder geschikt voor:
1) slechts drie echte SATA poorten (je hebt een Silicon Image en JMicron controller voor extra poorten maar die kun je beter niet gebruiken)
2) DDR2 = duur geheugen en niet voldoende voor high-performance ZFS
3) hoog energieverbruik

Je zou dus kunnen kijken naar een nieuw zuinig systeem speciaal voor ZFS, zoals in mijn wenslijstje:

Bovenstaande configuratie is met name geschikt voor een 6-disk RAID-Z2. Minder dan 8GiB geheugen moet je niet doen als je voor DDR3 platform kiest. Je kunt eventueel ook PicoPSU gebruiken icm 150W DC adapter te koop bij Informatique, dan ben je nog zuiniger uit, maar wel beperkt wat betreft hoeveelheid schijven.

Verder nog een ding: koop NOOIT een RAID-controller voor gebruik met ZFS; ZFS wil een non-RAID controller en absoluut geen RAID controller. Je onboard Intel/AMD poorten zijn de beste poorten die je maar kan hebben; er bestaat niets beters.

Zie ook deze topics, met name als je in PicoPSU geïnteresseerd bent:
FreeNAS 8.0 zelfbouw of toch niet?
Verwijderd in "Zelfbouw NAS systeem"

Bedankt voor je reactie. Je bevestigd mijn vermoedens grotendeels al.
Maar let op: Via de Intel ICH7R heb ik 4 S-ATA poorten, 1 poort is echter verwijderd en doorgelust naar die Silicon chipset die weer twee S-ATA poorten heeft (En dan moet ik met EZ-Backup Raid0/1 gebruiken). Volgensmij is het wel zo dat als ik één disk op die Silicon chipset aansluit ik 4 disk's via mijn Intel ICH7R zie.

Maar stroomverbruik en het dure DDR2 geheugen zijn voor mij genoeg redenen om een nieuwe pc als NAS te gebruiken.

Ik denk dat ik dan begin met een AMD Fusion/Intel Atom + 8GiB DDR3 en dan allereerst een 4-disk RAID-Z1 aanmaak met mijn 3 huidige Samsung F3 1TB (+ 1 nieuwe). En dan zodra ik extra storage nodig heb uitbreidt met een extra SAS/SATA controller en een extra 4-disk RAID-Z1 array (4x3TB oid).
RAID controllers gebruiken voor ZFS is not-done, dat weet ik

Ik denk dat ik nog wel Sabnzbd + Sickbeard + Couchpotato bij zo'n AMD E-350 kan draaien, of gaat dat krap worden?

[mieJas]

[b][message=36870966,noline]Maar als je in de wat grotere werelden komt is NetApp / EMC / HDS toch wel de standaard.

Zeker jammer, want daardoor wint ZFS maar slecht terrein, terwijl het een prima oplossing is.

Valt best mee. Met 5000 werknemers is ons bedrijf beslist geen kleintje. We werken al sinds het begin met ZFS. Meer precies Sun T-servers met grote JBOD's er achter. Met genoeg RAM werkt zoiets prachtig. Met de ZFS Storage Appliances zal het er zeker niet minder op worden (we zetten er deze avond trouwens één in).

Verwijderd schreef op woensdag 05 oktober 2011 @ 02:05:
Je huidige systeem kan ZFS draaien maar is daar niet bijzonder geschikt voor:
1) slechts drie echte SATA poorten (je hebt een Silicon Image en JMicron controller voor extra poorten maar die kun je beter niet gebruiken)
2) DDR2 = duur geheugen en niet voldoende voor high-performance ZFS
3) hoog energieverbruik

Een nieuw(er) mATX moederbord met on-board grafische kaart helpt imo ook al. Er zijn er genoeg te vinden met 6 S-ATA poorten. DDR2 is op zich ook nog best toereikend. 3 GB is misschien kantje-boordje, maar als het puur voor opslag dient van < 4 TB voorzie ik weinig problemen. Kost je € 50 (tweedehands zelfs minder), dus imo zeker het proberen waard. Stroomverbruik zal hoger liggen dan met een Fusion/Atom bordje, maar je zal geen € 200 aan stroom uitgeven tijdens z'n levensduur. Een C2D E6600 is daarenboven nog eens krachtiger, dus beter als je gebruik maakt van dedup of compressie.

Zo zal je iig een krachtigere config hebben dan mij en hier draait het als een zonnetje.

[ Voor 50% gewijzigd door mieJas op 05-10-2011 17:01 ]

[Verwijderd]

Krachtige CPU heb je weinig aan met weinig geheugen; geheugen is echt het belangrijkste. Onder de 8GB moet je eigenlijk niet komen, dan ga je concessies doen aan de performance. Dat betekent ook gelijk DDR3 want DDR2 is niet te betalen met zo'n hoeveelheid. Compressie is eigenlijk het enige waar je veel CPU kracht voor wilt hebben, maar bij ZFS gebruik je dat spaarzaam om datasets met veel text files, dus hoeft dat eigenlijk geen issue te zijn.

Overigens over dat Fusion bordje; uitbreiden met een controller kan problemen geven. Niet alle bordjes ondersteunen add-on controllers. Ook als je je 1TB schijven wilt gebruiken is PicoPSU niet meer mogelijk omdat deze een veel hoger spinup current gebruiken. Dus of je gaat voor een low-power setup op basis van Fusion of je kiest iets op basis van een Core i3 op Mini-ITX ofzo, met normale voeding en waarbij je wel een controller kunt gebruiken voor meer dan 6 disks. In dat geval zou ik 16GiB DDR3 nemen, 2 keer 40 euro. Geheugenprijzen zijn alweer aan het stijgen.

Oh en 3TB disks zijn nog langzaam en niet erg aantrekkelijk. Pas als er 1TB platters uitkomen. En het is het beste om bji RAID-Z te houden aan de optimale disk hoeveelheid: 3 of 5 disks in RAID-Z of 6 of 10 disks in RAID-Z2.

Stroomverbruik zal hoger liggen dan met een Fusion/Atom bordje, maar je zal geen € 200 aan stroom uitgeven tijdens z'n levensduur.

Als je server 100W verbruikt, kost dat 200 euro per jaar, gedurende de levensduur dus 1000 euro aan stroom uitgaande van 5 jaar continu 24/7 gebruik. Energie is dus een hot-issue. Buiten dat is een low-power setup ook fijn omdat je dan het zaakje ook passief kunt koelen en het maakt gewoon dat je in de toekomst nog meer hebt aan je investering.

[ Voor 5% gewijzigd door Verwijderd op 05-10-2011 17:12 ]

[mieJas]

Verwijderd schreef op woensdag 05 oktober 2011 @ 17:11:
Krachtige CPU heb je weinig aan met weinig geheugen; geheugen is echt het belangrijkste. Onder de 8GB moet je eigenlijk niet komen, dan ga je concessies doen aan de performance.

Een systeem met vele TB's en meerdere gebruikers, ja. Een home server met 2 - 4 TB? Ik heb iig geen klagen met 4 GB voor 3 TB (effectief) aan data. Daarbij komt een DB2 database, backup server en een DLNA media server. Geen idee of ik veel consessies doe, maar de 2xGbit lijn zit goed vol. Ook met meerdere gebruikers. Het enige wat te vaak piekt is de CPU (een C2D E7300).

Als je server 100W verbruikt, kost dat 200 euro per jaar, gedurende de levensduur dus 1000 euro aan stroom uitgaande van 5 jaar continu 24/7 gebruik. Energie is dus een hot-issue. Buiten dat is een low-power setup ook fijn omdat je dan het zaakje ook passief kunt koelen en het maakt gewoon dat je in de toekomst nog meer hebt aan je investering.

Point taken. Ging niet uit van een 24/7 gebruik. Daarbij komt dat nieuwe hardware het allicht langer zal trekken.

[sloth]

Aeogenia schreef op zondag 02 oktober 2011 @ 15:46:
[...]


Behalve als je specifeert dat alle data twee keer weggeschreven op dezelde disk is er geen bit-rot beveiliging en self-healing van je data afaik. Het wordt wel gedetecteerd door de checksum maar er is geen vergelijkings materiaal om het te herstellen.

Dan heeft ZFS in een JBOD opstelling geen meerwaarde tov een filesystem als XFS of EXT4 lijkt me?
Sneller (sequential, vooral read) zal het sowieso ook niet zijn?

[Verwijderd]

Jawel hoor. ZFS heeft redundantie voor de metadata zelfs al gebruik je single disks of RAID0. Dus ook bij dergelijke configs heeft ZFS zin.

En naast de correctie van corruptie is een ander punt misschien even belangrijk: detectie! Bij andere filesystems heb je geen weet van corruptie en kan die corruptie ook doorvloeien naar je applicaties, zoals bijvoorbeeld je backup. Bij ZFS is dit onmogelijk; er wordt nooit corrupte data aan applicaties geleverd. Als je geen redundnancy hebt en een file raakt corrupt, weet je precies welke file omdat je dit met zpool status -v kunt zien. En voor belangrijke data kun je altijd copies=2 gebruiken; beschermt je niet tegen volledig schijfuitval, maar wel tegen bijvoorbeeld bad sectors.

@mieJas: welk OS gebruik je? Want FreeBSD heb je minimaal 6GB RAM nodig om prefetching standaard aan te hebben. Je kunt wel vanalles gaan tweaken, maar vooral BSD levert aardig wat snelheid in met te weinig geheugen. Solaris doet het stukken beter met maar 4GB RAM.

[mieJas]

Verwijderd schreef op woensdag 05 oktober 2011 @ 18:45:
@mieJas: welk OS gebruik je?

Solaris 11. Het verbaast me dat FreeBSD zoveel extra "nodig" heeft. Dacht altijd dat Solaris de meer bloated van de twee was.

[ImmortalSoul]

[b][message=36880039,noline]Oh en 3TB disks zijn nog langzaam en niet erg aantrekkelijk. Pas als er 1TB platters uitkomen. En het is het beste om bji RAID-Z te houden aan de optimale disk hoeveelheid: 3 of 5 disks in RAID-Z of 6 of 10 disks in RAID-Z2.

4x3TB disk's toevoegen is ook een verhaaltje voor de toekomst over 1 of 2 jaar.

Ik heb de Best Practice's voor me liggen maar ik zie niet direct wat het voordeel hiervan is, maar is het erg om maar 4 disk's te gebruiken?

[webfreakz.nl]

ImmortalSoul schreef op woensdag 05 oktober 2011 @ 22:25:
[...]

Ik heb de Best Practice's voor me liggen maar ik zie niet direct wat het voordeel hiervan is, maar is het erg om maar 4 disk's te gebruiken?

http://www.solarisinterna...ments_and_Recommendations

[iRReeL]

Is ZFS nu ook betrouwbaar onder Linux? Dan is het makkelijker om NAS en HTPC te combineren. https://wiki.ubuntu.com/ZFS -> native ZFS support for Ubuntu.

[saiko223]

Verwijderd schreef op woensdag 05 oktober 2011 @ 02:05:
Je zou dus kunnen kijken naar een nieuw zuinig systeem speciaal voor ZFS, zoals in mijn wenslijstje:

#	Product	Prijs	Subtotaal
1	Asus E35M1-I	€ 101,39	€ 101,39
6	Samsung EcoGreen F4EG HD204UI, 2TB	€ 58,89	€ 353,34
1	be quiet! Pure Power L7 300W	€ 34,85	€ 34,85
1	Transcend 8GB DDR3 Dual/Triple Channel Kit	€ 40,50	€ 40,50
Bekijk collectie Importeer producten		Totaal	€ 530,08

Dat is een mooi lijstje. Maar die voeding heeft maar 3 sata voedingplugs zie hier. Hoe los je dat op?

Heb hetzelfde lijstje in gedachte maar dan met 2 1tb schrijven die ik nog over heb en nog een 1tb schrijf die ik erbij koop. In een Lian Li PC-Q08B. En dan een jaar later over te stappen naar 3x3tb en dan weer een jaar later 3x3tb er bij gooien.

En hoe zit het met het uitbreiden van je zpool. Dan voeg je een nieuwe vdev toe maar wat houdt dat in? Dat een folder dan maximaal de grootte kan zijn van de vdev waarop het staat?

[iRReeL]

[quote]saiko223 schreef op donderdag 06 oktober 2011 @ 14:28:
[...]
Dat is een mooi lijstje. Maar die voeding heeft maar 3 sata voedingplugs zie hier. Hoe los je dat op?

Je hebt toch van die verloop/ splitters van Molex naar 2x of zelfs 4x sata, of 3x zie ik
http://www.highflow.nl/aa...remium-sleeved-black.html

[saiko223]

Bedankt dan is het daarmee opgelost.

[magistus]

iRReeL schreef op donderdag 06 oktober 2011 @ 10:07:
Is ZFS nu ook betrouwbaar onder Linux? Dan is het makkelijker om NAS en HTPC te combineren. https://wiki.ubuntu.com/ZFS -> native ZFS support for Ubuntu.

Afgaande op de status (openstaande issues, ontbrekende/niet werkende features, al zit men gewoon op v28!) zie ik ZFS op linux nog niet als 100% betrouwbaar, maar dit is o.a. afhankelijk van jouw criteria. Zelf heb ik al wel gemerkt (ik gebruik de PPA onder Debian Squeeze AMD64 met dkms uit Wheezy) dat de core features (in mijn optiek: integrated volume management, snapshots, dataintegriteit) van ZFS in mijn geval wel in orde zijn doordat bijvoorbeeld corruptie van bestanden werd geconstateerd en deze ook gerepareerd konden worden. Ook werkt scrub/import/export prima, met name interessant voor mijn offline storage doos.
Aan de andere kant (en dan spreek ik momenteel puur over zfsonlinux, niet de fuse-based oplossing), werkt ZFS send momenteel niet, is de performance niet optimaal (al zijn al mijn volumes LUKS-encrypted, een gewoonte welke ik op al mijn schijven toepas) en aangezien de ontwikkelaars zelf nog geen productiestatus aan zfsonlinux geven, durf ik zeer zeker niet te stellen dat zfsonlinux volwassen is. Daarom zou mijn advies zijn: check de openstaande bugs, probeer het en kijk of het voldoet aan jouw wensen.
Maar zoals altijd bij data: zorg dat je een fatsoenlijke backup hebt en een testsysteem (virtual?) om een upgrade van ZFS te kunnen testen.

Los hiervan, erg nieuwsgierig wat Oracle na de release van Solaris 11 gaat doen met de sources van Solaris (met name op het gebied van ZFS).

[ImmortalSoul]

webfreakz.nl schreef op woensdag 05 oktober 2011 @ 23:02:
[...]

http://www.solarisinterna...ments_and_Recommendations

Dus behalve minder IOPS maakt het verder niks uit.

[Ravefiend]

iRReeL schreef op donderdag 06 oktober 2011 @ 15:05:
[quote]saiko223 schreef op donderdag 06 oktober 2011 @ 14:28:
[...]
Dat is een mooi lijstje. Maar die voeding heeft maar 3 sata voedingplugs zie hier. Hoe los je dat op?

Je hebt toch van die verloop/ splitters van Molex naar 2x of zelfs 4x sata, of 3x zie ik
http://www.highflow.nl/aa...remium-sleeved-black.html

Of je zet er een paar extra tussen:
http://www.highflow.nl/mo...-t-sata-female-black.html

[DARKLORD]

eindelijk mijn nieuwe setup binnen

pricewatch: Supermicro X9SCM-F
pricewatch: Kingston ValueRAM KVR1333D3E9SK2/8G
pricewatch: Intel Xeon E3-1220 Boxed
pricewatch: Seasonic M12II 520W

Voorlopig alleen even alles snel van oude naar nieuwe setup overgezet. (nog geen tijd voor ESXi gehad). oude schijf met openindiana overgezet en ik was direct weer vertrokken! niets moeten aanpassen.

even een test gedaan met OI > win7 ging met 80mb/s over 1gb lijn. lekker

IPMI op het moederbord is echt geniaal. heeft een eigen LAN poort en IP-adres. inloggen via je browser en je kan alles zien van je server. zelfs aan en uitzetten of rebooten. geen gesleep met je monitor naar de meterkast meer van waaruit je niet echt RSI verantwoord kan werken.

[Verwijderd]

magistus schreef op donderdag 06 oktober 2011 @ 20:16:
[...]

Los hiervan, erg nieuwsgierig wat Oracle na de release van Solaris 11 gaat doen met de sources van Solaris (met name op het gebied van ZFS).

Vind ik niet, wat belangrijker is -- waar zijn de developers van toen nu? Veelal bij opensolaris spinoffs als Nexenta, delfix en Joyent.

[huiser]

DARKLORD schreef op vrijdag 07 oktober 2011 @ 15:20:
eindelijk mijn nieuwe setup binnen

pricewatch: Supermicro X9SCM-F
pricewatch: Kingston ValueRAM KVR1333D3E9SK2/8G
pricewatch: Intel Xeon E3-1220 Boxed
pricewatch: Seasonic M12II 520W

enz...

Waar heb je dit besteld?

[Verwijderd]

wat moet ik hiervan denken
diskinfo
ill request 940
Zie het bij alle 6 disken van een raidz2

[Verwijderd]

Copy-paste even exact wat je te zien krijgt en wat je intypt. En vermeld om welk OS het precies gaat.

[DARKLORD]

huiser schreef op vrijdag 07 oktober 2011 @ 16:43:
[...]


Waar heb je dit besteld?

Alles bij Salland. Een week levertijd, cpu duurde het langst

[Verwijderd]

napp-it met openindiana 1.51a
gebruik de web interface van napp-it waar ik diskinfo aanklik
via command line is het iostat -Ensr

Diskinfos hash disk:
all c2d1 c2d0 c3t0d0 c3t1d0 c3t2d0 c3t3d0 c3t4d0 c3t5d0
c2d0_cap 80.02 GB
c2d0_error Error: S:0 H:0 T:0
c2d0_ill_request 0
c2d0_info
c2d0_pool mypool
c2d0_recoverable 0
c2d0_revision
c2d0_rwc 0 0 0
c2d0_sn
c2d0_state ONLINE
c2d0_vdev cache
c2d1_cap 500.10 GB
c2d1_error Error: S:0 H:0 T:0
c2d1_ill_request 0
c2d1_info
c2d1_pool rpool
c2d1_recoverable 0
c2d1_revision
c2d1_rwc 0 0 0
c2d1_sn
c2d1_state ONLINE
c2d1_vdev basic
c3t0d0_busy configured
c3t0d0_cap 2.00 TB
c3t0d0_error Error: S:0 H:0 T:0
c3t0d0_if sata0/0
c3t0d0_ill_request 1380
c3t0d0_info
c3t0d0_modell Mod: SAMSUNG HD204UI FRev: 1AQ10001 SN:
c3t0d0_online connected
c3t0d0_phys ok
c3t0d0_pool mypool
c3t0d0_pred_fail_anal 0
c3t0d0_product SAMSUNG HD204UI
c3t0d0_recoverable 0
c3t0d0_revision 0001
c3t0d0_rwc 0 0 0
c3t0d0_smart_health OK
c3t0d0_smart_sn S2HGJ90B902847
c3t0d0_smart_temp 33 C
c3t0d0_smart_type disk
c3t0d0_sn S2HGJ90B902847
c3t0d0_state ONLINE
c3t0d0_vdev raidz
c3t0d0_vendor ATA
c3t1d0_busy configured
c3t1d0_cap 2.00 TB
c3t1d0_error Error: S:0 H:0 T:0
c3t1d0_if sata0/1
c3t1d0_ill_request 1378
c3t1d0_info
c3t1d0_modell Mod: SAMSUNG HD204UI FRev: 1AQ10001 SN:
c3t1d0_online connected
c3t1d0_phys ok
c3t1d0_pool mypool
c3t1d0_pred_fail_anal 0
c3t1d0_product SAMSUNG HD204UI
c3t1d0_recoverable 0
c3t1d0_revision 0001
c3t1d0_rwc 0 0 0
c3t1d0_smart_health OK
c3t1d0_smart_sn S2HGJ90B902851
c3t1d0_smart_temp 29 C
c3t1d0_smart_type disk
c3t1d0_sn S2HGJ90B902851
c3t1d0_state ONLINE
c3t1d0_vdev raidz
c3t1d0_vendor ATA
c3t2d0_busy configured
c3t2d0_cap 2.00 TB
c3t2d0_error Error: S:0 H:0 T:0
c3t2d0_if sata0/2
c3t2d0_ill_request 1378
c3t2d0_info
c3t2d0_modell Mod: SAMSUNG HD204UI FRev: 1AQ10001 SN:
c3t2d0_online connected
c3t2d0_phys ok
c3t2d0_pool mypool
c3t2d0_pred_fail_anal 0
c3t2d0_product SAMSUNG HD204UI
c3t2d0_recoverable 0
c3t2d0_revision 0001
c3t2d0_rwc 0 0 0
c3t2d0_smart_health OK
c3t2d0_smart_sn S2H7J90B819039
c3t2d0_smart_temp 30 C
c3t2d0_smart_type disk
c3t2d0_sn S2H7J90B819039
c3t2d0_state ONLINE
c3t2d0_vdev raidz
c3t2d0_vendor ATA
c3t3d0_busy configured
c3t3d0_cap 2.00 TB
c3t3d0_error Error: S:0 H:0 T:0
c3t3d0_if sata0/3
c3t3d0_ill_request 1378
c3t3d0_info
c3t3d0_modell Mod: SAMSUNG HD204UI FRev: 1AQ10001 SN:
c3t3d0_online connected
c3t3d0_phys ok
c3t3d0_pool mypool
c3t3d0_pred_fail_anal 0
c3t3d0_product SAMSUNG HD204UI
c3t3d0_recoverable 0
c3t3d0_revision 0001
c3t3d0_rwc 0 0 0
c3t3d0_smart_health OK
c3t3d0_smart_sn S2HGJ90B728420
c3t3d0_smart_temp 33 C
c3t3d0_smart_type disk
c3t3d0_sn S2HGJ90B728420
c3t3d0_state ONLINE
c3t3d0_vdev raidz
c3t3d0_vendor ATA
c3t4d0_busy configured
c3t4d0_cap 2.00 TB
c3t4d0_error Error: S:0 H:0 T:0
c3t4d0_if sata0/4
c3t4d0_ill_request 1378
c3t4d0_info
c3t4d0_modell Mod: SAMSUNG HD204UI FRev: 1AQ10001 SN:
c3t4d0_online connected
c3t4d0_phys ok
c3t4d0_pool mypool
c3t4d0_pred_fail_anal 0
c3t4d0_product SAMSUNG HD204UI
c3t4d0_recoverable 0
c3t4d0_revision 0001
c3t4d0_rwc 0 0 0
c3t4d0_smart_health OK
c3t4d0_smart_sn S2H7J90B819037
c3t4d0_smart_temp 28 C
c3t4d0_smart_type disk
c3t4d0_sn S2H7J90B819037
c3t4d0_state ONLINE
c3t4d0_vdev raidz
c3t4d0_vendor ATA
c3t5d0_busy configured
c3t5d0_cap 2.00 TB
c3t5d0_error Error: S:0 H:0 T:0
c3t5d0_if sata0/5
c3t5d0_ill_request 1378
c3t5d0_info
c3t5d0_modell Mod: SAMSUNG HD204UI FRev: 1AQ10001 SN:
c3t5d0_online connected
c3t5d0_phys ok
c3t5d0_pool mypool
c3t5d0_pred_fail_anal 0
c3t5d0_product SAMSUNG HD204UI
c3t5d0_recoverable 0
c3t5d0_revision 0001
c3t5d0_rwc 0 0 0
c3t5d0_smart_health OK
c3t5d0_smart_sn S2H7J90B819043
c3t5d0_smart_temp 27 C
c3t5d0_smart_type disk
c3t5d0_sn S2H7J90B819043
c3t5d0_state ONLINE
c3t5d0_vdev raidz
c3t5d0_vendor ATA
configured c3t0d0 c3t1d0 c3t2d0 c3t3d0 c3t4d0 c3t5d0
connected c3t0d0 c3t1d0 c3t2d0 c3t3d0 c3t4d0 c3t5d0
controller usb0/1 c2 c3
controller2 c2d c3t
count 1
count_add 2
disks_basic c2d1
disks_cache c2d0
disks_logs
disks_mirror
disks_raidz c3t0d0 c3t1d0 c3t2d0 c3t3d0 c3t4d0 c3t5d0
disks_spares
disks_unavail
unused
used c3t0d0 c3t1d0 c3t2d0 c3t3d0 c3t4d0 c3t5d0 c2d0 c2d1

[Verwijderd]

Ben effe aan het spitten en kwam het volgende tegen:

http://unix.derkeiler.com...n.admin/2005-10/0022.html

lijkt er op dat ik het moet negeren ?

[ Voor 3% gewijzigd door Verwijderd op 07-10-2011 20:53 ]

[DARKLORD]

ik kon zo snel niets vinden. waarden zijn bij mij tussen de 10 en 20

[Goderic]

Volgens mij is het mogelijk, maar ik vraag het toch maar eens na:

Is het mogelijk om eerst een raidz pool te maken van 2x 2TB en 1x1TB schijf, met een effectieve capaciteit van 2TB en daarna de 1TB schijf te vervangen door een 2TB schijf waardoor ik uiteindelijk aan 4TB opslag kom?

(De reden voor deze constructie is dat er op die laatste 2TB schijf data staat die op de pool moet staan)

[Ultraman]

mieJas schreef op woensdag 05 oktober 2011 @ 20:20:
[...]

Solaris 11. Het verbaast me dat FreeBSD zoveel extra "nodig" heeft. Dacht altijd dat Solaris de meer bloated van de twee was.

Niet "nodig", maar "werkt lekkerder met". Het zal ook met 4GB helemaal tevreden zijn, alleen ZFS komt oorspronkelijk van Solaris en heeft daar veel meer tijd doorgebracht. Er is in Solaris meer aan getweaked dan in FreeBSD omdat er simpelweg veel meer tijd voor is geweest.
Maar goed, 8GB kost toch eigenlijk geen zak op moment, ik heb het er ook lekker ingeprikt. Heb je later toch ook weer profijt van en als je een keer een VM wilt draaien dan is die ruimte er ook. Gezien de prijzen van dit moment zit ik te twijfelen om niet nog twee reepjes bij te halen...

[Psycho_Bartje]

Ik heb een LSI 9211-8i aangeschaft die ik wil gaan flashen naar IT firmware, maar heb zoiets nog nooit gedaan.
Van wat ik tot nu toe gevonden heb in de knowledgebase van LSI zelf, wordt ik wat nerveus; om te flashen moet ik via een DOS commandline eerst de oude firmware wissen, dan vooral NIET rebooten (is ie prompt kapot) en vervolgens flashen.

Nou ben ik weliswaar uit het DOS tijdperk, maar dat wordt toch ff klamme handjes straks...
Eerst maar eens die oude floppy drive afstoffen en eens zien of ik een DOS opstart diskette kan fabriceren.

Dat zou toch handiger moeten kunnen in 2011, of heb ik het mis

[ Voor 57% gewijzigd door Psycho_Bartje op 08-10-2011 15:09 ]

[Pantagruel]

Psycho_Bartje schreef op zaterdag 08 oktober 2011 @ 13:07:
Ik heb een LSI 9211-8i aangeschaft die ik wil gaan flashen naar IT firmware, maar heb zoiets nog nooit gedaan.
Van wat ik tot nu toe gevonden heb in de knowledgebase van LSI zelf, wordt ik wat nerveus; om te flashen moet ik via een DOS commandline eerst de oude firmware wissen, dan vooral NIET rebooten (is ie prompt kapot) en vervolgens flashen.

Nou ben ik weliswaar uit het DOS tijdperk, maar dat wordt toch ff klamme handjes straks...
Eerst maar eens die oude floppy drive afstoffen en eens zien of ik een DOS opstart diskette kan fabriceren.

Dat zou toch handiger moeten kunnen in 2011, of heb ik het mis

Bij Lime-tech kun je de benodigde bestanden en howto's vinden om onder windows de flash procedure te doorlopen.
Ik heb verder geen ervaring met t flashen van een LSI 9211 dus geen idee hoe eenvoudig de procedure is. Voor de 2 stuks, M1015's die ik met IT mode firmware geflashed was inderdaad een flash onder DOS nodig maar dat betekende na 't wissen wel een verplichte reboot en vervolgens verder met de procedure.

[Psycho_Bartje]

Thx; ik ga toch voor de meest veilige procedure en probeer straks de stappen van de LSI site zelf

[Sneezydevil]

Bij mijn 9211, moest ik juist niet rebooten tussendoor.

Als je trouwens een EFI bios hebt, zul je waarschijnlijk via de EFI commandline moeten flashen ipv via DOS, maar dat zie je snel genoeg, aangezien je in DOS een error krijgt.

[Psycho_Bartje]

Flash succesvol !; op naar de volgende stappen; samenstellen van m'n nieuwe NAS en met de installatie van FreeNAS aan de slag.
Wordt vervolgd

[iRReeL]

Verwijderd schreef op vrijdag 07 oktober 2011 @ 17:59:
wat moet ik hiervan denken
diskinfo
ill request 940
Zie het bij alle 6 disken van een raidz2

Ik heb idd ook ill_requests .. 66, 70, 100 en gebruik ook oi 1.51a met napp-it. Alles scheen goed te werken (alhoewel wat langzaam) en nu had ik een scrub gedaan en 2 drives waren 'removed' "status: One or more devices has been removed by the administrator."

In napp-it staat ook een error T:1 en H:1 maar kon niet terug vinden wat de betekenis is. Andere disks hebben 0 errors maar wel ill_requests.
c2t513d0_error Error: S:0 H:0 T:1
c2t513d0_ill_request 66
c2t545d0_error Error: S:0 H:1 T:0
c2t545d0_ill_request 70

Reboot gedaan en drives zijn resilvered maar ben nu weer een nieuwe scrub (duurde iets van 30 uur voor 10x2TB) aan het draaien om te kijken hoe dat gaat.

Dat is balen want ik dacht dat als het eenmaal liep dat het verder zonder problemen zou blijven lopen. Ik heb inmiddels ook de M1015 van ebay ontvangen dus die moet ik ook flashen en dan weer 's wat testen.

[DARKLORD]

transfer errors en hard errors geloof ik. in ieder geval iets om in de gaten te houden. beter even een test programma van je hardeschijf draaien

[Psycho_Bartje]

Iemand nog een tip voor een goede USB 2.0 stick om FreeNAS op te zetten, of maakt dat niet veel uit ?
De leessnelheden lijken namelijk toch behoorlijk te verschillen.

[iRReeL]

Psycho_Bartje schreef op dinsdag 11 oktober 2011 @ 18:57:
Iemand nog een tip voor een goede USB 2.0 stick om FreeNAS op te zetten, of maakt dat niet veel uit ?
De leessnelheden lijken namelijk toch behoorlijk te verschillen.

Bij hardware.info kun je ook zoeken op lees/schrijf snelheid en ben ik op een kingston R500 16GB uitgekomen voor €20,- maar uiteindelijk wilde ik toch liever meer opties en heb openindiana op een 2,5" disk geinstalleerd.

Ik heb inmiddels een nieuwe scrub gedaan maar de 2 hd's zijn weer verwijderd. Zo te zien is er wel meer aan de hand dan alleen met de hdd's? Eens kijken op welke controller deze hdd's zitten dan. Ik heb inmiddels iets van 12TB op de disks staan, vreemd dat ik niet eerder problemen had.

ahci: [ID 777486 kern.warning] WARNING: ahci1: ahci port 1 has interface fatal error
ahci: [ID 296163 kern.warning] WARNING: ahci1: ahci port 1 has task file error
ahci: [ID 687168 kern.warning] WARNING: ahci1: ahci port 1 is trying to do error recovery
ahci: [ID 551337 kern.warning] WARNING: ahci1: Recovered Data Integrity Error (I)
Handshake Error (H)
ahci: [ID 693748 kern.warning] WARNING: ahci1: ahci port 1 task_file_status = 0x4041
ahci: [ID 657156 kern.warning] WARNING: ahci1: error recovery for port 1 succeed
sata: [ID 801845 kern.info] /pci@0,0/pci1002,597f@a/pci1458,b000@0:
SATA port 1:0 error
scsi: [ID 107833 kern.warning] WARNING: /pci@0,0/pci1002,597f@a/pci1458,b000@0/disk@201,0 (sd8):
Command failed to complete...Device is gone
scsi: [ID 107833 kern.warning] WARNING: /pci@0,0/pci1002,597f@a/pci1458,b000@0/disk@221,0 (sd9):
Command failed to complete...Device is gone

Blijft spannend, dat ZFS

[ Voor 77% gewijzigd door iRReeL op 12-10-2011 10:40 ]

[Verwijderd]

@Psycho_Bartje: aangezien FreeNAS alleen leest van de stick kun je de allergoedkoopste nemen. Ik zou zeggen koop er een die lekker klein is.

@iRReeL: kun je de SMART data van je schijven geven voordat je andere dingen probeert? En welke controller zitten die schijven op? Schijven horen niet verwijderd te worden van de device tree namelijk, dan is er iets goed mis. Onder welk OS zit je?

[Sneezydevil]

Zojuist na lang wachten eindelijk mijn schijven gekregen.

Een snelle zfsguru test zegt (Test size 64GiB):

code:

Pool            : tank02
Read throughput : 540.9 MB/s
Read throughput : 515.8 MiB/s
Write throughput: 575.6 MB/s
Write throughput: 548.9 MiB/s

Kan ik eindelijk verder met mijn storage build.

Meer details zal ik binnenkort posten.

[Psycho_Bartje]

Ik wacht helaas nog op een nalevering van de missende SFF-8087 kabels, die volgens Max ICT toch echt bij de door mij bestelde LSI 9211-8i kit zouden geleverd worden...
Dan nog een klein USB stickie (wederom dank Cipher voor je advies) aanschaffen wat mooi op de USB header van het Intel 1200BTS bord gaat en vervolgens hoop ik dan toch echt eens met FreeNAS te kunnen gaan beginnen. De hierboven (en elders) beschreven output van de overdrachtssnelheid: is dat alleen met ZFSGuru mogelijk of ook met FreeNAS ?
(kan ik straks tenminste zien of het bij mij ook naar behoren werkt)

[Verwijderd]

FreeNAS gebruikt volgens mij nog steeds een combinatie van UFS en ZFS, waardoor je wel lagere performance krijgt. Ook weet ik niet of FreeNAS wel goede tuning doet in je /boot/loader.conf, wat bij ZFSguru automatisch gaat. Maar dat kan je eventueel wel zelf doen. Maar de combinatie van UFS en ZFS op het FreeBSD platform blijft een slechte; het beste is om alleen ZFS te gebruiken en je systeem dus helemaal UFS-vrij te houden.

[saiko223]

Hoe kan ik die functionaliteit krijgen om individuele bestanden via snapshots terug te halen zoals gedaan wordt in deze video over een windows share? En is dit FreeNAS of ZFSguru of iets anders?

Als ik dit op freenas probeer krijg ik .zfs is not accesible.

[CurlyMo]

Je .zfs directorie zal niet zichtbaar zijn maar wanneer je handmatig naar deze directorie gaat via bijv. de command prompt of het handmatig in te typen in nautilus dan kom je er wel. Wat je anders zou kunnen doen is je .zfs directorie zichtbaar maken via het volgende commande:

zfs set snapdir=visible /naamvanjefilesystem

Hetzelfde geldt voor Samba, gewoon handmatig je share aanmaken die naar je .zfs directory verwijst en samba zou je automatisch in de juist directorie moeten brengen. Schrijfrechten krijg je vanzelfsprekend niet.

[saiko223]

Met die snapdir commando kon ik inderdaad mooi de .zfs map zien alleen was het nog steeds niet toegankelijk. Toen heb ik via freenas gebruik gemaakt van de clone snapshot optie en dat werkt perfect.

Nu heb ik in freenas (in virtualbox) raidz aangevinkt tijdens het maken van de volume met 3 hdds. Betekend dit dat ik nu double parity heb zodat als 1 hdd kapot gaat me data niet verloren is? Hoe kan ik nu triple parity inschakelen moet ik dan minimaal 6 hdds hebben?

[Verwijderd]

Wellicht een permissieprobleem, of het is Samba die moeilijk doet met 'dotfiles'; dat zijn bestanden of directories die met een punt beginnen, en dat is equivalent aan 'verborgen bestanden' onder Windows platform.

RAID-Z = single parity = één disk failure opvangen = 2 disks minimum
RAID-Z2 = double parity = twee disk failure opvangen = 3 disks minimum
RAID-Z3 = triple parity = drie disk failures opvangen = 4 disks minimum

Voor 4K sector disks zoals Samsung F4EG en WD EARS geldt dat je het beste kunt houden aan bepaalde configuraties, zoals:
RAID-Z: 3 of 5 disks
RAID-Z2: 6 of 10 disks
RAID-Z3: 7 of 11 of 19 disks

[saiko223]

Is het mogelijk om een raidz1 met 3 disks uit te breiden naar raidz2 met dan totaal 6 disks?

Ik heb met virtualbox een raidz1 pool met 3 disks uitgebreid naar een pool met 2x raidz1 3 disks. Toen bleek dat ik van 4 TB naar 8TB ben gegaan. Heb je dan iets van een 1.5 parity? Er mag dan op elke raidz1 1 disk kapot gaan?

[FireDrunk]

Voor data die naar die bepaalde VDEV gestuurd word, word 1 parity berekend.
Ik geloof dat ZFS data eerlijk verdeeld over VDEV's dus word voor een stuk data 1 parity berekend.
Je hebt dus niet hetzelfde als RAIDZ2.

[Verwijderd]

Twee RAID-Z's is geen RAID-Z2 nee; zou je namelijk twee disk failures binnen één RAID-Z hebben is je hele pool verloren, aangenomen dat je de inhoud van die twee disks nooit meer boven water krijgt.

Uitbreiden van RAID-Z of omzetten van RAID-Z naar RAID-Z2 is iets wat ZFS helaas niet ondersteunt. Maar je kunt dus wel een nieuwe RAID-Z toevoegen. Overigens hoeft dat niet persé dezelfde hoeveelheid disks te zijn, dezelfde capaciteit schijven of dezelfde RAID level.

Stel je hebt een 3-disk RAID-Z van 1TB schijven, dan kun je dus prima een 5-disk RAID-Z toevoegen met 2TB schijven als je wilt. Dus andere hoeveelheid disks en andere capaciteit. Je eerste RAID-Z komt neer op 2TB bruikbare ruimte en de tweede RAID-Z komt neer op 8TB bruikbare ruimte. Samen dus 10TB.

Nu een stoere eigenschap van ZFS: als je gaat schrijven is de tweede RAID-Z natuurlijk veel sneller dan de eerste. ZFS werkt dan zo dat hij simpelweg méér data schrijft naar de tweede RAID-Z array en die dus sneller vult dan de eerste. Grof gezegd:
eerste RAID-Z = 120MB/s
tweede RAID-Z = 350MB/s
Totaal = 470MB/s

Dit in tegenstelling tot normaal RAID waarbij:
1) de capaciteit van zo'n setup beperkt is tot de kleinste RAID-set dus 4TB bruikbare ruimte ipv 10TB
2) de performance van de 1e raid set een bottleneck biedt; dus in bovenstaand voorbeeld max 2* 120MB/s = 240MB/s ipv 470MB/s, omdat naar de 2e raid set evenveel data wordt geschreven als naar de 1e.

Dus ZFS heeft beperkingen maar ook belangrijke voordelen op dit gebied.

[FireDrunk]

Wat je zegt klopt niet helemaal... In klassiek RAID is het niet eens zomaar mogelijk om 2 raidarrays te combineren zoals dat bij ZFS kan. ALS je dat doet, heb je ook gewoon verschillende 'mountpoints' en dan kan je het belasten zoals je zelf wil, en kan je dus wel onafhankelijk van elkaar de hoogste performance halen.

[Verwijderd]

Je kunt toch een RAID5+0 hebben dus twee RAID5 arrays in RAID0? Dat is in feite wat meerdere RAID-Z binnen één pool is. ZFS past namelijk een vorm van striping toe ofwel RAID0 over de beschikbare vdevs. Alhoewel zeer ongebruikelijk is het theoretisch mogelijk een RAID5 en RAID6 ook in RAID0 te schakelen. Zoals in Linux met software RAID. Echter is dit bij ZFS een heel stuk praktischer dan bij normaal RAID.

[FireDrunk]

Dat vind ik 1 array... maar inderdaad, in dat opzicht heb je gelijk.

[Verwijderd]

Mja, RAID array.. volumes.. het werkt eigenlijk wel vergelijkbaar tussen ZFS en RAID. Neem nu een makkelijker voorbeeld: RAID10 ofwel RAID1+0.

Je hebt bijvoorbeeld drie arrays:
- mirror (2 disks)
- mirror (2 disks)
- mirror (2 disks)

De drie mirrors worden gestriped en dan krijg je dus een RAID1+0 van totaal 6 disks. Dat is samen één volume, dus makkelijk gezegd één drive letter onder Windows. Bij ZFS is dat ongeveer vergelijkbaar; je hebt drie vdevs elk een mirror van 2 disks, die alle drie in dezelfde pool zitten en dus hun vrije ruimte delen.

[DeadLock]

Verwijderd schreef op donderdag 13 oktober 2011 @ 15:23:
Stel je hebt een 3-disk RAID-Z van 1TB schijven, dan kun je dus prima een 5-disk RAID-Z toevoegen met 2TB schijven als je wilt. Dus andere hoeveelheid disks en andere capaciteit. Je eerste RAID-Z komt neer op 2TB bruikbare ruimte en de tweede RAID-Z komt neer op 8TB bruikbare ruimte. Samen dus 10TB.

Nu een stoere eigenschap van ZFS: als je gaat schrijven is de tweede RAID-Z natuurlijk veel sneller dan de eerste. ZFS werkt dan zo dat hij simpelweg méér data schrijft naar de tweede RAID-Z array en die dus sneller vult dan de eerste. Grof gezegd:
eerste RAID-Z = 120MB/s
tweede RAID-Z = 350MB/s
Totaal = 470MB/s

Maar dit heeft wel als nadeel dat je bij het stukgaan van een van beide raid-z arrays je alle data kwijt bent (omdat het een vorm van striping is) of heb ik dat verkeerd? In dat geval is het, vanuit data-veiligheid interessanter om die 2e array los te hebben (met alle bijhorende nadelen).

[FireDrunk]

Verwijderd schreef op donderdag 13 oktober 2011 @ 16:24:
Mja, RAID array.. volumes.. het werkt eigenlijk wel vergelijkbaar tussen ZFS en RAID. Neem nu een makkelijker voorbeeld: RAID10 ofwel RAID1+0.

Je hebt bijvoorbeeld drie arrays:
- mirror (2 disks)
- mirror (2 disks)
- mirror (2 disks)

De drie mirrors worden gestriped en dan krijg je dus een RAID1+0 van totaal 6 disks. Dat is samen één volume, dus makkelijk gezegd één drive letter onder Windows. Bij ZFS is dat ongeveer vergelijkbaar; je hebt drie vdevs elk een mirror van 2 disks, die alle drie in dezelfde pool zitten en dus hun vrije ruimte delen.

Dat heb ik in de praktijk nog nooit gezien op een adapter Zo vrij ben je niet bij bijvoorbeeld HP.
Je kan disks toevoegen, en je kan er een raidlevel aan toe kennen.
Maar als je bij HP RAID10 selecteert op 6 schijven krijg je 2 RAID0 arrays van 3 disks die in RAID1 staan.

En dus niet 3 RAID1 array's in RAID0.

[Verwijderd]

Je bedoelt denk ik dat je met HP een RAID0+1 krijgt (een mirror van 3 RAID0 arrays) in plaats van RAID1+0 (RAID0 van 3 mirrors) ?

Natuurlijk is het wel zo dat je met Software RAID zoals onder BSD of Linux veel flexibeler bent dan bij Hardware RAID. Maar volgens mij ondersteunt Areca bijvoorbeeld wel echt RAID1+0.

[Pantagruel]

saiko223 schreef op woensdag 12 oktober 2011 @ 21:53:
Hoe kan ik die functionaliteit krijgen om individuele bestanden via snapshots terug te halen zoals gedaan wordt in deze video over een windows share? En is dit FreeNAS of ZFSguru of iets anders?

Als ik dit op freenas probeer krijg ik .zfs is not accesible.

[video]

Als je even in deze thread terug had gelezen dan had je gevonden dat zzattack en ik onder ZFSGuru in combi met Samba de zfs snapshots onder Win 7 x64 werkend hebben gekregen en dat ze dan beschikbaar zijn via Windows "Previous Version".

Onder FreeNAS komt het er waarschijnlijk ook op neer dat je samba en tdb moet vervangen door nieuwere versies en dat het na de aanpassingen in de smb.conf waarschijnlijk ook zal werken.

[iRReeL]

Verwijderd schreef op woensdag 12 oktober 2011 @ 17:09:
@iRReeL: kun je de SMART data van je schijven geven voordat je andere dingen probeert? En welke controller zitten die schijven op? Schijven horen niet verwijderd te worden van de device tree namelijk, dan is er iets goed mis. Onder welk OS zit je?

OS is OI 1.51a en ik weet niet precies hoe ik in het OS kan nakijken welke disk op welke controller zit, heb je iets aan de 'controller info' van Napp-it? SMART data staat op pastebin http://pastebin.com/iT0Nnx7a
Disk c2t512d0 (regel 517) heeft blijkbaar geen data?

[saiko223]

Pantagruel schreef op donderdag 13 oktober 2011 @ 20:21:
[...]


Als je even in deze thread terug had gelezen dan had je gevonden dat zzattack en ik onder ZFSGuru in combi met Samba de zfs snapshots onder Win 7 x64 werkend hebben gekregen en dat ze dan beschikbaar zijn via Windows "Previous Version".

Onder FreeNAS komt het er waarschijnlijk ook op neer dat je samba en tdb moet vervangen door nieuwere versies en dat het na de aanpassingen in de smb.conf waarschijnlijk ook zal werken.

Net op freenas geprobeerd en het werkt out of the box. Alleen kan ik niet een hele map restoren. Wel openen en dan de bestanden kopieren etc maar niet in 1 keer restoren. Terwijl dat bij een file wel werkt.

Ik krijg dan een windows error:
Could not find this item
This is no longer located in \\192.168.56.102\storage\@GMT-2011.10.14-11.13.00\test. Verify the item's location and try again.

edit:
p.s. freenas 8.02 release gebruikt samba 3.5.11

[Pantagruel]

saiko223 schreef op vrijdag 14 oktober 2011 @ 11:17:
[...]


Net op freenas geprobeerd en het werkt out of the box. Alleen kan ik niet een hele map restoren. Wel openen en dan de bestanden kopieren etc maar niet in 1 keer restoren. Terwijl dat bij een file wel werkt.

Ik krijg dan een windows error:
Could not find this item
This is no longer located in \\192.168.56.102\storage\@GMT-2011.10.14-11.13.00\test. Verify the item's location and try again.

edit:
p.s. freenas 8.02 release gebruikt samba 3.5.11

Nice, op ZFSGuru was 't het nodige gepruts. De standaard 3.5.9 Samba maar ook 3.5.11 wilde om wat voor reden dan ook niet meewerken, 3.6.-dev en een verse tdb uiteindelijk wel.

Ik weet niet of ik vanaf de ZFSGuru bak en samba 3.6-dev een hele folder kan restore, heb eerlijk gezegd enkel losse files terug gezet toen ik de boel het getest. Zal vanavond eens een folder 'per-ongeluk-express' verwijderen, zien of de restore wil werken.

[Verwijderd]

iRReeL schreef op vrijdag 14 oktober 2011 @ 09:58:
[...]
OS is OI 1.51a en ik weet niet precies hoe ik in het OS kan nakijken welke disk op welke controller zit, heb je iets aan de 'controller info' van Napp-it? SMART data staat op pastebin http://pastebin.com/iT0Nnx7a
Disk c2t512d0 (regel 517) heeft blijkbaar geen data?

Je twee devices die removed zijn hebben problemen: c2t545d0 en c2t513d0. De eerstgenoemde heeft 135 pending sectors zoals te zien in de SMART data:

code:

ID# ATTRIBUTE_NAME          FLAG     VALUE WORST THRESH TYPE      UPDATED  WHEN_FAILED RAW_VALUE
 5 Reallocated_Sector_Ct   0x0033   200   200   140    Pre-fail  Always       -       0
193 Load_Cycle_Count        0x0032   184   184   000    Old_age   Always       -       49053
194 Temperature_Celsius     0x0022   117   103   000    Old_age   Always       -       33
196 Reallocated_Event_Count 0x0032   200   200   000    Old_age   Always       -       0
197 Current_Pending_Sector  0x0032   200   200   000    Old_age   Always       -       135
198 Offline_Uncorrectable   0x0030   200   200   000    Old_age   Offline      -       42
199 UDMA_CRC_Error_Count    0x0032   200   200   000    Old_age   Always       -       0

Voor de laatstgenoemde c2t513d0 geldt dat je geen smart kon uitlezen. Is dat elke keer zo ook na een verse reboot/power cycle?

Hoe dan ook; je gebruikt een foute controller als je controller de schijf onzichtbaar maakt; zo kan ZFS de schade niet repareren en dat is dus een slechte setup. Je hebt een non-RAID controller nodig; welke hardware gebruik je in je systeem? Je hebt maar een paar schijfjes dus zoveel controllers kun je niet in je systeem hebben toch? Je controller zou bij bad sectors de schijf niet mogen disconnecten; dat doen controllers met slechte tolerance voor recovery timeouts. En daar lijk jij mee te maken te hebben.

De 135 pending sectors verdwijnen bij een zero-write, maar eigenlijk hoort ZFS de schade te repareren tijdens een scrub. Je moet dan wel de disk aangesloten hebben op een non-RAID controller. Voor SAS controllers geldt dat je IT-mode firmware moet draaien.

[Pantagruel]

saiko223 schreef op vrijdag 14 oktober 2011 @ 11:17:
[...]


Net op freenas geprobeerd en het werkt out of the box. Alleen kan ik niet een hele map restoren. Wel openen en dan de bestanden kopieren etc maar niet in 1 keer restoren. Terwijl dat bij een file wel werkt.

Ik kan er gewoon voor kiezen om een restore te doen van het volledige snapshot dat is genomen van een folder .
Pech is wel dat ik tegen een permissie probleem aanloop, maar als ik dat negeer gaat de software vrolijk verder, rekent eerst uit hoeveel MiB/GiB het is en hoe lang t ca. gaat duren, briljant dus.

[Wouter.S]

ZFSguru 0.1.9-RC is uitgebracht. Er zijn behoorlijk wat verbeteringen aangebracht aan de User interface die het geheel gebruiksvriendelijker moeten maken terwijl er toch meer info af te lezen is. Ik wil graag overstappen maar ga nog eventjes wachten tot de final versie een weekje uit is

De volledige release notes te vinden de site:
http://zfsguru.com/forum/zfsgurudevelopment/236

[Brains]

Moest net een pagina terug kijken voor dit topic en zag direct een (1) verschijnen. Ging ook even kijken op de site van ZFSGuru en zag inderdaad:
Latest experimental: 0.1.9-RC

De forumlink had ik nog niet gevonden, bedankt!

[ Voor 8% gewijzigd door Brains op 17-10-2011 10:04 ]

[iRReeL]

Verwijderd schreef op vrijdag 14 oktober 2011 @ 18:14:
[...]
Hoe dan ook; je gebruikt een foute controller als je controller de schijf onzichtbaar maakt; zo kan ZFS de schade niet repareren en dat is dus een slechte setup. Je hebt een non-RAID controller nodig; welke hardware gebruik je in je systeem? Je hebt maar een paar schijfjes dus zoveel controllers kun je niet in je systeem hebben toch? Je controller zou bij bad sectors de schijf niet mogen disconnecten; dat doen controllers met slechte tolerance voor recovery timeouts. En daar lijk jij mee te maken te hebben.

Ik gebruik een Gigabyte GA-MA790FXT-UD5P met 10x sata dus geen extra contoller, althans extern. Nu dacht ik altijd dat ik 2 poorten via JMB322 had lopen maar dat zijn er 4! Dus dan is het erg vreemd dat ik problemen heb met 2 disks en niet 4. Alleen 2 disks zijn niet 100% en veroorzaken time-outs dan?

De andere 6 aansluitingen gaan via SB750. Misschien dan toch geen controller issue. Ik zal de bekabeling nog 's nakijken en misschien SATA kabels wisselen.

Ik heb inmiddels ook een M1015 van ebay binnen, die moet ik nog naar IT flashen en dan kan ik die ook 's proberen. Al vraag ik me wel af hoe ik in Napp-it moet aangeven dat de disks naar een andere controller verhuisd zijn, misschien moet ik eerst de pool exporteren?

[FireDrunk]

Labels aanmaken op de disks, en gewoon verhuizen toch?

[iRReeL]

Sja misschien makkelijk voor jou maar niet zo voor deze ZFS newbie. Maar ik zal dat labelen eens opzoeken en kijken wat de opties zijn. Iig bedankt voor de tip,

[FireDrunk]

* FireDrunk heeft geen zfs...

* FireDrunk leest alleen veel in dit topic

[CurlyMo]

CurlyMo schreef op donderdag 02 juni 2011 @ 11:31:
DD Test

Write: +/- 110
Read: +/- 231

Iperf:
(Server) --> (Cliënt)
Solaris --> Windows 7:
------------------------------------------------------------
Server listening on TCP port 5001
TCP window size: 125 KByte (default)
------------------------------------------------------------
[ 4] local 10.0.0.140 port 5001 connected with 10.0.0.144 port 50633
[ ID] Interval Transfer Bandwidth
[ 4] 0.0-10.0 sec 345 MBytes 289 Mbits/sec

Windows 7 --> Solaris
------------------------------------------------------------
Client connecting to 10.0.0.144, TCP port 5001
TCP window size: 48.0 KByte (default)
------------------------------------------------------------
[ 3] local 10.0.0.139 port 53137 connected with 10.0.0.144 port 5001
[ ID] Interval Transfer Bandwidth
[ 3] 0.0-10.0 sec 906 MBytes 759 Mbits/sec

Het is alweer een tijd geleden dat ik aan het kloten was met mijn netwerk doorvoer snelheden. Nu eindelijk de nieuwe ubuntu werkt onder sandy bridge ben ik gelijk weer aan het benchmarken geweest. Zie onderstaande resultaten:

Solaris --> Ubuntu:
------------------------------------------------------------
Server listening on TCP port 5001
TCP window size: 85.3 KByte (default)
------------------------------------------------------------
[ 4] local 10.0.0.142 port 5001 connected with 10.0.0.140 port 59001
[ ID] Interval Transfer Bandwidth
[ 4] 0.0-10.0 sec 1.00 GBytes 862 Mbits/sec

Ubuntu --> Solaris
------------------------------------------------------------
Server listening on TCP port 5001
TCP window size: 125 KByte (default)
------------------------------------------------------------
[ 4] local 10.0.0.140 port 5001 connected with 10.0.0.142 port 59379
[ ID] Interval Transfer Bandwidth
[ 4] 0.0-10.0 sec 1.05 GBytes 903 Mbits/sec

Zoals je hierboven kunt zien zijn de resultaten in Ubuntu velen malen beter dan onder Windows als ik de pure netwerk prestatie meet. Aangezien het hier om dezelfde systemen gaat zouden deze resultaten onder Windows 7 ook mogelijk moeten zijn. Is er iemand die enig idee heeft hoe?

[FireDrunk]

Probeer onder windows eens met meerdere lijntjes

[CurlyMo]

FireDrunk schreef op maandag 17 oktober 2011 @ 14:56:
Probeer onder windows eens met meerdere lijntjes

Meerdere netwerk verbindingen bedoel je?

[FireDrunk]

Ja en nee... Meerdere virtuele lijntjes (meerdere poorten) , iperf -p volgens mij.

[ Voor 53% gewijzigd door FireDrunk op 17-10-2011 15:29 ]

[CurlyMo]

FireDrunk schreef op maandag 17 oktober 2011 @ 15:28:
Ja en nee... Meerdere virtuele lijntjes (meerdere poorten) , iperf -p volgens mij.

Solaris --> Windows 7
------------------------------------------------------------
Client connecting to 10.0.0.140, TCP port 5001
TCP window size: 8.00 KByte (default)
------------------------------------------------------------
[208] local 10.0.0.142 port 50168 connected with 10.0.0.140 port 5001
[216] local 10.0.0.142 port 50169 connected with 10.0.0.140 port 5001
[200] local 10.0.0.142 port 50167 connected with 10.0.0.140 port 5001
[176] local 10.0.0.142 port 50164 connected with 10.0.0.140 port 5001
[168] local 10.0.0.142 port 50163 connected with 10.0.0.140 port 5001
[156] local 10.0.0.142 port 50162 connected with 10.0.0.140 port 5001
[192] local 10.0.0.142 port 50166 connected with 10.0.0.140 port 5001
[184] local 10.0.0.142 port 50165 connected with 10.0.0.140 port 5001
[ ID] Interval Transfer Bandwidth
[ 208] 0.0-10.0 sec 136 MBytes 114 Mbits/sec
[ 192] 0.0-10.0 sec 132 MBytes 111 Mbits/sec
[ 184] 0.0-10.0 sec 135 MBytes 113 Mbits/sec
[ 156] 0.0-10.0 sec 136 MBytes 114 Mbits/sec
[ 176] 0.0-10.0 sec 136 MBytes 115 Mbits/sec
[ 200] 0.0-10.0 sec 138 MBytes 116 Mbits/sec
[ 168] 0.0-10.0 sec 138 MBytes 115 Mbits/sec
[ 216] 0.0-10.0 sec 141 MBytes 118 Mbits/sec
[SUM] 0.0-10.0 sec 1.07 GBytes 917 Mbits/sec

[FireDrunk]

Keurig toch?

[Verwijderd]

iRReeL schreef op maandag 17 oktober 2011 @ 12:29:
Ik gebruik een Gigabyte GA-MA790FXT-UD5P met 10x sata dus geen extra contoller, althans extern. Nu dacht ik altijd dat ik 2 poorten via JMB322 had lopen maar dat zijn er 4! Dus dan is het erg vreemd dat ik problemen heb met 2 disks en niet 4. Alleen 2 disks zijn niet 100% en veroorzaken time-outs dan?

Normale controllers zouden je disk niet onzichtbaar mogen maken door wat bad sectors. Maar het kan een Solaris specifieke issue zijn, daar kan ik verder weinig over zeggen.

Je kunt wel proberen die JMicron poorten niet meer te gebruiken; wellicht dat Solaris daar drivers voor heeft die niet zo goed zijn? Kabelfouten zijn uitgesloten; alleen misschien de disk waar je geen SMART van kon opvragen daar zouden kabelfouten nog een issue kunnen zijn, maar de andere disks niet.

Je kunt gewoon de schijven van controller wisselen daar doet ZFS niet moeilijk om.

[CurlyMo]

FireDrunk schreef op maandag 17 oktober 2011 @ 16:59:
Keurig toch?

Met deze test wel, maar deze doorvoersnelheden haal ik met een normale kopieer actie niet.

[iRReeL]

Ik kon de M1015 goed flashen (terwijl ik toch nog zo dom was om een stap over te slaan ).
(http://lime-technology.co...12767.msg124393#msg124393)

Dus de M1015 erbij gezet en 1 van de lastige disks aangesloten maar helaas is de disk offline (faulted state). Ik heb nog de disk 'replaced' in Napp-it maar dat werkte ook niet :

invalid vdev specification. the following errors must be manually repaired:
/dev/dsk/c5t50014EE6AADF2AA3d0s0 is part of active ZFS pool Archive. Please see zpool(1M).

Handmatig nog wat geprutst
# zpool online Archive c5t50014EE6AADF2AA3d0
cannot online c5t50014EE6AADF2AA3d0: no such device in pool
# zpool online Archive c2t545d0
warning: device 'c2t545d0' onlined, but remains in faulted state

Dus ik ga verder kijken naar die 'label' optie. Dit is trouwens hetzelfde gedrag wat ik zag toen ik tijdelijk de Areca kaart gebruikte, die disk was dan niet meer beschikbaar. Ik had gehoopt dat het systeem de switch van controller zelf zou opmerken en oplossen.

[FireDrunk]

Je moet toch een scrub doen na een move? Pas daarna vind ZFS alles weer OK?

[iRReeL]

Ik ga ervanuit dat ie bij een scrub de huidige pool / data gaat 'reviewen' en repareren / resilveren waar nodig. Maar als een complete disk 'verdwenen / verplaatst' is lijkt het me sterk dat een scrub dat gaat verhelpen?

Eerder heb ik wel 's een disks los en dan na een reboot weer verbonden maar dan gaat ie meteen resilveren en is het probleem verholpen.

[vso]

paar dingen die ik me eigenlijk afvraag:

Hoe herken je "fake" en echte poorten op een MoBo? en waarom zijn ze "fake" ?

Ik vind ZFS met name goed omdat het "transporteerbaar" is, als ik me goed herrinner kan ik de disks eruit trekken .. fbsd opnieuw installaren, disks erin stoppen en met 1 of geen commando "importeer" ik de ZFS volume .. iets wat ik zover ik weet niet echt hoef te proberen met andere "volumes"

ik mis "cijfers" ik kan me echt geen beeld vormen van performance van zfs versus een RAID 5/10 etc ..
met name RAID Z dus .. ook al is het appels met peren vergelijken ..
Maar waar ligt nu echt de "kracht" weinig data / veel data in NAS gebruik (read/write) en hoe verhoud zich dit dus ten opzichte van een RAID 5/10 setup ?
Even voor de duidelijkheid het gaat me niet om de ZFS functies zoals error correction, deduplication ofzo . echt op de "performance"

Hoeveel impact heeft bv 1 gb extra RAM of een SSD waar ga ik dan de performance in terug zien ?

Hoe gaat ZFS ermee om als je een HD vervangt door een groter model ? is het wijsheid het als je bv 6 "echte" controllers gebruikt" om tijdelijk een fake te gebruiken of gewoon disk eruit/erin en comando x.y.z
word de extra GB ook benut of niet ? Online expansion werkt alleen als je alle disks hebt vervangen door grotere versie(s).

[FireDrunk]

iRReeL schreef op dinsdag 18 oktober 2011 @ 13:31:
Ik ga ervanuit dat ie bij een scrub de huidige pool / data gaat 'reviewen' en repareren / resilveren waar nodig. Maar als een complete disk 'verdwenen / verplaatst' is lijkt het me sterk dat een scrub dat gaat verhelpen?

Eerder heb ik wel 's een disks los en dan na een reboot weer verbonden maar dan gaat ie meteen resilveren en is het probleem verholpen.

Inderdaad, ik dacht aan je logs te zien, dat je device wel 'online' is maar wel faulted.
Het lijkt mij dat ZFS niet zo goed weet bij welk(e) vdev die disk hoort?

[iRReeL]

pool: Archive
state: DEGRADED
status: One or more devices could not be opened. Sufficient replicas exist for
the pool to continue functioning in a degraded state.
action: Attach the missing device and online it using 'zpool online'.
see: http://www.sun.com/msg/ZFS-8000-2Q
config:
NAME STATE READ WRITE CKSUM
Archive DEGRADED 0 0 0
raidz2-0 DEGRADED 0 0 0
c3t3d0 ONLINE 0 0 0
c3t5d0 ONLINE 0 0 0
c2t545d0 UNAVAIL 0 0 0 cannot open
etc...

En als ik dan een replace doe in napp-it





Vage nieuwe naam ook, zolang.. "c5t50014EE6AADF2AA3d0"