Het grote ZFS topic

[Dadona]

fcg123 schreef op donderdag 23 februari 2012 @ 17:27:

Crystaldiskmark heb je uitgevoerd door inzet van iSCSi? Of is het inmiddels mogelijk om een dergelijke test op een netwerkschijf uit te voeren?

[Megalith]

Ik zal eens kijken of ik hem ook als writecache kan inzetten, maar ik wou hem eigenlijk ook als SLOG gebruiken, dat is dus blijkbaar minder ideaal. Misschien moet ik dan eens kijken naar een stuk kleinere SSD en die voor SLOG inzetten.

En die benchmark heb ik uitgevoerd over fibrechannel (iscsi is hiervan afgeleid), Windows ziet de LUN dus gewoon als fysieke disk. Het is geen netwerkschijf oid.

[Verwijderd]

fcg: stel je vraag eens op een Solaris-georiënteerd forum. Als zij geen bezwaren zien zou ik je mooie Intel 320 gewoon als L2ARC én SLOG gebruiken. Zorg wel dat je 20-40% als overprovisioning gebruikt en dus niet partitioneert. Als je dat al wel hebt gedaan zou ik eerst een TRIM-erase uitvoeren.

[Megalith]

Waarschijnlijk is het een domme vraag, maar ik krijg alleen maar de opties om een vdev toe te voegen als cache of log device. Ik heb de SSD gepartitioneerd in twee partities van 35GB per stuk, en 42GB unallocated. Daarna "zpool add tank log c2t0d0p1" geprobeerd maar dan krijgt hij een I/O error.

[Femme]

Voordat je geld gaat uitgeven aan een apart log device zou ik eerst eens kijken of je uberhaupt veel synchrone schrijfacties krijgt. Dus zet de hele ssd of een partitie in als slog en check dan via zpool iostat -v 30 of het ding gebruikt wordt. Ik heb op mijn systeem nog geen hogere doorvoer dan een paar kilobyte per seconde meegemaakt (tenzij je write-caching op het volume uitzet in Windows, dan krijg je vrachtladingen sync writes).

Een log device hoeft niet groot te zijn. Ik denk maximaal de grootte van een transaction group en die wordt volgens mij standaard ingesteld op 1/8 van de grootte van je ram. In de praktijk zal het gebruik nog veel lager zijn.

[FireDrunk]

Even door de duidelijkheid, hier in het datacenter hebben we write caching (van Windows) uit staan, juist die zetten we uit zodat de write cache alleen maar in de RAID controllers gebeurt, en die zijn juist allemaal van een batterij voorzien. Als je met VM's werkt die over iSCSI schrijven, zou ik ook windows write caching uitzetten. Deste groter de kans dat VM's intact blijven als ze spontaan uit gaan...

* FireDrunk heeft trouwens 2TB diskjes erbij gescoord, en gaat binnenkort dus over op ZFS

[ Voor 11% gewijzigd door FireDrunk op 24-02-2012 08:01 ]

[nielsdc]

Femme schreef op vrijdag 24 februari 2012 @ 00:08:
Voordat je geld gaat uitgeven aan een apart log device zou ik eerst eens kijken of je uberhaupt veel synchrone schrijfacties krijgt. Dus zet de hele ssd of een partitie in als slog en check dan via zpool iostat -v 30 of het ding gebruikt wordt. Ik heb op mijn systeem nog geen hogere doorvoer dan een paar kilobyte per seconde meegemaakt (tenzij je write-caching op het volume uitzet in Windows, dan krijg je vrachtladingen sync writes).

Een log device hoeft niet groot te zijn. Ik denk maximaal de grootte van een transaction group en die wordt volgens mij standaard ingesteld op 1/8 van de grootte van je ram. In de praktijk zal het gebruik nog veel lager zijn.

+1
Mijn SLOG wordt ook vrijwel niet gebruikt. Je kan altijd sync uitzetten als je SLOG veel gebruikt wordt, met als risico dat de laatste 5 sec data niet meer veilig zijn.

[Verwijderd]

Je kunt beter dtrace pakken om te kijken of het zin heeft. zpool iostat zegt niet zoveel (nagenoeg niets)

zil_lwb_commit als je die traced zie je de size, 32KB en kleiner gaat naar de log.

[3d0zer]

Wie kan mij hiermee helpen?

Link

Zie onder de vraag, hij staat nog in het Engels. Heb hem gekopieerd van de andere topic.


Hey Guys,

Today I wanted to test a pool by replacing a disk and let it be resilvered again.

When I took 1 disk out of the pool of 5 the ZFS Guru froze... So had to reboot it.
After reboot the pool was not Degraded but Faulted:

Pool name hdpool1
Status UNAVAIL
Description One or more devices could not be opened. There are insufficient
replicas for the pool to continue functioning.
Action Attach the missing device and online it using 'zpool online'.
See http://www.sun.com/msg/ZFS-8000-3C
Scrub none requested
Ashift pool is optimized for 512 B sector disks (ashift=9)

So went into putty/ssh and there is the same info:

pool: hdpool1
state: UNAVAIL
status: One or more devices could not be opened. There are insufficient
replicas for the pool to continue functioning.
action: Attach the missing device and online it using 'zpool online'.
see: http://www.sun.com/msg/ZFS-8000-3C
scan: none requested
config:

NAME STATE READ WRITE CKSUM
hdpool1 UNAVAIL 0 0 0
15191891543473079382 UNAVAIL 0 0 0 was /dev/ada1p2
ada2p2 ONLINE 0 0 0
ada3p2 ONLINE 0 0 0
ada4p2 ONLINE 0 0 0
ada5p2 ONLINE 0 0 0
logs
ada0p3 ONLINE 0 0 0


The weird thing is .. when I put in a new disk fresh and clean.. it still doesn't react on zpool replace / online / detach and so on.. It just keeps telling me that the pool is not available.

Anyone knows what is causing this?
And how to make it work again?

[Verwijderd]

Draai je de laatste versie? Kun je op de Pools pagina niet gewoon die disk ONLINE'en? Zo nee, waarom niet?

Welke versie is je pool? En je bent je bewust dat je een RAID0 pool hebt gemaakt zonder enige redundancy op block-niveau? Je kunt dus geen enkele missende/gefaalde schijf veroorloven. Daarnaast heb je een log device ingesteld; dat associeer ik niet snel met een RAID0-pool.

Then I took 1 disk out of the pool

Hoe, precies? Gewoon een disk ontkoppeld terwijl die disk nog door ZFS in gebruik was?

[ Voor 15% gewijzigd door Verwijderd op 26-02-2012 18:36 ]

[3d0zer]

Verwijderd schreef op zondag 26 februari 2012 @ 18:35:
Draai je de laatste versie? Kun je op de Pools pagina niet gewoon die disk ONLINE'en? Zo nee, waarom niet?

Welke versie is je pool? En je bent je bewust dat je een RAID0 pool hebt gemaakt zonder enige redundancy op block-niveau? Je kunt dus geen enkele missende/gefaalde schijf veroorloven. Daarnaast heb je een log device ingesteld; dat associeer ik niet snel met een RAID0-pool.


[...]

Hoe, precies? Gewoon een disk ontkoppeld terwijl die disk nog door ZFS in gebruik was?

Huh... echt? Ik dacht dat ik een raid 5 draaide.... wtf... waar zie je dat aan? Nu klink ik heel noobie

Versie: ZFSguru 0.2.0-beta4
Poolversie: SPA: 28, ZPL: 5

Wat bedoel je precies met een Log die niet met een RAID 0 wordt geassocieerd?

En ja gewoon een disk eruit gepakt ja.. maar als wat jij zegt waar is .. is het geen wonder dat hij niet begint met resilveren als er dan een disk bij geprikt wordt... DAMN... Ben benieuwd hoe je ziet dat het een raid0 opstelling is.

[ Voor 12% gewijzigd door 3d0zer op 26-02-2012 18:56 ]

[Verwijderd]

Kun je toch ook gelijk zien op de Pools pagina, in die tabel bovenaan geeft hij aan wat voor redundancy je pool heeft. Daar zou je RAID0 moeten kunnen zien. Ik kan het zien aan je status output, waarbij je schijven genoemd worden maar geen 'raid-z' regel, wat je normaal wel krijgt als het een mirror of raid-z betreft. Net als de aparte regel voor de log device.

En ik bedoel natuurlijk te zeggen dat een (S)LOG device een beetje apart is als deze voor een RAID0-pool wordt gebruikt. Als het belangrijk is de integriteit van je applicaties te bewaken, dan lijkt mij de eerste stap een redundante pool.

Met pool versie bedoelde ik wel de versie van je pool zelf, zoals op de Pools pagina te zien onder SPA. Je systeem is versie 28, maar je pool kan rustig versie 15 zijn met de default instellingen wanneer je een pool maakt. Dat schept dan een extra risico voor SLOG devices; je wilt dus je pool minimaal versie 19 hebben. Hiervoor wordt gewaarschuwd als je de SLOG toevoegt via de web-interface. Dus ik denk dat je pool versie wel oke is.

Maar heb je dit al geprobeerd:
1) booten met alle disks aangesloten
2) ga naar pools pagina en kies ONLINE disk voor de schijf die nu nog mist

[3d0zer]

Verwijderd schreef op zondag 26 februari 2012 @ 19:05:
Kun je toch ook gelijk zien op de Pools pagina, in die tabel bovenaan geeft hij aan wat voor redundancy je pool heeft. Daar zou je RAID0 moeten kunnen zien. Ik kan het zien aan je status output, waarbij je schijven genoemd worden maar geen 'raid-z' regel, wat je normaal wel krijgt als het een mirror of raid-z betreft. Net als de aparte regel voor de log device.

En ik bedoel natuurlijk te zeggen dat een (S)LOG device een beetje apart is als deze voor een RAID0-pool wordt gebruikt. Als het belangrijk is de integriteit van je applicaties te bewaken, dan lijkt mij de eerste stap een redundante pool.

Met pool versie bedoelde ik wel de versie van je pool zelf, zoals op de Pools pagina te zien onder SPA. Je systeem is versie 28, maar je pool kan rustig versie 15 zijn met de default instellingen wanneer je een pool maakt. Dat schept dan een extra risico voor SLOG devices; je wilt dus je pool minimaal versie 19 hebben. Hiervoor wordt gewaarschuwd als je de SLOG toevoegt via de web-interface. Dus ik denk dat je pool versie wel oke is.

Maar heb je dit al geprobeerd:
1) booten met alle disks aangesloten
2) ga naar pools pagina en kies ONLINE disk voor de schijf die nu nog mist

Thanks ... en tegelijk shit..
Ben nieuw in FreeBSD en ZFSGuru dus heb gewoon een foute pool aangemaakt toen ik ermee begon.
Wilde een raidz pool hebben namelijk voor dedundante data... dus grrr noobfout!!

SLOG heb ik inderdaad voor performance maar dat was dus ook met het oog op een raidz pool ... Hmm.. toch maar die pool destroyen dan om er een raidz pool van te maken... want dat is de hele reden dat ik uberhaubt aan ZFSguru ben begonnen... de redundantie en de andere voordelen van ZFS...

thanks voor je hulp CiPHER!! Ook al was het geen goed nieuws deze keer

Overigens.. mijn oude harddisk er weer in gepropt en hij pakt hem automatisch op zonder booten enz... nu dus kijken waar ik 6 tb data wegzet om die pool opnieuw te bouwen... hehe..

[ Voor 4% gewijzigd door 3d0zer op 26-02-2012 19:14 ]

[Verwijderd]

Sinds een tijdje krijg je een extra waarschuwing als je een RAID0-pool aanmaakt met méér dan één disk, juist om deze fout niet te maken. Misschien die waarschuwing over het hoofd gezien?

En fijn dat je weer bij je data kan.

Wat gebruik je als SLOG disk trouwens? Je weet dat je partities kunt gebruiken hè? Dat doe je waarschijnlijk al, aangezien ik 'p3' zie wat betekent dat er minimaal 3 partities op de SSD staan.

Nog wat anders: ik zie dat je disks hun label naam hebben verloren; waarschijnlijk omdat je sectorsize override onder < beta5 hebt gebruikt. In beta5 behouden ze hun mooie label, dus wellicht wil je eerst updaten alvorens je je pool overnieuw aanmaakt.

[3d0zer]

Verwijderd schreef op zondag 26 februari 2012 @ 19:20:
Sinds een tijdje krijg je een extra waarschuwing als je een RAID0-pool aanmaakt met méér dan één disk, juist om deze fout niet te maken. Misschien die waarschuwing over het hoofd gezien?

En fijn dat je weer bij je data kan.

Wat gebruik je als SLOG disk trouwens? Je weet dat je partities kunt gebruiken hè? Dat doe je waarschijnlijk al, aangezien ik 'p3' zie wat betekent dat er minimaal 3 partities op de SSD staan.

Nog wat anders: ik zie dat je disks hun label naam hebben verloren; waarschijnlijk omdat je sectorsize override onder < beta5 hebt gebruikt. In beta5 behouden ze hun mooie label, dus wellicht wil je eerst updaten alvorens je je pool overnieuw aanmaakt.

Nope.. geen waarschuwing gehad... of wellicht niet gezien.. draai nu een maand of zo ... dus als het van die tijd is geweest... maar ben begonnen op de stable versie.. dus wellicht zat de waarschuwing daar nog niet in?

SSD: Plextor M3 256 gb... 4 partities... System, SLOG, L2arc en download voor sabnzbd...

Goede tip over de naam van de disks... kreeg daar al een waarschuwing van .. maar geen idee hoe dat ontstaat eigenlijk... wat is sectorsize override?
Als ik het spul opnieuw inricht.. format en whipe ik eerst alles...

Baal wel flink.. red het nooit om 6 tb ergens op te slaan dus kost me echt megaveel films

[Verwijderd]

Je kunt je pool nog in een mirror omzetten, maar dat is vast niet wat je wilt want dan heb je ook twee keer zoveel disks nodig.

Sectorsize override is het optimaliseren voor 4K sector schijven, zoals Samsung F4EG en WD EARS. Met name schijven met een hoge datadichtheid krijgen meestal 4K sectors. Hitachi heeft echter modellen zonder 4K sectors dus hebben geen override nodig. Dit alles lees je ook op de Pools->Create page als je update naar beta5.

Maar wel vervelend ja; ik heb niet zoveel tips voor je in dit geval, behalve misschien een paar disks bijkopen. Iemand anders had al hetzelfde probleem; kennelijk omdat RAID0 als default ingesteld staat. Wanneer die waarschuwing er in is gekomen weet ik niet, maar ik denk inderdaad nog niet in 0.1.9, wat je wellicht hebt gebruikt om destijds je pool aan te maken?

[3d0zer]

Verwijderd schreef op zondag 26 februari 2012 @ 20:20:
Je kunt je pool nog in een mirror omzetten, maar dat is vast niet wat je wilt want dan heb je ook twee keer zoveel disks nodig.

Sectorsize override is het optimaliseren voor 4K sector schijven, zoals Samsung F4EG en WD EARS. Met name schijven met een hoge datadichtheid krijgen meestal 4K sectors. Hitachi heeft echter modellen zonder 4K sectors dus hebben geen override nodig. Dit alles lees je ook op de Pools->Create page als je update naar beta5.

Maar wel vervelend ja; ik heb niet zoveel tips voor je in dit geval, behalve misschien een paar disks bijkopen. Iemand anders had al hetzelfde probleem; kennelijk omdat RAID0 als default ingesteld staat. Wanneer die waarschuwing er in is gekomen weet ik niet, maar ik denk inderdaad nog niet in 0.1.9, wat je wellicht hebt gebruikt om destijds je pool aan te maken?

Nee heb Hitachi disks ... 5k3000 en dan 5 maal...
Dus geen sectorsize override.. ik heb geen idee hoe die namen los zijn gekomen van de labels...

Jep heb de pool aangemaakt onder 0.1.9 dus dat verklaard het..

En heb 1 spare disk liggen... wellicht maak ik er toch maar een 6 disk 18 tb van dan alhoewel ik die ene eigenlijk heb om als hot spare te gebruiken uiteindelijk... of als spare voor als er 1 crashed... heb namelijk geen satasloten meer over door die ssd die er een op snoept...

Maar ga denk die ene spare disk gebruiken of veel data op te slaan en dan nog wat op een paar andere .. dan kom ik op rond de 4 tb.. toch aardig wat nog.. en is de schade beperkt...

Trouwens als ik ze in mirror zou zetten, dat is toch zonde van je disks? Kan je beter een raidz pool bouwen toch? anders verlies je 50 procent van je opslagcapaciteit ....

[Verwijderd]

Klopt ja, maar je kunt van je huidige single disk / RAID0-pool dus een mirror maken, zonder dataverlies. Erg nuttig is het niet omdat je dan veel schijven moet bijkopen en als je dat doet kun je sowieso al een nieuwe RAID-Z pool aanmaken.

Overigens kun je ook een degraded pool bouwen: stel je hebt maar 4 disks maar je wilt toch een 6-disk RAID-Z2 bijvoorbeeld, dan kun je zo'n 6-disk RAID-Z2 pool maken met 2 nep memory disks die je gelijk verwijdert, zodat je maar 4 schijven nodig hebt. Nadat je data hebt overgekopieerd kun je dan twee schijven toevoegen zodat je niet meer degraded draait. Bij RAID-Z geldt hetzelfde, maar dan gaat het natuurlijk maar om 1 disk die je kunt missen.

[3d0zer]

Verwijderd schreef op zondag 26 februari 2012 @ 20:52:
Klopt ja, maar je kunt van je huidige single disk / RAID0-pool dus een mirror maken, zonder dataverlies. Erg nuttig is het niet omdat je dan veel schijven moet bijkopen en als je dat doet kun je sowieso al een nieuwe RAID-Z pool aanmaken.

Overigens kun je ook een degraded pool bouwen: stel je hebt maar 4 disks maar je wilt toch een 6-disk RAID-Z2 bijvoorbeeld, dan kun je zo'n 6-disk RAID-Z2 pool maken met 2 nep memory disks die je gelijk verwijdert, zodat je maar 4 schijven nodig hebt. Nadat je data hebt overgekopieerd kun je dan twee schijven toevoegen zodat je niet meer degraded draait. Bij RAID-Z geldt hetzelfde, maar dan gaat het natuurlijk maar om 1 disk die je kunt missen.

Hey dat wist ik niet van die net memory disks... hoe kan je 2 nep mem disks maken of faken dan?

Dan zou ik wellicht vast een 6 disks of 7 disks pool kunnen bouwen en dan wachten op de tijd dat ik een HBA erbij koop...

[Verwijderd]

Op de Disks -> Memory disks pagina. Maak hem even groot of groter dan je overige schijven. Dus 2 of 3 terabyte will do. Je hebt geen 2 of 3 terabyte RAM nodig, alleen de ruimte die je daadwerkelijk beschrijft. Daar zit hem het hele idee: je verwijdert na je pool gemaakt te hebben de memory disks, simpelweg door te rebooten.

Dat gaat zo:
1) maak 2 memory disks van 3TB aan op de Disks->Memory disks pagina
2) formatteer de memory disks (beginnend met 'md') op de Disks -> Formatting pagina
3) maak een nieuwe pool op de Pools -> Create pagina, waarbij je de twee memory disks ook selecteert evenals een redundant RAID level (RAID-Z2 bij 2 memory disks).
4) Reboot
5) je draait een double-degraded RAID-Z2, waarbij twee schijven tekort komen. Zodra je die schijven hebt, kun je ze toevoegen op de Pools pagina. Klik op je pool en bij de missende schijven (UNAVAIL) kun je ze vervangen met een geformatteerde ongebruikte disk (die natuurlijk niet kleiner mag zijn als de originele device).

Bedenk wel, een double-degraded RAID-Z2 heeft evenveel bescherming als RAID0: metadata is redundant maar data niet tenzij je copies=2 gebruikt. Je kunt geen enkele disk missen, anders kun je je pool niet aanspreken danwel importeren. Je doet er dus goed aan je data zo kort mogelijk zonder bescherming te laten zitten.

[ Voor 13% gewijzigd door Verwijderd op 26-02-2012 21:38 ]

[3d0zer]

Super... bedankt man, ik ga dat eens proberen als ik mijn pool opnieuw opbouw!

Leuke tips and tricks...

[3d0zer]

Verwijderd schreef op zondag 26 februari 2012 @ 21:36:

2) formatteer de memory disks (beginnend met 'md') op de Disks -> Formatting pagina

Bedenk wel, een double-degraded RAID-Z2 heeft evenveel bescherming als RAID0: metadata is redundant maar data niet tenzij je copies=2 gebruikt. Je kunt geen enkele disk missen, anders kun je je pool niet aanspreken danwel importeren. Je doet er dus goed aan je data zo kort mogelijk zonder bescherming te laten zitten.

Wat bedoel je met metadata is redundant en data niet? Wat is het verschil tussen metadata en data?

De naam MD is om ze te herkennen zeker bij het vervangen voor fysieke disks?

En is het ook mogelijk dat ik raidz2 gebruik en dan 1 disk vervang en de andere memorydisk gewoon laat staan ipv verwijder en degraded doorga? Of heeft dat geen voordelen?

[CurlyMo]

3d0zer schreef op zondag 26 februari 2012 @ 22:18:
[...]


Wat bedoel je met metadata is redundant en data niet? Wat is het verschil tussen metadata en data?

De naam MD is om ze te herkennen zeker bij het vervangen voor fysieke disks?

En is het ook mogelijk dat ik raidz2 gebruik en dan 1 disk vervang en de andere memorydisk gewoon laat staan ipv verwijder en degraded doorga? Of heeft dat geen voordelen?

Misschien ook even je post op ZFSGuru bijwerken. Leuk om te weten wie wie is op welk forum .

[Verwijderd]

Metadata is benodigd voor het filesystem om te weten hoe de data is opgeslagen, welke bestandsnamen, welke checksums, welke permissions, enzovoorts. Dus metadata is alles behalve de inhoud van je bestanden. Metadata is cruciaal omdat als deze beschadigd raakt, je alles of een groot gedeelte kunt kwijtraken. Dit probleem ken je misschien van Windows 98 waar een crash soms een hele directory meenam en je dan honderden files in C:\FOUND.000 ofzoiets terugvond.

ZFS gebruikt altijd 'ditto copies' voor metadata. Ditto copies zijn extra kopiën van een bestand, die onafhankelijk van de pool redundantie (mirror, raid-z) wordt opgeslagen. Dus als je een RAID-Z hebt met copies=2, dan heb je in feite 4 kopiën van dat bestand (2 x 2).

Voor bestanden gebruik je niet vaak copies=2, wat je per filesystem kunt instellen. Soms zijn tekstdocumenten erg belangrijk dan kun je heel makkelijk copies=2 of copies=3 instellen; kost toch bijna geen extra ruimte. Maar voor grote datasets doe je dat normaliter niet. Echter, de metadata wordt altijd met copies=2 (of meer) weggeschreven, zelfs op een pool met maar één disk of een RAID0 pool. Je metadata is dus altijd redundant, waardoor corruptie van ZFS filesystem zelf altijd een laatste defensie-linie heeft, voor als de pool redundancy (mirror, raid-z) niet genoeg is of in geval je dus een niet-redundante pool hebt.

[3d0zer]

CurlyMo schreef op zondag 26 februari 2012 @ 22:28:
[...]


Misschien ook even je post op ZFSGuru bijwerken. Leuk om te weten wie wie is op welk forum .

Ga ik doen, zit op een andere pc en heb mijn login niet bij mij voor zfsguru...

[ Voor 2% gewijzigd door _Dune_ op 26-03-2013 21:07 ]

[3d0zer]

Verwijderd schreef op zondag 26 februari 2012 @ 22:31:
Metadata is benodigd voor het filesystem om te weten hoe de data is opgeslagen, welke bestandsnamen, welke checksums, welke permissions, enzovoorts. Dus metadata is alles behalve de inhoud van je bestanden. Metadata is cruciaal omdat als deze beschadigd raakt, je alles of een groot gedeelte kunt kwijtraken. Dit probleem ken je misschien van Windows 98 waar een crash soms een hele directory meenam en je dan honderden files in C:\FOUND.000 ofzoiets terugvond.

ZFS gebruikt altijd 'ditto copies' voor metadata. Ditto copies zijn extra kopiën van een bestand, die onafhankelijk van de pool redundantie (mirror, raid-z) wordt opgeslagen. Dus als je een RAID-Z hebt met copies=2, dan heb je in feite 4 kopiën van dat bestand (2 x 2).

Voor bestanden gebruik je niet vaak copies=2, wat je per filesystem kunt instellen. Soms zijn tekstdocumenten erg belangrijk dan kun je heel makkelijk copies=2 of copies=3 instellen; kost toch bijna geen extra ruimte. Maar voor grote datasets doe je dat normaliter niet. Echter, de metadata wordt altijd met copies=2 (of meer) weggeschreven, zelfs op een pool met maar één disk of een RAID0 pool. Je metadata is dus altijd redundant, waardoor corruptie van ZFS filesystem zelf altijd een laatste defensie-linie heeft, voor als de pool redundancy (mirror, raid-z) niet genoeg is of in geval je dus een niet-redundante pool hebt.

Nice... dat wist ik niet... Kan ik die metadata vergelijken met een Registry van Windows.. dus een indexfile voor alle instellingen en locaties enz zoals je zei?

Die Found.000 bestanden had ik onlangs nog op een WD Mac Book Studio... wat een shit apparaat was dat trouwens.. die flikte dat continu...

Net nog een mooi artikel gelezen over redundancy.. om maar even in te gaan op raidz of raidz-2.

Wordt voor mij op zeker een raidz-2 degraded en dan later als de disks weer goedkoper zijn er 1 bijprikken.

Check ook even hoe betrouwbaar een Raid6/raidz-2 is door de tijd heen ten opzichte van een raid5/raidz, vond dat nogal schokkend.

Link naar artikel: LINK

[Verwijderd]

Ik zie niet goed met welke variabelen die grafieken gemaakt zijn; gaat het om uBER fouten of om totaal gefaalde disks. Het is wel raar dat een enkele disk in RAID0 volgens die site 80% kans van falen zou hebben binnen 5 jaar. Dat klopt denk ik niet helemaal.

Dan moet je uBER wel significant opvoeren. En juist daarvoor is ZFS heel erg goed beschermd, en normale RAID-engines en filesystems totaal niet. Dus neem die grafiekjes met een korrel zout als het om ZFS gaat. Maar toch erg interessant, wel jammer dat er geen goede verantwoording lijkt te zijn van alle cijfers.

En je vroeg nog:

En is het ook mogelijk dat ik raidz2 gebruik en dan 1 disk vervang en de andere memorydisk gewoon laat staan ipv verwijder en degraded doorga? Of heeft dat geen voordelen?

Ja, je kunt dat doen voor het rebooten of erna. Maakt opzich niets uit. Je mist twee schijven. Je kunt dan één schijf alvast toevoegen, zodat je single-degraded draait. Dat is al een hele grote verbetering, omdat je nu redundant draait en dus een enkelvoudige-failure aan kunt, waaronder dus bad sectors. Je draait dan met de bescherming van RAID-Z. De performance zal maar iets beneden het niveau van een complete RAID-Z zijn zonder missende schijven; de overhead voor degraded en RAID-Z2 valt best mee mits je een redelijke CPU hebt. Atom kan, maar anderen zijn beter (out-of-order execution).

[3d0zer]

Verwijderd schreef op zondag 26 februari 2012 @ 23:03:
Ik zie niet goed met welke variabelen die grafieken gemaakt zijn; gaat het om uBER fouten of om totaal gefaalde disks. Het is wel raar dat een enkele disk in RAID0 volgens die site 80% kans van falen zou hebben binnen 5 jaar. Dat klopt denk ik niet helemaal.

Dan moet je uBER wel significant opvoeren. En juist daarvoor is ZFS heel erg goed beschermd, en normale RAID-engines en filesystems totaal niet. Dus neem die grafiekjes met een korrel zout als het om ZFS gaat. Maar toch erg interessant, wel jammer dat er geen goede verantwoording lijkt te zijn van alle cijfers.

En je vroeg nog:

Yep klopt, ik had die vraagtekens ook bij het falen, want diskfaillure komt bij mij eigenlijk zeer weinig voor.
Wellicht gaat het om omgevingen die zeer intensief gebruikt worden, dan zal het percentage vast nog hoger liggen.

Verder draai ik op een i3-2120 dus het rekenwerk komt wel goed denk ik...
De extra kosten die raidz2 met zich meeneemt verantwoord ik maar als, hoeveel tijd ben je kwijt met het opnieuw inrichten en verzamelen van alle data als het echt weg is... dan is 180 euro extra kosten toch goed tegen die tijd weg te schrijven.

[3d0zer]

Nog een kleine vraag dan maar.

Ik ben aan het kijken naar een HBA diskcontroller en begreep dat de SuperMicro USAS2-L8e een goede kaart is en ook nog eens sata600 waar veel kaarten sata300 zijn.

Mocht de kaart volraken met disks, zijn dan ook nog de gewone satapoorten te gebruiken op het moederbord?
Of moet je bij gebruik van een dergelijke kaart, alle harde schijven alleen op de kaart aansluiten?

En vanuit nieuwsgierigheid hoe hij in gebruik bevalt: Iemand ervaring met deze kaart?

[ Voor 19% gewijzigd door 3d0zer op 27-02-2012 00:13 ]

[Verwijderd]

SuperMicro is UIO dus afwijkend bracket, daar moet je even over inlezen. Een beter alternatief is wellicht de IBM M1015 controller; zelfde chip alleen moet je flashen met IT-firmware waar je genoeg info over kunt vinden hier of op ServeTheHome website. De LSI 6Gbps controller werkt onder vrijwel alle OS nu, maar FreeBSD heeft nog oudere incomplete drivers in versies 8.2 en 9.0. Er is wel een nieuwere driver beschikbaar die veel beter is.

ZFSguru heeft support voor deze controller, maar binnenkort komt een system image uit met de verbeterde driver, die je dan beter kunt gebruiken. Met name de error recovery code is stevig verbeterd, wat met name belangrijk is als er dingen misgaan (kabelfouten, bad sector, enzovoorts).

En ja je kunt prima onboard en HBA door elkaar gebruiken. Je onboard poorten zijn het allerbeste, met name voor SSDs omdat je dan TRIM support hebt. Dus je SSDs altijd op onboard chipset controller en je hardeschijven kun je verdelen over één of meerdere HBA's en je overige onboard poorten. Gebruik niet de extra 'Marvell' poorten die veelal op moederborden zitten. Je chipset levert maximaal 6 poorten (héél nieuwe chipsets 8 poorten; maar die zijn nog niet beschikbaar geloof ik).

[3d0zer]

Verwijderd schreef op maandag 27 februari 2012 @ 00:23:
SuperMicro is UIO dus afwijkend bracket, daar moet je even over inlezen. Een beter alternatief is wellicht de IBM M1015 controller; zelfde chip alleen moet je flashen met IT-firmware waar je genoeg info over kunt vinden hier of op ServeTheHome website. De LSI 6Gbps controller werkt onder vrijwel alle OS nu, maar FreeBSD heeft nog oudere incomplete drivers in versies 8.2 en 9.0. Er is wel een nieuwere driver beschikbaar die veel beter is.

ZFSguru heeft support voor deze controller, maar binnenkort komt een system image uit met de verbeterde driver, die je dan beter kunt gebruiken. Met name de error recovery code is stevig verbeterd, wat met name belangrijk is als er dingen misgaan (kabelfouten, bad sector, enzovoorts).

En ja je kunt prima onboard en HBA door elkaar gebruiken. Je onboard poorten zijn het allerbeste, met name voor SSDs omdat je dan TRIM support hebt. Dus je SSDs altijd op onboard chipset controller en je hardeschijven kun je verdelen over één of meerdere HBA's en je overige onboard poorten. Gebruik niet de extra 'Marvell' poorten die veelal op moederborden zitten. Je chipset levert maximaal 6 poorten (héél nieuwe chipsets 8 poorten; maar die zijn nog niet beschikbaar geloof ik).

Thanks!

Ik kwam het net toevallig tegen van die bracket, dan moet het inderdaad een andere kaart worden.
Las over die LSI dat ze maar tot 2 tb supporten voor HD's dus 2 tb laten zien en de rest zie je niet maar werkt wel. Is dat ook voor de 6GB/s LSI of is dat nu opgelost?

Marvell poorten heb ik met opzet niet genomen op mijn moederbord.. dus keuze gemaakt om die te vermijden, eigenlijk met de reden die je noemt.

De IBM M1015 lijkt maar 2 aansluitingen te hebben voor disks... klopt dat? Ik zoek eigenlijk meer naar minimaal 8 aansluitingen, of lees ik nu verkeerd?

Lees net dat hij met twee minisas 16 devices kan aansluiten, betekent dit 16 harde schijven?
Bron: http://www.redbooks.ibm.com/abstracts/tips0740.html

[ Voor 5% gewijzigd door 3d0zer op 27-02-2012 00:50 ]

[Verwijderd]

Het zijn Mini-SAS aansluitingen. Zo heb je maar twee kabels die elk in 4 SATA kabels veranderen, afhankelijk van welke kabels je neemt. Norco behuizingen met ruimte voor veel schijven hebben een model waarbij je gewoon meerdere Mini-SAS kakbels kunt inpluggen, dus elke kabel 4 disks zonder op te splitsen. Maargoed normaal werk je dus met deze kabels:

SFF-8087 (niet Reverse!)



De kabels moet je meestal apart kopen. En ja je kunt 3TB+ disks op deze controller aansluiten dacht ik, check dat nog even voor de zekerheid via google.

[3d0zer]

Lees net dat hij met twee minisas 16 devices kan aansluiten, betekent dit 16 harde schijven? Of foutje op de site?

Staat bovenaan onder kopje abstract.

Bron: http://www.redbooks.ibm.com/abstracts/tips0740.html

[Verwijderd]

Hij ondersteunt tot 16 disks bij gebruik van Expanders, wat je niet wilt. De SuperMicro USAS-L2e kan 64 of 128 devices ondersteunen, waardoor je dus met veel expanders heel veel disks op één controller kan aansluiten; precies wat je niet wilt voor ZFS.

Dus 2-mini-SAS connectors = 8 SAS/SATA schijven. Je hebt ook een LSI variant met 4 mini-SAS die dus 16 disks kan aansluiten zonder gebruik van expanders. Maar die is flink duurder en meerdere M1015 nemen is denk ik beter, tenzij je niet voldoende PCI-express poorten hebt.

[3d0zer]

Daar dacht ik ook al aan. Je wilt ook niet teveel disks op 1 PCI-e slot hebben...

Heb genoeg sloten en zijn sneller dan gewenst voor de kaart dus super.

Nu eens kijken wie hem kan leveren.. ze staan nogal op rood in de pricelist zeg maar.. tenminste de beetje betaalbare..

Hoe weet je trouwens welke kaarten die chipset hebben? En waar zit het prijsverschil in tussen een LSI en deze bijvoorbeeld, dat is nogal flink!

[ Voor 13% gewijzigd door 3d0zer op 27-02-2012 00:58 ]

[The Executer]

Na mijn tochtje langs Freenas, ben ik nu eens bezig met ZFS Guru. Dit draait veel lekkerder! Nu loop ik wel tegen 1 ding aan:

Ik kan deze alleen installeren op mijn pool, terwijl ik een apart schijfje had voor de installatie. Ik heb die schijf al meerdere malen geformatteerd, maar toch krijg ik ZFS Guru niet zover op die schijf te willen installeren. Tips?

[3d0zer]

The Executer schreef op maandag 27 februari 2012 @ 00:59:
Na mijn tochtje langs Freenas, ben ik nu eens bezig met ZFS Guru. Dit draait veel lekkerder! Nu loop ik wel tegen 1 ding aan:

Ik kan deze alleen installeren op mijn pool, terwijl ik een apart schijfje had voor de installatie. Ik heb die schijf al meerdere malen geformatteerd, maar toch krijg ik ZFS Guru niet zover op die schijf te willen installeren. Tips?

Yesss

Je moet eerste op je geformatteerde schijf een nieuwe pool (ik noem die bootpool bijvoorbeeld) en daarna kan je het systeem erop installeren.

ZFS heeft altijd een pool nodig op een disk om er wat mee te kunnen.

Als je de pool erop hebt staan, kan je hem ook zien als je de installatie doet en selecteren als bestemming voor het systeem.

[ Voor 8% gewijzigd door 3d0zer op 27-02-2012 01:01 ]

[The Executer]

3d0zer schreef op maandag 27 februari 2012 @ 01:01:
[...]


Yesss

Je moet eerste op je geformatteerde schijf een nieuwe pool (ik noem die bootpool bijvoorbeeld) en daarna kan je het systeem erop installeren.

ZFS heeft altijd een pool nodig op een disk om er wat mee te kunnen.

Hmm, ik had alles zo lekker draaiend, maar nu laat je mij toch weer een noob voelen hoor (Wat bij jou ook al gebeurt was las ik ). Voor de hand liggend!

[Verwijderd]

1) Boot even opnieuw met de LiveCD
2) importeer je pools
3) verwijder de systeem filesystems aangemaakt door de installatie, op de Files pagina (display system filesystems; de <poolnaam>/zfsguru in zijn geheel verwijderen (destroy).
4) maak een pool aan op je systeem disk en doe de installatie daarop.

Stap 3 kan belangrijk zijn, anders krijg je een waarschuwing in stap 3 bij de installatie-pagina's.

[ Voor 14% gewijzigd door Verwijderd op 27-02-2012 01:03 ]

[3d0zer]

Haha... man ik voel me dagelijks een newbie sinds ik dit systeem heb draaien, maar wat draait het heerlijk als het eenmaal loopt... En het is leuk uitvinden en de mensen helpen je graag online... de community is top!

Check mijn stukje over de raid array maar eens.. over newbie gesproken haha kan mezelf voor mijn kop timmeren... succes!

[The Executer]

3d0zer schreef op maandag 27 februari 2012 @ 01:04:
Haha... man ik voel me dagelijks een newbie sinds ik dit systeem heb draaien, maar wat draait het heerlijk als het eenmaal loopt... En het is leuk uitvinden en de mensen helpen je graag online... de community is top!

Check mijn stukje over de raid array maar eens.. over newbie gesproken haha kan mezelf voor mijn kop timmeren... succes!

Had het net gelezen idd... .

(PS: Reacties zijn wat kort, heb laptop op schoot, vriendin ligt op 40 cm afstand te pitten ).

[Pantagruel]

Verwijderd schreef op maandag 27 februari 2012 @ 00:50:
Het zijn Mini-SAS aansluitingen. Zo heb je maar twee kabels die elk in 4 SATA kabels veranderen, afhankelijk van welke kabels je neemt. Norco behuizingen met ruimte voor veel schijven hebben een model waarbij je gewoon meerdere Mini-SAS kakbels kunt inpluggen, dus elke kabel 4 disks zonder op te splitsen. Maargoed normaal werk je dus met deze kabels:

SFF-8087 (niet Reverse!)

[afbeelding]

De kabels moet je meestal apart kopen. En ja je kunt 3TB+ disks op deze controller aansluiten dacht ik, check dat nog even voor de zekerheid via google.

Volgens de doc's doet de M1015 3 TB disks (persoonlijk niet getest), zie mijn eerdere lijstje me controllers.

[matty___]

Hoe vaak zetten jullie de scrub aan? of laat je het (freebsd) via de periode script lopen?

[jadjong]

Elke zondagavond.

[Verwijderd]

Niet meer sinds ik rsync laat draaien; dan wordt ook alle data aangesproken en dus hetzelfde effect als een scrub.

@The Executer: is het nog gelukt allemaal?

[matty___]

Verwijderd schreef op maandag 27 februari 2012 @ 12:27:
Niet meer sinds ik rsync laat draaien; dan wordt ook alle data aangesproken en dus hetzelfde effect als een scrub.

@The Executer: is het nog gelukt allemaal?

rsync voor backup? hoezo niet zfs send? of is het target geen zfs system?

[ Voor 5% gewijzigd door matty___ op 27-02-2012 12:43 ]

[Verwijderd]

Ja tijdje terug geprobeerd snapshots te senden, maar best veel werk om mijn scripts om te zetten, en eigenlijk werkt het prima met rsync. Dus voorlopig laat ik het zo.

Maargoed mijn punt was: als je een regelmatige backup doet geldt dat in feite ook als scrub. Scrub is niets meer dan ZFS forceren alle data te verwerken; waarbij automatisch fouten gefixed worden net als bij normale I/O zou gebeuren. Je kunt dus prima nooit scrubben maar wel elke week een backup maken, waarbij je alle data op de pool inleest. Dan heb je hetzelfde effect als een aparte scrub.

[FireDrunk]

dd if=/dev/pool of=/dev/null bs=16M zou dus ook gewoon een scrub kunnen zijn?

[Verwijderd]

Ja, behalve dan natuurlijk dat je je pool niet als block-device kunt lezen. Maar een rsync die alle bestanden op een pool inleest, zorgt ervoor dat ZFS al die data verwerkt en dus ook checksum fouten opspoort. Een scrub doet niets bijzonders behalve forceren iets te lezen. Het repareren gebeurt dus ook bij normale leesacties. Enig punt is wel dat rsync bijvoorbeeld corruptie in snapshots niet zou detecteren, omdat die data niet wordt opgevraagd. Maar in mijn geval hebben voornamelijk de backup servers incremental snapshots.

[The Executer]

Verwijderd schreef op maandag 27 februari 2012 @ 12:27:
@The Executer: is het nog gelukt allemaal?

Zeker gelukt! Ik moet zeggen, draait allemaal HEERLIJK. Toch blijf ik een beetje twijfelen: Of een Synology/Netgear NAS, of zelfbouw. Zelf bouwen biedt als voordeel iets "te doen hebben", hele opzet en alles. Nadeel: Programma's ed zijn iets lastiger aan de praat te krijgen dan op een synology/netgear. Aan de andere kant: Tijd = geld, waarbij een prefab NAS lekker snel op te zetten is zonder veel problemen (Alhoewel dat met ZFS Guru ook goed te doen is ).

Laat ik het zo zeggen: Na Freenas, heeft ZFS Guru mij dusdanig overtuigd dat de keus moeilijk gaat worden. Aan ZFS zitten veel voordelen die goed uitkomen.

[DrFlash]

Verwijderd schreef op zondag 26 februari 2012 @ 23:03:
Ik zie niet goed met welke variabelen die grafieken gemaakt zijn; gaat het om uBER fouten of om totaal gefaalde disks. Het is wel raar dat een enkele disk in RAID0 volgens die site 80% kans van falen zou hebben binnen 5 jaar. Dat klopt denk ik niet helemaal.

Ik vind dit op zich geen rare cijfers, ik werk hier met redelijk grote disksets (zowel scsi als s-ata) en de hoeveelheid drives die we moeten vervangen voor het einde van de afschrijving (5jr) is best veel

[ Voor 12% gewijzigd door DrFlash op 27-02-2012 14:20 ]

[CurlyMo]

matty___ schreef op maandag 27 februari 2012 @ 12:42:
[...]

rsync voor backup? hoezo niet zfs send? of is het target geen zfs system?

Ik gebruik rdiff-backup, ik stuur geen snapshots heen en weer omdat

• Je vast zit aan een zfs ontvanger
• Deze laatst genoemde progs makkelijker te configureren zijn als je data wilt toevoegen of verwijderen uit je backup
• Ik niet alle data uit al mijn snapshots wil backuppen. Mijn snapshots (handigheid) staan in die zin los van mijn backup (veiligheid).

[ Voor 7% gewijzigd door CurlyMo op 27-02-2012 14:29 ]

[Ultraman]

In mijn geval is de machine met ZFS juist de machine waar backups naar toe gaan.
Ik gebruik rsync om de data er naar toe te kopiëren en ik ben van plan om snapshots te gaan nemen op een reguliere basis zodat iets als rdiff-backup niet nodig is. Want de snapshots zijn dan de punten uit de geschiedenis.

Moet alleen het een en ander configureren
Want nu gebeurt het backuppen met de hand en dat is niet de bedoeling, dat moet je automatiseren.

[ Voor 12% gewijzigd door Ultraman op 27-02-2012 15:29 ]

[Goderic]

Verwijderd schreef op maandag 27 februari 2012 @ 13:07:
Ja, behalve dan natuurlijk dat je je pool niet als block-device kunt lezen. Maar een rsync die alle bestanden op een pool inleest, zorgt ervoor dat ZFS al die data verwerkt en dus ook checksum fouten opspoort. Een scrub doet niets bijzonders behalve forceren iets te lezen. Het repareren gebeurt dus ook bij normale leesacties. Enig punt is wel dat rsync bijvoorbeeld corruptie in snapshots niet zou detecteren, omdat die data niet wordt opgevraagd. Maar in mijn geval hebben voornamelijk de backup servers incremental snapshots.

Wordt er bij een leesactie op een mirror beide kopieën gelezen en gecorrigeerd op fouten?
In een video over BTRFS wordt er gezegd dat er bij mirrors maar één van de twee kopieën gelezen en indien nodig gecorrigeerd wordt. Mocht de tweede kopie kapot gaan merk je daar dus niets van, tenzij je een scrub doet of de eerste kopie ook kapot gaat en je data kwijt is. Wat dus betekent dat je regelmatig scrubs moet doen.

Nu vroeg ik me af of dit bij ZFS ook zo is maar ik kon hier niet direct iets over vinden. Volgens jou werk het bij ZFS dus anders en worden alle kopieën gelezen en gecorrigeerd indien nodig?

Verwijderd schreef op maandag 27 februari 2012 @ 00:23:
En ja je kunt prima onboard en HBA door elkaar gebruiken. Je onboard poorten zijn het allerbeste, met name voor SSDs omdat je dan TRIM support hebt. Dus je SSDs altijd op onboard chipset controller en je hardeschijven kun je verdelen over één of meerdere HBA's en je overige onboard poorten. Gebruik niet de extra 'Marvell' poorten die veelal op moederborden zitten. Je chipset levert maximaal 6 poorten (héél nieuwe chipsets 8 poorten; maar die zijn nog niet beschikbaar geloof ik).

Is er dan al een OS dat trim i.c.m. ZFS ondersteunt?

[Verwijderd]

Volgens jou werk het bij ZFS dus anders en worden alle kopieën gelezen en gecorrigeerd indien nodig?

Waar zeg ik dat? Bij ZFS wordt volgens mij één kopie gelezen en gecontroleerd met behulp van checksums. De leessnelheden op mirrors gaat richting de RAID0-performance, want bijzonder is omdat maar weinig mirror-engines dit voor elkaar krijgen.

Bedenk ook dat als files al in de ARC cache bevinden je de disk-contents zelf niet controleert. Dus een scrub is natuurlijk wel de beste manier. Maar ik wil alleen maar aangeven dat je door simpelweg alle data aan te spreken al een heel eind komt, een soort impliciete scrub.

Fijn is gewoon dat ZFS geen aparte (offline) disk check utility kent maar dat fouten automatisch gecorrigeerd worden zodra ZFS ze tegenkomt. Dat gaat bij normale filesystems heel anders en die zijn dan ook veel gevoeliger voor fouten of corruptie in de metadata.

Is er dan al een OS dat trim i.c.m. ZFS ondersteunt?

ZFS is een CoW (Copy-on-Write) filesystem, dus TRIM gaat niet vanzelfsprekend samen met ZFS. Wel zijn CoW-filesystems al veel beter voor je SSD, waardoor je niet of nauwelijks TRIM nodig hebt voor normale storage. Bij L2ARC wil je wel overprovisioning gebruiken, en daarbij zou TRIM wel degelijk gewenst zijn. Ook ZVOLs wissen kan met BIO_DELETE. Nog genoeg verbeteringen denkbaar.

Maar ik doelde op dat je SSDs voordat je ze gaat gebruiken eerst even TRIM erase't, zodat je elke keer dat je de SSD voor iets configureert je met een schone lei begint. Het TRIMen duurt slechts 1 of 2 seconden. ZFSguru heeft dit in de Webinterface ingebouwd, maar dat werkt alleen voor schijven die 'ada' heten; dat zijn schijven die op een AHCI-controller zijn aangesloten, zoals je onboard chipset SATA poorten. Daarom je SSDs altijd op je onboard controller aansluiten.

[Goderic]

Verwijderd schreef op maandag 27 februari 2012 @ 17:34:
[...]

Waar zeg ik dat? Bij ZFS wordt volgens mij één kopie gelezen en gecontroleerd met behulp van checksums. De leessnelheden op mirrors gaat richting de RAID0-performance, want bijzonder is omdat maar weinig mirror-engines dit voor elkaar krijgen.

Bedenk ook dat als files al in de ARC cache bevinden je de disk-contents zelf niet controleert. Dus een scrub is natuurlijk wel de beste manier. Maar ik wil alleen maar aangeven dat je door simpelweg alle data aan te spreken al een heel eind komt, een soort impliciete scrub.

Fijn is gewoon dat ZFS geen aparte (offline) disk check utility kent maar dat fouten automatisch gecorrigeerd worden zodra ZFS ze tegenkomt. Dat gaat bij normale filesystems heel anders en die zijn dan ook veel gevoeliger voor fouten of corruptie in de metadata.

Wel, je zei dat alle data lezen op hetzelfde neerkomt als een scrub, niet?
Bij een scrub wordt alle data (en dus ook alle kopieën) gelezen en eventueel gecorrigeerd.
Als een kopie maken van je data (via rsync) op hetzelfde neerkomt als een scrub moeten beide kopieën gelezen worden, anders zou een scrub wél een grondigere controle zijn.
Of begreep ik je verkeerd?

Mijn vraag is eigenlijk of ZFS in mirror/RAID-Z ook de kopie/parity controleert bij een normale leesactie.
Als dit niet het geval is kunnen er toch nog fouten in je bestandssysteem zitten zonder dat je het merk en kun je als je nooit scrubt toch nog voor verassingen staan lijkt mij.

Verwijderd schreef op maandag 27 februari 2012 @ 17:34:
[...]
ZFS is een CoW (Copy-on-Write) filesystem, dus TRIM gaat niet vanzelfsprekend samen met ZFS. Wel zijn CoW-filesystems al veel beter voor je SSD, waardoor je niet of nauwelijks TRIM nodig hebt voor normale storage. Bij L2ARC wil je wel overprovisioning gebruiken, en daarbij zou TRIM wel degelijk gewenst zijn. Ook ZVOLs wissen kan met BIO_DELETE. Nog genoeg verbeteringen denkbaar.

Maar ik doelde op dat je SSDs voordat je ze gaat gebruiken eerst even TRIM erase't, zodat je elke keer dat je de SSD voor iets configureert je met een schone lei begint. Het TRIMen duurt slechts 1 of 2 seconden. ZFSguru heeft dit in de Webinterface ingebouwd, maar dat werkt alleen voor schijven die 'ada' heten; dat zijn schijven die op een AHCI-controller zijn aangesloten, zoals je onboard chipset SATA poorten. Daarom je SSDs altijd op je onboard controller aansluiten.

Ah, op die manier dus Ik dacht dat ik ergens gemist had dat e iemand TRIM in ZFS geïmplementeerd had.

[EnerQi]

Welke HD's zijn het "beste" te gebruiken voor een ZFS Nas? Hier en op andere sites wordt vooral de Samsung geadviseerd wegens het energiegebruik (startup) en prijs/performance.

Samsung is namelijk gekocht door WD dus ik twijfel of de Samsung F4 schijven nog lang geproduceerd gaan worden. Is deze zorg terecht of is het ook mogelijk om verschillende HD's (in grote en snelheid/cache) door elkaar te gebruiken zonder veel performance verlies? Nu voor WD gaan, zou (gezien de continuiteit) beter zijn maar door de agressieve headpark vrees ik voor de levensduur....

Het doel is om een Gigabit verbinding te gebruiken met meerdere gebruikers die op hetzelfde moment iets vragen (het lezen van een film/muziek via de htpc en opslaan/verwerken van gegevens).

Edit: Hmm toch ergens gelezen en na eens terugzoekend kwam ik deze post tegen
Verwijderd in "Het grote ZFS topic"
Edit 2: De plattergrootte van de pricewatch: Seagate Barracuda ST3000DM001, 3TB is 1 TB als ik het goed lees in de specificaties. Helaas kan ik die van de pricewatch: Western Digital Caviar Green WD30EZRX, 3TB niet vinden in de specificaties iemand die het weet?

[ Voor 34% gewijzigd door EnerQi op 27-02-2012 22:03 . Reden: Beter zoeken ]

[Ultraman]

EnerQi schreef op maandag 27 februari 2012 @ 20:21:
Welke HD's zijn het "beste" te gebruiken voor een ZFS Nas?

Het maakt ZFS niet uit wat voor schijven jij gebruikt. Je kunt dus geheel volgens eigen voorkeur inkopen doen.
Wel significant is de gebruikte sector grootte, 512b of 4K, hier dien je ashift voor goed te zetten en indien raidz ook rekening mee te houden met het inrichten van je pool.

Hier en op andere sites wordt vooral de Samsung geadviseerd wegens het energiegebruik (startup) en prijs/performance.

Samsung had een goede bang-for-your-buck verhouding. Ze waren meestal net iets goedkoper, maar niet zozeer beter of significant zuiniger.
En al zouden ze zuiniger qua start-up zijn, wat zou dat? Dat is een paar seconden op uren of dagen dat die disk rondjes maakt.

Samsung is namelijk gekocht door WD

Samsungs harddisk afdeling is gekocht door Seagate.

dus ik twijfel of de Samsung F4 schijven nog lang geproduceerd gaan worden. Is deze zorg terecht of is het ook mogelijk om verschillende HD's (in grote en snelheid/cache) door elkaar te gebruiken zonder veel performance verlies?

Zoals eerder gezegd: het maakt niet uit wat je door elkaar gooit, werken zal het.
Als je naar performance gaat kijken doe je er goed aan om combinaties te maken die rond hetzelfde niveau presteren, maar ook dit is weer erg gerelateerd aan wat voor setup je draait.
Als je een pool bestaat uit meerdere mirrors dan kan ZFS de load goed spreiden over de disken en zullen snelle schijven meer I/O's af kunnen handelen en benut je eventuele extra prestaties beter dan bij een raidz pool het geval zou zijn. Een raidz pool is is meer gericht op het gebruiken van zo min mogelijk blocks en toch redundantie te hebben. Bij sequential reads kan raidz ook wel vlot zijn, maar zodra je meer random I/O krijgt is (bij leesoperaties in ieder geval) een mirror koning omdat ZFS van beide disken afzonderlijk kan lezen.

Nu voor WD gaan, zou (gezien de continuiteit) beter zijn maar door de agressieve headpark vrees ik voor de levensduur....

Als je die headpark met WDIDLE op de langste timeout zet zit je redelijk veilig. Al ben ik met je eens dat ik ook liever een schijf heb waar dergelijke truukjes helemaal niet nodig zijn.

Het doel is om een Gigabit verbinding te gebruiken met meerdere gebruikers die op hetzelfde moment iets vragen (het lezen van een film/muziek via de htpc en opslaan/verwerken van gegevens).

Als er meerdere dingen tegelijk moeten plaatsvinden doe je er verstandig aan door je pool uit meer dan 1 vdev te laten bestaan zodat je de I/O's meer kunt uitspreiden.
Wat handig is hangt een beetje af van hoeveel schijven je wilt gaan inzetten. Indien vier, dan zou ik zeker voor een pool opgemaakt uit twee mirrors gaan.
Bij meer schijven kun je natuurlijk ook mirroring doen, want meer mirrors blijven ook doorschalen. Maar dan zou je ook kunnen gaan kijken naar meerdere raidz's en kijken of dat aan je eisen kan voldoen.
Is dus erg afhankelijk van je aanbod van schijven en wat voor prestaties je nodig hebt of verwacht.

Edit: Hmm toch ergens gelezen en na eens terugzoekend kwam ik deze post tegen
Verwijderd in "Het grote ZFS topic"

Zelf ben ik ooit drie Barracuda LP 1.5TB disken gekocht. Een jaar later vermeed ieder deze disken als de pest omdat ze zeer onbetrouwbaar zouden zijn. Clicks-of-death en firmware issues. Ik heb er twee jaar Linux mdadm raid5 meegedraaid zonder problemen...
Vorig jaar heb ik er een Hitachi 5K3000 2TB bij gehaald. Eigenlijk vind ik het nu jammer dat ik er toen niet meer heb gehaald, maar ja... ik heb de extra ruimte toch nog niet nodig. Goede schijf verder, is nu net een maand echt in gebruik, heeft zeker 9 maanden op de plank doorgebracht.
Van de LPs is er met de rebuild van mijn server een geweest die wat begon te klikken en ook 394 reallocated sectors heeft weten te ontwikkelen. Die is RMA gegaan en keurig vervangen.
WD heb ik ook flink wat disken van, zelf vijf 320GBers in bedrijf, ooit eentje van stuk gehad. Bij klanten zijn wat 640GBers in gebruik, nog nooit iets van gehoord.
De enige fabrikant waar ik sinds de 120GB dagen nooit meer iets van heb gekocht is Maxtor. En sindsdien heb ik vanalles gekocht en het is eigenlijk altijd wel goed gekomen, zelfs met "probleem"-modellen.

Wat ik doe is: zorgen dat ze netjes rond de 30 graden zijn, tot max 39.
Nieuwe disks worden niet direct in gebruik genomen maar eerst goed aan het werk gezet en meerdere malen volledig beschreven en gelezen.
Het systeem waarin ze worden gebruikt is voorzien van een A-merk voeding van voldoende capaciteit.
Daarnaast pas ik geen vormen van spin-down toe en doen de disken maandelijks, om de beurt, een extended self-test, waarvan ik mail krijg indien er iets noemenswaardig aan de SMART data veranderd.

Misschien heb ik geluk, maar ik heb tot nu toe grote ellende kunnen voorkomen doordat problemen zich niet voordeden of tijdig worden opgemerkt waarop ik maatregelen tref om een disk te vervangen. En zorg dat je backups hebt van het belangrijke spul. Dan kan je, ongeacht je schijven, maar weinig overkomen.

[Verwijderd]

Goderic schreef op maandag 27 februari 2012 @ 18:19:
[...]
Wel, je zei dat alle data lezen op hetzelfde neerkomt als een scrub, niet?
Bij een scrub wordt alle data (en dus ook alle kopieën) gelezen en eventueel gecorrigeerd.
(..)
Mijn vraag is eigenlijk of ZFS in mirror/RAID-Z ook de kopie/parity controleert bij een normale leesactie.
Als dit niet het geval is kunnen er toch nog fouten in je bestandssysteem zitten zonder dat je het merk en kun je als je nooit scrubt toch nog voor verassingen staan lijkt mij.

Ja, daarin heb je helemaal gelijk!

Overigens weet ik niet of dit ook op gaat voor RAID-Z; ik dacht het niet namelijk door de 1-phase reads; de parity disk kan toch niets anders doen dus waarschijnlijk wordt de parity wél gewoon gelezen. Als dat klopt - wat ik binnenkort een keer zal testen - betekent dit dat je bij RAID-Z familie bij lezen automatisch ook de parity leest en controleert. Althans ik ga er vanuit dat als ZFS de parity inleest die ook controleert; dat kan ik niet afzonderlijk testen. Ik zou ook niet weten wat ZFS er anders mee zou kunnen doen.

Bij mirror is verify minder urgent dan bij RAID5/6-familie. Bij RAID-Z familie is dat eigenlijk ook minder urgent, omdat RAID-Z nóóit read-modify-write cycles kent (kleine writes waarbij eerst data ingelezen moet worden om de nieuwe parity te bepalen = supertraag voor HDDs). Elke write in ZFS is automatisch de magische 'full block size' waarmee RAID5-engines heel snel kunnen schrijven. Om dit mogelijk te maken gebruikt ZFS dynamische stripesize, om zo altijd de magische grootte te bereiken. Hiermee los je in één klap de 'write hole' op en verklein je de kans dat parity niet in sync is bij een power failure.

Ultraman schreef op maandag 27 februari 2012 @ 22:36:
[...]
Het maakt ZFS niet uit wat voor schijven jij gebruikt. Je kunt dus geheel volgens eigen voorkeur inkopen doen.

Nou.. er zijn wel dingen waar je op wilt letten:

- gebruikt de schijf 4K sectoren ja of nee? Belangrijk als je RAID-Z wilt gebruiken want dan wil je het liefst aan de optimale configuraties voor 4K schijven houden
- hoe zuinig is de schijf in idle; belangrijk voor een 24/7 NAS
- hoe snel is de schijf met sequential I/O en hoe snel met random writes

De Samsung F4EG is met 136-140MB/s write sneller dan de 106-120 van de WD Greens. Ik vind hem zelf ook érg stil, is een van de zuinigste desktop schijven en zelfs een euro goedkoper dan de concurrentie in de 'gouden dagen' (58 euro voor de Samsung F4EG). Ik heb benchmarks gezien waarmee de Samsung F4EG vergeleken werd met de eerste generatie WD EARS (met 4x 500GB platters ipv de huidige 3x 666GB zoals de Samsung had), waarbij de verschillen enorm hoog opliepen; de Samsungs waren tot wel 2x sneller. Thread staat op HardOCP, heb niet zo snel een link. De nieuwe EARS is wel flink sneller, met name met random writes.

Ze waren meestal net iets goedkoper, maar niet zozeer beter of significant zuiniger.
En al zouden ze zuiniger qua start-up zijn, wat zou dat? Dat is een paar seconden op uren of dagen dat die disk rondjes maakt.

You're missing the point.

Het gaat niet om de energiekosten, maar om de benodigde energie die de voeding moet leveren. De Samsung F4EG doet 16W per schijf, wat met een PicoPSU met 150W betekent dat je zo rond de 8 schijven kunt opspinnen maximaal, en waarschijnlijk nog minder. Kies je andere schijven met 25W spinup dan kun je dus maar minder schijven met een zuinige PicoPSU opspinnen.

De verschillen in idle power zijn veel kleiner, met headparking is de nieuwere WD EARS 2TB wel zuiniger dan de Samsung F4EG, maar dan praten we over 0,2W. Nog leuk om op te merken: mijn zuinige Samsung M8 notebookschijven van 1TB die in mijn ZFS mini-server zitten, verbruiken volgens de specs slechts 0,58W, doordat het een dual platter design is (2x 500GB). Zo zie je ook maar hoe desktop-schijven achterlopen; aangezien notebookschijven al op 500GB per platter zitten en de Samsung M8 is al een tijdje uit.

Zoals eerder gezegd: het maakt niet uit wat je door elkaar gooit, werken zal het.

Ik zou géén verschillende type schijven in dezelfde RAID-Z-vdev stoppen. RAID-Z is erg gevoelig voor latency en bij voorkeur dus exact dezelfde schijven zodat je ook elke keer min of meer dezelfde latency hebt (rotational delay uitgezonderd). Bij schijven met andere firmware kunnen de latencies verschillen, bijvoorbeeld omdat de disk de I/O in andere volgorde afhandelt. Dat kan prestatieverschillen veroorzaken en bij RAID-Z geldt: de langzaamste disk bepaalt de snelheid voor alle schijven in dezelfde vdev.

Wat wel kan is één vdev met een RAID-Z met schijven van type X en een tweede vdev met RAID-Z van type Y. Dat werkt uitstekend, ook al is de tweede vdev heel anders (grotere schijven, minder/meer schijven, sneller dan de eerste vdev; geen probleem!). Als vdev2 sneller is dan vdev1, dan krijgt vdev2 ook meer data te verwerken. Zo verlies je dus geen performance; bij vdevs geldt dus níet de zwakte schakel telt, zoals bij RAID-Z het geval is.

Bij sequential reads kan raidz ook wel vlot zijn, maar zodra je meer random I/O krijgt is (bij leesoperaties in ieder geval) een mirror koning omdat ZFS van beide disken afzonderlijk kan lezen.

Voor servers inderdaad heel nuttig maar voor thuisgebruikers is een RAID-Z + SSD een gouden combinatie. RAID-Z met hardeschijven is sterk in sequential I/O, terwijl de L2ARC + SLOG zorgt voor snelle random IOps. Zo kun je goedkope 5400rpm schijven met SSDs combineren en de beste voordelen van beide technieken pakken; dat is graag wat ik zie! Maximaal profijt voor zo min mogelijk geld. Dat je overkill IOps performance krijgt who cares; we zijn tweakers toch.

Als er meerdere dingen tegelijk moeten plaatsvinden doe je er verstandig aan door je pool uit meer dan 1 vdev te laten bestaan zodat je de I/O's meer kunt uitspreiden.

Zie hierboven, als je een SSD erbij neemt hoeft dit dus niet zo'n punt te zijn. Je kunt wel de IOps van je hardeschijven verdubbelen met een 2e vdev, maar een verdubbeling is niet significant genoeg. Je wilt 100 tot 1000 keer de IOps, wat mogelijk is met SSDs. Natuurlijk geldt wel dat L2ARC alleen nuttig is voor random reads die repetitief (herhaaldelijk) gebeuren, dus geen 100% random workload.

Wat handig is hangt een beetje af van hoeveel schijven je wilt gaan inzetten. Indien vier, dan zou ik zeker voor een pool opgemaakt uit twee mirrors gaan.

Bleh, mirrors wil je toch niet bij mass storage? Dan liever RAID-Z2 dan heb je twee disk failures gegarandeerd ipv mirror die maar één kan garanderen (met potentieel meer disk failures; maar dat is casino).

Mirrors hebben wel een groot voordeel: ZFS kan mirror vdevs naar single disks converteren en andersom. Zo kun je met disks spelen en makkelijk uitbreiden, b.v. eerst met één disk en later uitbreiden met mirror. Wel enigszins riskant: als één mirror (vdev) faalt dan is je hele pool ontoegankelijk. Vandaar dat als je zekerheid wilt RAID-Z2 gewoon supergoed is, zeker vanaf 6 schijven waarbij je overhead op 33% of lager ligt.

[ Voor 13% gewijzigd door Verwijderd op 28-02-2012 01:57 ]

[donnie1992]

Ik heb even een redelijk simpele vraag,
Ik heb nu een ZFS pool bestaande uit 3 schijven, 1 daarvan heeft wat slechte sectoren.
Nu gaat die schijf dus RMA wat inhoud dat ik hem eerst op moet sturen voordat ik een nieuwe terugkrijg.
Nu is mijn vraag, kan ik gewoon de defecte schijf eruit halen, zonder dat ik eerst een replace commando oid moet uitvoeren? Of moet ik meteen al een vervanging hebben om hem te laten resilveren?
Alvast bedankt

P.S
Ik werk trouwens op Ubuntu Desktop edition omdat de server ook als media centre fungeert

[ Voor 10% gewijzigd door donnie1992 op 28-02-2012 05:33 ]

[Ultraman]

Verwijderd schreef op dinsdag 28 februari 2012 @ 01:56:
Nou.. er zijn wel dingen waar je op wilt letten:

- gebruikt de schijf 4K sectoren ja of nee? Belangrijk als je RAID-Z wilt gebruiken want dan wil je het liefst aan de optimale configuraties voor 4K schijven houden

True, waarom ik vergeten ben dat op te schrijven... Zat in mijn achterhoofd en het is inmiddels ook aardig bekend. Aan gedacht, vergeten op te schrijven, even toegvoegd...

- hoe zuinig is de schijf in idle; belangrijk voor een 24/7 NAS

Efficiëntie is fijn ja. Maar als schijven van zelfde grootte en spindle speed 0.5W uit elkaar liggen kan ik beter mijn tijd steken in centen verdienen dan een paar uur besteden om uit te zoeken wat het verbruik van schijf X tov schijf Y en Z is. Die verschillen zijn vrij insignificant tussen Eco 3.5" schijven imho. Pas als je met grote arrays gaat spelen is dit iets waar je mogelijk op wilt letten.
Voor mijn zes disken maakt het mij niet uit of ze samen 5 Watt minder hadden kunnen verstoken. Dat zou op jaarbasis ongeveer een tientje besparen (uitgaande van 22 cent per kWh).

Stel je hebt een array hebt van 24 disken of meer, dan gaat het meer meespelen.
EnerQi had in december zes disken op zijn verlanglijstje staan, mogelijk is dat aantal gelijk gebleven.

- hoe snel is de schijf met sequential I/O en hoe snel met random writes

Altijd belangrijk. Dat is waar je je schijven op wilt uitzoeken. En nog toffer is als je dan performance/watt en geschatte kosten mee kunt nemen.

De Samsung F4EG is met 136-140MB/s write sneller dan de 106-120 van de WD Greens. Ik vind hem zelf ook érg stil, is een van de zuinigste desktop schijven en zelfs een euro goedkoper dan de concurrentie in de 'gouden dagen' (58 euro voor de Samsung F4EG). Ik heb benchmarks gezien waarmee de Samsung F4EG vergeleken werd met de eerste generatie WD EARS (met 4x 500GB platters ipv de huidige 3x 666GB zoals de Samsung had), waarbij de verschillen enorm hoog opliepen; de Samsungs waren tot wel 2x sneller. Thread staat op HardOCP, heb niet zo snel een link. De nieuwe EARS is wel flink sneller, met name met random writes.

Je ziet mij nergens beweren dat de F4EG een slechte schijf zou zijn. Integendeel, het is een erg populaire schijf voor dit soort builds, met een goede reden

You're missing the point.

Het gaat niet om de energiekosten, maar om de benodigde energie die de voeding moet leveren. De Samsung F4EG doet 16W per schijf, wat met een PicoPSU met 150W betekent dat je zo rond de 8 schijven kunt opspinnen maximaal, en waarschijnlijk nog minder. Kies je andere schijven met 25W spinup dan kun je dus maar minder schijven met een zuinige PicoPSU opspinnen.

Ach so...
In dit gebied kom je zodra je met PicoPSU gaat werken en je ook daadwerkelijk gaat berekenen wat je setup zal gaan gebruiken. En niet vergeten wat hoofdruimte over te houden in zo'n geval.

Moge duidelijk zijn: Ik gebruik een normale ATX voeding.
En zodra je een normale ATX voeding gebruikt hoef je je hier eigenlijk geen zorgen over te maken.
Ik gebruik een be quiet! Pure Power L7 350W in mijn server en ik zag dat EnerQi daar het 300W broertje van op de lijst heeft staan (tip: de 350W is maar 2 euro duurder ).
Is een goedkope voeding, zal vast niet de meest efficiente zijn, maar hij is wel 80 Plus certified.
Hier geldt ook weer: je kunt tijd steken in het lezen van reviews en specs om een hele efficiënte voeding te kopen. Of je kiest een model die het gemiddeld genomen goed doet.

Als je ergens tijd in gaat steken, zou ik eerder naar mijn voeding kijken: om die zo efficient mogelijk proberen te kiezen dan te gaan letten op de consumptie van mijn schijven. Ik denk dat je hier meer kan winnen.

De verschillen in idle power zijn veel kleiner, met headparking is de nieuwere WD EARS 2TB wel zuiniger dan de Samsung F4EG, maar dan praten we over 0,2W. Nog leuk om op te merken: mijn zuinige Samsung M8 notebookschijven van 1TB die in mijn ZFS mini-server zitten, verbruiken volgens de specs slechts 0,58W, doordat het een dual platter design is (2x 500GB). Zo zie je ook maar hoe desktop-schijven achterlopen; aangezien notebookschijven al op 500GB per platter zitten en de Samsung M8 is al een tijdje uit.

Precies wat ik iets hierboven wil zeggen: binnen Eco 3.5" kamp zijn de verschillen insignificant.
Als je echt voor zuinigheid (en mogelijk ook nog meer stilte) dan moet je naar 2.5" disken gaan kijken. Daar wordt veel meer gekeken naar verbruik van een disk en die producten worden er dan ook naar ontworpen.

Ik zou géén verschillende type schijven in dezelfde RAID-Z-vdev stoppen. RAID-Z is erg gevoelig voor latency en bij voorkeur dus exact dezelfde schijven zodat je ook elke keer min of meer dezelfde latency hebt (rotational delay uitgezonderd). Bij schijven met andere firmware kunnen de latencies verschillen, bijvoorbeeld omdat de disk de I/O in andere volgorde afhandelt. Dat kan prestatieverschillen veroorzaken en bij RAID-Z geldt: de langzaamste disk bepaalt de snelheid voor alle schijven in dezelfde vdev.

Eens.
Verschillende disken bij elkaar stoppen kan wel: ZFS zal er geen bezwaar tegen hebben, dus werken zal het.
Maar het is prestatiegewijs het beste om hier te matchen zodat je niet tegen dergelijke verschillen in disken aanloopt.
Ik ben wel benieuwd hoe zeer dit merkbaar is eigenlijk. Want als je nu drie 2TB disken zou kopen van verschillende fabrikanten en die bij elkaar in een raidz zou drukken, ben ik erg benieuwd wat het prestatieverschil zou zijn met drie gelijke schijven. Zolang het allemaal een beetje in dezelfde generatie en klasse zit zou het misschien nog wel eens mee kunnen vallen.
Toevallig bekend met een bron die iets dergelijks heeft uitgevoerd?

Wat wel kan is één vdev met een RAID-Z met schijven van type X en een tweede vdev met RAID-Z van type Y. Dat werkt uitstekend, ook al is de tweede vdev heel anders (grotere schijven, minder/meer schijven, sneller dan de eerste vdev; geen probleem!). Als vdev2 sneller is dan vdev1, dan krijgt vdev2 ook meer data te verwerken. Zo verlies je dus geen performance; bij vdevs geldt dus níet de zwakte schakel telt, zoals bij RAID-Z het geval is.

Voor servers inderdaad heel nuttig maar voor thuisgebruikers is een RAID-Z + SSD een gouden combinatie. RAID-Z met hardeschijven is sterk in sequential I/O, terwijl de L2ARC + SLOG zorgt voor snelle random IOps. Zo kun je goedkope 5400rpm schijven met SSDs combineren en de beste voordelen van beide technieken pakken; dat is graag wat ik zie! Maximaal profijt voor zo min mogelijk geld. Dat je overkill IOps performance krijgt who cares; we zijn tweakers toch

[..]

Bleh, mirrors wil je toch niet bij mass storage? Dan liever RAID-Z2 dan heb je twee disk failures gegarandeerd ipv mirror die maar één kan garanderen (met potentieel meer disk failures; maar dat is casino).

Mja ik gebruik vier 1.5TB schijven, dus met raidz2 zou ik net zoveel capaciteit verliezen als met mirrors. Bij zes disken ben ik helemaal met je eens dat raidz2 voor de thuisgebruiken interessanter is, dat zou ik zelf dan ook doen.

Wat SSD betreft: Ik heb geen SSD om in te zetten als L2ARC en al helemaal geen SSD om in te zetten als SLOG. En centen heb ik als op uitwonende student ook niet . Daarnaast gaat vrijwel al mijn communicatie met de server over het internet, waardoor ik zelf ook weinig zal merken van dergelijke prestaties.
Mijn broertje en ouders benutten de server ook, waarvan laatstgenoemde enkel voor automatische backups.

Mirrors hebben wel een groot voordeel: ZFS kan mirror vdevs naar single disks converteren en andersom. Zo kun je met disks spelen en makkelijk uitbreiden, b.v. eerst met één disk en later uitbreiden met mirror.

Flexibiliteit is inderdaad een grote win bij mirrors en daarnaast is het Keep-It-Simple-Stupid.
Maar een nog grotere reden: mijn migratiepad.
Ik had drie disken mdadm raid5. Hierop stond data die bewaard moest blijven als dat ff kon. Vooraf heb ik die data gemigreerd naar een 2TB (voor 1.5TB gepartitioneerd) Hitachi met ZFS er op.
Bij migratie van de hardware naar de nieuwe kast heeft een oude disk het leven gelaten en is RMA gegaan. Dus maar twee disken over die leeg konden.

Ik had een broken raid kunnen maken, maar dat was dan op oude schijven geweest waarvan er net een broertje was overleden. Nee, daar was ik niet echt gerust bij.
Ik heb een van de Barracuda LPs in mirror gezet met de Hitachi, dan had ik weer redundantie. Maar maar 1.5TB aan opslag. Daar later een three-way mirror van gemaakt, dat voelt super veilig zeg!

Zodra de derde LP terug was van RMA heb ik een disk van de mirror afgehaald. Daar een ZFS striped pool mee gemaakt over die twee disken, pool van dus 2.8TB. Data gekopieerd en scrubbed: OK.
De laatste LP van de mirror afgehaald en attached aan een van de striped disk. Toen had ik 1 mirror en 1 single in een pool. Scrubbed: OK.
Scriptje gemaakt die de Hitachi pool zou destroyen, wipen en aan de laatste disk van de nieuwe pool zou toevoegen, zodat dit in een rits zou gebeuren en de benodigde tijd zo klein mogelijk zou blijven.
Scrub achteraf: OK. Prima, striped mirror.

Nu langzaam centjes aan het incalculeren om ooit die oudere LPs te vervangen.
Vervang ik LP die samen met de Hitachi in een mirror zit voor een 2TB disk, dan krijg ik ook gelijk 500GB extra ruimte op mijn pool. En indien ze het blijven doen is dat ook prima, dan houdt ik dat geld apart om een reserve disk te kopen voor als er een fouten mocht gaan ontwikkelen.

[Obscurax]

Sinds eergisteren is er een schijf van me faulted en vandaag is daar nog een andere bij gekomen.
Wat kan ik nu het beste doen tot de nieuwe schijven er zijn? De NAS uitzetten?
Ik heb de deze schijven sinds 05/2011 en het zijn Hitachi 5K3000's.

code:

pool overview:

      pool: tank
 state: DEGRADED
status: One or more devices are faulted in response to persistent errors.
    Sufficient replicas exist for the pool to continue functioning in a
    degraded state.
action: Replace the faulted device, or use 'zpool clear' to mark the device
    repaired.
  scan: scrub repaired 0 in 4h19m with 0 errors on Sun Feb 26 07:20:20 2012
config:

    NAME        STATE     READ WRITE CKSUM
    tank        DEGRADED     0     0     0
      raidz2-0  DEGRADED     0     0     0
        c1t0d0  FAULTED      1   597     0  too many errors
        c1t1d0  ONLINE       0     0     0
        c1t2d0  FAULTED      0 1.65K     0  too many errors
        c1t3d0  ONLINE       0     0     0
        c1t4d0  ONLINE       0     0     0
        c1t5d0  ONLINE       0     0     0

[marcop23]

Ik zit nog steeds na te denken over een servertje, die ergens in mei ofzo wel gaat komen, hoop ik.

Ik ga waarschijnlijk een HP Microserver N40L kopen. Ik wil graag een kleine pool van 3 2 of 3TB disks, met een SSD als read cache. Dit is in Linux RAID niet mogelijk, in ZFS wel.

Nu doet die N40L geen vt-d. Toch wil ik ook graag tvheadend draaien. Nu is het doorgeven van zo'n kaartje bij virtualisering zonder vt-d geloof ik niet of nauwelijks mogelijk, dus zal het op 1 OS moeten. Omdat FreeBSD geen tvheadend port heeft, dacht ik aan Debian/kFreeBSD. Ik heb namelijk al wel vrij veel ervaring met Debian.

Is het alleen moeilijk om de webinterface van ZFSGuru werkend te krijgen op Debian/kFreeBSD? Ik kan inmiddels erg goed met Debian en de cli daarvan omgaan, maar heb nog nauwelijks verstand van ZFS.

[FireDrunk]

@Obscurax, misschien wel verstandig om je NAS uit te zetten inderdaad. 2 disk failures in zo'n korte tijd, is wel snel... Misschien een rotte breakout SAS kabel of een rotte voeding?

[Ultraman]

Obscurax schreef op dinsdag 28 februari 2012 @ 10:36:
Sinds eergisteren is er een schijf van me faulted en vandaag is daar nog een andere bij gekomen.
Wat kan ik nu het beste doen tot de nieuwe schijven er zijn? De NAS uitzetten?
Ik heb de deze schijven sinds 05/2011 en het zijn Hitachi 5K3000's.

code:

pool overview:

      pool: tank
 state: DEGRADED
status: One or more devices are faulted in response to persistent errors.
    Sufficient replicas exist for the pool to continue functioning in a
    degraded state.
action: Replace the faulted device, or use 'zpool clear' to mark the device
    repaired.
  scan: scrub repaired 0 in 4h19m with 0 errors on Sun Feb 26 07:20:20 2012
config:

    NAME        STATE     READ WRITE CKSUM
    tank        DEGRADED     0     0     0
      raidz2-0  DEGRADED     0     0     0
        c1t0d0  FAULTED      1   597     0  too many errors
        c1t1d0  ONLINE       0     0     0
        c1t2d0  FAULTED      0 1.65K     0  too many errors
        c1t3d0  ONLINE       0     0     0
        c1t4d0  ONLINE       0     0     0
        c1t5d0  ONLINE       0     0     0

Eens met FireDrunk ^^ .
Ga eens op onderzoek uit.
Want natuurlijk kunnen die schijven defect zijn, maar ik ben ook benieuwd of het niet stiekem een andere oorzaak heeft, zoals bijvoorbeeld een los zittende kabel.
Inspecteer ook de SMART attributen, die kunnen ook meer licht op de zaak werpen.

[FireDrunk]

Mocht je het lastig vinden om SMART data op je NAS uit te lezen, kan je de disk natuurlijk gewoon in een Windows machine hangen en daar SMART uitlezen. Zolang je het ding niet formatteert zou dat goed moeten gaan

[Verwijderd]

Smartmontools draait toch gewoon onder Solaris, dus waarom zou dat niet lukken? Windows is mogelijk gevaarlijk als je 'whole disks' gebruikt zonder partitie. Windows vraagt je dan om de schijven te 'initialiseren', wat onschuldig klinkt maar alle schijven overschrijft met een nieuwe partitietabel; in feite een quick format. Initialiseren is een heel slecht gekozen woord, omdat het veels te onschuldig klinkt voor een operatie die onomkeerbaar data vernietigt en in potentie je hele pool. Dat is ook een van de redenen waarom je beter altijd partities gebruikt.

marcop23 schreef op dinsdag 28 februari 2012 @ 11:40:
Ik ga waarschijnlijk een HP Microserver N40L kopen. Ik wil graag een kleine pool van 3 2 of 3TB disks, met een SSD als read cache.

Nu doet die N40L geen vt-d. Toch wil ik ook graag tvheadend draaien. Omdat FreeBSD geen tvheadend port heeft, dacht ik aan Debian/kFreeBSD. Ik heb namelijk al wel vrij veel ervaring met Debian.

En dus? Kun je opeens goed met ZFS overweg?

Volgens mij wil je gewoon twee dingen:
1. een ZFS server
2. een workstation waarop je grafische programma's zoals tvheadend draait

Waarom zou je die twee willen integreren op één systeem? Als je beide al op één systeem wilt draaien, zou ik de tv dingus in een VM laten draaien en ZFS zonder virtualisatie. Debian en Linux heeft niet mijn voorkeur als ZFS server, is de web-interface van ZFSguru zo moeilijk dat je alleen met Debian overweg kan? Of ging het meer om de extra dingen zoals de programma's en andere non-ZFS dingen die je wilt kunnen? Als dat laatste zo is, waarom dan niet ZFSguru draaien met een Ubuntu/Debian VM waarop je grafische programma's draait?

Zelf zou ik ook niet voor zo'n HP server gaan. Zo zuinig zijn ze niet want ze gebruiken een ouderwetse chipset met IGP. Je hebt minimale uitbreidingsmogelijkheden, bij 3 schijven gebruik je al tot 100W van je 150W voeding en je RAM en CPU is natuurlijk beperkt. Dan vind ik een Brazos systeem 10 keer beter en ook de helft minder energieverbruik.

[Obscurax]

De faulted disks zijn niet te benaderen met smartmontools, de andere wel.
Dus ik ben haast zeker dat ze stuk zijn.
Maar ik kan ze dus beter niet testen met mijn Windows desktop voor de zekerheid?
Edit: En met een OpenIndiana live DVD op de desktop?

[ Voor 12% gewijzigd door Obscurax op 28-02-2012 18:46 ]

[marcop23]

Verwijderd schreef op dinsdag 28 februari 2012 @ 17:20:
[...]

En dus? Kun je opeens goed met ZFS overweg?

Volgens mij wil je gewoon twee dingen:
1. een ZFS server
2. een workstation waarop je grafische programma's zoals tvheadend draait

Waarom zou je die twee willen integreren op één systeem? Als je beide al op één systeem wilt draaien, zou ik de tv dingus in een VM laten draaien en ZFS zonder virtualisatie. Debian en Linux heeft niet mijn voorkeur als ZFS server, is de web-interface van ZFSguru zo moeilijk dat je alleen met Debian overweg kan? Of ging het meer om de extra dingen zoals de programma's en andere non-ZFS dingen die je wilt kunnen? Als dat laatste zo is, waarom dan niet ZFSguru draaien met een Ubuntu/Debian VM waarop je grafische programma's draait?

[...]

Tvheadend is geen grafisch programma, het is een tv-stream daemon met een webinterface. Ik heb ook helemaal geen grafische omgeving nodig. Ik zou in ieder geval graag een installatie hebben met daarop ZFS en tvheadend, zonder te hoeven virtualiseren. Ik dacht daarbij aan Debian/kFreeBSD, omdat daar zowel ZFS als tvheadend op draaien, toch? De reden waarom ik niet wil virtualiseren is in ieder geval het gebrek aan vt-d bij low budget systeempjes.

Ik heb het waarschijnlijk wat onduidelijk uitgelegd, maar ik zou toch willen weten of dat mogelijk is.

[ Voor 3% gewijzigd door marcop23 op 28-02-2012 18:57 ]

[Verwijderd]

Obscurax schreef op dinsdag 28 februari 2012 @ 18:42:
De faulted disks zijn niet te benaderen met smartmontools, de andere wel.
Dus ik ben haast zeker dat ze stuk zijn.

Ik wat voor controller heb je ze aangesloten; je hebt al gereboot? Als je reboot kun je geen smartmontools gebruiken? Boot voor de gein eens met een ZFSguru livecd, daar kun je in de web-interface bij Disks -> SMART direct de SMART zien van je disks.

Als je gewoon een bad sector hebt waar Solaris slecht mee om gaat, of je gebruikt een controller die slecht met bad sectors omgaat, dan kan ik begrijpen dat je deze problemen krijgt, terwijl je schijf in principe nog jarenlang dienst kan doen.

donnie1992 schreef op dinsdag 28 februari 2012 @ 05:30:
Ik heb even een redelijk simpele vraag,
Ik heb nu een ZFS pool bestaande uit 3 schijven, 1 daarvan heeft wat slechte sectoren.
Nu gaat die schijf dus RMA wat inhoud dat ik hem eerst op moet sturen voordat ik een nieuwe terugkrijg.

Wat voor bad sectors en hoeveel? Kun je de SMART posten? Gezonde schijven met een paar bad sectors opsturen voor RMA kan ik afraden; wellicht krjig je een kwalitatief veel minder goede 'refurbished' schijf terug.

Nu is mijn vraag, kan ik gewoon de defecte schijf eruit halen, zonder dat ik eerst een replace commando oid moet uitvoeren? Of moet ik meteen al een vervanging hebben om hem te laten resilveren?
Alvast bedankt

Je geeft niet aan of je pool redundant is. Als je RAID-Z draait kun je je server gewoon uit doen en een schijf loskoppelen. Als je overige schijven bad sectors bevatten, heb je dan wel dataloss! Het is dus helemaal niet gunstig om zomaar een schijf uit je server te halen, zonder eerst een volledige scrub te doen. En dat zou ik alleen doen NADAT je de SMART data van je schijven weet; omdat die info kan veranderen door de scrub.

[Obscurax]

Verwijderd schreef op dinsdag 28 februari 2012 @ 19:01:
[...]

Ik wat voor controller heb je ze aangesloten; je hebt al gereboot? Als je reboot kun je geen smartmontools gebruiken? Boot voor de gein eens met een ZFSguru livecd, daar kun je in de web-interface bij Disks -> SMART direct de SMART zien van je disks.

Als je gewoon een bad sector hebt waar Solaris slecht mee om gaat, of je gebruikt een controller die slecht met bad sectors omgaat, dan kan ik begrijpen dat je deze problemen krijgt, terwijl je schijf in principe nog jarenlang dienst kan doen.

Ik gebruik een geflashte Intel SASIC8I. Ik heb zonet de NAS terug opgestart.
Ze zijn terug benaderbaar 1 failed en de andere passed.
Maar beide geven hardware errors.

code:

id  cap     pool    vdev    state   error   smart_model     smart_type  smart_health    smart_sn    smart_temp
c1t0d0  2.00 TB     tank    raidz   FAULTED     Error: S:6 H:12 T:0     Hitachi HDS5C3020ALA632     sat,12  PASSED  ML0221F30LZXGD  27 °C
c1t1d0  2.00 TB     tank    raidz   ONLINE  Error: S:5 H:0 T:0  Hitachi HDS5C3020ALA632     sat,12  PASSED  ML0221F30MDNAD  29 °C
c1t2d0  2.00 TB     tank    raidz   FAULTED     Error: S:7 H:8 T:0  Hitachi HDS5C3020ALA632     sat,12  FAILED!     ML0221F30MDL6D  26 °C
c1t3d0  2.00 TB     tank    raidz   ONLINE  Error: S:5 H:0 T:0  Hitachi HDS5C3020ALA632     sat,12  PASSED  ML0220F30MHUJD  27 °C
c1t4d0  2.00 TB     tank    raidz   ONLINE  Error: S:5 H:0 T:0  Hitachi HDS5C3020ALA632     sat,12  PASSED  ML0221F30MDEZD  28 °C
c1t5d0  2.00 TB     tank    raidz   ONLINE  Error: S:5 H:0 T:0  Hitachi HDS5C3020ALA632     sat,12  PASSED  ML0221F30MDMND  28 °C
c3t0d0  160.04 GB   rpool   mirror  ONLINE  Error: S:5 H:0 T:0  WDC WD1600BEVT-00A23T0  sat,12  PASSED  WDWXJ1A21N8914  24 °C
c3t1d0  160.04 GB   rpool   mirror  ONLINE  Error: S:5 H:0 T:0  WDC WD1600BEVT-00A23T0  sat,12  PASSED  WDWXJ1A21E4986  23 °C

smartstarts faulted 1

code:

/usr/sbin/smartctl -a -d sat,12 -T permissive /dev/rdsk/c1t0d0s0
smartctl 5.40 2010-10-16 r3189 [i386-pc-solaris2.11] (local build)
Copyright (C) 2002-10 by Bruce Allen, http://smartmontools.sourceforge.net

=== START OF INFORMATION SECTION ===
Device Model:     Hitachi HDS5C3020ALA632
Serial Number:    ML0221F30LZXGD
Firmware Version: ML6OA580
User Capacity:    2,000,398,934,016 bytes
Device is:        Not in smartctl database [for details use: -P showall]
ATA Version is:   8
ATA Standard is:  ATA-8-ACS revision 4
Local Time is:    Tue Feb 28 19:09:26 2012 CET
SMART support is: Available - device has SMART capability.
SMART support is: Enabled

=== START OF READ SMART DATA SECTION ===
SMART overall-health self-assessment test result: PASSED

General SMART Values:
Offline data collection status:  (0x84) Offline data collection activity
                    was suspended by an interrupting command from host.
                    Auto Offline Data Collection: Enabled.
Self-test execution status:      (   0) The previous self-test routine completed
                    without error or no self-test has ever 
                    been run.
Total time to complete Offline 
data collection:         (21947) seconds.
Offline data collection
capabilities:            (0x5b) SMART execute Offline immediate.
                    Auto Offline data collection on/off support.
                    Suspend Offline collection upon new
                    command.
                    Offline surface scan supported.
                    Self-test supported.
                    No Conveyance Self-test supported.
                    Selective Self-test supported.
SMART capabilities:            (0x0003) Saves SMART data before entering
                    power-saving mode.
                    Supports SMART auto save timer.
Error logging capability:        (0x01) Error logging supported.
                    General Purpose Logging supported.
Short self-test routine 
recommended polling time:    (   1) minutes.
Extended self-test routine
recommended polling time:    ( 255) minutes.
SCT capabilities:          (0x003d) SCT Status supported.
                    SCT Error Recovery Control supported.
                    SCT Feature Control supported.
                    SCT Data Table supported.

SMART Attributes Data Structure revision number: 16
Vendor Specific SMART Attributes with Thresholds:
ID# ATTRIBUTE_NAME          FLAG     VALUE WORST THRESH TYPE      UPDATED  WHEN_FAILED RAW_VALUE
  1 Raw_Read_Error_Rate     0x000b   100   100   016    Pre-fail  Always       -       0
  2 Throughput_Performance  0x0005   137   137   054    Pre-fail  Offline      -       91
  3 Spin_Up_Time            0x0007   141   141   024    Pre-fail  Always       -       362 (Average 413)
  4 Start_Stop_Count        0x0012   100   100   000    Old_age   Always       -       1999
  5 Reallocated_Sector_Ct   0x0033   100   100   005    Pre-fail  Always       -       0
  7 Seek_Error_Rate         0x000b   099   099   067    Pre-fail  Always       -       1
  8 Seek_Time_Performance   0x0005   146   146   020    Pre-fail  Offline      -       29
  9 Power_On_Hours          0x0012   100   100   000    Old_age   Always       -       6582
 10 Spin_Retry_Count        0x0013   100   100   060    Pre-fail  Always       -       0
 12 Power_Cycle_Count       0x0032   100   100   000    Old_age   Always       -       52
192 Power-Off_Retract_Count 0x0032   099   099   000    Old_age   Always       -       2001
193 Load_Cycle_Count        0x0012   099   099   000    Old_age   Always       -       2001
194 Temperature_Celsius     0x0002   253   253   000    Old_age   Always       -       22 (Min/Max 16/45)
196 Reallocated_Event_Count 0x0032   100   100   000    Old_age   Always       -       0
197 Current_Pending_Sector  0x0022   100   100   000    Old_age   Always       -       0
198 Offline_Uncorrectable   0x0008   100   100   000    Old_age   Offline      -       0
199 UDMA_CRC_Error_Count    0x000a   200   200   000    Old_age   Always       -       0

SMART Error Log Version: 1
ATA Error Count: 1
    CR = Command Register [HEX]
    FR = Features Register [HEX]
    SC = Sector Count Register [HEX]
    SN = Sector Number Register [HEX]
    CL = Cylinder Low Register [HEX]
    CH = Cylinder High Register [HEX]
    DH = Device/Head Register [HEX]
    DC = Device Command Register [HEX]
    ER = Error register [HEX]
    ST = Status register [HEX]
Powered_Up_Time is measured from power on, and printed as
DDd+hh:mm:SS.sss where DD=days, hh=hours, mm=minutes,
SS=sec, and sss=millisec. It "wraps" after 49.710 days.

Error 1 occurred at disk power-on lifetime: 6582 hours (274 days + 6 hours)
  When the command that caused the error occurred, the device was in standby mode.

  After command completion occurred, registers were:
  ER ST SC SN CL CH DH
  -- -- -- -- -- -- --
  10 51 69 5a fc 2a 03

  Commands leading to the command that caused the error were:
  CR FR SC SN CL CH DH DC   Powered_Up_Time  Command/Feature_Name
  -- -- -- -- -- -- -- --  ----------------  --------------------
  61 00 28 c3 10 2b 40 00   3d+19:43:46.376  WRITE FPDMA QUEUED
  61 00 20 c3 0f 2b 40 00   3d+19:43:46.375  WRITE FPDMA QUEUED
  61 00 18 c3 0e 2b 40 00   3d+19:43:46.375  WRITE FPDMA QUEUED
  61 00 00 c3 0d 2b 40 00   3d+19:43:46.373  WRITE FPDMA QUEUED
  61 00 10 c3 0c 2b 40 00   3d+19:43:46.372  WRITE FPDMA QUEUED

SMART Self-test log structure revision number 1
No self-tests have been logged.  [To run self-tests, use: smartctl -t]


SMART Selective self-test log data structure revision number 1
 SPAN  MIN_LBA  MAX_LBA  CURRENT_TEST_STATUS
    1        0        0  Not_testing
    2        0        0  Not_testing
    3        0        0  Not_testing
    4        0        0  Not_testing
    5        0        0  Not_testing
Selective self-test flags (0x0):
  After scanning selected spans, do NOT read-scan remainder of disk.
If Selective self-test is pending on power-up, resume after 0 minute delay.


/usr/sbin/smartctl -t short -d sat,12 -T permissive /dev/rdsk/c1t0d0s0smartctl 5.40 2010-10-16 r3189 [i386-pc-solaris2.11] (local build)
Copyright (C) 2002-10 by Bruce Allen, http://smartmontools.sourceforge.net

=== START OF OFFLINE IMMEDIATE AND SELF-TEST SECTION ===
Sending command: "Execute SMART Short self-test routine immediately in off-line mode".
Drive command "Execute SMART Short self-test routine immediately in off-line mode" successful.
Testing has begun.
Please wait 1 minutes for test to complete.
Test will complete after Tue Feb 28 19:10:31 2012

Use smartctl -X to abort test.

smartstats faulted 2

code:

/usr/sbin/smartctl -a -d sat,12 -T permissive /dev/rdsk/c1t2d0s0
smartctl 5.40 2010-10-16 r3189 [i386-pc-solaris2.11] (local build)
Copyright (C) 2002-10 by Bruce Allen, http://smartmontools.sourceforge.net

=== START OF INFORMATION SECTION ===
Device Model:     Hitachi HDS5C3020ALA632
Serial Number:    ML0221F30MDL6D
Firmware Version: ML6OA580
User Capacity:    2,000,398,934,016 bytes
Device is:        Not in smartctl database [for details use: -P showall]
ATA Version is:   8
ATA Standard is:  ATA-8-ACS revision 4
Local Time is:    Tue Feb 28 19:21:17 2012 CET
SMART support is: Available - device has SMART capability.
SMART support is: Enabled

=== START OF READ SMART DATA SECTION ===
SMART overall-health self-assessment test result: FAILED!
Drive failure expected in less than 24 hours. SAVE ALL DATA.
See vendor-specific Attribute list for failed Attributes.

General SMART Values:
Offline data collection status:  (0x85) Offline data collection activity
                    was aborted by an interrupting command from host.
                    Auto Offline Data Collection: Enabled.
Self-test execution status:      (   0) The previous self-test routine completed
                    without error or no self-test has ever 
                    been run.
Total time to complete Offline 
data collection:         (23306) seconds.
Offline data collection
capabilities:            (0x5b) SMART execute Offline immediate.
                    Auto Offline data collection on/off support.
                    Suspend Offline collection upon new
                    command.
                    Offline surface scan supported.
                    Self-test supported.
                    No Conveyance Self-test supported.
                    Selective Self-test supported.
SMART capabilities:            (0x0003) Saves SMART data before entering
                    power-saving mode.
                    Supports SMART auto save timer.
Error logging capability:        (0x01) Error logging supported.
                    General Purpose Logging supported.
Short self-test routine 
recommended polling time:    (   1) minutes.
Extended self-test routine
recommended polling time:    ( 255) minutes.
SCT capabilities:          (0x003d) SCT Status supported.
                    SCT Error Recovery Control supported.
                    SCT Feature Control supported.
                    SCT Data Table supported.

SMART Attributes Data Structure revision number: 16
Vendor Specific SMART Attributes with Thresholds:
ID# ATTRIBUTE_NAME          FLAG     VALUE WORST THRESH TYPE      UPDATED  WHEN_FAILED RAW_VALUE
  1 Raw_Read_Error_Rate     0x000b   100   100   016    Pre-fail  Always       -       0
  2 Throughput_Performance  0x0005   100   100   054    Pre-fail  Offline      -       243
  3 Spin_Up_Time            0x0007   253   253   024    Pre-fail  Always       -       75 (Average 65)
  4 Start_Stop_Count        0x0012   100   100   000    Old_age   Always       -       2105
  5 Reallocated_Sector_Ct   0x0033   100   100   005    Pre-fail  Always       -       0
  7 Seek_Error_Rate         0x000b   088   088   067    Pre-fail  Always       -       17
  8 Seek_Time_Performance   0x0005   001   001   020    Pre-fail  Offline  FAILING_NOW 415
  9 Power_On_Hours          0x0012   100   100   000    Old_age   Always       -       6705
 10 Spin_Retry_Count        0x0013   100   100   060    Pre-fail  Always       -       0
 12 Power_Cycle_Count       0x0032   100   100   000    Old_age   Always       -       54
192 Power-Off_Retract_Count 0x0032   099   099   000    Old_age   Always       -       2106
193 Load_Cycle_Count        0x0012   099   099   000    Old_age   Always       -       2106
194 Temperature_Celsius     0x0002   240   240   000    Old_age   Always       -       25 (Min/Max 16/41)
196 Reallocated_Event_Count 0x0032   100   100   000    Old_age   Always       -       0
197 Current_Pending_Sector  0x0022   100   100   000    Old_age   Always       -       0
198 Offline_Uncorrectable   0x0008   100   100   000    Old_age   Offline      -       0
199 UDMA_CRC_Error_Count    0x000a   200   200   000    Old_age   Always       -       0

SMART Error Log Version: 1
ATA Error Count: 1
    CR = Command Register [HEX]
    FR = Features Register [HEX]
    SC = Sector Count Register [HEX]
    SN = Sector Number Register [HEX]
    CL = Cylinder Low Register [HEX]
    CH = Cylinder High Register [HEX]
    DH = Device/Head Register [HEX]
    DC = Device Command Register [HEX]
    ER = Error register [HEX]
    ST = Status register [HEX]
Powered_Up_Time is measured from power on, and printed as
DDd+hh:mm:SS.sss where DD=days, hh=hours, mm=minutes,
SS=sec, and sss=millisec. It "wraps" after 49.710 days.

Error 1 occurred at disk power-on lifetime: 6705 hours (279 days + 9 hours)
  When the command that caused the error occurred, the device was active or idle.

  After command completion occurred, registers were:
  ER ST SC SN CL CH DH
  -- -- -- -- -- -- --
  10 51 4b 29 09 4d 03

  Commands leading to the command that caused the error were:
  CR FR SC SN CL CH DH DC   Powered_Up_Time  Command/Feature_Name
  -- -- -- -- -- -- -- --  ----------------  --------------------
  61 00 10 37 32 4d 40 00   2d+18:56:26.293  WRITE FPDMA QUEUED
  61 00 00 37 31 4d 40 00   2d+18:56:26.291  WRITE FPDMA QUEUED
  61 00 38 37 30 4d 40 00   2d+18:56:26.291  WRITE FPDMA QUEUED
  61 00 30 37 2f 4d 40 00   2d+18:56:26.290  WRITE FPDMA QUEUED
  61 00 08 37 2e 4d 40 00   2d+18:56:26.290  WRITE FPDMA QUEUED

SMART Self-test log structure revision number 1
Num  Test_Description    Status                  Remaining  LifeTime(hours)  LBA_of_first_error
# 1  Short offline       Completed without error       00%      6705         -

SMART Selective self-test log data structure revision number 1
 SPAN  MIN_LBA  MAX_LBA  CURRENT_TEST_STATUS
    1        0        0  Not_testing
    2        0        0  Not_testing
    3        0        0  Not_testing
    4        0        0  Not_testing
    5        0        0  Not_testing
Selective self-test flags (0x0):
  After scanning selected spans, do NOT read-scan remainder of disk.
If Selective self-test is pending on power-up, resume after 0 minute delay.


/usr/sbin/smartctl -t short -d sat,12 -T permissive /dev/rdsk/c1t2d0s0smartctl 5.40 2010-10-16 r3189 [i386-pc-solaris2.11] (local build)
Copyright (C) 2002-10 by Bruce Allen, http://smartmontools.sourceforge.net

=== START OF OFFLINE IMMEDIATE AND SELF-TEST SECTION ===
Sending command: "Execute SMART Short self-test routine immediately in off-line mode".
Drive command "Execute SMART Short self-test routine immediately in off-line mode" successful.
Testing has begun.
Please wait 1 minutes for test to complete.
Test will complete after Tue Feb 28 19:22:20 2012

Use smartctl -X to abort test.

EDIT: ik had de resultaten door elkaar gehaald.

[Verwijderd]

De schijf met seek time failure kun je denk ik het beste RMA'en. Overigens kun je hoge seektimes krijgen door de schijf simpelweg los te leggen, waardoor zijn eigen vibraties niet worden tegengehouden; wat hardeschijven doorgaans niet prettig vinden en ook de seek performance beïnvloed. Maar in jouw geval heb je denk ik gewoon een rotte schijf.

Die eerste schijf kan ik geen fouten bij ontdekken, maar zou ik wel goed in de gaten houden. Met een semi-redundante pool zou ik nu ook even een scrub draaien. En je status in de gaten houden voor errors. Eventueel eerst een zpool clear om de huidige error counters te wissen, zodat je makkelijk kunt zien of er errors bijkomen tijdens de scrub.

[Obscurax]

Ik heb gedaan zoals je gezegd hebt,
eerst zpool clear en dan een scrub:

code:

pool overview:

      pool: tank
 state: DEGRADED
status: One or more devices has experienced an unrecoverable error.  An
    attempt was made to correct the error.  Applications are unaffected.
action: Determine if the device needs to be replaced, and clear the errors
    using 'zpool clear' or replace the device with 'zpool replace'.
   see: http://www.sun.com/msg/ZFS-8000-9P
  scan: scrub in progress since Tue Feb 28 20:31:24 2012
    31.6G scanned out of 5.52T at 241M/s, 6h37m to go
    75.5K repaired, 0.56% done
config:

    NAME        STATE     READ WRITE CKSUM
    tank        DEGRADED     0     0     0
      raidz2-0  DEGRADED     0     0     0
        c1t0d0  DEGRADED     0     0    89  too many errors  (repairing)
        c1t1d0  ONLINE       0     0     0
        c1t2d0  ONLINE       0     0     0
        c1t3d0  ONLINE       0     0     0
        c1t4d0  ONLINE       0     0     0
        c1t5d0  ONLINE       0     0     0

errors: No known data errors

De slechte disk (c1t2d0s0) heb ik er nog niet uitgehaald.

EDIT: en hier het reslutaat:

code:

pool overview:

      pool: tank
 state: DEGRADED
status: One or more devices are faulted in response to persistent errors.
    Sufficient replicas exist for the pool to continue functioning in a
    degraded state.
action: Replace the faulted device, or use 'zpool clear' to mark the device
    repaired.
  scan: scrub repaired 75.5K in 7h34m with 0 errors on Wed Feb 29 04:05:24 2012
config:

    NAME        STATE     READ WRITE CKSUM
    tank        DEGRADED     0     0     0
      raidz2-0  DEGRADED     0     0     0
        c1t0d0  FAULTED     18   133    89  too many errors
        c1t1d0  ONLINE       0     0     0
        c1t2d0  ONLINE       0     0     0
        c1t3d0  ONLINE       0     0     0
        c1t4d0  ONLINE       0     0     0
        c1t5d0  ONLINE       0     0     0

errors: No known data errors

Nu snap ik het niet meer:

code:

id  cap     pool    vdev    state   error   smart_model     smart_type  smart_health    smart_sn    smart_temp
c1t0d0  2.00 TB     tank    raidz   FAULTED     Error: S:10 H:154 T:77  [No Information Found]  sat,12  -   NOINFORMATIONFOUND  -
c1t1d0  2.00 TB     tank    raidz   ONLINE  Error: S:10 H:0 T:0     Hitachi HDS5C3020ALA632     sat,12  PASSED  ML0221F30MDNAD  30 °C
c1t2d0  2.00 TB     tank    raidz   ONLINE  Error: S:12 H:14 T:18   Hitachi HDS5C3020ALA632     sat,12  PASSED  ML0221F30MDL6D  29 °C
c1t3d0  2.00 TB     tank    raidz   ONLINE  Error: S:10 H:0 T:0     Hitachi HDS5C3020ALA632     sat,12  PASSED  ML0220F30MHUJD  27 °C
c1t4d0  2.00 TB     tank    raidz   ONLINE  Error: S:10 H:0 T:0     Hitachi HDS5C3020ALA632     sat,12  PASSED  ML0221F30MDEZD  28 °C
c1t5d0  2.00 TB     tank    raidz   ONLINE  Error: S:10 H:0 T:0     Hitachi HDS5C3020ALA632     sat,12  PASSED  ML0221F30MDMND  28 °C
c3t0d0  160.04 GB   rpool   mirror  ONLINE  Error: S:10 H:0 T:0     WDC WD1600BEVT-00A23T0  sat,12  PASSED  WDWXJ1A21N8914  24 °C
c3t1d0  160.04 GB   rpool   mirror  ONLINE  Error: S:10 H:0 T:0     WDC WD1600BEVT-00A23T0  sat,12  PASSED  WDWXJ1A21E4986  24 °C

De "goede" schijf is terug niet te benaderen en de "slechte" is passed...

[ Voor 50% gewijzigd door Obscurax op 29-02-2012 10:37 ]

[Trishul]

Heb van de week ff freenas getest, op usb stick gezet en ingeplugd in een oud systeem. ZFS pool gemaakt, windows CiFS share gemaakt, ZFS snapshots ingesteld, werkte allemaal soepel en heerlijk. Heb zin om nu nog een nas te bouwen. Alleen heb ik vorig jaar al 600 euro uitgegeven aan een kant-en-klare nas plus schijven.

Ga ff kijken of ik ZFS guru kan uitproberen. Is dat net zo makkelijk als freenas-zfs'en? Interface ziet er wel gebruiksvriendelijk uit. In hoeverre is zfs guru nu nog echt experimenteel?

[dj_vibri]

ZFS kenners

Ik zit met het volgende probleem/vraagstuk.
Ik boot van USB FreeNas. Momenteel heb ik 1 schijf van 250GB ter beschikking maar kan dit in de toekomst uitbreiden met 3 extra disks.

Wanneer ik nu in Freenas een ZFS pool aanmaak op basis van deze ene schijf kan ik vervolgens datastores aanmaken en deze bereiken via windows share. So far so good

Wil ik echter in de toekomst 2 schijven van 2TB en 1 schijf van 3 TB bijsteken, hoe kan ik ervoor zorgen dat mijn pool uitgebreid wordt en ik gebruik kan maken van Raid-Z2 (oid) met behoud van data natuurlijk

Ik ken totaal niets van zfs en toestanden en via google krijg ik allerlei fora's te zien maar snap er werkelijk geen kneit van

Mijn bedoeling is dus ook dat ik dezelfde shares kan blijven gebruiken maar dan "vergroot". dus bv: \\freenas\downloads\music is in eerste instantie een datastore van bv. 50GB, ik plaats een schijf van 1TB erbij en ik wil deze store uitbreiden naar 500GB met netwerkpad nog steeds dezelfde.

Hoe zit het dan met verlies van data wanneer er een schijf uitvalt? Blijft dit hetzelfde of moet ik gewoon alles pas opzetten wanneer ik alle schijven heb... ?

[Verwijderd]

Je hebt nu één schijf; door ZFS gezien als een RAID0-array met één disk. Wil je bescherming, dan heb je redundancy nodig; mirroring (RAID1) of RAID-Z (RAID5 en hoger) kun je gebruiken.

Nu wil je allemaal schijven met verschillende grootte; 250GB, 2TB en 3TB. Daar kun je natuurlijk weinig mee; hoe moet je daar een mirror of RAID-Z van maken? De 250GB disk moet je gewoon afschrijven; die kost 16-18 euro aan stroomkosten per jaar; en voor zo'n klein schijfje is dat eigenlijk niet meer te verantwoorden, ook al zijn de prijzen van opslag nu erg hoog.

Dus als je nu even doet met die 250GB schijf; en je koopt 2/3TB disks bij; begin dan ook goed! Dus:

1) koop disks in paren van twee, zoals twee keer 2TB of twee keer 3TB. Dan voeg je ze in mirrors toe; dat kun je blijven doen
2) koop disks in paren van drie, zoals drie keer 2TB of 3TB, en configureer een nieuwe RAID-Z array

Stel je begint nu met die 250GB disk; later koop je drie schijven van 2TB. Daar maak je een nieuwe pool voor aan, en je kopieert de data van de 250GB disk naar de nieuwe RAID-Z pool met je drie 2TB schijven. 250GB disk niet meer nodig.

Nu wil je na een tijdje weer uitbreiden, maar zijn de prijzen van 3TB disks erg laag. Dus je wilt nu 3 keer 3TB kopen; kan dat? Ja dat kan. Je kunt je huidige pool met 2TB schijven dus uibreiden met 3TB schijven. Je voegt een nieuwe RAID-Z array toe aan je bestaande pool. Snelheidsverschillen of verschillen in capaciteit zijn geen probleem; zolang alle disks binnen dezelfde vdev (RAID-array) maar hetzelfde blijven.

Dus goed:
vdev1: RAID-Z met 3x 2TB disks
vdev2: RAID-Z met 3x 3TB disks

Fout:
vdev1: RAID-Z met 2TB + 2TB + 3TB (wordt gezien als 2TB+2TB+2TB)
vdev2: RAID-Z met 3TB + 3TB + 2TB (wordt gezien als 2TB+2TB+2TB)

[CurlyMo]

@CiPHER: vandaag mijn Firefox profiel opgeruimd, maar daarmee wel mijn automatische login van ZFSGuru kwijt. Wachtwoord ben ik vergeten dus opnieuw inloggen gaat niet, en een password reset functie is er ook niet

[Verwijderd]

Jawel hoor, kijk maar op je monitor/console. Daar vind je een optie om je web-interface cnofiguratie te wissen en dus ook je wachtwoord. Je krjigt dan wel weer de welcome wizard, die je desgewenst kunt skippen. Je hoeft in elk geval geen pool enzo aan te maken.

[CurlyMo]

Verwijderd schreef op donderdag 01 maart 2012 @ 00:44:
Jawel hoor, kijk maar op je monitor/console. Daar vind je een optie om je web-interface cnofiguratie te wissen en dus ook je wachtwoord. Je krjigt dan wel weer de welcome wizard, die je desgewenst kunt skippen. Je hoeft in elk geval geen pool enzo aan te maken.

Ow sorry, het betreft hier de website: zfsguru.com Ingelogd blijven is volgens mij ook geen optie voor de webinterface...

[ Voor 8% gewijzigd door CurlyMo op 01-03-2012 00:59 ]

[Verwijderd]

Wat is je username, dan vraag ik Jason morgen om je password te resetten.
Via DM mag ook.

[FireDrunk]

marcop23 schreef op dinsdag 28 februari 2012 @ 18:56:
[...]

Tvheadend is geen grafisch programma, het is een tv-stream daemon met een webinterface. Ik heb ook helemaal geen grafische omgeving nodig. Ik zou in ieder geval graag een installatie hebben met daarop ZFS en tvheadend, zonder te hoeven virtualiseren. Ik dacht daarbij aan Debian/kFreeBSD, omdat daar zowel ZFS als tvheadend op draaien, toch? De reden waarom ik niet wil virtualiseren is in ieder geval het gebrek aan vt-d bij low budget systeempjes.

Ik heb het waarschijnlijk wat onduidelijk uitgelegd, maar ik zou toch willen weten of dat mogelijk is.

Wat jij wil kan misschien wel maar bedenk je dat:

*) TVheadend amper nog geupdate word, de maker is gestopt omdat hij het zelf niet eens meer gebruikt.
*) Je kernel (FreeBSD) je tv-kaart moet ondersteunen, en je dus NIET 'standaard' linux drivers kan gebruiken ook al heet je distro Debian.
*) Je met andere software waarschijnlijk hetzelfde kan, maar dan beter

[endeavor334]

Ik heb bezig met een alles in 1 setup en heb een vraag over ZFS en ESXI.

Mijn configuratie:

• 1x Dell Poweredge 1900 met 16 GB RAM en 2x Xeon 5345
• 1x Samsung HDD 500 GB voor ESXI (nu hangt er even een 1TB er in voor de test)
• 4x Samsung HDD 1.36TB voor data (hingen eerst aan een perc 5 RAID)
• 2x Samsung HDD TB voor Vmware images.
• 1x LSI SAS3081E geflash met de IT-firmware
  1x UPS

Aan de LSI controller hangen de 4 Samsung schijven.
Als ik in ESXI de schrijven bekijk dan worden de schrijven die aan de LSI hangen weergegeven als naa....:

# cd /dev/disks/
/dev/disks # ls
naa.50024e900341f259                                                        vml.0100000000533133504a39445332303039373320202020202053414d53554e
naa.50024e900341f264                                                        vml.0100000000533133504a39445332303039373320202020202053414d53554e:1
naa.50024e900341f2a7                                                        vml.0100000000533133504a39445332303039373320202020202053414d53554e:2
naa.50024e900341f2ac                                                        vml.0100000000533133504a39445332303039373320202020202053414d53554e:3
t10.ATA_____SAMSUNG_HD103UJ_________________________S13PJ9DS200973______    vml.0100000000533133504a39445332303039373320202020202053414d53554e:5
t10.ATA_____SAMSUNG_HD103UJ_________________________S13PJ9DS200973______:1  vml.0100000000533133504a39445332303039373320202020202053414d53554e:6
t10.ATA_____SAMSUNG_HD103UJ_________________________S13PJ9DS200973______:2  vml.0100000000533133504a39445332303039373320202020202053414d53554e:7
t10.ATA_____SAMSUNG_HD103UJ_________________________S13PJ9DS200973______:3  vml.0100000000533133504a39445332303039373320202020202053414d53554e:8
t10.ATA_____SAMSUNG_HD103UJ_________________________S13PJ9DS200973______:5  vml.020000000050024e900341f25953414d53554e
t10.ATA_____SAMSUNG_HD103UJ_________________________S13PJ9DS200973______:6  vml.020000000050024e900341f26453414d53554e
t10.ATA_____SAMSUNG_HD103UJ_________________________S13PJ9DS200973______:7  vml.020000000050024e900341f2a753414d53554e
t10.ATA_____SAMSUNG_HD103UJ_________________________S13PJ9DS200973______:8  vml.020000000050024e900341f2ac53414d53554e

De reden voor de LSI is dat deze 8 aansluitingen heeft en dat de PE 1900 maar 4 SATA aansluitingen heeft, dus als ik wil uitbreiden dan kan dat,
Ik kan helaas geen passthru voor de LSI kaart gebruiken omdat de processor dit niet ondersteund (geen vt-d wel vt-x) en de Xeon 53xx het maximale is wat deze PE 1900 aankan.
Wel zou ik van deze naa schrijven via RDM aan een vmware image kunnen hangen die dan gebruikt zou kunnen worden door ZFSguru of iets anders. Ik heb getest als je rdmfilter.hbaisshared (zie link) in ESXI 5,0 uitzet dat je via de Vsphere Client een RDM mapping kan maken.

De esxcli storage core path list geeft het volgende

~ # esxcli storage core path list
sas.500605b0015a3370-sas.676d5d1ba2678877-naa.50024e900341f259
   UID: sas.500605b0015a3370-sas.676d5d1ba2678877-naa.50024e900341f259
   Runtime Name: vmhba3:C0:T1:L0
   Device: naa.50024e900341f259
   Device Display Name: ATA Serial Attached SCSI Disk (naa.50024e900341f259)
   Adapter: vmhba3
   Channel: 0
   Target: 1
   LUN: 0
   Plugin: NMP
   State: active
   Transport: sas
   Adapter Identifier: sas.500605b0015a3370
   Target Identifier: sas.676d5d1ba2678877
   Adapter Transport Details: 500605b0015a3370
   Target Transport Details: 676d5d1ba2678877

ide.vmhba0-ide.0:0-mpx.vmhba0:C0:T0:L0
   UID: ide.vmhba0-ide.0:0-mpx.vmhba0:C0:T0:L0
   Runtime Name: vmhba0:C0:T0:L0
   Device: mpx.vmhba0:C0:T0:L0
   Device Display Name: Local TSSTcorp CD-ROM (mpx.vmhba0:C0:T0:L0)
   Adapter: vmhba0
   Channel: 0
   Target: 0
   LUN: 0
   Plugin: NMP
   State: active
   Transport: ide
   Adapter Identifier: ide.vmhba0
   Target Identifier: ide.0:0
   Adapter Transport Details: Unavailable or path is unclaimed
   Target Transport Details: Unavailable or path is unclaimed

sas.500605b0015a3370-sas.676e5d1ba2678877-naa.50024e900341f264
   UID: sas.500605b0015a3370-sas.676e5d1ba2678877-naa.50024e900341f264
   Runtime Name: vmhba3:C0:T0:L0
   Device: naa.50024e900341f264
   Device Display Name: ATA Serial Attached SCSI Disk (naa.50024e900341f264)
   Adapter: vmhba3
   Channel: 0
   Target: 0
   LUN: 0
   Plugin: NMP
   State: active
   Transport: sas
   Adapter Identifier: sas.500605b0015a3370
   Target Identifier: sas.676e5d1ba2678877
   Adapter Transport Details: 500605b0015a3370
   Target Transport Details: 676e5d1ba2678877

sas.500605b0015a3370-sas.686d5d1ba2678877-naa.50024e900341f2a7
   UID: sas.500605b0015a3370-sas.686d5d1ba2678877-naa.50024e900341f2a7
   Runtime Name: vmhba3:C0:T3:L0
   Device: naa.50024e900341f2a7
   Device Display Name: ATA Serial Attached SCSI Disk (naa.50024e900341f2a7)
   Adapter: vmhba3
   Channel: 0
   Target: 3
   LUN: 0
   Plugin: NMP
   State: active
   Transport: sas
   Adapter Identifier: sas.500605b0015a3370
   Target Identifier: sas.686d5d1ba2678877
   Adapter Transport Details: 500605b0015a3370
   Target Transport Details: 686d5d1ba2678877

sas.500605b0015a3370-sas.686e5d1ba2678877-naa.50024e900341f2ac
   UID: sas.500605b0015a3370-sas.686e5d1ba2678877-naa.50024e900341f2ac
   Runtime Name: vmhba3:C0:T2:L0
   Device: naa.50024e900341f2ac
   Device Display Name: ATA Serial Attached SCSI Disk (naa.50024e900341f2ac)
   Adapter: vmhba3
   Channel: 0
   Target: 2
   LUN: 0
   Plugin: NMP
   State: active
   Transport: sas
   Adapter Identifier: sas.500605b0015a3370
   Target Identifier: sas.686e5d1ba2678877
   Adapter Transport Details: 500605b0015a3370
   Target Transport Details: 686e5d1ba2678877

sata.vmhba1-sata.0:0-t10.ATA_____SAMSUNG_HD103UJ_________________________S13PJ9DS200973______
   UID: sata.vmhba1-sata.0:0-t10.ATA_____SAMSUNG_HD103UJ_________________________S13PJ9DS200973______
   Runtime Name: vmhba1:C0:T0:L0
   Device: t10.ATA_____SAMSUNG_HD103UJ_________________________S13PJ9DS200973______
   Device Display Name: Local ATA Disk (t10.ATA_____SAMSUNG_HD103UJ_________________________S13PJ9DS200973______)
   Adapter: vmhba1
   Channel: 0
   Target: 0
   LUN: 0
   Plugin: NMP
   State: active
   Transport: sata
   Adapter Identifier: sata.vmhba1
   Target Identifier: sata.0:0
   Adapter Transport Details: Unavailable or path is unclaimed
   Target Transport Details: Unavailable or path is unclaimed

via de Target Identifier en via de controller zelf kan ik de fysieke schijven identificeren, moet ik dat dus wel goed documenteren.

Heeft iemand ervaring met deze wijze?
Heeft ZFS hierbij voldoende controle over de disks?
Heeft dit soort setups nog een 'speciale' distro nodig? Ik volg dir topic al vanaf het begin en ZFSguru ziet er veel belovend uit.
Is dit handig om dit te doen, het opsplitsen in 2 fysieke computers wil ik eigenlijk niet.
Of heeft iemand een beter idee?

[Verwijderd]

Ik ben zelf niet zo'n voorstander van RDM, passthrough is beter. Als je ESXi had gewild, was vt-d min of meer een vereiste. Nu je dat niet hebt, kun je misschien beter een normale setup overwegen, waarbij je bijvoorbeeld FreeBSD/ZFSguru of een andere oplossing (Linux/Solaris) draait met bijvoorbeeld Virtualbox voor het hosten van VMs. Dat betekent wel dat het geen workstation wordt, of althans dat lijkt me minder handig. Voor het ZFS gebeuren is deze setup natuurlijk wel het beste.

[endeavor334]

Ik heb deze server in 2010 2de hands aangeschaft (vanwege de comptabiliteit met Esxi) en uitgebreid. Toen was ZFS nog niet aan de orde, en paste een andere server niet in mijn budget.
Het liefst laat ik het bij ESXI, mede omdat ik deze kennis (werken met ESXI) ook bij mijn werk in de toekomst kan toepassen en ik heb al een groot aantal images onder ESXI draaien.
Performance is niet echt een issue, de schijven zijn puur voor data opslag en het dataverkeer zal het meest binnen de server en de VM's blijven. Dit soort constructies zijn toch niet gebouwd voor data performance,
Met deze server kan ik voorlopig goed mee uit te voeten. Hiervoor heb ik Ubuntu met Vmware Server 2.0 op een 'normale' pc gedraaid.
Het is volgens mij of virtueel of RDM, dan is de performance van RDM toch iets beter. En een werkstation was het toch al niet, daar voor maakt hij te veel herrie.

[ Voor 10% gewijzigd door endeavor334 op 02-03-2012 23:27 ]

[Mon]

Verwijderd schreef op dinsdag 28 februari 2012 @ 17:20:
Zelf zou ik ook niet voor zo'n HP server gaan. Zo zuinig zijn ze niet want ze gebruiken een ouderwetse chipset met IGP. Je hebt minimale uitbreidingsmogelijkheden, bij 3 schijven gebruik je al tot 100W van je 150W voeding en je RAM en CPU is natuurlijk beperkt. Dan vind ik een Brazos systeem 10 keer beter en ook de helft minder energieverbruik.

Ik heb net deze week een N40L gekocht. Alleen ZFSGuru geinstalleerd, verder nog niet veel tijd gehad om te testen etc. maar de eerste indruk is bij mij zeker positief. Beetje capabele maar toch zuinige processor (Atom is het geloof ik toch ook net niet), vrij stil en ruimte voor 4 schijven wat genoeg is voor mij.

De powermeter heb ik er dus ook nog niet aangehangen, maar ik was benieuwd hoe je aan een verbruik van 100W bij 3 schijven kwam. Dat was juist wat ik wilde voorkomen met deze server.
Van de geïnstalleerde 2gb ram hoop ik dat het genoeg is om 1-2TB aan schijfruimte mee te beheren en uitbreiden kan altijd nog.

[Verwijderd]

Een ouderwetse hardeschijf verbruikt 28 tot 35 watt aan spinup power; grofweg 33W = 3 HDDs = 100W spinup

Ga je uit van Samsung F4EG disks met maar 16W spinup (zuinigste desktop schijf) dan zit je aan 3 x 16W = 48W. Het energieverbruik van het systeem zelf komt daar natuurlijk nog bij.

Het opspinnen duurt maar een seconde of 8; dus dit vermogen is maar tijdelijk nodig; maar je voeding moet het wel kunnen leveren. Doordat je met die HP server een normale ATX voeding gebruikt, zit je vrijwel automatisch ook aan een dubbel energieverbruik. ATX voedingen doen geen 10W aan het stopcontact; maar zijn iets van 40-70% efficient beneden de 10% van hun maximum vermogen. Dit geldt ook voor veel 80-plus voedingen; wat helemaal niets zegt over de prestaties onder de 20% van hun vermogen.

Vandaar dat PicoPSU erg hot is voor een NAS, omdat je daarmee serieus energie kan besparen en je NAS richting het energieverbruik van je modem duwt.

[Mon]

En een staggered spinup is alleen mogelijk wanneer je moederbord of raidcontroller dat ondersteund? Softwarematig, alleen bij gebruik vd data zou ideaal zijn.
Een PicoPSU is misschien het overwegen ook wel waard. Ik ben er alleen nog niet uit hoeveel schijven in welke grootte ik wil gaan gebruiken. Liefst 3x 500GB of 3x1TB aangezien dat ruim voldoende is, alleen is daar natuurlijk niet meer aan te komen helaas. Plus dat ik het toch wel zonde vind om de 250, 320 en 500Gb schijven die ik nu heb weg te gooien. Meer energieverbruik plus verloren schijfruimte tegenover 3 nieuwe schijven a 110 euro per stuk.

Ik denk er nog ff over na

[FireDrunk]

Staggered spinup bij poweron moet altijd door je BIOS en/of RAID controller ondersteund worden. Op AHCI is het ook mogelijk, maar het enige bord wat ik ooit heb gezien dat dat kon was van Biostar (en nog mITX ook).

Staggered spinup als je OS al draait (en je disks dus uit standby gehaald worden) is wel mogelijk met software. MD / Linux doet altijd al (helaas) maar 1 disk per keer opstarten als je je array na een lange tijd aanspreekt.

[KrusT]

Hey, heb even een vraag ivm Advanced Format schijven.

Voor ik via gnop 2 devices aanmaak, moet ik eerst via gpart mijn schijven aligneren? De bedoeling is om de 2 WD25EZRX (2.5TB) volledig te gaan gebruiken in de pool.

Ik wil namelijk mijn huidige setup aanpassen (FreeNAS 7.2, 4 x WD10EADS Raidz, X7SPA-HF mobo) aangezien 1 van deze schijven om zeep is.
Ik wil nu gaan werken op FreeBSD 9, en heb 2 WD25EZRX gekocht met het oog om er later eventueel nog 2 3TB schijven bij te steken (Mirrored ZFS pool).

[Verwijderd]

Als je geen partities gebruikt, zijn je schijven altijd goed aligned; omdat 0 altijd een perfecte breuk oplevert. Er bestaat dus geen betere alignment dan geen partities at all.

Maar is dat handig? FreeBSD gebruikt juist partities om een naam aan je disk te geven en zo herkent ZFS je disk ook netjes. Dus ik raad het altijd aan, ook omdat je vrij gemakkelijk data kunt verliezen als deze niet op een partitie staat. Zou je de schijf aan Windows OS aansluiten, dan vraagt deze om de schijven te 'initialiseren'. Doe je dat dan ben je data kwijt omdat dit als een quick format geldt. Dus gebruik van partities is om meerdere reden veel beter.

Alle partities die je maakt, moet je met 1MiB alignment maken; net als vrijwel alle OS doen, inclusief veel Linux distributies en Windows 7; die beide 1MiB offset als default hebben ingesteld.

Overigens, als je voor FreeBSD 9 wilt gaan zou ik ook ZFSguru uittesten. Die doet dit soort dingen voor je. Wil je ooit RAID-Z draaien met Advanced Format schijven, kun je in ZFSguru ook een optimized 4K pool maken. Dat kan allemaal ook via de command line; maar als je die web-interface 'gratis' bij FreeBSD9 krijgt lijkt me dat geen slechte optie voor je.

[Dinh]

@CiPHER

Heb je een goede alternatief voor de M1015? Ik heb twee kaarten binnen maar helaas krijg ik ze niet geflashed naar it mode. Out of the box kon ik er dan weer geen goede drivers vinden voor FreeBSD9. Ik ga ze dus terug sturen.

[Verwijderd]

Hoezo krijg je ze niet geflashed? Heb nog nooit gehoord dat niet mogelijk was; velen gingen je voor. Wat is het probleem?

De nieuwste drivers in FreeBSD 9-STABLE ondersteunen overigens wel IR mode, maar je kunt alsnog veel beter in IT mode draaien.

[ Voor 34% gewijzigd door Verwijderd op 05-03-2012 19:44 ]

[Dinh]

Verwijderd schreef op maandag 05 maart 2012 @ 19:44:
Hoezo krijg je ze niet geflashed? Heb nog nooit gehoord dat niet mogelijk was; velen gingen je voor. Wat is het probleem?

De nieuwste drivers in FreeBSD 9-STABLE ondersteunen overigens wel IR mode, maar je kunt alsnog veel beter in IT mode draaien.

Met:

megarec -cleanflash 0

krijg ik:

Flash is not programmable

Er is een mede-tweakers die hetzelfde probleem heeft als ik

[Verwijderd]

Heb je dit gedaan?

code:

Convert LSI9240(IBM M1015) to a LSI9211-IT mode
Type in the following exactly:
megarec -writesbr 0 sbrempty.bin
megarec -cleanflash 0
<reboot, back to USB stick>
sas2flsh -o -f 2118it.bin -b mptsas2.rom (sas2flsh -o -f 2118it.bin if OptionROM is not needed)
sas2flsh -o -sasadd 500605bxxxxxxxxx (x= numbers for SAS address)
<reboot>
Done!

Volgens IBM ServeRAID M1015 Part 4 : Cross flashing to a LSI9211-8i in IT or IR mode.

[Dinh]

Verwijderd schreef op maandag 05 maart 2012 @ 20:21:
Heb je dit gedaan?

code:

Convert LSI9240(IBM M1015) to a LSI9211-IT mode
Type in the following exactly:
megarec -writesbr 0 sbrempty.bin
megarec -cleanflash 0
<reboot, back to USB stick>
sas2flsh -o -f 2118it.bin -b mptsas2.rom (sas2flsh -o -f 2118it.bin if OptionROM is not needed)
sas2flsh -o -sasadd 500605bxxxxxxxxx (x= numbers for SAS address)
<reboot>
Done!

Volgens IBM ServeRAID M1015 Part 4 : Cross flashing to a LSI9211-8i in IT or IR mode.

Ja, dat heb ik exact gedaan. Echter bij de 2e stap wilt het al niet lukken: "Flash is not programmable".

[ Voor 5% gewijzigd door Dinh op 05-03-2012 20:25 ]

[Verwijderd]

Als ik google op die melding krijg ik helemaal niets. Kun je exact de output pasten die je krijgt?

[webfreakz.nl]

Is een pricewatch: Intel RAID Controller SASUC8I niet een mogelijke vervanger voor die IBM M1015? Of zit er nog teveel RAID logica in?

[Verwijderd]

Die zul je ook willen upgraden van IR naar IT mode, is 3Gbps / PCIe 1.0 en ondersteunt geen >2TB schijven. Je hebt wel de SuperMicro USAS2-L8e die al in IT-mode komt en ook geen IR mode kan volgens mij. Maar die is UIO dus 'verkeerd' bracket. De IBM M1015 is juist zo fijn omdat je deze goedkoop kunt krijgen en kunt flashen naar IT mode.

@Dinh, Als ik jou was zou ik de exacte output van het eerste en tweede commando overtypen en een thread op servethehome maken, die kunnen je vast wel helpen. Of post het hier. Ik probeer ook te googlen voor je, maar die foutmelding krijg ik echt helemaal niets op. Je zei dat iemand hetzelfde probleem had; heb je een link?

En heb je ook geprobeerd het cleanflash commando over te slaan? Het zou helpen als je de exacte output of belangrijke gedeeltes van al je commando's hebt, daarmee kan je gericht vragen mee stellen en wellicht dat iemand je een tip geeft waarmee je alsnog kunt flashen. Ik vind het vreemd dat het anderen wel lukt en jou niet, dus terugsturen zou ik dan niet meteen adviseren.

[ Voor 28% gewijzigd door Verwijderd op 05-03-2012 21:01 ]

[Dinh]

Verwijderd schreef op maandag 05 maart 2012 @ 20:53:
Die zul je ook willen upgraden van IR naar IT mode, is 3Gbps / PCIe 1.0 en ondersteunt geen >2TB schijven. Je hebt wel de SuperMicro USAS2-L8e die al in IT-mode komt en ook geen IR mode kan volgens mij. Maar die is UIO dus 'verkeerd' bracket. De IBM M1015 is juist zo fijn omdat je deze goedkoop kunt krijgen en kunt flashen naar IT mode.

@Dinh, Als ik jou was zou ik de exacte output van het eerste en tweede commando overtypen en een thread op servethehome maken, die kunnen je vast wel helpen. Of post het hier. Ik probeer ook te googlen voor je, maar die foutmelding krijg ik echt helemaal niets op. Je zei dat iemand hetzelfde probleem had; heb je een link?

Link: probleem met M1015 flash naar IT mode

Behalve de header output (naam, versie etc) van megarec is dat echt het enige output dat ik krijg.

mobo: supermicro x9scm-f. Met dit bord werkt sas2flash niet, krijg dan een pal error. De efi versie van sas2flash werkt wel maar flashen gaat niet. Waarschijnlijk omdat vorige stap al niet lukt.

Ik zal zo alles opnieuw proberen en screenshots van alles maken.

[Verwijderd]

Hm:

Ik vrees dus dat LSI de flash chip veranderd heeft op nieuwere versies, en de versie van megarec die in omloop is deze niet ondersteunt.

Dat is natuurlijk niet helemaal onmogelijk, en in dat geval wil je je controllers wellicht omruilen voor een ander type.

Maar het kan geen kwaad om nog eens alles goed overzichtelijk op te schrijven en daar bij wat kenners bij aan te kloppen; want ik kan er met Google niets over vinden wat toch vreemd is gezien deze controller aardig populair is in ZFS kringen.