[ZFSguru] booten van degraded RAID-Z

[EnerQi]

Op aanraden van Cipher heb ik even dit topic aangemaakt.
Het probleem “kindje”

#	Product	Prijs	Subtotaal
1	Intel Celeron G530 Boxed	€ 37,45	€ 37,45
3	Seagate Barracuda 7200.14 ST3000DM001, 3TB	€ 136,-	€ 816,-
1	Antec Three Hundred Two	€ 54,90	€ 54,90
1	FSP Aurum Gold 400	€ 55,90	€ 55,90
1	Kingston KVR1333D3N9/8G	€ 35,65	€ 71,30
1	MSI B75MA-P45	€ 56,99	€ 56,99
Bekijk collectie Importeer producten		Totaal	€ 1.092,54

Het stappenplan wat er getest is:
Stappenplan:
X. Normal Beta6 gedownload van ZFSguru (van Cipher).
X. Deze geladen in Vmware en een installatie gedaan op een usbstick inclusief image. er hangt geen dvddrive aan mijn nas
X. De NAS via usb opgestart en een RaidZ1 gemaakt met 3 harde schijven met ashift 9 (ja fout van mij, dit zag ik pas 4 dagen later )
X. op die RaidZ1 heb ik de installatie uitgevoerd inclusief kopieren van image en vervolgens de bootloader van de usbstick disabled. Daarna NAS uit, usbstick eruit en de NAS start zelfstandig op.
X. Wat opviel is dat ZFSguruNAS zelf NIET aangeeft dat ie een IP adres krijgt (http://0.0.0.0.) maar ik wel via een andere pc kan connecten/werken etc.
X. Wat benchmark gedaan op de schijven en eens getest hoe je kunt delen/sharen met samba (dit werkt out-of-the-box )
X. Wat films gekopierd en de snelheid gemeten (80MB/s) wat me niet tegenviel, al had ik 100MB verwacht . Ik verdenk hierbij de ashift 9 optie of CPU die enorm stijgt bij gebruik. Ram lijkt me geen probleem.
X. Vervolgens een weekje opstarten/afsluiten getest en nog wat opties bekijken in zfsguru waaronder het delen met samba maar niets gewijzigd. ZFSguru/NAS werkt zoals het hoort

Probleem:
X. Vervolgens een test gedaan om te kijken of een harde schijf faillure wel werkt en dit zorgt voor problemen. Ik zet de NAS uit en koppel de sata power kabel los van disk 3. Ik boot de NAS weer maar blijft hangen na het biosscherm. Ik verdenk de bootloader van problemen. Na een uur de NAS toch maar gewoon uitgezet.
X.Disk 3 weer stroom gegeven en de NAS aangezet en zfsguru werkt zonder problemen.
X.Dit gemeld in het zfstopic en cipher adviseerde om de bootcode in ZFSguru te updaten. Dit verrvolgens gedaan door in zfsguru via “disks” de bootcode te update. Deze was al up-to-date en vervolgens de harddisk faillure test opnieuw gedaan.
X.Helaas wil de NAS niet opstarten zonder disk 3. In de bios geeft de NAS disk 1 en 2 probleemloos aan en zelf met boot volgorde veranderen, blijft de NAS hangen op de (zfs)bootloader.
X. NAS uitgezet en vervolgens disk 3 weer stroom gegeven. NAS start probleemloos op en kan weer in zfsguru.
Op aanraden van MCC eens de datakabel losgemaakt ipv power kabel. Ik heb de kabel losgemaakt van de harde schijf, dit betekend dat aan het moederbord 1 sata kabel hangt zonder harde schijf (sata_2).
We starten de NAS weer eens op en ik kreeg deze error:

code:

De error die ik krijg:
ZFS: i/o error - all block copie unavailable
ZFS: i/o error - all block copie unavailable

FreeBSD/x86 boot
Default: Data:/boot/kernel/kernel
Boot:
ZFS: i/o error - all block copie unavailable

FreeBSD/x86 boot
Default: Data:/boot/kernel/kernel
Boot:
(en nu een streepje, lijkt op "nadenken")

Nog een 15 minuten gewacht maar zonder enige progressie dus weer powerdown en data kabel erin gestoken. ZFSguru boot gewoon op
Nog wat weetjes:
x. De disks zijn geformateerd in een GPT format (mocht dit van belang zijn) + AHCI mode op moederbord (hotplug disabled, blijkbaar een optie op mijn moederbord)
x. Ashift 9 heb ik dus niet aangepast, dat zal ik wel doen bij het aanmaken van raidz2 (als ik de harde schijven binnen heb )
x. FreeNAS 8.2 op usbstick gezet en raidz1 configuratie gemaakt, vervolgens weer een powerkabel losgemaakt en kijken of ie opstart, dit was geen probleem (logisch, het was een usbstick ) en de raidz1 is degraded zoals verwacht.
x. BIOS/UEFI is 1.1 (er is een 1.2 versie van de bios, maar gezien de release notes, niet interessant)
Wie o wie kan mij helpen om ervoor te zorgen dat ZFSguru opstart in degraded mode en dus laat zien dat Raidz1 zijn werk doet!

[Anoniem: 15758]

Oke, dus het eerste probleem waar je tegenaan liep was dat je enkel de SATA power had losgetrokken maar niet de datakabel, waardoor de boot loader maar bleef proberen te communiceren oid?

Maar zodra je de data kabel verwijdert en dus echt één disk minder hebt, dan krijg je de "all block copies unavailable" error. Deze error is simpelweg dat de bootloader niet van de ZFS 'vdev' kan lezen. Dit hoort alleen te gebeuren bij:
- faulted pool (dus niet degraded)
- gebruik van compressie
- gebruik van deduplicatie

Zou je het nog eens kunnen proberen maar dan met een schone lei? Dus, boot van je USB stick die je al had, doe weer een installatie. Bij stap4 moet je een andere naam opgeven omdat de huidige nog bestaat. Sluit het systeem af, haal de USB stick eruit. Probeer nu eerst normaal te booten met de 3 disks, dat hoort te lukken. Boot dan eens met één disk minder waarbij je de data kabel eruit haalt.

[EnerQi]

Sorry voor de late reactie! Ik heb vakantie en zit dus hele dagen bij mijn vriendin

Bij deze de test herhaalt maar nu zonder powerkabel EN data kabel.
Ik heb gecontrolleerd of dedub of compressie aanstaat en dit is negatief. Beide staan niet aan.

De error die ik krijg:

code:

ZFS: i/o error - all block copie unavailable
ZFS: i/o error - all block copie unavailable

FreeBSD/x86 boot
Default: Storage1:/boot/kernel/kernel
Boot:
ZFS: i/o error - all block copie unavailable

FreeBSD/x86 boot
Default: Storage1:/boot/kernel/kernel
Boot:

Oke, dus het eerste probleem waar je tegenaan liep was dat je enkel de SATA power had losgetrokken maar niet de datakabel, waardoor de boot loader maar bleef proberen te communiceren oid?

Dit zou kunnen, maar hoe kan ik nu weten of 1 harde schijf kapot is, welke dat is? Blijkbaar start ZFSguru niet meer op om te melden dat ie schijf "x" mist.

Edit: met 3 schijfen boot ie weer als vanouds....
Edit 2: een screenshot van mijn pool "storage1"

[ Voor 6% gewijzigd door EnerQi op 05-09-2012 23:08 ]

[Anoniem: 15758]

Als de BIOS zegt dat schijf X nog bestaat maar hiervan lezen eindeloos duurt, dan is dat misschien niet de fout van de bootloader. Maar dat is misschien een heel andere discussie en eigenlijk niet zo interessant.

Het punt is dat de FreeBSD ZFS-enabled bootcode moet kunnen booten van een degraded RAID-Z1/2/3 volume.

Mag ik je zpool status output eens zien?

Merk ook op dat als je nu dedup en compressie op disabled zet, dit niets zegt omdat de huidige data blijft zoals hij is. Als je dus ooit in het verleden dedup of compressie op de pool filesystem (zelfde naam als je pool) hebt geactiveerd, dan wordt je OS data ook zo geschreven door inheritance. De nieuwe ZFSguru heeft dit probleem gefixed door dedup en compressie expliciet uit te zetten voor de systeem filesystems (tank/zfsguru/9.1-002 bijvoorbeeld).

Heb je nu een nieuwe installatie geprobeerd? Dit kan gewoon via de web-interface terwijl je systeem draait. Je moet dan wel de naam veranderen dus geen tank/zfsguru/9.1-002 maar dan doe je '9.1-002-temp' ofzo. Dit zie je vanzelf bij stap4 dat staat met rode tekst aangegeven.

Zo'n nieuwe installatie verandert geen huidige data, het maakt alleen een nieuw filesystem aan en maakt deze actief. Dus zodra je reboot, boot je vanaf het nieuwe filesystem. Wil je terwijl je dat nieuwe systeem draait weer terug naar het oude, dan doe je via de System->Commandline waarbij je tank vervangt door de naam van je pool:
zpool set bootfs=tank/zfsguru/9.1-002 tank

PS. doe maar rustig aan op je eigen tempo; ik zie je reactie wel weer tegemoed. Ik hoop gewoon achter de oorzaak te komen van dit probleem en proberen te isoleren of het iets is van ZFSguru of toch een probleem in de bootloader code. Bedenk daarbij dat FreeBSD het enige operating system is dat ik ken dat native van RAID5/6/7 (RAID-Z1/2/3) kan booten, en dan ook nog single/double/triple degraded. Dus dat is best wel bijzonder! Maar dan moet het wel werken.

[Dadona]

* Dadona steekt hand omhoog ten teken dat hij hetzelfde probleem met het opstarten heeft.
Ik draai de standaard beta 5. Ik heb één van de drie schijven eruitgehaald (systeem was sowieso onbetrouwbaar, viel soms na een paar uur) en het systeem start nu niet op. (Het doel was een upgrade te doen naar de nieuwe system image en web interface.) Het systeem is nu al >30 minuten met de schijven aan het rommelen.
Ik laat dat nu een tijdje lopen en kijk of er morgenochtend verandering in de zaak is. Voor de rest kan ik de komende tijd even niet veel testen. (Dat is ook de reden dat ik de schijf eruit heb gehaald, ik moet een solide backup hebben voor het werk dat ik nu doe.) Het is dus vooral een....het is niet zonder meer één geval.

Qua hardware:
-Biostar TA790GX-A3+
-AMD Athlon II X2 235e
-4x4GB DDR3 ECC UDIMM
-2x Samsung F3EG 2TB
-Antec PSU

Dit weekend zal ik wel een livedisc erbij pakken om informatie op te halen over de pool, mocht dat helpen. Iets uitproberen is ook prima. En mocht het helemaal fout gaan dan is dat geen probleem (excl. rook graag ), gezien de huidige rol van het systeem.

[ Voor 25% gewijzigd door Dadona op 13-09-2012 23:06 ]

[EnerQi]

zo, terug van vakantie (een week geen pc ) en nu even de antwoorden!

Anoniem: 15758 schreef op woensdag 05 september 2012 @ 23:17:
Als de BIOS zegt dat schijf X nog bestaat maar hiervan lezen eindeloos duurt, dan is dat misschien niet de fout van de bootloader. Maar dat is misschien een heel andere discussie en eigenlijk niet zo interessant.

De bios vindt geen schijf , zodra ik 1 kabel lostrek (als de pc uitstaat) zal de bios die schijf bij opstarten niet vinden. Dit heb ik 2x getest .

Het punt is dat de FreeBSD ZFS-enabled bootcode moet kunnen booten van een degraded RAID-Z1/2/3 volume.

Mag ik je zpool status output eens zien?

Komt eraan!
Edit: waar vind ik die? Ik dacht namelijk dat screenshot op 5 september (3e post) mijn zpool status is.....

Merk ook op dat als je nu dedup en compressie op disabled zet, dit niets zegt omdat de huidige data blijft zoals hij is. Als je dus ooit in het verleden dedup of compressie op de pool filesystem (zelfde naam als je pool) hebt geactiveerd, dan wordt je OS data ook zo geschreven door inheritance. De nieuwe ZFSguru heeft dit probleem gefixed door dedup en compressie expliciet uit te zetten voor de systeem filesystems (tank/zfsguru/9.1-002 bijvoorbeeld).

Heb je nu een nieuwe installatie geprobeerd?

Ja, ik heb een verse installatie uitgevoerd.

Ik heb namelijk eerst een raidz1 "data" aangemaakt en deze getest (1e post in feite). Daarna de schijven gewist via FreeNAS 8.2 en daar een Raidz1 aangemaakt, genaamd "storage". Het verwijderen van raidz1 "data" ging niet zonder slag of stoot, maar dit is meer het gebrek aan kennis aan mijn kant dan de software . Vervolgens raidz1 "storage" aangemaakt en wat testjes mee gedaan waaronder gegevens erop gezet/sharen en een harde schijf losgemaakt. Zoals opgemerkt, freenas stond geinstalleerd op een usbstick en niet op de raidz1 "storage". Toen ik hier achterkwam via Tweakers, freenas usbstick geformatteerd (partities weggegooid etc) en opnieuw de beta6 ZFSguru op usbstick geinstalleerd via VMware. Weer de wizzard doorlopen en de raidz1 "storage" verwijderd. In ZFSguru is dat 2 seconden werk en wat extra bevestingen.

Ik heb mezelf overtuigd dat er geen raidz1 iets opstond door de NAS opnieuw op te starten en nogmaals op "search hidden pools/search destroyed pools" in ZFSguru en het antwoord was dat ZFSguru niets kon vinden. Vervolgens weer een raidz1 "storage1" aangemaakt (zoals screenshot in vorige berichten) en hier berichten dat de test wederom gefaald is

Dit kan gewoon via de web-interface terwijl je systeem draait. Je moet dan wel de naam veranderen dus geen tank/zfsguru/9.1-002 maar dan doe je '9.1-002-temp' ofzo. Dit zie je vanzelf bij stap4 dat staat met rode tekst aangegeven.

Zo'n nieuwe installatie verandert geen huidige data, het maakt alleen een nieuw filesystem aan en maakt deze actief. Dus zodra je reboot, boot je vanaf het nieuwe filesystem. Wil je terwijl je dat nieuwe systeem draait weer terug naar het oude, dan doe je via de System->Commandline waarbij je tank vervangt door de naam van je pool:
zpool set bootfs=tank/zfsguru/9.1-002 tank

PS. doe maar rustig aan op je eigen tempo; ik zie je reactie wel weer tegemoed. Ik hoop gewoon achter de oorzaak te komen van dit probleem en proberen te isoleren of het iets is van ZFSguru of toch een probleem in de bootloader code. Bedenk daarbij dat FreeBSD het enige operating system is dat ik ken dat native van RAID5/6/7 (RAID-Z1/2/3) kan booten, en dan ook nog single/double/triple degraded. Dus dat is best wel bijzonder! Maar dan moet het wel werken.

Moet ik dit alsnog testen?

p.s. de NAS is een testsysteem totdat ik er voldoende vertrouwen in heb dat het goed gaat

Edit 2: updaten naar beta7 en de nieuwe image? Nu is alles nog de beta6 versie die jij (Cipher) gemaakt heb.

[EnerQi]

*bump*

Nog meer nieuws of ik iets moet testen? (of updaten)

Ik wil voorkomen dat ik met een systeem zit wat niet goed werkt

Edit: ik bouw mijn nas gewoon af en neem 'm in productie. Ik ga namelijk niet gebruik maken van het booten op een Raidz2 array.

[ Voor 33% gewijzigd door EnerQi op 20-09-2012 16:03 ]

[EnerQi]

Hmm Ik merk nu op dat op 1 van mijn shares compressie aanstaat die ik nooit ingesteld heb. Nu blijkt dat ik bij het installeren op mijn usbstick WEL compressie heb aangezet (naja staat standaard aan op LZJB/light).

Zorgt dit misschien voor de problemen? Een standaard installatie op Root-on-ZFS geeft dit deze compressie wel aan.