Het grote ZFS topic

[Verwijderd]

Reageren op probleem van HyperBart graag in zijn nieuwe topic: Troubleshooting en oorzaak ZFS cksum errors.

[InflatableMouse]

Uit interesse en omdat ik het leuk vind om met m'n systeem te klieren heb ik op een spare SSD (256GB Samsung 830) een ZFS volume aangemaakt. Ik denk, leuk voor vmtjes met veel random read/writes enzo. Snapshots maken en daarna repliceren naar m'n "main" pool.

Ik denk, laat ik es compression en dedup aanzetten op die SSD pool. Er stond 104GB op, heb ik er af gehaald en het er opnieuw opgezet. Er is nog maar 45GB van over.

Voor dedup zou ik voor die (effectief) 198GB niet zoveel RAM nodig hoeven hebben en die LZ4 compressie behoorlijk efficient heb ik gelezen.

Anyway, met er op copieren had ik wel redelijke load, gemiddeld 40% CPU verspreid over m'n cores maar nu het er eenmaal weer op staat is dat totaal niet meer aan de orde.

Sterker nog, ik heb een heel sterk vermoeden dat lezen zelfs behoorlijk stuk sneller is geworden. Kan dat kloppen na bovenstaande wijzigingen of beeld ik me dat in?

[FireDrunk]

In theorie wel ja. Als de VM's echt een gezamelijke basis hebben kan je ARC in theorie efficienter zijn.

Waar je normaal gesproken 5 VM disks in ARC had met een dekking van misschien maar 20% per VM, kan je door overlap misschien wel 60% van al je VM disks in ARC hebben

[narotic]

Vergeet ook het effect van compressie niet. In het ideale geval kan je throughput vermenigvuldigd worden met je compressiefactor. Met

code:

zfs get compressratio pool/dataset

kun je de compressiefactor voor een bepaalde dataset zien; voor bestanden kun je de filesize gegeven door ls vergelijken met du (de effectieve data usage).

Ter voorbeeld, gemiddeld heb ik een compressie factor van bijna 1.3 op alle virtual harddrive bestanden, met een paar uitschieters van >2. Aangezien LZ4 inderdaad erg efficient is gebruik ik compressie op vrijwel al mijn datasets.

[ Voor 9% gewijzigd door narotic op 19-01-2016 20:30 . Reden: d/t fout ]

[InflatableMouse]

Ik zit op 1.36 compressie factor.

Kan ik nu ook nog zien hoe effectief dedup is dan?

[FireDrunk]

Ja, op pool niveau.

[InflatableMouse]

Ah of course.

Da's maar 1.02x.

Hmm da's veel minder dan ik had verwacht, want ik ben 60% minder maar compressie is maar 1.36x.

Da's wel gek ...

Maar goed, er staan nu alleen maar verschillende soorten vm's op, dat zal wel enorm oplopen naarmate er meer dezelfde os'en op komen te staan, verwacht ik.

[Verwijderd]

In hoeverre werkt ZFS met trim? En in hoeverre kun je dan zeggen: ZFS, je krijgt 90% van die schijf (waarna trim 10% reserveert voor dode 'sectoren')?

Heb net een nieuwe server met Supermicro bord erin, 4x nieuwe Kingston V300 SSD's in raidz en net als HyperBart na een paar scrubs errors die je dan met zpool clear weer weg krijgt. Maar lekker zit het mij niet... iemand een idee waar ik kan zoeken?

[Verwijderd]

Dode sectoren?? TRIM is ervoor zodat bij verwijderde bestanden deze ruimte beschikbaar te stellen aan de SSD voor intern gebruik. Zonder dit zou vanuit het perspectief van de SSD uiteindelijk alle LBA sectoren in gebruik zijn, ook al heb je daadwerkelijk maar 50% van de ruimte in gebruik. Dit omdat uiteindelijk alle sectoren worden beschreven en zonder TRIM weet de SSD niet dat de inmiddels vrijgekomen sectoren niet meer in gebruik zijn door het filesystem.

ZFS onder BSD ondersteunt gewoon TRIM, onder andere operating systems zoals Linux en Solaris niet - volgens mij.

V300 is geen beveiligde SSD dus logisch dat ZFS zo nu en dan corruptie detecteert. Het kan zelfs zo zijn dat uiteindelijk je hele pool corrupt is, omdat bepaalde metadata niet meer klopt. Dit kan gebeuren omdat 'data at rest' niet veilig is bij onbeveiligde SSDs, en Sandforce controllers zoals ook door de V300 wordt gebruikt, voegt daar nog het risico van een niet-kloppende deduplicationtable bij.

Je kunt onbeveiligde SSDs wel prima gebruiken als L2ARC cache voor je HDD pool, omdat corruptie automatisch wordt gecorrigeerd door simpelweg van de HDD pool te lezen. Iets wat niet werkt bij andere SSD caching mechanismen zoals Intel SRT onder Windows.

[FireDrunk]

ZFSonLinux is wel bezig met TRIM, maar ze lopen nog tegen wat performance issues aan als er heel erg veel TRIM commando's tegelijk los komen (FreeBSD heeft dat issue ook ), daarom is de code nog niet gemerged. Staat voor 0.7.0 op de planning volgens mij.

[Verwijderd]

Verwijderd schreef op woensdag 20 januari 2016 @ 02:20:
Dode sectoren?? TRIM is ervoor zodat bij verwijderde bestanden deze ruimte beschikbaar te stellen aan de SSD voor intern gebruik. Zonder dit zou vanuit het perspectief van de SSD uiteindelijk alle LBA sectoren in gebruik zijn, ook al heb je daadwerkelijk maar 50% van de ruimte in gebruik. Dit omdat uiteindelijk alle sectoren worden beschreven en zonder TRIM weet de SSD niet dat de inmiddels vrijgekomen sectoren niet meer in gebruik zijn door het filesystem.

ZFS onder BSD ondersteunt gewoon TRIM, onder andere operating systems zoals Linux en Solaris niet - volgens mij.

V300 is geen beveiligde SSD dus logisch dat ZFS zo nu en dan corruptie detecteert. Het kan zelfs zo zijn dat uiteindelijk je hele pool corrupt is, omdat bepaalde metadata niet meer klopt. Dit kan gebeuren omdat 'data at rest' niet veilig is bij onbeveiligde SSDs, en Sandforce controllers zoals ook door de V300 wordt gebruikt, voegt daar nog het risico van een niet-kloppende deduplicationtable bij.

Je kunt onbeveiligde SSDs wel prima gebruiken als L2ARC cache voor je HDD pool, omdat corruptie automatisch wordt gecorrigeerd door simpelweg van de HDD pool te lezen. Iets wat niet werkt bij andere SSD caching mechanismen zoals Intel SRT onder Windows.

Klopt, doelde erop dat de SSD een deel van flash in reserve houdt en daarmee de kapotte cellen vervangt, heeft uiteraard nada met trim te maken.
Ok, welke SSD's/HDD's zou je dan wel aanraden voor een raidz pool? Moet zuinig, betrouwbaar en 2,5" zijn (en dus traag maar daar gaat het bij deze niet om).

[FireDrunk]

Jij bedoelt Overprovisioning

Hoeveel ruimte wil je hebben? Want 2.5" HDD's zijn in absolute zin (puur Watt) wel zuinig, maar in relatieve zin weer niet zo (Watt per GB).

[F-Tim]

FireDrunk schreef op dinsdag 19 januari 2016 @ 14:41:
Samba honoreert volgens mij de default groep, dus als je van de Samba user de default groep omzet naar de "Thuis" groep zou samba dat moeten gebruiken volgens mij.

Commando's:

gpasswd -a user groep

Dus bijvoorbeeld:

gpasswd -a plex thuis

ZFSguru 'Share Groepen' zijn volgens mij iets anders dan Filesystem groepen zoals ik ze noem. ZFSguru kan wel met filesystem groepen overweg, maar heeft zijn eigen 'visie' over hoe het zou moeten werken die niet strookt met wat ik hier weerspiegel.

Het kwartje begint te vallen...! Vandaar dat de rechten van de anonieme gebruiker ook op "share share" stonden. Van een ingelogde gebruiker zou het dus bv "tim thuis" moeten zijn conform de "user group" naamgeving. Edit: Strange... van de user "tim" die in de groep "thuis" zit schrijft hij alsnog de groep "share" als owner. Heeft dat iets met de Write List optie van de Samba share te maken?

Ik heb iig de plex user toegevoegd aan de groepen share en thuis (d.m.v. "ee /etc/group"; gpasswd kent BSD kennelijk niet). Dan kan Plex zowel files lezen van de anonieme gebruikers (waar de files van onder share/share worden geschreven), als de ingelogde gebruiker (ongetest nu, maar k verwacht dat dat tim/thuis zal worden dan). In ieder geval zijn de users (/etc/group) en users (/etc/passwd) eenvoudig in te zien / wijzigen.

Met de smb.conf rechten 664/775 zou het goed moeten gaan voor nieuwe files.
Heb voor de zekerheid ook maar weer even alle files/directories op 664/775 gezet met chmod in PuTTy.

Dat wordt nog eens wat met mij en command line

Daarnaast weet ik ook waarom het niet goed gaat in de file browser window van ZFSguru... heel simpel door spaties in de map namen. Een workaround met %20 in de URL werkt ook niet, klein bugje dus aan de kant van ZFSguru. Een structuur zonder spaties wordt wel goed getoond.

[ Voor 4% gewijzigd door F-Tim op 20-01-2016 09:46 ]

[FireDrunk]

De ZFSguru webinterface draait waarschijnlijk niet onder root (maar heeft wel sudo rechten). Goede kans dat de Lighttpd daemon onder iets als nobody of www draait.

Als je die user ook nog toevoegd aan de goede groep zal het vast goedkomen.

ps -eaf | grep lighttpd

Om er achter te komen onder welke user het draait

[Verwijderd]

FireDrunk schreef op woensdag 20 januari 2016 @ 09:14:
Jij bedoelt Overprovisioning

Hoeveel ruimte wil je hebben? Want 2.5" HDD's zijn in absolute zin (puur Watt) wel zuinig, maar in relatieve zin weer niet zo (Watt per GB).

Klopt en daar ben ik jaren mee weg gekomen... elke SSD hield ik 20% van vrij en jaren zonder problemen gewerkt zonder enige uitval.

Ruimte: 300GB of meer maar max 1TB totaal voor de pool.

[F-Tim]

FireDrunk schreef op woensdag 20 januari 2016 @ 09:20:
De ZFSguru webinterface draait waarschijnlijk niet onder root (maar heeft wel sudo rechten). Goede kans dat de Lighttpd daemon onder iets als nobody of www draait.

Als je die user ook nog toevoegd aan de goede groep zal het vast goedkomen.

ps -eaf | grep lighttpd

Om er achter te komen onder welke user het draait

Die user bestaat niet

Maar, k weet 100% zeker dat het een klein bugje in ZFSguru is, ik had nl. 2 mappen "Photos" en "Photos iPhone", en in de web file browser werd in beide gevallen de content van "Photos" getoond. De querystring wordt ws. niet goed uitgelezen of geparsed met spaties.

[idef1x]

HyperBart schreef op dinsdag 19 januari 2016 @ 15:29:
Er waren hier wat collega-Tweakers die één keer per week scrubben wat "te" vonden, maar als ik dit nu zie heb ik zoiets van "beter een scrub te weinig dan eentje te veel".

Ik neem aan dat je bedoeld: "beter een scrub teveel dan eentje te weinig"?

[HyperBart]

Euh, ja

[InflatableMouse]

In 2012 of 2013 waren er al geruchten over iSCSI sharing support voor ZFS.

Ik heb nog altijd goede hoop dat dat gaat komen, iemand die daar nog wat zinnigs over weet?

[Verwijderd]

Dat is er toch allang? Solaris heeft kernel-level support, BSD heeft kernel-level suport en Linux weet ik niet maar heeft vast ook wel iets.

[InflatableMouse]

ik bedoel ingebouwd, zoals nfs sharing en samba, dus:

zfs set shareiscsi=on pool/volume

Er is/was een test build waar het in zat, Aaron Toponce spreekt er ook over (2013) maar tot nu toe is het nog niet doorgedruppeld in de linux builds. Volgens is het op Solaris en BSD ook nog niet beschikbaar (ingebouwd dan, of wel?).

[FireDrunk]

Volgens mij kunnen Solaris en BSD het inderdaad wel, maar Linux nog niet. Het iSCSI landschap is daar iets breder dan onder BSD waardoor er niet maar 1 implementatie nodig is om dit goed te implementeren.

Voor BSD is het geloof ik alleen de nieuwe iSCSI kernel implementatie en niet de oude iscsitgtd?

[Q]

Als je gewoon targetcli of scst gebruikt voor iscsi dan werkt alles redelijk simpel/eenvoudig, maar het zit inderdaad niet standaard in zol.

[dcm360]

Ik moest het even opzoeken, maar ik schijn dan weer IET te gebruiken. Desalniettemin kan ik me prima aansluiten bij Q, het werkt prima zonder dat het ingewikkeld is of moeilijk wordt.

[riwi]

kaaas schreef op woensdag 13 januari 2016 @ 10:07:
Edit Ik heb een oorzaak/fix zie einde van mijn post

Ik heb een interessant probleem met zfs on linux.
Ik heb een volle pool (0k vrij) en ik kan er niets meer van verwijderen met bijv een rm.

Er is net een nieuwe commit op ZoL om een probleem op te lossen met het verwijderen van files van een volle pool. :
https://github.com/zfsonl...22c1c09e0eace4f7da7381a62

Is een port van : Illumos 4950 - files sometimes can't be removed from a full filesystem

[A1AD]

Vraagje(s) aan de ZoL gebruikers:
gebruikt er iemand LUKS voor zijn pool?
If so: Wat zijn de ervaringen? Hoe doen jullie de unlock? Manueel/at boot? Is je root pool ook encrypted?

Zijn er nadelen aan het gebruik van LUKS iswm ZoL?

Op FreeNAS werkt dit perfect en zonder zorgen en nu ik gestart ben met migratie ESX(FreeNAS VM) > Proxmox vraag ik mij af of dit even betrouwbaar is.

[wopie]

Ik ben nog steeds aan het voorbereiden voor een migratie van mijn esxi/zfsguru all-in-one setup naar een SmartOS -oplossing. Ik draai al een tijdje een test-server (op aparte hardware) waar ik vanalles op aan het uitproberen ben.
Nu ben ik voornemens om voor m'n primaire vm's (onderdeel van het thuis-netwerk, denk aan fileserver (zone)/windows-server (KVM) voor remote access/palo alto firewall-appliance (KVM)/crashplan (nog niet getest)/spotweb (lx-zone)/etc wat er nog bij moet) ssd(s) te gaan gebruiken echter lees ik her en der dat er onder illumos nog geen support voor TRIM is.
Ik vraag me af in hoeverre dit een issue is in thuis-gebruik omgevingen, dit omdat men in datacenters ook ssd's toepast voor SmartOS. Nu zal daar mogelijk op andere lagen gezorgd worden dat er eens in de zoveel tijd een cleanup van alle ssd's plaatsvind binnen een node waarbij de applicaties gewoon op andere hardware door blijft draaien (deze mogelijkheid heb ik zelf thuis natuurlijk niet aangezien ik niet met meerdere hardware-nodes werk).

Concreet, mijn vraag:
Wanneer is het ontbreken van TRIM -support binnen een OS een issue bij het gebruik van ssd's en is dit nog merk/feature afhankelijk? Intel DC is gericht op datacentergebruik, zal deze op de een of andere manier beter op hardware/firmware-level omgaan met fragmentatie waardoor je geen/minder last hebt van het onbreken van TRIM in het OS? Zal een Crucial MX-200 (consumentenmarkt georienteerd) sneller issues krijgen/vertonen vanwege fragmentatie en ontbreken van OS TRIM -support tov enterprise -ssd's?

[narotic]

wopie schreef op zaterdag 23 januari 2016 @ 21:26:
Concreet, mijn vraag:
Wanneer is het ontbreken van TRIM -support binnen een OS een issue bij het gebruik van ssd's en is dit nog merk/feature afhankelijk? Intel DC is gericht op datacentergebruik, zal deze op de een of andere manier beter op hardware/firmware-level omgaan met fragmentatie waardoor je geen/minder last hebt van het onbreken van TRIM in het OS? Zal een Crucial MX-200 (consumentenmarkt georienteerd) sneller issues krijgen/vertonen vanwege fragmentatie en ontbreken van OS TRIM -support tov enterprise -ssd's?

Ik heb ze zelf nooit in handen gehad, maar ik meen dat enterprise SSD's dat voornamelijk oplossen door veel hogere overprovisioning. High end intel SSD's uit de DC serie hebben bijvoorbeeld tot 30-40% overprovisioning, waardoor de noodzaak voor TRIM een heel stuk minder is. Consumentendrives komen over het algemeen uit de fabriek met tussen de 0-10% overprovisioning, maar als je wilt kun je natuurlijk zoveel ruimte vrij laten als je wilt (dus niet gepartitioneerde ruimte of host protected area).

[HyperBart]

A1AD schreef op zaterdag 23 januari 2016 @ 19:27:
Vraagje(s) aan de ZoL gebruikers:
gebruikt er iemand LUKS voor zijn pool?

Neen, heb er wel heel lang naar zitten kijken maar ik hoop eigenlijk dat de support eerder van ZFS gaat komen dan dat je het block device an sich encrypteert. Ik vind het persoonlijk wat riskanter als je encryptie gaat toepassen op een laag waar ZFS geen controle over heeft. Op zich is dat wel de kerngedachte van ZFS maar het is weer een factor die de complexiteit verhoogt en in die mate dat als er daar iets mis gaat dat het echt wel bye bye data is.

If so: Wat zijn de ervaringen? Hoe doen jullie de unlock? Manueel/at boot? Is je root pool ook encrypted?

Ligt er aan wat je op je rootpool hebt staan en tegen wat je jezelf wilt beschermen natuurlijk. Unlock zou ik doen met een USB-stick, bij reboot er even in, uithalen en opbergen. Klaar. Dat je als het ware een fysieke sleutel hebt voor je server op te starten.

Zijn er nadelen aan het gebruik van LUKS iswm ZoL?

Op FreeNAS werkt dit perfect en zonder zorgen en nu ik gestart ben met migratie ESX(FreeNAS VM) > Proxmox vraag ik mij af of dit even betrouwbaar is.

[Dogooder]

Ik heb misschien een Newbie vraag, maar ik zit met de volgende situatie:
ik gebruik zfs voor mijn backups met snapshots iedere week. Dit werkt prima.
Ik maak momenteel een snapshot over de hele "dir"
zfs list -t all
storage/backup
storage/backup@24-01-2016
storage/[e-mail].

In de folder backup heeft elke computer een eigen folder.
Nu heb ik door recente ontwikkelingen ondervonden dat ik graag een snapshot wil maken per computer.
gewenste situtie is dan
storage/backup/comp_1@<datum>

Weet iemand hoe ik dit voor elkaar krijg. Als ik zfs create storage/backup/comp_1 gebruik krijg ik een lege folder.
Gewoon zfs snapshot storage/backup/comp_1@${today} mag niet.

[ Voor 4% gewijzigd door Dogooder op 24-01-2016 23:20 ]

[CurlyMo]

Je maakt op je doel de structuur aan zoals je het wilt, dus:

code:

zfs create storage
zfs create storage/backup
zfs create storage/backup/comp_1

Vervolgens is dit je send / receive commando:

code:

zfs send storage/backup@24-01-2016 | zfs receive -Fdvu storage/backup/comp_1

[krijn1985]

Nou zit wel mee, na 3 jaar zfsguru draaiend had ik een vervelend probleempje vorige week door mijn laptop. Kijk ik vandaag is 1 schijf gewoon kwijt en draait hij degraded. Zo maar even uitzetten en kijken of alle kabels nog goed vast zitten. Anders wordt het tijd om een schijf te vervangen.

[Verwijderd]

Kabels omwisselen is ook nuttig; als je het probleem dan opeens met een andere schijf hebt is dat een goede indicatie dat het aan de kabels zelf ligt.

[krijn1985]

Verwijderd schreef op maandag 25 januari 2016 @ 18:57:
Kabels omwisselen is ook nuttig; als je het probleem dan opeens met een andere schijf hebt is dat een goede indicatie dat het aan de kabels zelf ligt.

Even voor de zekerheid nog wat data kopieren. Maar zal hem daarna even uitzetten en kabels proberen. Hopelijk is er gewoon een kabel los getrilt of kabel fout.

Update: kabels aanduwen, sata kabel gewisseld, nieuwe power kabel erin. Zelfde disk blijft offline. Boot geeft volgende aan:

ahcich1: AHCI reset: device not ready after 31000ms (tfd = 00000080)
ahcich1: Poll timeout on slot 0 port 15
ahcich1: is 00000000 cs 00000001 ss 00000000 rs 00000001 tfd 00 serr 00000000 cmd 0000e017
(aprobe1:ahcich1:0:15:0): SOFT_RESET. ACB: 00 00 00 00 00 00 00 00 00 00 00 00
(aprobe1:ahcich1:0:15:0): CAM status: Command timeout
(aprobe1:ahcich1:0:15:0): Error 5, Retries exhausted
ahcich1: Poll timeout on slot 0 port 0
ahcich1: is 00000000 cs 00000001 ss 00000000 rs 00000001 tfd 00 serr 00000000 cmd 0000e017
(aprobe0:ahcich1:0:0:0): SOFT_RESET. ACB: 00 00 00 00 00 00 00 00 00 00 00 00
(aprobe0:ahcich1:0:0:0): CAM status: Command timeout
(aprobe0:ahcich1:0:0:0): Error 5, Retries exhausted
run_interrupt_driven_hooks: still waiting after 60 seconds for xpt_config
ada0 at ahcich0 bus 0 scbus0 target 0 lun 0
ada0: <ST2000DM001-9YN164 CC4H> ATA-8 SATA 3.x device
ada0: 600.000MB/s transfers (SATA 3.x, UDMA6, PIO 8192bytes)
ada0: Command Queueing enabled
ada0: 1907729MB (3907029168 512 byte sectors: 16H 63S/T 16383C)
ada1 at ahcich2 bus 0 scbus2 target 0 lun 0
ada1: <ST2000DM001-9YN164 CC4H> ATA-8 SATA 3.x device
ada1: 600.000MB/s transfers (SATA 3.x, UDMA6, PIO 8192bytes)
ada1: Command Queueing enabled
ada1: 1907729MB (3907029168 512 byte sectors: 16H 63S/T 16383C)

Denk dat mijn disk toch dood is. Zal hem er nog even uithalen een aansluiten in extern ding. Maar ben er bang voor. Moet ik toch opzoek gaan naar een nieuwe disk.


update 2: Denk toch dat hij echt dood is. HIj gaat wel draaien maar ook in externe hd behuizing wordt hij niet gevonden. Ook gelijk getest of een andere schijf wel gezien wordt met de behuizing.

Tijd om dus een nieuwe schijf aan te schaffe denk ik zo. Ik heb op dit moment dus 3 x Seagate Desktop HDD ST2000DM001 in raid-z. Qua ruimte had ik op dit moment nog genoeg, denk dat hij half vol is. Nu kan ik voor ongeveer 70E weer een zelfde aanschaffen, maar dit is denk ik een beetje zonde.

Opties zijn dus om een 3 of 4 TB schijf te kopen en heb even de ondestaande lijst samengesteld:

#	Product	Prijs	Subtotaal
1	Seagate Desktop HDD ST3000DM001, 3TB	€ 95,95	€ 95,95
1	Seagate Desktop HDD ST4000DM000, 4TB	€ 127,50	€ 127,50
1	Toshiba DT01ACA300, 3TB	€ 84,95	€ 84,95
1	WD Blue WD30EZRZ, 3TB	€ 95,57	€ 95,57
1	WD Green HDD, 3TB	€ 97,95	€ 97,95
Bekijk collectie Importeer producten		Totaal	€ 501,92

De toshiba is qua prijs erg voordelig echter zijn de reviews niet heel lovend. Over de seageate 3TB lees ik ook niet veel goeds, namelijk hoge uitval. Eventueel zou ik kunnen gaan voor de 4TB seagate, iets lagere uitval over bekend. Ik zou dan persoonlijk voor de WD 3TB green of blue gaan. Echter zijn deze schijven 5400 RPM in tegenstelling tot 7200 RPM die ik nu heb. Gaat dit veel uitmaken?

Wat zou jullie advies zijn? Gewoon de toshiba? Of toch de seagate 3 TB? Of toch voor een WD schijf?

[ Voor 108% gewijzigd door krijn1985 op 26-01-2016 00:13 ]

[ijdod]

Als een bestand volledig overschreven wordt door een identiek bestand (zeg maar een traditionale full backup, maar met ongewijzigde bestanden), dan neem ik aan dat dit op ZFS niveau effectief een volledig nieuw bestand is? (met alle gevolgen van dien voor snapshots). Of is ZFS (of eigenlijk elk ander FS) in staat dit te herkennen als identiek?

[ Voor 12% gewijzigd door ijdod op 26-01-2016 11:10 ]

[krijn1985]

ijdod schreef op dinsdag 26 januari 2016 @ 10:54:
Als een bestand volledig overschreven wordt door een identiek bestand (zeg maar een traditionale full backup, maar met ongewijzigde bestanden), dan neem ik aan dat dit op ZFS niveau effectief een volledig nieuw bestand is? (met alle gevolgen van dien voor snapshots). Of is ZFS (of eigenlijk elk ander FS) in staat dit te herkennen als identiek?

Ik weet het niet 100% zeker, maar ik verwacht dat bij een snapshot alleen de wijziging in timestamp (creation date) aangepast zal worden. Aangezien de inhoudelijke data gewoon nog het zelfde is.

[ijdod]

krijn1985 schreef op dinsdag 26 januari 2016 @ 15:23:
[...]


Ik weet het niet 100% zeker, maar ik verwacht dat bij een snapshot alleen de wijziging in timestamp (creation date) aangepast zal worden. Aangezien de inhoudelijke data gewoon nog het zelfde is.

De vraag is dus eigenlijk wat er precies gebeurt zodra je een file overschrijft. Gevoelsmatig werkt dat als het weggooien van het oude bestand, en het vervolgens aanmaken van een nieuw bestand. De vraag is of ZFS dat ziet als dezelfde data en dus alleen de timestamp aanpast, of een nieuw file plaats. In dat laatste geval zou ik verwachten dat er in het snapshot nog de verwijzing staat naar het gehele oude bestand, en kost het je dus effectief twee keer diskruimte (totdat je de snapshots opschoont). Ik zal vanavond even gaan experimenteren

[dcm360]

Dat is niet het geval:

# zfs create storage/test
# cp game2.sav /storage/test/game2.sav
# zfs snapshot storage/test@snap1
# cp game2.sav /storage/test/game2.sav
# zfs snapshot storage/test@snap2
# zfs list -t snapshot | grep test
storage/test@snap1                 157M      -   157M  -
storage/test@snap2                    0      -   157M  -
# zfs list | grep test
storage/test                      315M  3.37T   157M  /storage/test

[ijdod]

Even mee zitten spelen, het is effectief ook afhankelijk van hoe je applicatie zijn data opslaat. Een (vrij groot 6 MB)) Word bestaand wordt door Word2013 kennelijk in zijn geheel overschreven, dus 2 saves en snapshots later staat er effectief 18 MB aan data).

Zal vast geen verassing zijn voor de mensen die meer in de storage hoek zitten...

[Verwijderd]

krijn1985 schreef op maandag 25 januari 2016 @ 18:59:
De toshiba is qua prijs erg voordelig echter zijn de reviews niet heel lovend. Over de seageate 3TB lees ik ook niet veel goeds, namelijk hoge uitval. Eventueel zou ik kunnen gaan voor de 4TB seagate, iets lagere uitval over bekend. Ik zou dan persoonlijk voor de WD 3TB green of blue gaan. Echter zijn deze schijven 5400 RPM in tegenstelling tot 7200 RPM die ik nu heb. Gaat dit veel uitmaken?

Wat zou jullie advies zijn? Gewoon de toshiba? Of toch de seagate 3 TB? Of toch voor een WD schijf?

Toshiba 7200rpm kun je wel doen, scheelt wel iets. Ze maken wel aardig wat lawaai en zijn niet superzuinig. Betrouwbaarheid zou mogelijk ook iets slechter kunnen zijn. Maar het prijsverschil is er wel. Als je dat belangrijk vindt kun je dat prima doen.

Voor je volgende build zou ik voor 5400rpm class gaan, zoals de huidige WD's. Heerlijk stil en ook prima snel voor grote files.

[krijn1985]

Ik heb op dit moment toch maar voor de Toshiba gekozen. Ik kon wel weer met het oog op het toekomst naar mogelijk upgrade 30 a 40 euro meer betalen, maar voor het zelfde geld zit ik de komende twee jaar nog wel goed met de ruimte die ik heb (en hopelijk geen overlijdende schijven).

Nog bedankt voor de input.

[jacovn]

De toshiba-dt01aca300 is een hgst design hdd.
Ik heb er een aantal van en zelfs 1 met toshiba label die zich presenteert als hgst 7K3000.

Ze worden wel warm, en echt stil kan ik ze ook niet noemen.

[HyperBart]

krijn1985 schreef op dinsdag 26 januari 2016 @ 20:36:
Ik heb op dit moment toch maar voor de Toshiba gekozen. Ik kon wel weer met het oog op het toekomst naar mogelijk upgrade 30 a 40 euro meer betalen, maar voor het zelfde geld zit ik de komende twee jaar nog wel goed met de ruimte die ik heb (en hopelijk geen overlijdende schijven).

Nog bedankt voor de input.

Tip voor de volgende keer, V&A checken, er zijn een paar zeer betrouwbare verkopers van de Seagate modelletjes zoals verkoper_nick en delange43.

[krijn1985]

HyperBart schreef op dinsdag 26 januari 2016 @ 22:48:
[...]


Tip voor de volgende keer, V&A checken, er zijn een paar zeer betrouwbare verkopers van de Seagate modelletjes zoals verkoper_nick en delange43.

Bedankt voor de tip. Ik had wel even in V&A gekeken, maar wilde de schijf eigenlijk zo snel mogelijk binnen hebben zodat mijn NAS weer aan kan en weer normaal raid-z kan draaien.

Update: vandaag schijf binnen gekregen. Via de webgui van ZFSguru GPT gepartitioneerd en label eraan gehangen. Resilverd en nu is hij met een scrub bezig. Komende dagen even een scriptje gaan instellen wat mij automatisch een mailtje stuurt met HD problemen.

Allen in ieder geval bedankt voor de tips.

[ Voor 25% gewijzigd door krijn1985 op 27-01-2016 21:11 ]

[Q]

Heb een half gaar scriptje gemaakt in python om ZFS resilver performance van verschillende Pool / VDEV configuraties te benchmarken.

https://github.com/louwrentius/zfs-resilver-benchmark

Ik ga ook daadwerkelijk testen op mijn oude NAS met 12 x 1 TB disks. Heb nog geen stats

[F-Tim]

Tip voor velen onder ons, en zeker alle beginners (zoals ik): Webmin

Ik kreeg het gister van een vriend als tip, heb het gelijk op mijn ZFSguru installatie geinstalleerd met PuTTy, damn... dat maakt het configureren wel verdomd eenvoudig! En de installatie zelf via Portsnap stelde ook niet veel voor.

Onder andere de volgende zaken eenvoudig via een web interface te configureren:
User en groep beheer
Netwerk configuratie (Static IP o.a.)
Samba (incl. permissies pér share en default permissies)
ProFTPd
Cron jobs
Package updates

Perfect is het zeer zeker niet, maar verdomd handig vond ik het in ieder geval wel!

[Q]

Het is wel handig om niet lui te zijn en ook wat command line spul te leren. Handig voor als dingen fout gaan en de GUI geen hulp meer kan bieden. Met name zfs commandos.

[F-Tim]

Q schreef op vrijdag 29 januari 2016 @ 08:27:
Het is wel handig om niet lui te zijn en ook wat command line spul te leren. Handig voor als dingen fout gaan en de GUI geen hulp meer kan bieden. Met name zfs commandos.

Tot op zekere hoogte mee eens, máár ik heb tot nu toe álles ZFS gerelateerd met de UI van ZFSguru kunnen doen... zonder enig ZFS commando in te typen. Weliswaar in een VM ermee gespeeld, maar uiteindelijk geen commando nodig gehad tijdens de daadwerkelijke install.

De zaken waar ik persoonlijk de command line voor nodig had waren voor de FreeBSD gerelateerde zaken die ik hierboven ook benoem. Dingen die zoals nu blijken, allemaal via Webmin eenvoudiger te beheren waren. Met name het file/folder permissies i.c.m. file manager deel in Webmin zouden mij geholpen hebben met het troubleshooten toen ik tegen wat problemen aanliep dat ik bestanden niet in Plex zag. Terwijl ik het nu enkel dankzij hulp van FireDrunk netjes kon oplossen (waar ik nog steeds zeer dankbaar voor ben!)

Dus... nuttig? Ja!
Moet het je enige redmiddel zijn? Zeer zeker niet!

[Ultraman]

My 2 cents:
WebGUI voor beheer is leuk en aardig, maar het beperkt je tegelijkertijd ook en je leert er imo weinig van.
Voor dagelijkse taken kan het zeker wel handig zijn en je mogelijk wat tijd besparen (op korte termijn) doordat je snel bepaalde dingen kunt uitvoeren/instellen.

Zolang zo'n ding werkt is het allemaal koek en ei, maar wanneer het op zijn gat gaat ben je het haasje. Want: je hebt geen idee wat die tool allemaal heeft uitgevreten, waar wat staat noch wat je kunt doen om het op te lossen.
Nou verschilt dat ook behoorlijk van web-managementsysteem tot web-managementsysteem.

Ik heb een keer een klant gehad met een Plesk installatie die een major upgrade wilde naar een nieuwere versie. Laat ik het kort houden: wat een ellende, begin daar nooit aan

Zelf gebruik ik ze niet en gaat alles met de shell. En als je daar handig in wordt, dan snap je niet dat je ooit anders hebt gedaan.

[Q]

Tja, ergens handig in worden kost tijd en moeite natuurlijk. Maar zet dan gewoon een QNAP of Synology neer en ga niet met BSD / Linux ZFS / MDADM en Webmin spelen, als ik toch even een knuppel in het hoenderhok mag gooien. Of zet Windows neer met storage spaces ofzo.

Want een systeem neerzetten wat je in feite dus niet beheerst: zodra er iets fout gaat ben je de sjaak en kom je hier op het forum om hulp en dan nog.

Zoals Utraman schrijft: mijn servers hebben geen GUI, die beperkt mij alleen maar, ze zijn zo KISS opgezet, kwestie van wat files met een text editor aanpassen. Vim is een prima gui. Hahaha.

[Pantagruel]

Q schreef op vrijdag 29 januari 2016 @ 13:44:
Tja, ergens handig in worden kost tijd en moeite natuurlijk. Maar zet dan gewoon een QNAP of Synology neer en ga niet met BSD / Linux ZFS / MDADM en Webmin spelen, als ik toch even een knuppel in het hoenderhok mag gooien. Of zet Windows neer met storage spaces ofzo.

Want een systeem neerzetten wat je in feite dus niet beheerst: zodra er iets fout gaat ben je de sjaak en kom je hier op het forum om hulp en dan nog.

Idd, als t je geen lor interesseert en je wilt zo min mogelijk inspanning leveren om t te leren kennen dan pak je een oplossing die uit de doos werkt, neemt je er een SLA bij die je bevalt en blijf je mijlen ver weg van andere oplossingen.

Zoals Utraman schrijft: mijn servers hebben geen GUI, die beperkt mij alleen maar, ze zijn zo KISS opgezet, kwestie van wat files met een text editor aanpassen. Vim is een prima gui. Hahaha.

GUI is pfui , CLI is all we need!
Vi(m) of nano is voldoende om config files aan te passen, remote acces middels ssh, bloatware als RDP en de bijbehorende services die moeten draaien is niet nodig. Een evt. web interface zoals ZFSguru heeft is handig, maar geen vereiste.

[Q]

Helaas crashte mijn script bij een raidz2 test. Ergens een race conditie.

Ergens vrees ik dat mijn manier van testen mogelijk niet OK is.

Ik replace een bestaande drive die on-line blijft met een 'spare'. Of het gedrag/performance anders is als de bestaande schijf afwezig is, weet ik niet. Moet ik ook testen.

[ Voor 74% gewijzigd door Q op 29-01-2016 20:07 ]

[Dadona]

F-Tim schreef op vrijdag 29 januari 2016 @ 07:44:
Tip voor velen onder ons, en zeker alle beginners (zoals ik): Webmin

Ik kreeg het gister van een vriend als tip, heb het gelijk op mijn ZFSguru installatie geinstalleerd met PuTTy, damn... dat maakt het configureren wel verdomd eenvoudig! En de installatie zelf via Portsnap stelde ook niet veel voor.

Onder andere de volgende zaken eenvoudig via een web interface te configureren:
User en groep beheer
Netwerk configuratie (Static IP o.a.)
Samba (incl. permissies pér share en default permissies)
ProFTPd
Cron jobs
Package updates

Perfect is het zeer zeker niet, maar verdomd handig vond ik het in ieder geval wel!

Nu heb ik al een hele tijd ZFSguru niet meer gebruikt, maar was het niet zo dat ZFSguru een groot deel van deze dingen kon? Sterker nog, dat het belangrijke redenen waren om juist voor ZFSguru te gaan? Waarom plaats je nu Webmin daar dan naast?

[Verwijderd]

Webmin kan dingen die ZFSguru niet kan. Uit mijn hoofd:

• Static IP kan ZFSguru niet via de web-interface, al staat er wel hapklare voorbeelden in /etc/rc.conf hoe je dat kunt activeren.
• Samba met permissies per share kan ZFSguru volgens mij juist heel goed, dus daar heb je geen Webmin voor nodig.
• ProFTPd is beschikbaar als service addon en er is ook 'pureadmin' als frontend. Maar ik heb daar zelf geen ervaring mee. Mogelijk veel beter onder Webmin.
• Cronjobs doet ZFSguru niet, dus ook een plus van Webmin.
• Package updates kan nuttig zijn als je deze los wilt updaten ipv het hele systeem updaten.

Webmin kan dus een aanvulling zijn, al wil ik ook waarschuwen dat het zou kunnen zijn dat het elkaar gaat bijten. Als Webmin bepaalde configuratiebestanden aanpast of bijvoorbeeld de Samba permissies met gebruikers die niet de default share group (1000) gebruiken. Dan lukt het bijvoorbeeld niet meer om geen gezeik met permissies te krijgen als je zowel Samba als NFS gebruikt.

[Dadona]

Dat laatste is waar het mij dus om gaat inderdaad. Als ze op veel vlakken hetzelfde doen, dan zou ik echt kiezen voor een BSD/Linux met ZFS en Webmin, of voor ZFSguru.

[Verwijderd]

Mja, aan de andere kant als je het fijn vindt om niks op de CLI te doen kan Webmin wel een aanvulling zijn. Zelf denk ik dat de GUI fijn is maar het prima is als je sommige dingen op de CLI doet, leer je ook eens wat. Idee is ook dat je de simpele dingen ook simpel werkend kunt krijgen via de GUI en vervolgens de meer specifieke/bijzondere/geavanceerde dingen via de CLI doet.

Dat is ook een goede manier om UNIX te leren kennen denk ik: beginnen bij iets wat werkt zodat je de broodnodige dingen gewoon werkend hebt, om vervolgens de rest te leren met een acceptabele leercurve. Zomaar iemand in het diepe gooien en BSD zonder GUI te laten draaien - zoals soms wordt gesuggereerd - is denk ik een goede manier om iemand heel snel een Qnap of Synology te laten aanschaffen. Juist die middenweg is denk ik belangrijk om een veel breder publiek warm te krijgen voor ZFS.

[joslohuis]

Cipher,

Ik heb een aantal berichten verstuurd naar jouw mailadres van tweakers.

Jos

Verwijderd schreef op zondag 17 januari 2016 @ 16:30:
[...]

Probeer eens handmatig een nieuwe database te downloaden, misschien is het downloaden halverwege onderbroken ofzo en heb je een onvolledige database.

System->Preferences->Advanced en klik op de knop Refresh database.

[Verwijderd]

Dit:

1 ding snap ik niet. stel je hebt de volgende situatie:

datapool
raidz1-0
c0t5001
c0t5002
c0t5003
raidz1-1
c0t5004
c0t5005
c0t5006

dan heb je dus een stripe over 2 raidz's (?) en áls 1 van die raidz's failed dan is ál je data weg omdat het een stripe is. of zie ik dit fout?

heb ik eerder geschreven en indien raidz1-1 wegvalt, ben je je data kwijt.

Als ik hier kijk:
http://www.zfsbuild.com/2010/05/26/zfs-raid-levels/
dan staat daar:

Mirrored Vdev’s (RAID1)
This is akin to RAID1. If you mirror a pair of Vdev’s (each Vdev is usually a single hard drive) it is just like RAID1, except you get the added bonus of automatic checksumming. This prevents silent data corruption that is usually undetectable by most hardware RAID cards. Another bonus of mirrored Vdev’s in ZFS is that you can use multiple mirrors. If we wanted to mirror all 20 drives on our ZFS system, we could. We would waste an inordinate amount of space, but we could sustain 19 drive failures with no loss of data. How To Create Mirrored Vdev Zpool

kijken naar wat ik bold heb gemaakt is dat domweg niet waar... want hij/zij zegt dat je 10 mirror maakt van 20 schijven en dat je 19 schijven kunt kwijt raken en dat je dan nog steeds je set weer kunt opbouwen. En dat klopt niet want het is een raid0/stripe over al die mirrors en als je net als boven met die raidz1-1 een wegvalt (1 mirror dus) dan is het dus ook bye-bye data.
Die multiple mirror is dus puur performance gerelateerd met redundance voor elke mirror ansich, dat je 19 schijven kunt kwijtraken is complete onzin.
Zelf getest met 6 disks in VB, 3 mirrors van elk 2 disks en na eruit rukken van 5 waardoor ik dus een enkele in een mirror overhield was het niet meer terug te bouwen.
Jammer dat er geen mirror over mirrors is.

[CurlyMo]

Je leest dat stukje tekst verkeerd. Hij bedoeld 1 schijf 19x spiegelen. Oftewel een normale mirror van twee schijven:
| |

Of een mirror met 20 schijven:
| | | | | | | | | | | | | | | | | | | |

Nu kunt nu dus 19 schijven verliezen en je data nog in tact hebben. Vandaar ook de "inordinate amount of space" dat je verspilt.

[Verwijderd]

CurlyMo schreef op maandag 01 februari 2016 @ 13:37:
Je leest dat stukje tekst verkeerd. Hij bedoeld 1 schijf 19x spiegelen. Oftewel een normale mirror van twee schijven:
| |

Of een mirror met 20 schijven:
| | | | | | | | | | | | | | | | | | | |

Nu kunt nu dus 19 schijven verliezen en je data nog in tact hebben. Vandaar ook de "inordinate amount of space" dat je verspilt.

Ik snap het echt niet.

/edit Hoe kan ik dan met ZFS 10 mirror maken zoals hij daar aangeeft?

[ Voor 7% gewijzigd door Verwijderd op 01-02-2016 13:50 ]

[Verwijderd]

Meer dan 2-way mirroring is niet heel bekend met mensen die van RAID afkomen. Bijvoorbeeld controllers als Areca kunnen dit volgens mij niet. Wel meerdere mirrors, zodat je RAID0+1 of RAID1+0 krijgt, maar niet 3+-way mirroring. Dus ik begrijp wel dat het bij sommigen als vreemd klinkt.

3-way mirroring is wel heel nuttig voor read-intensive workloads, met name voor random read IOps en waarbij opslagruimte niet cruciaal is. Denk aan databases en VM storage.

Verwijderd schreef op maandag 01 februari 2016 @ 13:46:
Ik snap het echt niet.

Vrij simpel: bij een normale (2-way) mirror staat dezelfde data op twee schijven.

Bij een 3-way mirror staat dezelfde data op drie schijven.

Bij een 20-way mirror staat dezelfde data op.... 20 schijven! You get the point.

Je kunt bij zo'n 20-way mirror dus 19 van de 20 schijven verliezen en dan heb je nog steeds alle opgeslagen gegevens. Maar je hebt dus ook maar de opslagruimte van één disk. Een 2-way mirorr of een 20-way mirror hebben dus dezelfde bruikbare opslagcapaciteit.

[ Voor 40% gewijzigd door Verwijderd op 01-02-2016 13:49 ]

[Verwijderd]

Verwijderd schreef op maandag 01 februari 2016 @ 13:47:
Meer dan 2-way mirroring is niet heel bekend met mensen die van RAID afkomen. Bijvoorbeeld controllers als Areca kunnen dit volgens mij niet. Wel meerdere mirrors, zodat je RAID0+1 of RAID1+0 krijgt, maar niet 3+-way mirroring. Dus ik begrijp wel dat het bij sommigen als vreemd klinkt.

3-way mirroring is wel heel nuttig voor read-intensive workloads, met name voor random read IOps en waarbij opslagruimte niet cruciaal is. Denk aan databases en VM storage.

[...]

Vrij simpel: bij een normale (2-way) mirror staat dezelfde data op twee schijven.

Bij een 3-way mirror staat dezelfde data op drie schijven.

Bij een 20-way mirror staat dezelfde data op.... 20 schijven! You get the point.

Je kunt bij zo'n 20-way mirror dus 19 van de 20 schijven verliezen en dan heb je nog steeds alle opgeslagen gegevens. Maar je hebt dus ook maar de opslagruimte van één disk. Een 2-way mirorr of een 20-way mirror hebben dus dezelfde bruikbare opslagcapaciteit.

Ok... dus zpool create tank mirror <disk1> <disk2> mirror <disk3> <disk4> is een stripe en zpool create tank mirror <disk1> <disk2> <disk3> <disk4> werkt ook??

[Verwijderd]

Ja, dat eerste zijn twee mirrors van elk twee disks, dat laatste is dus een enkele 4-way mirror.

[Verwijderd]

Verwijderd schreef op maandag 01 februari 2016 @ 13:54:
Ja, dat eerste zijn twee mirrors van elk twee disks, dat laatste is dus een enkele 4-way mirror.

Hoe bizar... dit ga ik nu proberen in VB, mega dank, dit wist ik dus echt niet, weer wat geleerd.

[CurlyMo]

Verwijderd schreef op maandag 01 februari 2016 @ 13:54:
Ja, dat eerste zijn twee mirrors van elk twee disks, dat laatste is dus een enkele 4-way mirror.

Of dus een mirror met 20 disks. Precies zoals ik dus al zei

[Verwijderd]

CurlyMo schreef op maandag 01 februari 2016 @ 13:56:
[...]

Of dus een mirror met 20 disks. Precies zoals ik dus al zei

Ja, wist niet dat je achter zpool create tank mirror domweg een zwik hdd's kunt aangeven en dat ZFS dan al die disks spiegelt.

[Verwijderd]

Leuke is dat ZFS on-the-fly disks kan toevoegen én verwijderen van de mirror. Dus je kunt een enkele disk uitbreiden naar een mirror, door een disk toe te voegen aan dezelfde vdev. Je kunt daarna nog een disk toevoegen en je hebt een 3-way mirror. Daarna twee disks verwijderen en je hebt een enkele disk.

Dat trucje werkt ook met meerdere vdevs. Stel je begint met wee disks in RAID0 (twee vdevs met elk één disk). Dan kun je daar een tweetal mirrors van maken door aan elke vdev/disk een extra disk toe te voegen. En dan heb je opeens een RAID10 - oftewel twee mirrors in stripe.

Hetzelfde trucje werkt niet met RAID-Z1/2/3 vdevs - daar kun je geen disks aan toevoegen of verwijderen. Dat is een feature die veel mensen missen in ZFS.

[HyperBart]

De M1015 is steeds moeilijker te verkrijgen, ook zijn broertjes zoals de Dell en consoorten.

Is iemand al bekend met SAS3 controllers à la LSI 3008 die vlot verkrijgbaar zijn voor gebruik met ZFS? Of een alternatief? Ik vind namelijk niet veel...

Verwijderd schreef op maandag 01 februari 2016 @ 14:00:
[...]

Ja, wist niet dat je achter zpool create tank mirror domweg een zwik hdd's kunt aangeven en dat ZFS dan al die disks spiegelt.

Je moet het commando eigenlijk een stuk per stuk analyseren:

Verwijderd schreef op maandag 01 februari 2016 @ 13:52:
[...]
create tank

Dit commando maakt een POOL aan.

mirror <disk1> <disk2> mirror <disk3> <disk4>

per keer dat je mirror of raidz1/2/3 aangeeft maak je eigenlijk een VDEV aan. Een pool kan één of meerdere VDEV's hebben en een VDEV kan maar tot één pool behoren. Als je NIETS meegeeft dan worden de disks gewoon per disk onder de pool gehangen zonder redundantie. Een disk kwijt? Hele pool kwijt...

is een stripe en zpool create tank mirror <disk1> <disk2> <disk3> <disk4> werkt ook??

Op het niveau van een VDEV definieer je wat je redundantie of pariteit is, niet op het pool niveau.

Je kan dus in theorie prima een pool aanmaken van

een 2 way mirror
een 2 way mirror
een 3 way mirror
een raidz1 van 3 disks
een raidz2 van 10 disks
en een raidz3 van 11 disks

Dat het niet zo netjes is, dat is wat anders, maar het kan.

[ Voor 13% gewijzigd door HyperBart op 01-02-2016 15:25 ]

[Verwijderd]

Verwijderd schreef op maandag 01 februari 2016 @ 14:27:
Leuke is dat ZFS on-the-fly disks kan toevoegen én verwijderen van de mirror. Dus je kunt een enkele disk uitbreiden naar een mirror, door een disk toe te voegen aan dezelfde vdev. Je kunt daarna nog een disk toevoegen en je hebt een 3-way mirror. Daarna twee disks verwijderen en je hebt een enkele disk.

Dat trucje werkt ook met meerdere vdevs. Stel je begint met wee disks in RAID0 (twee vdevs met elk één disk). Dan kun je daar een tweetal mirrors van maken door aan elke vdev/disk een extra disk toe te voegen. En dan heb je opeens een RAID10 - oftewel twee mirrors in stripe.

Deze 2 situaties snap ik niet, zou je die svp een keer kunnen uitleggen dmv commando's want als ik een pool bouw met 1 disk heb ik 1 vdev echter als ik dan 1 disk dmv add toevoeg aan de vdev dan heb ik een stripe en geen mirror. Toch?

/edit: typo

[FireDrunk]

http://docs.oracle.com/cd...819-5461/gcfhe/index.html

Hier staat een duidelijk voorbeeld. Commando om dat te doen is niet zpool add, maar zpool attach.

[A1AD]

Mag weg / dom dom

[ Voor 100% gewijzigd door A1AD op 02-02-2016 22:32 ]

[maomanna]

mmm momenteel oude kernels verwijderd en zit nu met het volgende:

code:

root@server:# zpool status
  pool: datapool
 state: ONLINE
status: One or more devices could not be used because the label is missing or
        invalid.  Sufficient replicas exist for the pool to continue
        functioning in a degraded state.
action: Replace the device using 'zpool replace'.
   see: http://zfsonlinux.org/msg/ZFS-8000-4J
  scan: none requested
config:

        NAME                                                STATE     READ WRITE CKSUM
        datapool                                            ONLINE       0     0     0
          raidz1-0                                          ONLINE       0     0     0
            ata-SAMSUNG_HD204UI_S2H7J1CB903205-part1        ONLINE       0     0     0
            6718266392156530758                             UNAVAIL      0     0     0  was /dev/disk/by-id/ata-SAMSUNG_HD204UI_S2H7J90BB13010
            ata-SAMSUNG_HD204UI_S2H7J1CB903201-part1        ONLINE       0     0     0
            14505516383149480938                            UNAVAIL      0     0     0  was /dev/disk/by-id/ata-SAMSUNG_HD204UI_S2H7J90BB13035
            ata-WDC_WD20EZRX-00D8PB0_WD-WMC4M0H5LYU2-part1  ONLINE       0     0     0
        logs
          ata-Crucial_CT250MX200SSD1_15331060F8E5-part6     ONLINE       0     0     0
        cache
          ata-Crucial_CT250MX200SSD1_15331060F8E5-part7     ONLINE       0     0     0

errors: No known data errors

replace werkt niet, want de disk zit al in de pool.
Disk is wel vindbaar en benaderbaar.
Heb het al eens eerder gehad, maar kan de oplossing niet meer terug vinden.

[Verwijderd]

Probeer een zpool export en import, of anders eerst onder BSD importeren en kijken wat dat oplevert.

Probeer in het vervolg ook ZFS de GPT partitie labels te laten gebruiken en dus niet die disk IDs. ZFS on Linux kan namelijk niet tegen veranderde device nodes - dan moet je opnieuw importeren. Wel vreemd is dat je pool gewoon op ONLINE staat terwijl twee van de 5 disks UNAVAIL zijn - dat begrijp ik zelf niet helemaal....

[maomanna]

Verwijderd schreef op woensdag 03 februari 2016 @ 18:32:
Probeer een zpool export en import, of anders eerst onder BSD importeren en kijken wat dat oplevert.

Probeer in het vervolg ook ZFS de GPT partitie labels te laten gebruiken en dus niet die disk IDs. ZFS on Linux kan namelijk niet tegen veranderde device nodes - dan moet je opnieuw importeren. Wel vreemd is dat je pool gewoon op ONLINE staat terwijl twee van de 5 disks UNAVAIL zijn - dat begrijp ik zelf niet helemaal....

Heb hem gebouwd via The ZFS Storage Blog!

met dit commando (eigen disknames)

code:

zpool create datapool raidz /dev/disk/by-partlabel/DATAPOOL-A-Z3009899 /dev/disk/by-partlabel/DATAPOOL-B-Z3009891 /dev/disk/by-partlabel/DATAPOOL-C-Z3009892 /dev/disk/by-partlabel/DATAPOOL-D-Z3009893 /dev/disk/by-partlabel/DATAPOOL-E-Z3009894

tis geupdate:

code:

 pool: datapool
 state: UNAVAIL
status: One or more devices are faulted in response to IO failures.
action: Make sure the affected devices are connected, then run 'zpool clear'.
   see: http://zfsonlinux.org/msg/ZFS-8000-HC
  scan: none requested
config:

        NAME                                                STATE     READ WRITE                                                                              CKSUM
        datapool                                            UNAVAIL      0     0                                                                                  0  insufficient replicas
          raidz1-0                                          UNAVAIL      0     0                                                                                  0  insufficient replicas
            ata-SAMSUNG_HD204UI_S2H7J1CB903205-part1        ONLINE       0     0                                                                                  0
            6718266392156530758                             UNAVAIL      0     0                                                                                  0  was /dev/disk/by-id/ata-SAMSUNG_HD204UI_S2H7J90BB13010
            ata-SAMSUNG_HD204UI_S2H7J1CB903201-part1        ONLINE       0     0                                                                                  0
            14505516383149480938                            UNAVAIL      0     0                                                                                  0  was /dev/disk/by-id/ata-SAMSUNG_HD204UI_S2H7J90BB13035
            ata-WDC_WD20EZRX-00D8PB0_WD-WMC4M0H5LYU2-part1  ONLINE       0     0                                                                                  0
        logs
          ata-Crucial_CT250MX200SSD1_15331060F8E5-part6     ONLINE       0     0                                                                                  0
        cache
          ata-Crucial_CT250MX200SSD1_15331060F8E5-part7     ONLINE       0     0                                                                                  0

errors: List of errors unavailable (insufficient privileges)

[ Voor 17% gewijzigd door maomanna op 03-02-2016 19:37 ]

[Verwijderd]

export & import al geprobeerd?

[maomanna]

bij export loopt de ssh terminal vast

[Verwijderd]

Probeer het anders onder BSD, totdat je daar een ONLINE pool hebt. Dan weer importeren op ZoL.

[maomanna]

mja kan er geen BSD op zetten.
staat buitenshuis

[maomanna]

wellicht gaat het fout met het mounten van disks na een reboot?

met zpool-import

[Verwijderd]

ZoL zou ik niet aanraden als je geen fysieke toegang hebt tot de machine. Daarvoor is het toch niet stabiel genoeg. Regelmatig hoor ik verhalen dat bij een update er weer problemen zijn. Het werkt gewoon niet zo foutloos als op BSD platform. Als je zelf wat kunt prutsen is het allemaal wel weer aan de gang te krijgen. Maar als je geen fysieke toegang hebt tot de machine kun je misschien overwegen voor een andere oplossing te kiezen.

[maomanna]

krijg nu:

code:

root@server:/# zpool export datapool
cannot export 'datapool': pool I/O is currently suspended

[Verwijderd]

Krijg je dat ook direct na het rebooten?

[maomanna]

Ja, krijg het dan ook.

kan importeren en exporteren, blijft wel de 2 disks op unavailable houden.

1 voor 1 eruit halen en replacen?

of

# zpool clear datapool?

[ Voor 107% gewijzigd door maomanna op 03-02-2016 19:53 ]

[CurlyMo]

Enige optie bij I/O currently suspended is een reboot.

Hmm, exporteren en importeren werkt wel. Dat lukt hier nooit met die melding.

[ Voor 42% gewijzigd door CurlyMo op 03-02-2016 20:30 ]

[maomanna]

ik kan gewoon bij de data komen, dus dat is wel raar.
dat zou ook niet moeten kunnen.

code:

root@server:# zpool status
  pool: datapool
 state: ONLINE
status: One or more devices has experienced an error resulting in data
        corruption.  Applications may be affected.
action: Restore the file in question if possible.  Otherwise restore the
        entire pool from backup.
   see: http://zfsonlinux.org/msg/ZFS-8000-8A
  scan: none requested
config:

        NAME                                                STATE     READ WRITE CKSUM
        datapool                                            ONLINE       0     0     0
          raidz1-0                                          ONLINE       0     0     0
            ata-SAMSUNG_HD204UI_S2H7J1CB903205-part1        ONLINE       0     0     0
            6718266392156530758                             UNAVAIL      0     0     0  was /dev/disk/by-id/ata-SAMSUNG_HD204UI_S2H7J90BB13010
            ata-SAMSUNG_HD204UI_S2H7J1CB903201-part1        ONLINE       0     0     0
            14505516383149480938                            UNAVAIL      0     0     0  was /dev/disk/by-id/ata-SAMSUNG_HD204UI_S2H7J90BB13035
            ata-WDC_WD20EZRX-00D8PB0_WD-WMC4M0H5LYU2-part1  ONLINE       0     0     0
        logs
          ata-Crucial_CT250MX200SSD1_15331060F8E5-part6     ONLINE       0     0     0
        cache
          ata-Crucial_CT250MX200SSD1_15331060F8E5-part7     ONLINE       0     0     0

errors: 4 data errors, use '-v' for a list
root@server:/# zpool online datapool 6718266392156530758
cannot online 6718266392156530758: pool I/O is currently suspended

edit*
Volgens mij gaat het fout doordat hij bij het booten, de schijven niet goed meepakt.
zo eens fstab bekijken.

edit2*
Schijven lijken goed te staan:

code:

(parted) toon
Model: ATA SAMSUNG HD204UI (scsi)
Schijf /dev/sda: 2000GB
Sectorgrootte (logisch/fysiek): 512B/512B
Partitietabel: gpt

Nummer  Begin   Einde   Grootte  Bestandssysteem  Naam                 Vlaggen
 1      1049kB  2000GB  2000GB   zfs              DATAPOOL-A-CB903205

(parted) q
root@server:/# parted /dev/sdb
GNU Parted 2.3
Apparaat /dev/sdb wordt gebruikt.
Welkom bij GNU Parted!  Typ 'help' voor een opdrachtenoverzicht.
(parted) toon
Model: ATA SAMSUNG HD204UI (scsi)
Schijf /dev/sdb: 2000GB
Sectorgrootte (logisch/fysiek): 512B/512B
Partitietabel: gpt

Nummer  Begin   Einde   Grootte  Bestandssysteem  Naam                Vlaggen
 1      1049kB  2000GB  2000GB   zfs              DATAPOOL-B-BB13010

(parted) q
root@server:/# parted /dev/sdc
GNU Parted 2.3
Apparaat /dev/sdc wordt gebruikt.
Welkom bij GNU Parted!  Typ 'help' voor een opdrachtenoverzicht.
(parted) toon
Model: ATA SAMSUNG HD204UI (scsi)
Schijf /dev/sdc: 2000GB
Sectorgrootte (logisch/fysiek): 512B/512B
Partitietabel: gpt

Nummer  Begin   Einde   Grootte  Bestandssysteem  Naam                 Vlaggen
 1      3146kB  2000GB  2000GB   zfs              DATAPOOL-C-CB903201

(parted) q
root@server:/# parted /dev/sdd
GNU Parted 2.3
Apparaat /dev/sdd wordt gebruikt.
Welkom bij GNU Parted!  Typ 'help' voor een opdrachtenoverzicht.
(parted) toon
Model: ATA SAMSUNG HD204UI (scsi)
Schijf /dev/sdd: 2000GB
Sectorgrootte (logisch/fysiek): 512B/512B
Partitietabel: gpt

Nummer  Begin   Einde   Grootte  Bestandssysteem  Naam                Vlaggen
 1      3146kB  2000GB  2000GB   zfs              DATAPOOL-D-BB13035

(parted) q
root@server:/# parted /dev/sde
GNU Parted 2.3
Apparaat /dev/sde wordt gebruikt.
Welkom bij GNU Parted!  Typ 'help' voor een opdrachtenoverzicht.
(parted) toon
Model: ATA WDC WD20EZRX-00D (scsi)
Schijf /dev/sde: 2000GB
Sectorgrootte (logisch/fysiek): 512B/4096B
Partitietabel: gpt

Nummer  Begin   Einde   Grootte  Bestandssysteem  Naam                  Vlaggen
 1      3146kB  2000GB  2000GB   zfs              DATAPOOL-E-M0H5LYHU2

en nog meer info:

code:

root@server:/datapool/data# zpool history datapool
History for 'datapool':
2016-01-20.22:09:22 zpool create datapool raidz /dev/disk/by-partlabel/DATAPOOL-A-CB903205 /dev/disk/by-partlabel/DATAPOOL-B-BB13010 /dev/disk/by-partlabel/DATAPOOL-C-CB903201 /dev/disk/by-partlabel/DATAPOOL-D-BB13035 /dev/disk/by-partlabel/DATAPOOL-E-M0H5LYHU2
2016-01-20.22:31:43 zpool add datapool log /dev/disk/by-id/ata-Crucial_CT250MX200SSD1_15331060F8E5-part6
2016-01-20.22:32:05 zpool add datapool cache /dev/disk/by-id/ata-Crucial_CT250MX200SSD1_15331060F8E5-part7
2016-01-20.22:35:29 zpool remove datapool ata-Crucial_CT250MX200SSD1_15331060F8E5-part7
2016-01-20.22:36:30 zpool add datapool cache /dev/disk/by-id/ata-Crucial_CT250MX200SSD1_15331060F8E5-part7
2016-01-20.22:41:30 zfs create datapool/data
2016-01-20.22:41:38 zfs create datapool/films
2016-01-20.22:41:59 zfs create datapool/downloads
2016-01-20.22:42:07 zfs create datapool/web
2016-01-20.22:42:17 zfs create datapool/series
2016-01-23.13:53:53 zpool import -N datapool
2016-01-23.15:10:52 zpool import -N datapool
2016-01-24.11:42:45 zpool import -N datapool
2016-02-03.11:19:43 zpool import -N datapool
2016-02-03.13:01:00 zpool import -N datapool
2016-02-03.17:33:17 zpool import -N datapool
2016-02-03.17:43:44 zpool import -N datapool
2016-02-03.17:44:17 zpool export datapool
2016-02-03.17:52:04 zpool import -N datapool
2016-02-03.18:16:45 zpool import datapool
2016-02-03.19:50:39 zpool import -N datapool
2016-02-03.19:51:51 zpool export datapool
2016-02-03.19:52:08 zpool import datapool
2016-02-03.21:26:34 zpool clear datapool
2016-02-03.21:27:12 zpool clear datapool
2016-02-03.21:52:02 zpool import -N datapool

[ Voor 150% gewijzigd door maomanna op 03-02-2016 22:30 ]

[HyperBart]

Zorg eerst dat je je pool "weg" kan krijgen, exporten of even via een andere server/OS en doe eens

zpool import -d /dev/disk/by-partlabel/

Je pool zou dan als "ok" moeten terugkomen, zoals bij mij bv:

root@nas:~# zpool import -d /dev/disk/by-partlabel/
   pool: M4-STRIPE
     id: 16336261802148093069
  state: ONLINE
 action: The pool can be imported using its name or numeric identifier.
 config:

        M4-STRIPE   ONLINE
          M4-1      ONLINE
          M4-2      ONLINE
          M4-3      ONLINE

via hetzelfde commando maar dan met de pool naam er bij dan importeren:

zpool import M4-STRIPE -d /dev/disk/by-partlabel/

[maomanna]

Zo issie idd ook aangemaakt. Via partlabel.

Met jou cmd maakt hij hem opnieuw aan?

Ik heb de data nog op mijn eigen server staan, ZoL,, die geen problemen heeft met zfs en updates. Dus ga het denk ik gewoo. Proberen

[FireDrunk]

Los van je problemen, niet al je partitie beginnen op dezelfde offset. Is dat met een reden of een foutje?

[maomanna]

FireDrunk schreef op donderdag 04 februari 2016 @ 06:51:
Los van je problemen, niet al je partitie beginnen op dezelfde offset. Is dat met een reden of een foutje?

mmm nou je het zegt.
Ik heb je handleiding gevolgd, en beginlocatie op +2M gezet.

[jacovn]

HyperBart schreef op maandag 01 februari 2016 @ 15:11:
Is iemand al bekend met SAS3 controllers à la LSI 3008 die vlot verkrijgbaar zijn voor gebruik met ZFS? Of een alternatief?

Bijvoorbeeld deze: http://www.supermicro.nl/.../addon/AOC-S3008L-L8i.cfm

Zie hem voor 209$ staan.

Geen driver support voor freebsd zo te zien.
Pci-e x8 3.0 sloten nodig..

Hier: https://lime-technology.com/forum/index.php?topic=31932.0 hebben ze info om hem in IT mode te krijgen, maar lijkt het niet goed te werken.

[HyperBart]

Mwoah zo goed verkrijgbaar zijn ze niet, ik vind ze bv niet eenvoudig via benelux webshops of op ebay zijn ze ook niet zo dik gezaaid.

[FireDrunk]

pricewatch unsorted: IBM N2215 SAS/SATA HBA for System x 2Int

https://maxict.nl/product...c&utm_campaign=pricewatch

Disclaimer: De controller is gebaseerd op LSI3008, waardoor hij in theorie naar IT-mode te flashen is, maar persoonlijk geen ervaring mee, of uberhaupt over gelezen. Dus: YMMV.

Nog 1: pricewatch: LSI SAS HBA 9300-8i Single controller

[ Voor 13% gewijzigd door FireDrunk op 04-02-2016 12:05 ]

[maomanna]

HyperBart schreef op woensdag 03 februari 2016 @ 23:14:
Zorg eerst dat je je pool "weg" kan krijgen, exporten of even via een andere server/OS en doe eens

zpool import -d /dev/disk/by-partlabel/

Je pool zou dan als "ok" moeten terugkomen, zoals bij mij bv:

root@nas:~# zpool import -d /dev/disk/by-partlabel/
   pool: M4-STRIPE
     id: 16336261802148093069
  state: ONLINE
 action: The pool can be imported using its name or numeric identifier.
 config:

        M4-STRIPE   ONLINE
          M4-1      ONLINE
          M4-2      ONLINE
          M4-3      ONLINE

via hetzelfde commando maar dan met de pool naam er bij dan importeren:

zpool import M4-STRIPE -d /dev/disk/by-partlabel/

doettie ook

code:

root@server:~$ sudo zpool export datapool
root@server:~$ sudo zpool import -d /dev/disk/by-partlabel/
   pool: datapool
     id: 7211674227080709518
  state: ONLINE
 action: The pool can be imported using its name or numeric identifier.
 config:

        datapool                  ONLINE
          raidz1-0                ONLINE
            DATAPOOL-A-CB903205   ONLINE
            DATAPOOL-B-BB13010    ONLINE
            DATAPOOL-C-CB903201   ONLINE
            DATAPOOL-D-BB13035    ONLINE
            DATAPOOL-E-M0H5LYHU2  ONLINE
        cache
          L2ARC
        logs
          sLOG                    ONLINE
root@server:~$ sudo zpool status -v
no pools available
root@server:~$ sudo zpool import datapool
root@server:~$ sudo zpool status -v
  pool: datapool
 state: ONLINE
status: One or more devices has experienced an error resulting in data
        corruption.  Applications may be affected.
action: Restore the file in question if possible.  Otherwise restore the
        entire pool from backup.
   see: http://zfsonlinux.org/msg/ZFS-8000-8A
  scan: none requested
config:

        NAME                                                STATE     READ WRITE CKSUM
        datapool                                            ONLINE       0     0     0
          raidz1-0                                          ONLINE       0     0     0
            ata-SAMSUNG_HD204UI_S2H7J1CB903205-part1        ONLINE       0     0     0
            6718266392156530758                             UNAVAIL      0     0     0  was /dev/disk/by-id/ata-SAMSUNG_HD204UI_S2H7J90BB13010
            ata-SAMSUNG_HD204UI_S2H7J1CB903201-part1        ONLINE       0     0     0
            14505516383149480938                            UNAVAIL      0     0     0  was /dev/disk/by-id/ata-SAMSUNG_HD204UI_S2H7J90BB13035
            ata-WDC_WD20EZRX-00D8PB0_WD-WMC4M0H5LYU2-part1  ONLINE       0     0     0
        logs
          ata-Crucial_CT250MX200SSD1_15331060F8E5-part6     ONLINE       0     0     0
        cache
          ata-Crucial_CT250MX200SSD1_15331060F8E5-part7     ONLINE       0     0     0

errors: Permanent errors have been detected in the following files:

        <metadata>:<0x0>
        <metadata>:<0x1b>
        <metadata>:<0x20>
        /datapool/data/
root@server:~$

maar de error blijft

edit

code:

root@server:~$ sudo zpool import datapool -d /dev/disk/by-partlabel/
root@server:~$ sudo zpool status -v
  pool: datapool
 state: ONLINE
status: One or more devices has experienced an error resulting in data
        corruption.  Applications may be affected.
action: Restore the file in question if possible.  Otherwise restore the
        entire pool from backup.
   see: http://zfsonlinux.org/msg/ZFS-8000-8A
  scan: none requested
config:

        NAME                      STATE     READ WRITE CKSUM
        datapool                  ONLINE       0     0     0
          raidz1-0                ONLINE       0     0     0
            DATAPOOL-A-CB903205   ONLINE       0     0     0
            DATAPOOL-B-BB13010    ONLINE       0     0     1
            DATAPOOL-C-CB903201   ONLINE       0     0     0
            DATAPOOL-D-BB13035    ONLINE       0     0     3
            DATAPOOL-E-M0H5LYHU2  ONLINE       0     0     0
        logs
          sLOG                    ONLINE       0     0     0
        cache
          L2ARC                   ONLINE       0     0     0

errors: Permanent errors have been detected in the following files:

        <metadata>:<0x0>
        <metadata>:<0x1b>
        <metadata>:<0x20>
        /datapool/data/

met poolname herstelde hij het wel!
alleen moet er data terug? zie laatste paar regels.
data corrupt??

[ Voor 18% gewijzigd door maomanna op 04-02-2016 18:38 ]

[Verwijderd]

Laat een scrub draaien - mogelijk verdwijnt dan corruptie als het uiteindelijk toch in orde blijkt te zijn. Maar metadata corruptie is zeker niet fijn. Hele directory-structuren kunnen verdwijnen.

[HyperBart]

maomanna schreef op donderdag 04 februari 2016 @ 18:36:
[...]


doettie ook

[code]
root@server:~$ sudo zpool export datapool
root@server:~$ sudo zpool import -d /dev/disk/by-partlabel/
pool: datapool
id: 7211674227080709518
state: ONLINE
action: The pool can be imported using its name or numeric identifier.
config:

datapool ONLINE
raidz1-0 ONLINE
DATAPOOL-A-CB903205 ONLINE
DATAPOOL-B-BB13010 ONLINE
DATAPOOL-C-CB903201 ONLINE
DATAPOOL-D-BB13035 ONLINE
DATAPOOL-E-M0H5LYHU2 ONLINE
cache
L2ARC
logs
sLOG ONLINE

Zie je, op basis van partlabel vindt hij alle partities en kan hij dus netjes importeren

root@server:~$ sudo zpool status -v
no pools available
root@server:~$ sudo zpool import datapool

Neen! Dit dus niet doen want dan krijg je weer het onderstaande resultaat.

root@server:~$ sudo zpool status -v
pool: datapool
state: ONLINE
status: One or more devices has experienced an error resulting in data
corruption. Applications may be affected.
action: Restore the file in question if possible. Otherwise restore the
entire pool from backup.
see: http://zfsonlinux.org/msg/ZFS-8000-8A
scan: none requested
config:

NAME STATE READ WRITE CKSUM
datapool ONLINE 0 0 0
raidz1-0 ONLINE 0 0 0
ata-SAMSUNG_HD204UI_S2H7J1CB903205-part1 ONLINE 0 0 0
6718266392156530758 UNAVAIL 0 0 0 was /dev/disk/by-id/ata-SAMSUNG_HD204UI_S2H7J90BB13010
ata-SAMSUNG_HD204UI_S2H7J1CB903201-part1 ONLINE 0 0 0
14505516383149480938 UNAVAIL 0 0 0 was /dev/disk/by-id/ata-SAMSUNG_HD204UI_S2H7J90BB13035
ata-WDC_WD20EZRX-00D8PB0_WD-WMC4M0H5LYU2-part1 ONLINE 0 0 0
logs
ata-Crucial_CT250MX200SSD1_15331060F8E5-part6 ONLINE 0 0 0
cache
ata-Crucial_CT250MX200SSD1_15331060F8E5-part7 ONLINE 0 0 0

errors: Permanent errors have been detected in the following files:

<metadata>:<0x0>
<metadata>:<0x1b>
<metadata>:<0x20>
/datapool/data/
root@server:~$
[/code]

maar de error blijft

edit

[code]
root@server:~$ sudo zpool import datapool -d /dev/disk/by-partlabel/

Dat is het belangrijkste stukje. Je importeert altijd een pool bij name of door zijn nummer te gebruiken, het is dat laatste stuk dat het verschil maakt en correct is in jouw geval.

root@server:~$ sudo zpool status -v
pool: datapool
state: ONLINE
status: One or more devices has experienced an error resulting in data
corruption. Applications may be affected.
action: Restore the file in question if possible. Otherwise restore the
entire pool from backup.
see: http://zfsonlinux.org/msg/ZFS-8000-8A
scan: none requested
config:

NAME STATE READ WRITE CKSUM
datapool ONLINE 0 0 0
raidz1-0 ONLINE 0 0 0
DATAPOOL-A-CB903205 ONLINE 0 0 0
DATAPOOL-B-BB13010 ONLINE 0 0 1
DATAPOOL-C-CB903201 ONLINE 0 0 0
DATAPOOL-D-BB13035 ONLINE 0 0 3
DATAPOOL-E-M0H5LYHU2 ONLINE 0 0 0
logs
sLOG ONLINE 0 0 0
cache
L2ARC ONLINE 0 0 0

errors: Permanent errors have been detected in the following files:

<metadata>:<0x0>
<metadata>:<0x1b>
<metadata>:<0x20>
/datapool/data/
[/code]

met poolname herstelde hij het wel!

Neen! Je moet je commando's eens doorlezen.

Die poolnaam heb je toch bij alle import commando's meegegeven? Dit stuk zorgt er voor dat je pool geimporteerd wordt op basis van partitienamen en DAARDOOR werkt het netjes en goed:

-d /dev/disk/by-partlabel/

alleen moet er data terug? zie laatste paar regels.
data corrupt??

Rustig... Lijkt me heel sterk, doe maar eens een paar keer een scrub en 9 kansen van de 10 gaan die fouten weg. Ik had dat zelf een tijdje geleden bij een disk voor backups die ik per ongeluk van de stroom had gehaald, en dat was een enkele disk, scrub gedraaid, allemaal weg en in orde .

Oh ja, je pool dus altijd zo importeren met die by-partlabel er bij in de toekomst want anders dan ga je die fouten ooit terugkrijgen...

[ Voor 6% gewijzigd door HyperBart op 04-02-2016 19:13 ]

[Verwijderd]

HyperBart schreef op donderdag 04 februari 2016 @ 19:11:
Oh ja, je pool dus altijd zo importeren met die by-partlabel er bij in de toekomst want anders dan ga je die fouten ooit terugkrijgen...

Maar waarom moet dat? We weten al dat Linux veranderde device-nodes tijdens boot-time niet kan herkennen zoals BSD wel kan. Maar als je handmatig een import commando geeft, dan worden toch alle device nodes afgezocht naar disks die naar de juiste data verwijzen? Waarom zou hij dan -d moeten opgeven?

[FireDrunk]

Omdat vanwege legacy ondersteuning /dev/sd[x] eerst gescanned wordt. En dat zal nog wel even zo blijven.

Net als dat ik nog steeds geen yum update heb onder FreeBSD... Het is een beetje zeuren/zeveren over de bekende weg...

ZFS kan je zelfs zo compileren dat het euwe devices nodes in /dev niet meer pikt, maar dat is nou eenmaal niet zo by default.

Deal with it...

Heb er overigens een bugje voor aangemeld:
https://github.com/zfsonlinux/zfs/issues/3892

[ Voor 11% gewijzigd door FireDrunk op 04-02-2016 21:47 ]

[Verwijderd]

FireDrunk schreef op donderdag 04 februari 2016 @ 21:43:
Omdat vanwege legacy ondersteuning /dev/sd[x] eerst gescanned wordt.

Maar als daar geen device node wordt gevonden, dan gaat het zoeken/scannen toch door naar overige device nodes? Hoe kan het dan voorkomen dat de device niet gevonden wordt tenzij je -d opgeeft? Het enige wat -d zou mogen veranderen is dat de ene device node in plaats van de andere wordt gekozen, zoals een GPT label ipv een device ID. Maar het zou toch nooit mogen voorkomen dat zonder het gebruik van -d parameter, de device helemaal niet wordt gevonden?!

[FireDrunk]

Het heeft te maken met het strict honoreren van de cache file voor zover ik heb kunnen debuggen (zie ook de bugreport).

Ik moet nog een keer in die env variabelen duiken om te kijken of dat een permanente fix is.

Om je vraag duidelijker te beantwoorden: volgens mij zit /dev/disk/by-partlabel niet in het default zoekpad.

[ Voor 19% gewijzigd door FireDrunk op 04-02-2016 21:53 ]

[Verwijderd]

Dus de cache file wordt niet alleen gebruikt voor het booten als de pool al was geïmporteerd; hij wordt ook gebruikt als je handmatig probeert te importeren? Dat is best wel vreemd en ook zeer irritant. Elke keer automatisch de cache file maar verwijderen voordat je importeert dan? Het lijkt mij zeer onnodig dit te doen; het importeren mag best iets langer duren waarbij alle devices worden gescanned; alleen tijdens boot wil je dat misschien niet doen vanwege performanceredenen. Maar BSD doet dat wel dus waarom Linux dit niet zou doen is mij ook niet helemaal duidelijk.

De enige valide reden voor die cachefile lijkt mij dat Linux bootcode die informatie gebruikt om van te booten, omdat Linux niet de geavanceerde bootcode heeft van BSD waarbij daadwerkelijk devices en partities worden gescanned zodat booten met veranderde device nodes probleemloos werkt. Daar valt nog over heen te stappen. Maar dat je eerst de cachefile zou moeten verwijderen voordat een zpool import commando normaal functioneert, vind ik best wel vreemd als dat inderdaad nodig zou zijn. Wie heeft dat bedacht?!