Het grote ZFS topic

[A1AD]

FireDrunk schreef op woensdag 12 oktober 2016 @ 21:39:
Zijn er nog mensen die automatisch ZFS snapshots maken met intelligente tooling? Ik kan best wat scripten, maar heb geen zin om het wiel opnieuw uit te vinden.

Ik wil een bepaald ZFS Filesystem automatisch snapshotten in de trant van 4 snapshots per dag, 1 dag bewaren, 1 snapshot per dag een week bewaren, 1 snapshot per maand een jaar bewaren. (dus in totaal 5+1+7+12 snapshots steeds roeleren.)

OS: Fedora 23 (RPM/YUM repo is een pre).

Ik gebruik deze: https://github.com/zfsonlinux/zfs-auto-snapshot

[DXaroth]

A1AD schreef op woensdag 12 oktober 2016 @ 22:58:
[...]


Ik gebruik deze: https://github.com/zfsonlinux/zfs-auto-snapshot

Same here, werkt prima, wellicht first try wat lastig om alle settings goed te zetten, maar zodra het werkt, werkt het.

[Verwijderd]

Kan iemand mij uitleggen wat het voordeel van ZFS is ten opzichte van Btrfs?

[idef1x]

ZFS is stabiel

[Compizfox]

Verwijderd schreef op donderdag 13 oktober 2016 @ 08:19:
Kan iemand mij uitleggen wat het voordeel van ZFS is ten opzichte van Btrfs?

Tja, wat is het voordeel vaan BTRFS ten opzichte van ZFS?

ZFS was er eerder en is dus stabieler en volwassener. Voor de rest zijn het concurrerende next-gen bestandssystemen.

[Verwijderd]

Btrfs is gewoon minder volwassen dan ZFS omdat het veel eerder in het ontwikkeltraject zit. Btrfs is nog niet bij versie 1 van ZFS waarbij zaken als RAID-Z gewoon allemaal al goed werkte. Dus zeg 8 tot 10 jaar achterstand in ontwikkeling, die wel deels kan worden goedgemaakt doordat Btrfs open source is in tegenstelling tot de CDDL-code die alleen sporadisch werd vrijgegeven. Zo heeft Oracle geen nieuwe CDDL-code meer vrijgegeven.

Het permanente voordeel van ZFS is toch wel de multi-platform capability. Btrfs zal een speeltje voor Linux blijven, ReFS voor Windows, maar ZFS is iets wat zich op bijna alle non-Windows systemen (BSD, Linux, OSX) laat gebruiken.

Het voordeel van Btrfs is denk ik dat het beter geïntegreerd wordt op Linux, omdat men erg gevoelig is voor licenties bij Linux en iets als de CDDL daar niet goed valt. ZFS heeft dan ook niet heel veel liefde gehad; iets wat Canonical wel heeft geprobeerd met Ubuntu door ZFS default te maken voor hun distributie. Maar verhalen die ik regelmatig hoor dat een update op Linux betekent dat je je pool niet kunt importeren en dat soort gein, dat soort problemen heb je niet onder BSD en daar draait ZFS toch wel het beste op.

Kortom, draai je Linux dan zit je met een keuze tussen ZFS en Btrfs, waarbij het eerste beter bruikbaar, stabieler, vollediger en betrouwbaarder is. Maar in de toekomst zal het vooral Btrfs worden voor Linux en ZFS voor UNIX zoals BSD. Beide zullen waarschijnlijk ooit worden opgevolgd door iets wat een permissive license heeft, waardoor er één filesystem voor alle platforms zou kunnen komen. Maar dat is een droom; niemand heeft echt belang bij een dergelijke situatie behalve de eindgebruiker zelf.

[Thralas]

Daarentegen zit btrfs 'gewoon' in de Linuxkernel, waarmee het een stuk fijner is voor je rootfs. Je kunt daarnaast erg flexibel resizen en het is simpelweg beter geintegreerd dan de manier waarop ZFS (onder Linux) z'n eigen memory management doet.

Aan de andere kant is parity RAID onder btrfs recent van should-work genadeloos teruggezet naar 'zwaar experimenteel'. Daarmee is het simpelweg geen kandidaat meer als serieuze storage je doel is.

btrfs draait hier (vrijwel) vlekkeloos als rootfs en single-disk storage, maar als VM backend gebruik ik ZFS (zvols!). Mass storage doe ik niet aan, maar dat zou ook ZFS zijn..

Het permanente voordeel van ZFS is toch wel de multi-platform capability. Btrfs zal een speeltje voor Linux blijven, ReFS voor Windows, maar ZFS is iets wat zich op bijna alle non-Windows systemen (BSD, Linux, OSX) laat gebruiken.

Dat is voor m'n gevoel meer geboren uit noodzaak dan als feature. Linux > FreeBSD > Solaris lijkt me de populareitsvolgorde op de servermarkt, maar het antwoord op de vraag 'waar draait ZFS het beste op' is precies andersom..

[ Voor 27% gewijzigd door Thralas op 13-10-2016 10:59 ]

[FireDrunk]

Verwijderd schreef op donderdag 13 oktober 2016 @ 10:42:
Maar dat is een droom; niemand heeft echt belang bij een dergelijke situatie behalve de eindgebruiker zelf.

En zelfs daar is het gros van de mensen prima tevreden met een soort "filesystem pairing". Je switched zo ontzettend weinig van Host OS voor je Filesystem dat het bijna nutteloos is om de feature te hebben.

Een goed Filesystem per OS is prima voor 99.999(of meer)% van de eindgebruikers. Of je nou ReFS, BTRFS of ZFS gebruikt, als ze allemaal stable waren, make die paar kleine verschillen onderling qua management ook niets uit. Daar komen gebruikers wel uit.

Enterprises gaan ook hun data niet migreren van het ene naar het andere OS. Dus hoe goed het ook mag zijn, de cross platform switch is niet uitgebreid door en door getest, dus je kan je zelfs nog afvragen hoe verantwoord het is.

[Verwijderd]

Genoeg mensen die het jammer vinden dat ZFS niet werkt onder Windows, of geavanceerdere gebruikers die goede Ext4 ondersteuning onder BSD zouden willen hebben, enzovoorts.

Kortom, waarom zou cross-platform compatibility geen groot goed zijn? Denk aan mac gebruikers die een externe schijf hebben. Apple werkt goed met HFS maar dat werkt niet onder Windows. Omgekeerd is NTFS ook zeker niet probleemloos onder non-Windows operating systems. Als er een probleem met de journal voordoet moet je het filesystem laten scannen door Windows. Dat vind ik vrij premature ondersteuning. Eigenlijk vooral read-only dat werkt wel redelijk goed.

Laat staan als we straks ReFS krijgen. Wat ga je dan gebruiken? Precies, dan houdt het gewoon op. Je externe schijf met ReFS kun je dan alleen maar aan Windows hangen. Ik vind dat een groot nadeel. Waarom jij niet?

[fonsoy]

Op het moment draai ik nog met ZFSguru 9.1-005. Heeft altijd uitstekend gewerkt, dus waarom zou ik updaten?
Door de jaren heen is het systeem nu een beetje traag geworden. Het lijkt me handig om als eerste stap eens te updaten. Verder is de webinterface versie 0.2.0 beta8. Ik draai iSCSI, en die wil ik niet kapotmaken.

Wat is wijsheid? Gewoon versie 11 mounten en installeren? Of kan ik dit beter niet doen.

[FireDrunk]

Verwijderd schreef op donderdag 13 oktober 2016 @ 14:48:
Genoeg mensen die het jammer vinden dat ZFS niet werkt onder Windows, of geavanceerdere gebruikers die goede Ext4 ondersteuning onder BSD zouden willen hebben, enzovoorts.

Kortom, waarom zou cross-platform compatibility geen groot goed zijn? Denk aan mac gebruikers die een externe schijf hebben. Apple werkt goed met HFS maar dat werkt niet onder Windows. Omgekeerd is NTFS ook zeker niet probleemloos onder non-Windows operating systems. Als er een probleem met de journal voordoet moet je het filesystem laten scannen door Windows. Dat vind ik vrij premature ondersteuning. Eigenlijk vooral read-only dat werkt wel redelijk goed.

Laat staan als we straks ReFS krijgen. Wat ga je dan gebruiken? Precies, dan houdt het gewoon op. Je externe schijf met ReFS kun je dan alleen maar aan Windows hangen. Ik vind dat een groot nadeel. Waarom jij niet?

Het ging mij meer om je 'directe' storage/media en/of je root filesystem. Daar is de migratie/cros platform noodzaak wat lager.

Voor externe schijven zou het leuk kunnen zijn inderdaad.

[Verwijderd]

@FireDrunk: oke. Maar ook voor je centrale opslag (NAS) is het fijn als je van platform kunt wisselen, zoals mogelijk is bij ZFS. Stel Btrfs onder Linux ervaar je een probleem mee, kun je niet even van platform wisselen. Of je ervaart een probleem met Linux zelf en wilt BSD of OSX gebruiken, dan kun je Btrfs niet meer mounten/gebruiken.

Kortom, ik zou het zeer wenselijk vinden als de opvolger van ZFS en Btrfs een gezamenlijk open source project wordt met een permissive license, MIT of BSD2 ofzo. Dan zouden we eindelijk een modern filesystem hebben wat universeel cross-platform bruikbaar is. Het enige filesystem wat daar nu voor in aanmerking komt is FAT - een filesystem uit het DOS-tijdperk.

fonsoy schreef op donderdag 13 oktober 2016 @ 16:02:
Op het moment draai ik nog met ZFSguru 9.1-005. Heeft altijd uitstekend gewerkt, dus waarom zou ik updaten?
Door de jaren heen is het systeem nu een beetje traag geworden. Het lijkt me handig om als eerste stap eens te updaten. Verder is de webinterface versie 0.2.0 beta8. Ik draai iSCSI, en die wil ik niet kapotmaken.

Wat is wijsheid? Gewoon versie 11 mounten en installeren? Of kan ik dit beter niet doen.

Als de machine niet wordt blootgesteld aan vijandelijke gebruikers (het internet) is er weinig reden om te updaten. Al kunnen de extra's van versie 11 wel voor extra performance of andere verbeteringen zorgen.

Maar als nu alles goed werkt, is er veel voor te zeggen om het zo te houden. Of in elk geval om niet weg te gooien wat je nu hebt.

Wat je kunt doen is dat je wel de nieuwe versie installeert, maar daarbij de oude niet verwijdert. Dat kan op de System->Booting pagina waar je ook kunt switchen tussen de installaties.

[Borromini]

Ik heb een vraagje. Ik ben onlangs met snapshots gestart. Nu is mijn vraag: refereren de snapshots aan de 'basistoestand' (voor het éérste snapshot) of aan het vorige snapshot? Kan ik een volledige backup terugzetten vanuit de snapshots? Op termijn is het namelijk de bedoeling dat de oudere snapshots worden uitgedund.

Online krijg ik daar geen duidelijkheid over, vandaar dat ik het hier nog even vraag.

[ Voor 12% gewijzigd door Borromini op 14-10-2016 17:59 ]

[DXaroth]

Borromini schreef op vrijdag 14 oktober 2016 @ 17:22:
Ik heb een vraagje. Ik ben onlangs met snapshots gestart. Nu is mijn vraag: refereren de snapshots aan de 'basistoestand' (voor het éérste snapshot) of aan het vorige snapshot? Kan ik een volledige backup terugzetten vanuit de snapshots? Op termijn is het namelijk de bedoeling dat de oudere snapshots worden uitgedund.

Online krijg ik daar geen duidelijkheid over, vandaar dat ik het hier nog even vraag.

Snapshots wijzen naar hoe de data er uit zag op dat exacte punt in tijd. Een oudere snapshot verwijderen doet verder niks met nieuwere snapshots.

[Paul]

Snapshots zijn geen referentie aan vorig toestanden (geen verschil ten opzichte van iets ouds), ze zijn juist een 'foto' van hoe het nu is. In een snapshot staan verwijzingen naar alle data die er op het moment van de snapshot is. Omdat je meerdere verwijzingen naar één blok kunt maken kost een snapshot zelf dus alleen de ruimte van de lijst met verwijzingen.

Als je daarna gaat schrijven, dan wordt het oude blok met rust gelaten, de "huidige status" zegt "Ik gebruik dat blok niet meer" en schrijft zijn data weg in een nieuw blok. Omdat dat oude blok nog data bevat waar een snapshot van is wordt dat blok niet weggegooid (of als beschikbaar gemarkeerd) totdat de snapshot wordt verwijderd.

Snapshots hebben dus geen enkele relatie met elkaar, enkel met de data. De enige die wat werk moet doen is het mechanisme dat bepaalt welke blokken er nog vrij zijn om beschreven te worden: Wordt blok 315 gebruikt door een of meer snapshots of door de huidige status? Nee? Mooi, schrijven maar.

Bij het weggooien van een snapshot vertel je tegen dat mechanisme: "Ik heb geen verwijzingen meer naar de volgende blokken:...." en als je de laatste was dan wordt dat blok vrijgegeven.

[CurlyMo]

Ik heb op dit moment 2x Crucial MX100 SSD's in mijn ESXi NAS zitten. Ik gebruik ze als SLOG, L2ARC en Datastore. Nu zit ik eraan te denken om één à twee SSD's bij te kopen als dedicated SLOG en L2ARC om deels de tussenlaag van ESXi weg te halen en andersinds om mijn schrijfsnelheden over NFS te vergroten. Als de betaalbare opties na ga dan kom ik hierop uit:

- pricewatch: Intel 600p 256GB
- pricewatch: Intel 540S 2,5" 120GB

https://tweakers.net/pric...are/579495;391574;515627/

Nu vroeg ik me af of ik in de praktijk veel baat heb bij een factor 2 tot 3 keer meer IOPS en schrijfsnelheden? De 600P kan ik niet mirrored maken, de 540S wel. Dat wegens gebrek aan aansluitingen.

[Verwijderd]

Voor SLOG is enkel sync write van toepassing. Kortom, dat doen veel SSDs even snel al houden sommige SSDs zich niet aan FLUSH commando's (Samsung).

Voor L2ARC kan een hogere queue depth gebruikt worden. Maar een striped L2ARC hoef je ook geen wonderen van te verwachten; een enkele SSD is al snel. Wat wel zou helpen is NVMe omdat daar de qd=1 prestaties grofweg door verdubbelen. Dat heeft wel invloed.

[Freeaqingme]

Gisteren kwam ik dit draadje tegen. Lijkt er op dat op korte termijn ZoL encryptie support krijgt. Inmiddels is ook OpenZFS het aan het reviewen, en dus zal illumos en FreeBSD het binnenkort ook wel krijgen

Speaking of ZoL, wellicht moeten we de TS updaten om aan te geven dat dit inmiddels niet bepaald meer experimenteel is?

[Borromini]

DXaroth schreef op zaterdag 15 oktober 2016 @ 01:06:
[...]


Snapshots wijzen naar hoe de data er uit zag op dat exacte punt in tijd. Een oudere snapshot verwijderen doet verder niks met nieuwere snapshots.

Paul schreef op zaterdag 15 oktober 2016 @ 10:59:
Snapshots zijn geen referentie aan vorig toestanden (geen verschil ten opzichte van iets ouds), ze zijn juist een 'foto' van hoe het nu is. In een snapshot staan verwijzingen naar alle data die er op het moment van de snapshot is. Omdat je meerdere verwijzingen naar één blok kunt maken kost een snapshot zelf dus alleen de ruimte van de lijst met verwijzingen.

[...]

Bedankt, ondertussen de upgrade naar Stretch gedaan op m'n server en Debian biedt nu zelf OpenZFS aan. Leuk om te zien, bespaart me weer de moeite van het compileren .

[CurlyMo]

Verwijderd schreef op zondag 16 oktober 2016 @ 11:05:
Voor SLOG is enkel sync write van toepassing. Kortom, dat doen veel SSDs even snel al houden sommige SSDs zich niet aan FLUSH commando's (Samsung).

Voor L2ARC kan een hogere queue depth gebruikt worden. Maar een striped L2ARC hoef je ook geen wonderen van te verwachten; een enkele SSD is al snel. Wat wel zou helpen is NVMe omdat daar de qd=1 prestaties grofweg door verdubbelen. Dat heeft wel invloed.

Conclusie wat betreft de SSD's die ik voorstelde? Die NVME inzetten als SLOG?

[detim]

Op dit moment heb ik een ZFS server met 10x 2TB HDD in Raid 10.
Hierbij kom ik geen opslagruimte tekort, maar wel IOPS te weinig.
Als ik nu 4x mirror disks toevoeg dan staat de data daar niet meteen op natuurlijk.
Gaan dan wel de IOPS omhoog of geld dit dan alleen als ik mee opslag ga gebruiken? Of verspreid hij standaard alles over alle disken?

[GioStyle]

detim schreef op zaterdag 29 oktober 2016 @ 11:26:
Op dit moment heb ik een ZFS server met 10x 2TB HDD in Raid 10.
Hierbij kom ik geen opslagruimte tekort, maar wel IOPS te weinig.
Als ik nu 4x mirror disks toevoeg dan staat de data daar niet meteen op natuurlijk.
Gaan dan wel de IOPS omhoog of geld dit dan alleen als ik mee opslag ga gebruiken? Of verspreid hij standaard alles over alle disken?

Als je IOPS tekort komt, dan zou je je ARC en L2ARC moeten verhogen. Dus eerst meer geheugen en eventueel een ssd toevoegen.

[detim]

GioStyle schreef op zaterdag 29 oktober 2016 @ 11:33:
[...]


Als je IOPS tekort komt, dan zou je je ARC en L2ARC moeten verhogen. Dus eerst meer geheugen en eventueel een ssd toevoegen.

Zit al 64GB Ram in en L2arc 256Gb en Zil 256GB
Samsung SM863
Per disk komen er toch ook meer iops bij?

[GioStyle]

Als je een nieuwe vdev gaat toevoegen aan je bestaande pool, dan gaat zfs zelf 'load-balancen' tussen je vdev's. Je nieuwe vdev is leeg, zfs gaat deze eerder vullen dan je bestaande vdev om zo de boel eerlijk te verdelen. Ik weet niet alleen of het op basis van schrijfsnelheid is of op basis van hoeveel procent de vdev is gevuld. Je krijgt hier volgens mij inderdaad meer IOPS door, maar zo te horen gaat het niet de winst opleveren die je in gedachten hebt.

Maar je hebt een L2ARC van 256GB en een ZIL van 256GB? Ik hoop het niet voor je.

[Verwijderd]

FreeNAS kan een SSD niet voor zowel sLOG als L2ARC gebruiken, voor zover ik weet. Dus je moet dan een hele SSD aan sLOG besteden waar 4GiB al ruim voldoende had geweest.

[belrpr]

Verwijderd schreef op zaterdag 29 oktober 2016 @ 13:13:
FreeNAS kan een SSD niet voor zowel sLOG als L2ARC gebruiken, voor zover ik weet. Dus je moet dan een hele SSD aan sLOG besteden waar 4GiB al ruim voldoende had geweest.

Niet via de gui maar wel via cli

[Verwijderd]

Het is echter wel de vraag of de GUI daar goed mee om kan gaan als je vervolgens weer management via de GUI doet. De GUI kan bepaalde dingen verwachten of aannemen. Ik herinner me meerdere punten op dit vlak, zoals dat de xde partitie de datapartitie is, en dat soort aannames die FreeNAS doet. Kortom, wees voorzichtig en neem niet aan dat als je iets via de CLI kunt doen dit geen interferentie oplevert met de GUI.

[FireDrunk]

Volgens mij is de FreeNAS GUI op dat vlak erg verbetered. Qua services zou ik dat inderdaad niet doen, maar qua ZFS moet het voor zover ik weet wel kunnen.

Ik kan me ook niet voorstellen dat je perse een hele disk moet gebruiken als SLOG. Al eens rondgevraagd op de FreeNAS forums?

[Verwijderd]

Wat ik nu zoek kun je in FreeNAS GUI een SSD alleen als sLOG of als L2ARC gebruiken, niet allebei. FreeNAS devs hebben zeer specifieke ideeën over hoe je je server moet inrichten en wat je wel en niet moet doen. Het combineren van sLOG en L2ARC op dezelfde SSD wordt als absoluut not done gezien; terwijl ik geen enkele goede reden kan verzinnen waarom dit een probleem zou zijn.

[FireDrunk]

Klopt. Dat komt (denk ik ) voort uit het feit dat het onderwater eigenlijk TrueNAS is (of vice versa?).
Vanuit dat (Enterprise) oogpunt snap ik wel dat je niet wil dat een Next-klikkende windows beheerder zomaar dat soort acties doet. Dan wil je het systeem misschien enigszins beschermen tegen de eindgebruiker.

Je zou eigenlijk willen dat ze het een beetje verbergen onder een "Advanced" knopje ofzo, en dat je roept: "Yes, I know what i'm doing."

[A1AD]

Misschien (en wellicht) al gekend hier maar: znapzend

[Ultraman]

Verwijderd schreef op donderdag 13 oktober 2016 @ 18:49:
Kortom, ik zou het zeer wenselijk vinden als de opvolger van ZFS en Btrfs een gezamenlijk open source project wordt met een permissive license, MIT of BSD2 ofzo. Dan zouden we eindelijk een modern filesystem hebben wat universeel cross-platform bruikbaar is.

Ik hoopte voorheen dat HAMMER misschien aan die vraag zou kunnen voldoen... Maar dat is het tot op heden nog niet geworden.
Men is ooit bezig geweest HAMMER naar Linux te porten en dat is grotendeels ook gelukt. Maar dat was meer proof-of-concept/prototype dan dat het echt goed bruikbaar was.

Hopen op stabilisatie HAMMER2 en dat deze ook in Linux en BSDs wordt opgenomen?

HAMMER(2) fs is nogal onbekend vrees ik. Maar het is wel een modern fs met de "juiste" licentie.
Heb er ook nog geen hands-on ervaring mee bedenk ik mij. Misschien moet ik daar eens wat aan doen volgend jaar...

HAMMER is alleen weer geen volume manager meen ik... is mij even ontgaan of HAMMER2 dat wel doet.

[ Voor 33% gewijzigd door Ultraman op 13-11-2016 17:26 ]

[detim]

Wat is op dit moment de snelste SSD voor ZIL voor rond de 200 euro?
Heb in een bestaand array een DC S3700 die super snel is, dit is inmiddels een verouderd type.
Wat is er tegenwoordig een goede keuze?

[Bigs]

Als je bij SATA wil blijven lijkt de DC S3710 een logische keuze

[FireDrunk]

ZIL is pure SYNC writes, en in dat gebied zijn de performance verschillen veeeeel lager dan op bijvoorbeeld bij een queue van 64 diep.

Als je niet vies bent van tweedehands kopen, kan je kijken naar een STEC ZeusRAM op eBay. Die staan eigenlijk bekend als de allersnelste voor ZIL.

[revox862]

Geen idee of dit de juiste plek is, maar na het upgraden van mijn ESXi naar 6.5 kreeg ik de volgende errors in mijn FreeBSD ZFS VM:

Nov 17 10:45:32 zfs kernel: (da0:mpt0:0:0:0): UNMAP. CDB: 42 00 00 00 00 00 00 00 18 00
Nov 17 10:45:32 zfs kernel: (da0:mpt0:0:0:0): CAM status: SCSI Status Error
Nov 17 10:45:32 zfs kernel: (da0:mpt0:0:0:0): SCSI status: Check Condition
Nov 17 10:45:32 zfs kernel: (da0:mpt0:0:0:0): SCSI sense: Vendor Specific asc:0,0 (No additional sense information)
Nov 17 10:45:32 zfs kernel: (da0:mpt0:0:0:0): Error 5, Unretryable error

Na wat zoeken heb ik het volgende gedaan:

root@zfs:~ # sysctl -a | grep delete_method
kern.cam.da.4.delete_method: NONE
kern.cam.da.3.delete_method: NONE
kern.cam.da.2.delete_method: NONE
kern.cam.da.1.delete_method: NONE
kern.cam.da.0.delete_method: UNMAP
root@zfs:~ # sysctl kern.cam.da.0.delete_method=DISABLE
kern.cam.da.0.delete_method: UNMAP -> DISABLE

(en natuurlijk in /etc/sysctl.conf)

De VM staat thin provisioned op een SSD. Mogelijk dat in ESXi 6.5 dit wordt doorgegeven aan de VM? Het kan zijn dat er op ESXi nog wat aangezet moeten worden om een dergelijke UNMAP te laten werken (VAAI)?

Edit:

[root@esxi6supermicro:~] esxcli storage vmfs reclaim config get --volume-label SSD1
Failed to retrieve unmap property for filesystem, VMkernel log may contain more details.
Reason: VMFS with version 5 does not support unmap property

[ Voor 10% gewijzigd door revox862 op 17-11-2016 20:09 ]

[FireDrunk]

UNMAP werkt dacht ik (in 6.0 iig) alleen met bepaalde virtuele controllers. Of die lijst in 6.5 geupdatet is weet ik niet, maar anders werkt UNMAP sowieso niet.

Als BSD toch UNMAP commando's verstuurd, zal ESXi die inderdaad afvangen en errors opgooien gok ik.

Kan je trim niet beter gewoon uitzetten?

[ Voor 7% gewijzigd door FireDrunk op 17-11-2016 14:07 ]

[revox862]

Ik neem aan dat ik dat nu gedaan heb (delete_method)? Overigens heb ik trim nooit aangezet en is dit pas begonnen na de upgrade van ESXi.

[ Voor 6% gewijzigd door revox862 op 17-11-2016 15:49 ]

[Verwijderd]

TRIM staat standaard 'aan', in die zin dat GEOM netjes bio_delete opdrachten doorstuurt naar lager gelegen nodes, totdat een disk node zoals ada of da wordt bereikt, waarbij wordt bepaald of bio_delete moet worden vertaald naar TRIM (ATA), naar UNMAP (SCSI/SAS) of naar CFERASE voor CompactFlash kaartjes. Heel mooi systeem, want de rest van de GEOM stack hoeft niets over TRIM of UNMAP te weten; bio_delete is agnostisch en universeel voor de drie technieken. Sowieso heeft BSD met het CAM framework de ATA en SCSI/SAS codepaths grotendeels verenigd, dus op opslaggebied heeft BSD altijd een streepje voor gehad met academische vernieuwingen.

Maar iets moet die bio_delete wel genereren, en dat werkt bij ZFS met een ietwat populistische benaming voor bio_delete, maar TRIM is natuurlijk het beste bekend:

# sysctl vfs.zfs.trim.enabled
vfs.zfs.trim.enabled: 1

# sysctl kstat.zfs.misc.zio_trim
kstat.zfs.misc.zio_trim.failed: 0
kstat.zfs.misc.zio_trim.unsupported: 0
kstat.zfs.misc.zio_trim.success: 3074591
kstat.zfs.misc.zio_trim.bytes: 554379489792

Met het laatste commando zou je dus ook moeten kunnen zien of je veel 'unsupported' of 'failed' krijgt. TRIM uitschakelen voor alle ZFS pools kan met vfs.zfs.trim.enabled=0. Dit kun je in je /boot/loader.conf kwijt of /etc/sysctl.conf als het niet actief hoeft te zijn bij de bootfase. Sommige sysctl's zijn alleen tijdens boot-time writable en daarna enkel read-only of wijzigingen hebben geen effect.

[revox862]

Omdat prijzen van SSDs steeds lager worden denk ik steeds vaker aan het bouwen van een all flash ZFS array. Ik neem aan dat je dan bovenstaande graag aan wil hebben staan.

[Dutch2007]

Omdat dit toch stiekem ook het ZFSGuru topic was/is, hoe zit het daar eigenlijk mee? Is het nog in ontwikkeling of heeft het een "stille" dood gekregen...

[Verwijderd]

Ik zal binnenkort een statement maken in het andere topic. Zullen we dit topic voorbehouden houden voor inhoudelijke vragen over ZFS en ZFS platforms? Je mag me natuurlijk ook een bericht sturen.

[A1AD]

De UPS heeft mijn server uitgeschakeld (stroompanne op straat) tijdens 1 disk replace op een RaidZ2 pool. Na het heropstarten krijg ik dit te zien;

 pool: bds
 state: DEGRADED
status: One or more devices is currently being resilvered.  The pool will
	continue to function, possibly in a degraded state.
action: Wait for the resilver to complete.
  scan: resilver in progress since Fri Nov 18 12:02:12 2016
    5.01T scanned out of 11.8T at 114M/s, 17h21m to go
    982G resilvered, 42.52% done
config:

	NAME                        STATE     READ WRITE CKSUM
	bds                         DEGRADED     0     0     0
	  raidz2-0                  DEGRADED     0     0     0
	    dm-name-disk1.1         ONLINE       0     0     0
	    replacing-1             DEGRADED     0     0 12.6M
	      13679495787616843273  UNAVAIL      0     0     0  was /dev/disk/by-id/dm-name-disk2/old
	      dm-name-disk2         ONLINE       0     0     0  (resilvering)
	    dm-name-disk3           ONLINE       0     0     0
	    dm-name-disk4.1         ONLINE       0     0     2  (resilvering)
	    dm-name-disk5           ONLINE       0     0     1  (resilvering)

Moet ik mij zorgen beginnen maken?

edit: -v switch geeft mij enkele onbelangrijke files (in een snapshot dan nog) die permanent corrupt zijn.

[ Voor 4% gewijzigd door A1AD op 18-11-2016 23:44 ]

[maomanna]

iets van scrubben, toch?

sinds de update doet mijn zfs pool raar.

als ik sudo zpool import gebruik importeert hij ze wel.

code:

mao@centraalpunt:~$ sudo zpool list
no pools available
mao@centraalpunt:~$ sudo zpool import
   pool: backup
     id: 15799253914181978794
  state: ONLINE
 action: The pool can be imported using its name or numeric identifier.
 config:

        backup                                        ONLINE
          mirror-0                                    ONLINE
            ata-SAMSUNG_HD204UI_S2H7J1CB903202-part1  ONLINE
            ata-SAMSUNG_HD204UI_S2H7J90B600101-part1  ONLINE
            ata-SAMSUNG_HD204UI_S2HGJ9EB900901-part1  ONLINE

   pool: ZFSBulk
     id: 9466237060928369645
  state: ONLINE
 status: One or more devices contains corrupted data.
 action: The pool can be imported using its name or numeric identifier.
   see: http://zfsonlinux.org/msg/ZFS-8000-4J
 config:

        ZFSBulk                                          ONLINE
          raidz1-0                                       ONLINE
            ata-ST4000DM000-1F2168_Z3017G58              ONLINE
            ata-ST4000DM000-1F2168_Z300DVH7              ONLINE
            ata-ST4000DM000-1F2168_Z30174PB              ONLINE
            ata-ST4000DM000-1F2168_W300STWF              ONLINE
            ata-ST4000DM000-1F2168_Z300RSFX              ONLINE
        cache
          L2ARC
          ata-Crucial_CT250MX200SSD1_15260FE290F6-part4

   pool: datapool
     id: 6094775850626583154
  state: ONLINE
 action: The pool can be imported using its name or numeric identifier.
 config:

        datapool                                      ONLINE
          raidz2-0                                    ONLINE
            ata-SAMSUNG_HD103SI_S1VSJD6ZB02686-part1  ONLINE
            ata-SAMSUNG_HD103SI_S2C4J90ZA16768-part1  ONLINE
            ata-SAMSUNG_HD103SJ_S246J9FZ601588-part1  ONLINE
mao@centraalpunt:~$ sudo zpool list
no pools available

de modprobe zfs laad hij bij boot.

hoe kan ik ze bij het booten laten mounten?

[ Voor 97% gewijzigd door maomanna op 19-11-2016 00:31 ]

[Verwijderd]

A1AD schreef op vrijdag 18 november 2016 @ 23:29:
De UPS heeft mijn server uitgeschakeld (stroompanne op straat) tijdens 1 disk replace op een RaidZ2 pool. Na het heropstarten krijg ik dit te zien;

 pool: bds
 state: DEGRADED
status: One or more devices is currently being resilvered.  The pool will
	continue to function, possibly in a degraded state.
action: Wait for the resilver to complete.
  scan: resilver in progress since Fri Nov 18 12:02:12 2016
    5.01T scanned out of 11.8T at 114M/s, 17h21m to go
    982G resilvered, 42.52% done
config:

	NAME                        STATE     READ WRITE CKSUM
	bds                         DEGRADED     0     0     0
	  raidz2-0                  DEGRADED     0     0     0
	    dm-name-disk1.1         ONLINE       0     0     0
	    replacing-1             DEGRADED     0     0 12.6M
	      13679495787616843273  UNAVAIL      0     0     0  was /dev/disk/by-id/dm-name-disk2/old
	      dm-name-disk2         ONLINE       0     0     0  (resilvering)
	    dm-name-disk3           ONLINE       0     0     0
	    dm-name-disk4.1         ONLINE       0     0     2  (resilvering)
	    dm-name-disk5           ONLINE       0     0     1  (resilvering)

Moet ik mij zorgen beginnen maken?

edit: -v switch geeft mij enkele onbelangrijke files (in een snapshot dan nog) die permanent corrupt zijn.

Nee, je hoeft je geen zorgen te maken. De replace-actie gaat gewoon door. Bedenk dat het in principe beter is als de oude disk nog aanwezig is tijdens het replacen, zodat je geen redundancy verliest.

Wat wel vreemd is, is dat je met -v corruptie ziet. Is dat al langer of is dat nieuw sinds de power outage? Je hebt een 5-disk RAID-Z2 correct, dus dan zou je met verlies van één disk nog geen issues mogen hebben.

Checksum errors kunnen ook duiden op RAM biterrors. Dus als je dat nog niet gedaan hebt, is een nachtje MemTest86+ draaien geen luxe. Deze vind je o.a. op een Ubuntu LiveCD of USB-stick tijdens het boot menu.

[A1AD]

Verwijderd schreef op zaterdag 19 november 2016 @ 01:30:
[...]

Nee, je hoeft je geen zorgen te maken. De replace-actie gaat gewoon door. Bedenk dat het in principe beter is als de oude disk nog aanwezig is tijdens het replacen, zodat je geen redundancy verliest.

Wat wel vreemd is, is dat je met -v corruptie ziet. Is dat al langer of is dat nieuw sinds de power outage? Je hebt een 5-disk RAID-Z2 correct, dus dan zou je met verlies van één disk nog geen issues mogen hebben.

Checksum errors kunnen ook duiden op RAM biterrors. Dus als je dat nog niet gedaan hebt, is een nachtje MemTest86+ draaien geen luxe. Deze vind je o.a. op een Ubuntu LiveCD of USB-stick tijdens het boot menu.

Omdat ik geen ECC heb draai Ik maandelijks de MemTest. De corruptie en de chksum error zijn na de restart gekomen. (Desalniettemin ga ik hem na de replace/resilver zeker draaien)

Na de reboot bij het initieel importeren had de disk 4 en 5 minutenlang de status UNAVAIL. Misschien vandaar de corruptie?

status:

  pool: bds
 state: DEGRADED
status: One or more devices is currently being resilvered.  The pool will
	continue to function, possibly in a degraded state.
action: Wait for the resilver to complete.
  scan: resilver in progress since Fri Nov 18 12:02:12 2016
    8.16T scanned out of 11.8T at 114M/s, 9h16m to go
    1.46T resilvered, 69.19% done
config:

	NAME                        STATE     READ WRITE CKSUM
	bds                         DEGRADED     0     0     0
	  raidz2-0                  DEGRADED     0     0     0
	    dm-name-disk1.1         ONLINE       0     0     0
	    replacing-1             DEGRADED     0     0 25.9M
	      13679495787616843273  UNAVAIL      0     0     0  was /dev/disk/by-id/dm-name-disk2/old
	      dm-name-disk2         ONLINE       0     0     0  (resilvering)
	    dm-name-disk3           ONLINE       0     0     0
	    dm-name-disk4.1         ONLINE       0     0     2  (resilvering)
	    dm-name-disk5           ONLINE       0     0     1  (resilvering)

errors: Permanent errors have been detected in the following files:

[ Voor 36% gewijzigd door A1AD op 19-11-2016 07:37 ]

[maomanna]

maomanna schreef op vrijdag 18 november 2016 @ 23:58:
iets van scrubben, toch?

sinds de update doet mijn zfs pool raar.

als ik sudo zpool import gebruik importeert hij ze wel.

code:

mao@centraalpunt:~$ sudo zpool list
no pools available
mao@centraalpunt:~$ sudo zpool import
   pool: backup
     id: 15799253914181978794
  state: ONLINE
 action: The pool can be imported using its name or numeric identifier.
 config:

        backup                                        ONLINE
          mirror-0                                    ONLINE
            ata-SAMSUNG_HD204UI_S2H7J1CB903202-part1  ONLINE
            ata-SAMSUNG_HD204UI_S2H7J90B600101-part1  ONLINE
            ata-SAMSUNG_HD204UI_S2HGJ9EB900901-part1  ONLINE

   pool: ZFSBulk
     id: 9466237060928369645
  state: ONLINE
 status: One or more devices contains corrupted data.
 action: The pool can be imported using its name or numeric identifier.
   see: http://zfsonlinux.org/msg/ZFS-8000-4J
 config:

        ZFSBulk                                          ONLINE
          raidz1-0                                       ONLINE
            ata-ST4000DM000-1F2168_Z3017G58              ONLINE
            ata-ST4000DM000-1F2168_Z300DVH7              ONLINE
            ata-ST4000DM000-1F2168_Z30174PB              ONLINE
            ata-ST4000DM000-1F2168_W300STWF              ONLINE
            ata-ST4000DM000-1F2168_Z300RSFX              ONLINE
        cache
          L2ARC
          ata-Crucial_CT250MX200SSD1_15260FE290F6-part4

   pool: datapool
     id: 6094775850626583154
  state: ONLINE
 action: The pool can be imported using its name or numeric identifier.
 config:

        datapool                                      ONLINE
          raidz2-0                                    ONLINE
            ata-SAMSUNG_HD103SI_S1VSJD6ZB02686-part1  ONLINE
            ata-SAMSUNG_HD103SI_S2C4J90ZA16768-part1  ONLINE
            ata-SAMSUNG_HD103SJ_S246J9FZ601588-part1  ONLINE
mao@centraalpunt:~$ sudo zpool list
no pools available

de modprobe zfs laad hij bij boot.

hoe kan ik ze bij het booten laten mounten?

Modprobe zfs toegevoegd aan /etc/modules
Nu start die wel mee op. Zpool import "poolname" was ook wel handig geweest.

Tevens heb ik
apt-get remove zfs.doc
Apt-get install zfsutils-linux
Uitgevoerd. Nu mounten ze wel mee met een boot.

[Verwijderd]

als ik sudo zpool import gebruik importeert hij ze wel.

Een 'zpool import' commando importeert helemaal niets; het laat enkel importeerbare pools zien. Wil je daadwerkelijk importeren dan moet je daar ook een poolnaam bij opgeven, zoals 'zpool import datapool'. Pas daarna zie je met 'zpool list' je pool verschijnen.

[maomanna]

Verwijderd schreef op zaterdag 19 november 2016 @ 19:04:
[...]

Een 'zpool import' commando importeert helemaal niets; het laat enkel importeerbare pools zien. Wil je daadwerkelijk importeren dan moet je daar ook een poolnaam bij opgeven, zoals 'zpool import datapool'. Pas daarna zie je met 'zpool list' je pool verschijnen.

Ja kwam ik ook achter. Beetje dom.

Maar als de modprobe zfs niet wil werken, kan je sowieso niets.

Door de update van kernels in ubuntu 14.04 werkte de zfs packages niet meer, 0.6.5.7

Heel ubuntu geupdate naar 16.04 en zfs naar 0.6.5.7-1 en het werkt weer.

[Xenophoben]

Beste tweakers,

Ik heb nu een tijdje unraid gedraait, maar ik zou graag willen gaan spelen met freenas. Ik heb op dit moment de volgende setup:
HP Microserver
USB Stick
1x 250gb ssd
1x 4tb
1x 3tb
2x 2tb

Ik weet dat ik met deze schijven geen handige capaciteiten heb en dus storage ga verliezen. Echter, waar moet ik nu freenas op installeren? USB stick of de ssd? Wat is beter (betrouwbaarder) ? Ik wil ook sabnzbd etc gaan draaien.

mvg,

[Corteztm3]

Xenophoben schreef op maandag 21 november 2016 @ 15:32:
Beste tweakers,

Ik heb nu een tijdje unraid gedraait, maar ik zou graag willen gaan spelen met freenas. Ik heb op dit moment de volgende setup:
HP Microserver
USB Stick
1x 250gb ssd
1x 4tb
1x 3tb
2x 2tb

Ik weet dat ik met deze schijven geen handige capaciteiten heb en dus storage ga verliezen. Echter, waar moet ik nu freenas op installeren? USB stick of de ssd? Wat is beter (betrouwbaarder) ? Ik wil ook sabnzbd etc gaan draaien.

mvg,

FreeNAS installeer je eigenlijk op een USB stick waarbij je een tweede disk hebt voor je downloads / software. Daarnaast heb je vaak een raid array wat dan opgeschakeld wordt als je het nodig hebt.

Helaas is jouw disks niet geheel optimaal voor ZFS. Je zou een RAID-Z (raid-5 alike) kunnen opstellen van je 4+3+2+2. Dit zou resulteren in ongeveer 6TB bruikbare space. Vaak gebruik je voor RAID-Z 2*X+1, dus 3,5,7 disks. Waarbij je je SSD gebruikt voor je downloads / software.

[Verwijderd]

Hij kan twee pools maken: 4TB + 3TB als normale (RAID0) pool, dus 7TB capaciteit zonder redundantie. De twee 2TB disks kan hij dan in een mirror pool maken, voor dingen als documenten en andere belangrijke zaken. Dus 2TB voor belangrijke bestanden en 7TB voor 'downloadbare' bestanden.

[DaCoTa]

Als je een poort vrij hebt en een paar* tientjes, kun je met een extra disk voor een 5 disk raidz gaan. Je kunt namelijk de samenstelling van de pool niet meer aanpassen (om van 3 naar 5 disks te gaan bijvoorbeeld). Je kan wel over de jaren de individuele disks vervangen en zo langzaam de pool groter maken.

*)Hmm schijven zijn toch iets meer dan een paar tientjes.

[ Voor 11% gewijzigd door DaCoTa op 22-11-2016 16:22 ]

[A1AD]

Klein vraagje. Heeft het veel nut om een aparte kleine download schijf te hebben om zo minder fragmentatie te creëren op de main pool? (Want Download en Media zijn aparte datasets)

[Corteztm3]

A1AD schreef op zaterdag 26 november 2016 @ 19:39:
Klein vraagje. Heeft het veel nut om een aparte kleine download schijf te hebben om zo minder fragmentatie te creëren op de main pool? (Want Download en Media zijn aparte datasets)

Ik denk dat het altijd zinnig is om de main disk array zo veel mogelijk te ontlasten, kijken naar energie gebruik.

[FireDrunk]

A1AD schreef op zaterdag 26 november 2016 @ 19:39:
Klein vraagje. Heeft het veel nut om een aparte kleine download schijf te hebben om zo minder fragmentatie te creëren op de main pool? (Want Download en Media zijn aparte datasets)

Alleen als je ook frequent data weghaalt. Als je alleen maar download en het dataset groeit, maakt het weinig uit.

[A1AD]

FireDrunk schreef op zondag 27 november 2016 @ 08:08:
[...]

Alleen als je ook frequent data weghaalt. Als je alleen maar download en het dataset groeit, maakt het weinig uit.

Ik verplaats van de 1 ne dataset naar de andere binnen dezelfde pool veel GB's.

[FireDrunk]

Dat veroorzaakt wel redelijke fragmentatie ja. Maar hoe groter de blocksize, hoe minder last je er van hebt.
Je zou je 'tijdelijke' dataset met een grote blocksize aan kunnen maken, dan verwacht ik minder fragmentatie.

[ Voor 65% gewijzigd door FireDrunk op 27-11-2016 08:58 ]

[robin66075]

Beste Tweakers,

Is het mogelijk om een ZFS stripe (1 disk) om te zetten naar een ZFS RAIDZ (3 disks). Ik heb vandaag een extra disk gekocht (WD red 3 TB) en heb nu totaal 3 stuks hiervan. Als ik op het internet zoek dan lees ik dat het alleen mogelijk is om een nieuwe RAIDZ pool aan te maken en de data te kopiëren. Dit zou dus betekenen dat ik nog een extra disk moet kopen.

Dit moet toch gemakkelijker kunnen? Iemand toevallig ervaring hiermee?

[CurlyMo]

Nee, dat gaat niet lukken. Ik zou een extra disk kopen en dan naar RAIDZ2.

[robin66075]

CurlyMo schreef op maandag 28 november 2016 @ 20:26:
Nee, dat gaat niet lukken. Ik zou een extra disk kopen en dan naar RAIDZ2.

Helaas dan ga ik een extra disk kopen. Maar nu eerst alles kopiëren naar 1 disk zodat ik alles kan overzetten naar de nieuwe pool. Ik ga gewoon RAIDZ gebruik omdat de data niet heel belangrijk is.

[Verwijderd]

Je kunt een ZFS pool aanmaken met echte disks en virtuele (memory) disks. Dus bijvoorbeeld een RAID-Z2 van 6 disks met slechts vier echte disks. Na reboot zijn de memory disks weg en heb je dus een double degraded RAID-Z2 - ongeveer gelijk aan de bescherming van een RAID0.

Maar, je hebt dan wel twee disks over. Daarop kun je alle gegevens kopiëren voordat je je huidige pool sloopt. Kortom, de procedure zou zijn:

1) koop nog een disk (5 disks in totaal)
2) zet alle gegevens over op één van de twee nieuwe disks
3) sloop je huidige pool
4) maak nieuwe pool aan met 4 disks + 1 virtual/memory disk - degraded
5) kopiëer data van tijdelijke disk naar de nieuwe pool
6) vernietig de pool/data op de tijdelijke disk en voeg deze toe aan de nieuwe pool zodat deze weer compleet is

Dan ga je van je huidige 3-disk RAID-Z naar een 5-disk RAID-Z. Beide zijn optimale configuraties qua aantallen disks; iets wat vandaag de dag niet meer zo heel belangrijk is dankzij large_block en compressie, maar het is zeker wel een plus. Een 4-disk RAID-Z is bijvoorbeeld geen optimale configuratie. Zie ook de topicstart.

Succes!

[DaCoTa]

Verwijderd schreef op maandag 28 november 2016 @ 21:00:
1) koop nog een disk (5 disks in totaal)
2) zet alle gegevens over op één van de twee nieuwe disks
3) sloop je huidige pool
4) maak nieuwe pool aan met 4 disks + 1 virtual/memory disk - degraded
5) kopiëer data van tijdelijke disk naar de nieuwe pool
6) vernietig de pool/data op de tijdelijke disk en voeg deze toe aan de nieuwe pool zodat deze weer compleet is

Dit heb ik ook gedaan, maar dan naar een 6 disk RaidZ2, werkte perfect. Je moet wel zorgen dat je de pool niet gebruikt als de virtual/memory disk actief is, dus een reboot tussen 4 en 5.

[FREAKJAM]

Verwijderd schreef op maandag 28 november 2016 @ 21:00:
Je kunt een ZFS pool aanmaken met echte disks en virtuele (memory) disks. Dus bijvoorbeeld een RAID-Z2 van 6 disks met slechts vier echte disks. Na reboot zijn de memory disks weg en heb je dus een double degraded RAID-Z2 - ongeveer gelijk aan de bescherming van een RAID0.

Maar, je hebt dan wel twee disks over. Daarop kun je alle gegevens kopiëren voordat je je huidige pool sloopt. Kortom, de procedure zou zijn:

1) koop nog een disk (5 disks in totaal)
2) zet alle gegevens over op één van de twee nieuwe disks
3) sloop je huidige pool
4) maak nieuwe pool aan met 4 disks + 1 virtual/memory disk - degraded
5) kopiëer data van tijdelijke disk naar de nieuwe pool
6) vernietig de pool/data op de tijdelijke disk en voeg deze toe aan de nieuwe pool zodat deze weer compleet is

Zou je iets specifieker kunnen aangeven hoe je een zpool aanmaakt met virtuele disks? Doe je dit met mkfile waarbij je de grootte opgeeft van de disk die je uiteindelijk gaat plaatsen?

Ik heb op dit moment 6x3TB RAIDZ2 draaien en 83% is in use. Kijkend naar de toekomst wil ik uitbreiden, maar zoals bekend met ZFS kun je er niet zomaar een disk bij prikken en de boel expanden.

Uitgaande van je verhaal zou ik dus het volgende kunnen doen wil ik er een 8x3TB RAIDZ2 van maken:

• 3 schijven kopen (heb al een reserve liggen, dus hoef er maar 2 aan te schaffen)
• Data huidige zpool kopieren naar 3 nieuwe losse schijven (heb 8.5tb aan data).
• Huidige pool degraden (2 schijven eruit halen).
• Nieuwe zpool aanmaken op basis van 6 echte disks en twee virtuele disks.
• Data kopieren van de drie losse schijven naar "degraded" nieuwe zpool
• Server shutdown - twee schijven bijsteken en resilver uitvoeren.

Ik draai nu ESXi en zit erover te denken om over te stappen naar bare metal (proxmox, rancher of ubuntu + zfs + lxd) en wil gelijk mijn storagestukje verbeteren omdat ik binnen nu en een aantal maanden op 90% pool usage zit. Andere oplossing is een tweede doos ernaast bouwen met bijvoorbeeld 6tb of zelfs 8tb schijven, maar twee losse schijven aanschaffen is natuurlijk een goedkopere oplossing.

[Simkin]

Heeft iemand mogelijk ook het probleem dat ZFS kapot is na een reboot op een Debian systeem? Ik vermoed dat een kernel update het een en ander om zeep heeft geholpen bij mij en krijg het ook niet meer werkend (uninstall/reinstall) Mocht iemand mij een duwtje in de juiste richting willen geven zou ik dat erg fijn vinden.

Debian 8.6 (3.16.0-4-amd64)

root@nas:/opt# apt-get install -t jessie-backports zfs-dkms

code:

Setting up zfs-dkms (0.6.5.8-1~bpo8+1) ...
Loading new zfs-0.6.5.8 DKMS files...
Building only for 3.16.0-4-amd64
Building initial module for 3.16.0-4-amd64
Done.

zavl:
Running module version sanity check.
Error! Module version 0.6.5.8-1~bpo8+1 for zavl.ko
is not newer than what is already found in kernel 3.16.0-4-amd64 (0.7.0-rc2_75_gc077090).
You may override by specifying --force.

zcommon.ko:
Running module version sanity check.
Error! Module version 0.6.5.8-1~bpo8+1 for zcommon.ko
is not newer than what is already found in kernel 3.16.0-4-amd64 (0.7.0-rc2_75_gc077090).
You may override by specifying --force.

znvpair.ko:
Running module version sanity check.
Error! Module version 0.6.5.8-1~bpo8+1 for znvpair.ko
is not newer than what is already found in kernel 3.16.0-4-amd64 (0.7.0-rc2_75_gc077090).
You may override by specifying --force.

zpios.ko:
Running module version sanity check.
Error! Module version 0.6.5.8-1~bpo8+1 for zpios.ko
is not newer than what is already found in kernel 3.16.0-4-amd64 (0.7.0-rc2_75_gc077090).
You may override by specifying --force.

zunicode.ko:
Running module version sanity check.
Error! Module version 0.6.5.8-1~bpo8+1 for zunicode.ko
is not newer than what is already found in kernel 3.16.0-4-amd64 (0.7.0-rc2_75_gc077090).
You may override by specifying --force.

zfs.ko:
Running module version sanity check.
Error! Module version 0.6.5.8-1~bpo8+1 for zfs.ko
is not newer than what is already found in kernel 3.16.0-4-amd64 (0.7.0-rc2_75_gc077090).
You may override by specifying --force.

depmod....

DKMS: install completed.

root@nas:/opt# modprobe zfs

code:

modprobe: ERROR: could not insert 'zfs': Invalid argument

root@nas:/opt# dkms status

code:

spl, 0.6.5.8, 3.16.0-4-amd64, x86_64: installed
zfs, 0.6.5.8, 3.16.0-4-amd64, x86_64: installed (WARNING! Diff between built and installed module!) (WARNING! Diff between built and installed module!) (WARNING! Diff between built and installed module!) (WARNING! Diff between built and installed module!) (WARNING! Diff between built and installed module!) (WARNING! Diff between built and installed module!)

root@nas:/opt# zfs

code:

zfs: symbol lookup error: /lib/libzfs.so.2: undefined symbol: get_system_hostid

[ Voor 12% gewijzigd door Simkin op 09-12-2016 19:47 ]

[Verwijderd]

FREAKJAM schreef op donderdag 1 december 2016 @ 15:36:
Zou je iets specifieker kunnen aangeven hoe je een zpool aanmaakt met virtuele disks? Doe je dit met mkfile waarbij je de grootte opgeeft van de disk die je uiteindelijk gaat plaatsen?

Sorry, nog niet op gereageerd.

Virtuele disks onder BSD gaat met mdconfig, een RAMdisk zeg maar. Je kunt heel simpel doen:

# mdconfig -a -s 8t
md0
# diskinfo -v /dev/md0
/dev/md0
	512         	# sectorsize
	8796093022208	# mediasize in bytes (8.0T)
	17179869184 	# mediasize in sectors
	0           	# stripesize
	0           	# stripeoffset

Je kunt de disk zo groot maken als je wilt; het gebruikt pas RAM als er data wordt geschreven. Dat laatste moet je dus niet doen, want dan is het gauw afgelopen.

Met het eerste commando heb je dus een /dev/md0 'disk'. Die gebruik je dan in je zpool create commando:

zpool create tank raidz2 /dev/ada1 /dev/ada2 /dev/ada3 /dev/ada4 /dev/md0 /dev/md1

Daarna reboot je, zijn de RAM-disks weg en heb je een double degraded 6-disk RAID-Z2 pool met slechts 4 echte disks.

Onder Linux zal het vergelijkbaar werken, al ken ik de exacte commando's niet uit mijn hoofd.

Simkin schreef op vrijdag 9 december 2016 @ 18:50:
Heeft iemand mogelijk ook het probleem dat ZFS kapot is na een reboot op een Debian systeem? Ik vermoed dat een kernel update het een en ander om zeep heeft geholpen bij mij en krijg het ook niet meer werkend

Waarom is dit toch elke keer het geval onder Linux? En dan wordt gezegd dat ZFS-on-Linux 'production-ready' is?! Komt eerder alpha/bèta achtig over mijns inziens, want dit is zeeeeeeker niet voor het eerst dat ik dit hoor.

[DXaroth]

Simkin schreef op vrijdag 9 december 2016 @ 18:50:
Heeft iemand mogelijk ook het probleem dat ZFS kapot is na een reboot op een Debian systeem? Ik vermoed dat een kernel update het een en ander om zeep heeft geholpen bij mij en krijg het ook niet meer werkend (uninstall/reinstall) Mocht iemand mij een duwtje in de juiste richting willen geven zou ik dat erg fijn vinden.

Debian 8.6 (3.16.0-4-amd64)

root@nas:/opt# apt-get install -t jessie-backports zfs-dkms

code:

Setting up zfs-dkms (0.6.5.8-1~bpo8+1) ...
Loading new zfs-0.6.5.8 DKMS files...
Building only for 3.16.0-4-amd64
Building initial module for 3.16.0-4-amd64
Done.

zavl:
Running module version sanity check.
Error! Module version 0.6.5.8-1~bpo8+1 for zavl.ko
is not newer than what is already found in kernel 3.16.0-4-amd64 (0.7.0-rc2_75_gc077090).
You may override by specifying --force.

zcommon.ko:
Running module version sanity check.
Error! Module version 0.6.5.8-1~bpo8+1 for zcommon.ko
is not newer than what is already found in kernel 3.16.0-4-amd64 (0.7.0-rc2_75_gc077090).
You may override by specifying --force.

znvpair.ko:
Running module version sanity check.
Error! Module version 0.6.5.8-1~bpo8+1 for znvpair.ko
is not newer than what is already found in kernel 3.16.0-4-amd64 (0.7.0-rc2_75_gc077090).
You may override by specifying --force.

zpios.ko:
Running module version sanity check.
Error! Module version 0.6.5.8-1~bpo8+1 for zpios.ko
is not newer than what is already found in kernel 3.16.0-4-amd64 (0.7.0-rc2_75_gc077090).
You may override by specifying --force.

zunicode.ko:
Running module version sanity check.
Error! Module version 0.6.5.8-1~bpo8+1 for zunicode.ko
is not newer than what is already found in kernel 3.16.0-4-amd64 (0.7.0-rc2_75_gc077090).
You may override by specifying --force.

zfs.ko:
Running module version sanity check.
Error! Module version 0.6.5.8-1~bpo8+1 for zfs.ko
is not newer than what is already found in kernel 3.16.0-4-amd64 (0.7.0-rc2_75_gc077090).
You may override by specifying --force.

depmod....

DKMS: install completed.

root@nas:/opt# modprobe zfs

code:

modprobe: ERROR: could not insert 'zfs': Invalid argument

root@nas:/opt# dkms status

code:

spl, 0.6.5.8, 3.16.0-4-amd64, x86_64: installed
zfs, 0.6.5.8, 3.16.0-4-amd64, x86_64: installed (WARNING! Diff between built and installed module!) (WARNING! Diff between built and installed module!) (WARNING! Diff between built and installed module!) (WARNING! Diff between built and installed module!) (WARNING! Diff between built and installed module!) (WARNING! Diff between built and installed module!)

root@nas:/opt# zfs

code:

zfs: symbol lookup error: /lib/libzfs.so.2: undefined symbol: get_system_hostid

Het lijkt er op alsof je systeem denkt dat 0.7.0rc2 al gecompiled is, en je probeert het te fixen door 0.6.5.8-1 te installeren.. daardoor draaien de dkms builds niet (want 0.7 > 0.6.5), waardoor de zfs.ko modules (en anderen) niet geladen worden omdat.. naja.. ze niet voor die kernel gemaakt zijn.

@CiPHER: ZoL heeft wat issues gehad met dkms-based builds ja, niet iets wat je zou verwachten voor een production-ready systeem.

[Verwijderd]

Nouja 'gehad'... het lijkt eerder een structureel probleem. Stel dat je na een Windows update opeens je NTFS drive niet meer kunt benaderen. Nou dan zijn de rapen gaar... En terecht!

[Simkin]

Ik heb volgens mij alles gepurged and het nogmaals geprobeerd, nu loop ik tegen het volgende aan:

root@nas:/opt# apt-get install zfs-dkms

code:

Reading package lists... Done
Building dependency tree
Reading state information... Done
The following extra packages will be installed:
  libnvpair1linux libuutil1linux libzfs2linux libzpool2linux zfs-zed zfsutils-linux
Suggested packages:
  zfs-initramfs zfs-dracut
The following NEW packages will be installed:
  libnvpair1linux libuutil1linux libzfs2linux libzpool2linux zfs-dkms zfs-zed zfsutils-linux
0 upgraded, 7 newly installed, 0 to remove and 0 not upgraded.
Need to get 0 B/2,081 kB of archives.
After this operation, 13.5 MB of additional disk space will be used.
Do you want to continue? [Y/n] y
Preconfiguring packages ...
Selecting previously unselected package zfs-dkms.
(Reading database ... 219188 files and directories currently installed.)
Preparing to unpack .../zfs-dkms_0.6.5.8-1~bpo8+1_all.deb ...
Unpacking zfs-dkms (0.6.5.8-1~bpo8+1) ...
Selecting previously unselected package libuutil1linux.
Preparing to unpack .../libuutil1linux_0.6.5.8-1~bpo8+1_amd64.deb ...
Unpacking libuutil1linux (0.6.5.8-1~bpo8+1) ...
Selecting previously unselected package libnvpair1linux.
Preparing to unpack .../libnvpair1linux_0.6.5.8-1~bpo8+1_amd64.deb ...
Unpacking libnvpair1linux (0.6.5.8-1~bpo8+1) ...
Selecting previously unselected package libzpool2linux.
Preparing to unpack .../libzpool2linux_0.6.5.8-1~bpo8+1_amd64.deb ...
Unpacking libzpool2linux (0.6.5.8-1~bpo8+1) ...
Selecting previously unselected package libzfs2linux.
Preparing to unpack .../libzfs2linux_0.6.5.8-1~bpo8+1_amd64.deb ...
Unpacking libzfs2linux (0.6.5.8-1~bpo8+1) ...
Selecting previously unselected package zfsutils-linux.
Preparing to unpack .../zfsutils-linux_0.6.5.8-1~bpo8+1_amd64.deb ...
Unpacking zfsutils-linux (0.6.5.8-1~bpo8+1) ...
Selecting previously unselected package zfs-zed.
Preparing to unpack .../zfs-zed_0.6.5.8-1~bpo8+1_amd64.deb ...
Unpacking zfs-zed (0.6.5.8-1~bpo8+1) ...
Processing triggers for man-db (2.7.0.2-5) ...
Setting up zfs-dkms (0.6.5.8-1~bpo8+1) ...
Loading new zfs-0.6.5.8 DKMS files...
Building only for 3.16.0-4-amd64
Building initial module for 3.16.0-4-amd64
configure: error:
        *** Please make sure the kmod spl devel <kernel> package for your
        *** distribution is installed then try again.  If that fails you
        *** can specify the location of the spl objects with the
        *** '--with-spl-obj=PATH' option.
Error! Bad return status for module build on kernel: 3.16.0-4-amd64 (x86_64)
Consult /var/lib/dkms/zfs/0.6.5.8/build/make.log for more information.
Setting up libuutil1linux (0.6.5.8-1~bpo8+1) ...
Setting up libnvpair1linux (0.6.5.8-1~bpo8+1) ...
Setting up libzpool2linux (0.6.5.8-1~bpo8+1) ...
Setting up libzfs2linux (0.6.5.8-1~bpo8+1) ...
Setting up zfsutils-linux (0.6.5.8-1~bpo8+1) ...
Job for zfs-mount.service failed. See 'systemctl status zfs-mount.service' and 'journalctl -xn' for details.
Job for zfs-import-scan.service failed. See 'systemctl status zfs-import-scan.service' and 'journalctl -xn' for details.
Job for zfs-share.service failed. See 'systemctl status zfs-share.service' and 'journalctl -xn' for details.
Setting up zfs-zed (0.6.5.8-1~bpo8+1) ...
Processing triggers for libc-bin (2.19-18+deb8u6) ...

Iemand daar een tip voor?

Edit: Loop ik hier tegen aan?

[FireDrunk]

Je maakt een beginners fout. ZFSonLinux bestaat uit 2 componenten, SPL en ZFS. Je installeert nu een van die twee componenten los (ZFS) maar hebt geen SPL, dat werkt niet.

Je moet doen:

apt-get install debian-zfs

Als het goed is installeert die beide componenten in de goede volgorde.

[ Voor 3% gewijzigd door FireDrunk op 10-12-2016 12:12 ]

[Simkin]

FireDrunk schreef op zaterdag 10 december 2016 @ 12:12:
Je maakt een beginners fout. ZFSonLinux bestaat uit 2 componenten, SPL en ZFS. Je installeert nu een van die twee componenten los (ZFS) maar hebt geen SPL, dat werkt niet.

Je moet doen:

apt-get install debian-zfs

Als het goed is installeert die beide componenten in de goede volgorde.

Ik volg de handleiding hier: https://github.com/zfsonlinux/zfs/wiki/Debian
Maar kan debian-zfs ook niet vinden (heb wel de jessie-backports repo toegevoegd)

root@nas:~# apt-get install debian-zfs

code:

Reading package lists... Done
Building dependency tree
Reading state information... Done
Package debian-zfs is not available, but is referred to by another package.
This may mean that the package is missing, has been obsoleted, or
is only available from another source

E: Package 'debian-zfs' has no installation candidate

root@nas:~# apt-cache search zfs

code:

bzflag-server - bzfs - BZFlag game server
libguestfs-zfs - guest disk image management system - ZFS support
parted - disk partition manipulator
simplesnap - Simple and powerful network transmission of ZFS snapshots
zfs-fuse - ZFS on FUSE
zfsnap - Automatic snapshot creation and removal for ZFS
golang-go-zfs-dev - Go library for ZFS manipulation
libuutil1linux - Solaris userland utility library for Linux
libzfs2linux - OpenZFS filesystem library for Linux
libzfslinux-dev - OpenZFS filesystem development files for Linux
libzpool2linux - OpenZFS pool library for Linux
zfs-dbg - Debugging symbols for OpenZFS userland libraries and tools
zfs-dkms - OpenZFS filesystem kernel modules for Linux
zfs-dracut - OpenZFS root filesystem capabilities for Linux - dracut
zfs-initramfs - OpenZFS root filesystem capabilities for Linux - initramfs
zfs-zed - OpenZFS Event Daemon
zfsutils-linux - command-line tools to manage OpenZFS filesystems

[FireDrunk]

Hmm vreemd, Ofwel die pagina is oud, of ze hebben bij Debian een andere package structuur.

Doe eens apt-cache search spl?

Als je spl-dkms en zfs-dkms naast elkaar hebt zou het goed moeten gaan.


Snap ook niet zo goed waarom je backports moet activeren, maar dat zal wel een debian ding zijn...

[Simkin]

FireDrunk schreef op zaterdag 10 december 2016 @ 17:31:
Hmm vreemd, Ofwel die pagina is oud, of ze hebben bij Debian een andere package structuur.

Doe eens apt-cache search spl?

Als je spl-dkms en zfs-dkms naast elkaar hebt zou het goed moeten gaan.


Snap ook niet zo goed waarom je backports moet activeren, maar dat zal wel een debian ding zijn...

Terug bij af

root@nas:~# apt-get remove spl-dkms zfs-dkms

code:

Reading package lists... Done
Building dependency tree
Reading state information... Done
The following packages were automatically installed and are no longer required:
  libnvpair1linux libuutil1linux libzfs2linux libzpool2linux zfsutils-linux
Use 'apt-get autoremove' to remove them.
The following packages will be REMOVED:
  spl-dkms zfs-dkms zfs-zed
0 upgraded, 0 newly installed, 3 to remove and 0 not upgraded.
After this operation, 11.0 MB disk space will be freed.
Do you want to continue? [Y/n] y
(Reading database ... 219757 files and directories currently installed.)
Removing zfs-zed (0.6.5.8-1~bpo8+1) ...
Removing zfs-dkms (0.6.5.8-1~bpo8+1) ...

------------------------------
Deleting module version: 0.6.5.8
completely from the DKMS tree.
------------------------------
Done.
Removing spl-dkms (0.6.5.8-2~bpo8+2) ...
Processing triggers for man-db (2.7.0.2-5) ...

root@nas:~# apt-get install -t jessie-backports spl-dkms zfs-dkms

code:

Reading package lists... Done
Building dependency tree
Reading state information... Done
The following extra packages will be installed:
  zfs-zed
The following NEW packages will be installed:
  spl-dkms zfs-dkms zfs-zed
0 upgraded, 3 newly installed, 0 to remove and 212 not upgraded.
Need to get 0 B/1,494 kB of archives.
After this operation, 11.0 MB of additional disk space will be used.
Do you want to continue? [Y/n] y
Preconfiguring packages ...
Selecting previously unselected package spl-dkms.
(Reading database ... 219050 files and directories currently installed.)
Preparing to unpack .../spl-dkms_0.6.5.8-2~bpo8+2_all.deb ...
Unpacking spl-dkms (0.6.5.8-2~bpo8+2) ...
Setting up spl-dkms (0.6.5.8-2~bpo8+2) ...
Loading new spl-0.6.5.8 DKMS files...
First Installation: checking all kernels...
Building only for 3.16.0-4-amd64
Building initial module for 3.16.0-4-amd64
Done.

spl:
Running module version sanity check.
Error! Module version 0.6.5.8-2~bpo8+2 for spl.ko
is not newer than what is already found in kernel 3.16.0-4-amd64 (0.7.0-rc2).
You may override by specifying --force.

splat.ko:
Running module version sanity check.
Error! Module version 0.6.5.8-2~bpo8+2 for splat.ko
is not newer than what is already found in kernel 3.16.0-4-amd64 (0.7.0-rc2).
You may override by specifying --force.

Running the post_install script:

depmod....

DKMS: install completed.
Selecting previously unselected package zfs-dkms.
(Reading database ... 219337 files and directories currently installed.)
Preparing to unpack .../zfs-dkms_0.6.5.8-1~bpo8+1_all.deb ...
Unpacking zfs-dkms (0.6.5.8-1~bpo8+1) ...
Selecting previously unselected package zfs-zed.
Preparing to unpack .../zfs-zed_0.6.5.8-1~bpo8+1_amd64.deb ...
Unpacking zfs-zed (0.6.5.8-1~bpo8+1) ...
Processing triggers for man-db (2.7.0.2-5) ...
Setting up zfs-dkms (0.6.5.8-1~bpo8+1) ...
Loading new zfs-0.6.5.8 DKMS files...
Building only for 3.16.0-4-amd64
Building initial module for 3.16.0-4-amd64
Done.

zavl:
Running module version sanity check.
Error! Module version 0.6.5.8-1~bpo8+1 for zavl.ko
is not newer than what is already found in kernel 3.16.0-4-amd64 (0.7.0-rc2).
You may override by specifying --force.

zcommon.ko:
Running module version sanity check.
Error! Module version 0.6.5.8-1~bpo8+1 for zcommon.ko
is not newer than what is already found in kernel 3.16.0-4-amd64 (0.7.0-rc2).
You may override by specifying --force.

znvpair.ko:
Running module version sanity check.
Error! Module version 0.6.5.8-1~bpo8+1 for znvpair.ko
is not newer than what is already found in kernel 3.16.0-4-amd64 (0.7.0-rc2).
You may override by specifying --force.

zpios.ko:
Running module version sanity check.
Error! Module version 0.6.5.8-1~bpo8+1 for zpios.ko
is not newer than what is already found in kernel 3.16.0-4-amd64 (0.7.0-rc2).
You may override by specifying --force.

zunicode.ko:
Running module version sanity check.
Error! Module version 0.6.5.8-1~bpo8+1 for zunicode.ko
is not newer than what is already found in kernel 3.16.0-4-amd64 (0.7.0-rc2).
You may override by specifying --force.

zfs.ko:
Running module version sanity check.
Error! Module version 0.6.5.8-1~bpo8+1 for zfs.ko
is not newer than what is already found in kernel 3.16.0-4-amd64 (0.7.0-rc2).
You may override by specifying --force.

depmod....

DKMS: install completed.
Setting up zfs-zed (0.6.5.8-1~bpo8+1) ...

[FireDrunk]

Dat is allemaal prima, dkms zegt dat de modules er al zijn.

Wil je dat forceren kan je doen:

dkms remove zfs -v 0.6.5
dkms install zfs -v 0.6.5

( even uit mijn hoofd, zit op telefoon )

[Simkin]

FireDrunk schreef op zaterdag 10 december 2016 @ 23:05:
Dat is allemaal prima, dkms zegt dat de modules er al zijn.

Wil je dat forceren kan je doen:

dkms remove zfs -v 0.6.5
dkms install zfs -v 0.6.5

( even uit mijn hoofd, zit op telefoon )

Zoiets? (helaas werkt het niet op deze manier)

root@nas:~# dkms remove -m zfs -v 0.6.5.8 --all

code:

-------- Uninstall Beginning --------
Module:  zfs
Version: 0.6.5.8
Kernel:  3.16.0-4-amd64 (x86_64)
-------------------------------------

Status: Before uninstall, this module version was ACTIVE on this kernel.

zavl.ko:
 - Uninstallation
   - Deleting from: /lib/modules/3.16.0-4-amd64/
rmdir: failed to remove ‘’: No such file or directory
 - Original module
   - No original module was found for this module on this kernel.
   - Use the dkms install command to reinstall any previous module version.


zcommon.ko:
 - Uninstallation
   - Deleting from: /lib/modules/3.16.0-4-amd64/
rmdir: failed to remove ‘’: No such file or directory
 - Original module
   - No original module was found for this module on this kernel.
   - Use the dkms install command to reinstall any previous module version.


znvpair.ko:
 - Uninstallation
   - Deleting from: /lib/modules/3.16.0-4-amd64/
rmdir: failed to remove ‘’: No such file or directory
 - Original module
   - No original module was found for this module on this kernel.
   - Use the dkms install command to reinstall any previous module version.


zpios.ko:
 - Uninstallation
   - Deleting from: /lib/modules/3.16.0-4-amd64/
rmdir: failed to remove ‘’: No such file or directory
 - Original module
   - No original module was found for this module on this kernel.
   - Use the dkms install command to reinstall any previous module version.


zunicode.ko:
 - Uninstallation
   - Deleting from: /lib/modules/3.16.0-4-amd64/
rmdir: failed to remove ‘’: No such file or directory
 - Original module
   - No original module was found for this module on this kernel.
   - Use the dkms install command to reinstall any previous module version.


zfs.ko:
 - Uninstallation
   - Deleting from: /lib/modules/3.16.0-4-amd64/
rmdir: failed to remove ‘’: No such file or directory
 - Original module
   - No original module was found for this module on this kernel.
   - Use the dkms install command to reinstall any previous module version.

depmod....

DKMS: uninstall completed.

------------------------------
Deleting module version: 0.6.5.8
completely from the DKMS tree.
------------------------------
Done.

root@nas:~# dkms install zfs -v 0.6.5.8

code:

Creating symlink /var/lib/dkms/zfs/0.6.5.8/source ->
                 /usr/src/zfs-0.6.5.8

DKMS: add completed.

Kernel preparation unnecessary for this kernel.  Skipping...

Running the pre_build script:
checking for gawk... gawk
checking metadata... META file
checking build system type... x86_64-unknown-linux-gnu
checking host system type... x86_64-unknown-linux-gnu
checking target system type... x86_64-unknown-linux-gnu
checking whether to enable maintainer-specific portions of Makefiles... no
checking whether make supports nested variables... yes
checking for a BSD-compatible install... /usr/bin/install -c
checking whether build environment is sane... yes
checking for a thread-safe mkdir -p... /bin/mkdir -p
checking whether make sets $(MAKE)... yes
checking for gcc... gcc
checking whether the C compiler works... yes
checking for C compiler default output file name... a.out
checking for suffix of executables...
checking whether we are cross compiling... no
checking for suffix of object files... o
checking whether we are using the GNU C compiler... yes
checking whether gcc accepts -g... yes
checking for gcc option to accept ISO C89... none needed
checking whether gcc understands -c and -o together... yes
checking for style of include used by make... GNU
checking dependency style of gcc... gcc3
checking how to print strings... printf
checking for a sed that does not truncate output... /bin/sed
checking for grep that handles long lines and -e... /bin/grep
checking for egrep... /bin/grep -E
checking for fgrep... /bin/grep -F
checking for ld used by gcc... /usr/bin/ld
checking if the linker (/usr/bin/ld) is GNU ld... yes
checking for BSD- or MS-compatible name lister (nm)... /usr/bin/nm -B
checking the name lister (/usr/bin/nm -B) interface... BSD nm
checking whether ln -s works... yes
checking the maximum length of command line arguments... 1572864
checking whether the shell understands some XSI constructs... yes
checking whether the shell understands "+="... yes
checking how to convert x86_64-unknown-linux-gnu file names to x86_64-unknown-linux-gnu format... func_convert_file_noop
checking how to convert x86_64-unknown-linux-gnu file names to toolchain format... func_convert_file_noop
checking for /usr/bin/ld option to reload object files... -r
checking for objdump... objdump
checking how to recognize dependent libraries... pass_all
checking for dlltool... no
checking how to associate runtime and link libraries... printf %s\n
checking for ar... ar
checking for archiver @FILE support... @
checking for strip... strip
checking for ranlib... ranlib
checking command to parse /usr/bin/nm -B output from gcc object... ok
checking for sysroot... no
checking for mt... mt
checking if mt is a manifest tool... no
checking how to run the C preprocessor... gcc -E
checking for ANSI C header files... yes
checking for sys/types.h... yes
checking for sys/stat.h... yes
checking for stdlib.h... yes
checking for string.h... yes
checking for memory.h... yes
checking for strings.h... yes
checking for inttypes.h... yes
checking for stdint.h... yes
checking for unistd.h... yes
checking for dlfcn.h... yes
checking for objdir... .libs
checking if gcc supports -fno-rtti -fno-exceptions... no
checking for gcc option to produce PIC... -fPIC -DPIC
checking if gcc PIC flag -fPIC -DPIC works... yes
checking if gcc static flag -static works... yes
checking if gcc supports -c -o file.o... yes
checking if gcc supports -c -o file.o... (cached) yes
checking whether the gcc linker (/usr/bin/ld -m elf_x86_64) supports shared libraries... yes
checking whether -lc should be explicitly linked in... no
checking dynamic linker characteristics... GNU/Linux ld.so
checking how to hardcode library paths into programs... immediate
checking whether stripping libraries is possible... yes
checking if libtool supports shared libraries... yes
checking whether to build shared libraries... yes
checking whether to build static libraries... yes
checking dependency style of gcc... gcc3
checking zfs author... OpenZFS on Linux
checking zfs license... CDDL
checking linux distribution... debian
checking default package type... deb
checking default init directory... ${prefix}/etc/init.d
checking default init script type... lsb
checking default init config direectory... /etc/default
checking whether initramfs-tools is available... yes
checking whether rpm is available... yes (4.11.3)
checking whether rpmbuild is available... yes (4.11.3)
checking whether spec files are available... yes (rpm/generic/*.spec.in)
checking whether dpkg is available... yes (1.17.27)
checking whether dpkg-buildpackage is available... yes (1.17.27.)
checking whether alien is available... yes (8.92)
checking zfs config... kernel
checking for -Wno-unused-but-set-variable support... yes
checking for -Wno-bool-compare support... no
checking kernel source directory... /lib/modules/3.16.0-4-amd64/source
checking kernel build directory... /lib/modules/3.16.0-4-amd64/build
checking kernel source version... 3.16.0-4-amd64
checking kernel file name for module symbols... Module.symvers
checking spl source directory... /usr/src/spl-0.6.5.8
checking spl build directory... /var/lib/dkms/spl/0.6.5.8/3.16.0-4-amd64/x86_64
checking spl source version... 0.6.5.8-2~bpo8+2
checking spl file name for module symbols... Module.symvers
checking whether modules can be built... yes
checking whether Linux was built with CONFIG_DEBUG_LOCK_ALLOC... no
checking whether DECLARE_EVENT_CLASS() is available... no
checking whether current->bio_tail exists... no
checking whether current->bio_list exists... yes
checking whether submit_bio() wants 1 arg... no
checking block device operation prototypes... struct block_device
checking whether block_device_operations.release is void... void
checking whether kernel defines fmode_t... yes
checking whether kernel defines KOBJ_NAME_LEN... no
checking whether blkdev_get() wants 3 args... yes
checking whether blkdev_get_by_path() is available... yes
checking whether open_bdev_exclusive() is available... no
checking whether lookup_bdev() is available... yes
checking whether invalidate_bdev() wants 1 arg... yes
checking whether bdev_logical_block_size() is available... yes
checking whether bdev_physical_block_size() is available... yes
checking whether bio has bi_iter... yes
checking whether BIO_RW_FAILFAST_* are defined... no
checking whether REQ_FAILFAST_MASK is defined... yes
checking whether REQ_OP_DISCARD is defined... no
checking whether REQ_OP_SECURE_ERASE is defined... no
checking whether REQ_OP_FLUSH is defined... no
checking whether bio->bi_opf is defined... no
checking whether bio_end_io_t wants 1 arg... no
checking whether BIO_RW_BARRIER is defined... no
checking whether BIO_RW_DISCARD is defined... no
checking whether blk_queue_flush() is available... yes
checking whether blk_queue_flush() is GPL-only... yes
checking whether blk_queue_write_cache() exists... no
checking whether blk_queue_max_hw_sectors() is available... yes
checking whether blk_queue_max_segments() is available... yes
checking whether get_disk_ro() is available... yes
checking whether get_gendisk() is available... yes
checking whether ql->discard_granularity is available... yes
checking whether super_block uses const struct xattr_handler... yes
checking whether xattr_handler has name... no
checking whether xattr_handler->get() wants both dentry and inode... checking whether xattr_handler->get() wants xattr_handler... no
checking whether xattr_handler->get() wants dentry... yes
checking whether xattr_handler->set() wants both dentry and inode... checking whether xattr_handler->set() wants xattr_handler... no
checking whether xattr_handler->set() wants dentry... yes
checking whether xattr_handler->list() wants simple... no
checking whether xattr_handler->list() wants xattr_handler... no
checking whether xattr_handler->list() wants dentry... yes
checking whether inode_owner_or_capable() exists... yes
checking whether posix_acl_from_xattr() needs user_ns... yes
checking whether posix_acl_release() is available... yes
checking whether posix_acl_release() is GPL-only... yes
checking whether posix_acl_chmod exists... no
checking whether __posix_acl_chmod exists... yes
checking whether posix_acl_equiv_mode() wants umode_t... yes
checking whether posix_acl_valid() wants user namespace... no
checking whether iops->permission() exists... yes
checking whether iops->permission() wants nameidata... no
checking whether iops->check_acl() exists... no
checking whether iops->check_acl() wants flags... no
checking whether iops->get_acl() exists... yes
checking whether uncached_acl_sentinel() exists... no
checking whether sops->show_options() wants dentry... yes
checking whether file_inode() is available... yes
checking whether fops->fsync() wants... range
checking whether sops->evict_inode() exists... yes
checking whether sops->dirty_inode() wants flags... yes
checking whether sops->nr_cached_objects() exists... no
checking whether sops->free_cached_objects() exists... no
checking whether fops->fallocate() exists... yes
checking whether iops->fallocate() exists... no
checking whether iops->create()/mkdir()/mknod() take umode_t... yes
checking whether iops->lookup() passes nameidata... no
checking whether iops->create() passes nameidata... no
checking whether iops->get_link() passes delayed... no
checking whether iops->get_link() passes cookie... no
checking whether iops->follow_link() passes cookie... no
checking whether iops->follow_link() passes nameidata... yes
checking whether iops->put_link() passes cookie... no
checking whether iops->put_link() passes nameidata... yes
checking whether iops->truncate_range() exists... no
checking whether dops->d_automount() exists... yes
checking whether eops->encode_fh() wants inode... yes
checking whether eops->commit_metadata() exists... yes
checking whether clear_inode() is available... yes
checking whether insert_inode_locked() is available... yes
checking whether d_make_root() is available... yes
checking whether d_obtain_alias() is available... yes
checking whether d_prune_aliases() is available... yes
checking whether d_set_d_op() is available... yes
checking whether dops->d_revalidate() takes struct nameidata... no
checking whether dentry uses const struct dentry_operations... yes
checking whether check_disk_size_change() is available... yes
checking whether truncate_setsize() is available... yes
checking whether security_inode_init_security wants 6 args... no
checking whether security_inode_init_security wants callback... yes
checking whether mount_nodev() is available... yes
checking whether super_block has s_shrink... no
checking whether shrink_control has nid... yes
checking whether super_block has s_instances list_head... no
checking whether super_block has s_d_op... yes
checking whether bdi_setup_and_register() wants 2 args... no
checking whether bdi_setup_and_register() wants 3 args... yes
checking whether set_nlink() is available... yes
checking whether elevator_change() is available... yes
checking whether sget() wants 5 args... yes
checking whether lseek_execute() is available... no
checking whether fops->iterate_shared() is available... no
checking whether fops->iterate() is available... yes
checking whether fops->read/write_iter() are available... yes
checking whether kmap_atomic wants 1 args... yes
checking whether follow_down_one() is available... yes
checking whether make_request_fn() returns int... no
checking whether make_request_fn() returns void... yes
checking whether generic IO accounting symbols are avaliable... no
checking whether debugging is enabled... no
checking whether dmu tx validation is enabled... no
checking that generated files are newer than configure... done
configure: creating ./config.status
config.status: creating Makefile
config.status: creating module/Makefile
config.status: creating module/avl/Makefile
config.status: creating module/nvpair/Makefile
config.status: creating module/unicode/Makefile
config.status: creating module/zcommon/Makefile
config.status: creating module/zfs/Makefile
config.status: creating module/zpios/Makefile
config.status: creating include/Makefile
config.status: creating include/linux/Makefile
config.status: creating include/sys/Makefile
config.status: creating include/sys/fs/Makefile
config.status: creating include/sys/fm/Makefile
config.status: creating include/sys/fm/fs/Makefile
config.status: creating zfs.release
config.status: creating zfs_config.h
config.status: executing depfiles commands
config.status: executing libtool commands

Building module:
cleaning build area....
make KERNELRELEASE=3.16.0-4-amd64...................
cleaning build area....

DKMS: build completed.

zavl.ko:
Running module version sanity check.
Error! Module version 0.6.5.8-1~bpo8+1 for zavl.ko
is not newer than what is already found in kernel 3.16.0-4-amd64 (0.7.0-rc2).
You may override by specifying --force.

zcommon.ko:
Running module version sanity check.
Error! Module version 0.6.5.8-1~bpo8+1 for zcommon.ko
is not newer than what is already found in kernel 3.16.0-4-amd64 (0.7.0-rc2).
You may override by specifying --force.

znvpair.ko:
Running module version sanity check.
Error! Module version 0.6.5.8-1~bpo8+1 for znvpair.ko
is not newer than what is already found in kernel 3.16.0-4-amd64 (0.7.0-rc2).
You may override by specifying --force.

zpios.ko:
Running module version sanity check.
Error! Module version 0.6.5.8-1~bpo8+1 for zpios.ko
is not newer than what is already found in kernel 3.16.0-4-amd64 (0.7.0-rc2).
You may override by specifying --force.

zunicode.ko:
Running module version sanity check.
Error! Module version 0.6.5.8-1~bpo8+1 for zunicode.ko
is not newer than what is already found in kernel 3.16.0-4-amd64 (0.7.0-rc2).
You may override by specifying --force.

zfs.ko:
Running module version sanity check.
Error! Module version 0.6.5.8-1~bpo8+1 for zfs.ko
is not newer than what is already found in kernel 3.16.0-4-amd64 (0.7.0-rc2).
You may override by specifying --force.

depmod....

DKMS: install completed.

root@nas:~# zpool status

code:

The ZFS modules are not loaded.
Try running '/sbin/modprobe zfs' as root to load them.

root@nas:~# modprobe zfs

code:

modprobe: ERROR: could not insert 'zfs': Invalid argument

root@nas:~# dkms status

code:

spl, 0.6.5.8, 3.16.0-4-amd64, x86_64: installed (WARNING! Diff between built and installed module!) (WARNING! Diff between built and installed module!)
zfs, 0.6.5.8, 3.16.0-4-amd64, x86_64: installed (WARNING! Diff between built and installed module!) (WARNING! Diff between built and installed module!) (WARNING! Diff between built and installed module!) (WARNING! Diff between built and installed module!) (WARNING! Diff between built and installed module!) (WARNING! Diff between built and installed module!)

[FireDrunk]

Aha, inderdaad. Er zijn echt 0.7.0-RC2 modules aanwezig, Je hebt dus misschien geprobeerd ZFS vanaf source te installeren?

Je moet dus even met de hand opschonen.

Verwijder de files:

zavl.ko:
zcommon.ko:
znvpair.ko:
zpios.ko:
zunicode.ko:
zfs.ko

uit:
/lib/modules/3.16.0-4-amd64/<iets>/extra/

En run het commando nog eens

Voor SPL geldt waarschijnlijk hetzelfde. Staat volgens mij ook in /lib/modules/3.16.0-4-amd64/extra/

[ Voor 14% gewijzigd door FireDrunk op 10-12-2016 23:43 ]

[DXaroth]

waarom niet --force gebruiken zoals de melding zegt?

[FireDrunk]

Kan ook inderdaad, had ik even gemist.

[Simkin]

Ik had idd ZFS zelf gecompileerd met de hoop het probleem op te lossen maar dit was niet gelukt. Heb daarna wel een 'make clean' uitgevoerd en dacht dat genoeg was om het systeem schoon te maken, blijkbaar niet?

Ik heb zojuist het volgende geprobeerd, helaas ben ik er nog steeds niet uit en loop tegen het volgende probleem aan:

code:

configure: error:
        *** Please make sure the kmod spl devel <kernel> package for your
        *** distribution is installed then try again.  If that fails you
        *** can specify the location of the spl objects with the
        *** '--with-spl-obj=PATH' option.

(Ik had van te voren de volgende packages geinstalleerd, kon geen kmod/spl combinatie vinden: kmod libkmod-dev libkmod2)

Ik heb de volgende stappen doorlopen:

root@nas:/home/lucas# dkms remove -m zfs -v 0.6.5.8 --all

code:

------------------------------
Deleting module version: 0.6.5.8
completely from the DKMS tree.
------------------------------
Done.

root@nas:/home/lucas# dkms remove -m spl -v 0.6.5.8 --all

code:

-------- Uninstall Beginning --------
Module:  spl
Version: 0.6.5.8
Kernel:  3.16.0-4-amd64 (x86_64)
-------------------------------------

Status: Before uninstall, this module version was ACTIVE on this kernel.

spl.ko:
 - Uninstallation
   - Deleting from: /lib/modules/3.16.0-4-amd64/updates/dkms/
 - Original module
   - No original module was found for this module on this kernel.
   - Use the dkms install command to reinstall any previous module version.


splat.ko:
 - Uninstallation
   - Deleting from: /lib/modules/3.16.0-4-amd64/
rmdir: failed to remove ‘’: No such file or directory
 - Original module
   - No original module was found for this module on this kernel.
   - Use the dkms install command to reinstall any previous module version.

depmod....

DKMS: uninstall completed.

------------------------------
Deleting module version: 0.6.5.8
completely from the DKMS tree.
------------------------------
Done.

Volgens mij geen achterblijvend modules?

root@nas:/home/lucas# ls -l /lib/modules/3.16.0-4-amd64/extra/

code:

total 20
drwxr-xr-x 2 root root 4096 Dec  9 18:07 avl
drwxr-xr-x 2 root root 4096 Dec  9 18:07 icp
drwxr-xr-x 2 root root 4096 Dec  9 18:07 nvpair
drwxr-xr-x 2 root root 4096 Dec  9 19:51 splat
drwxr-xr-x 2 root root 4096 Dec  9 18:07 unicode

root@nas:/home/lucas# dkms install spl -v 0.6.5.8 --force

code:

Creating symlink /var/lib/dkms/spl/0.6.5.8/source ->
                 /usr/src/spl-0.6.5.8

DKMS: add completed.

Kernel preparation unnecessary for this kernel.  Skipping...

Running the pre_build script:
checking for gawk... gawk
checking metadata... META file
checking build system type... x86_64-unknown-linux-gnu
checking host system type... x86_64-unknown-linux-gnu
checking target system type... x86_64-unknown-linux-gnu
checking whether to enable maintainer-specific portions of Makefiles... no
checking whether make supports nested variables... yes
checking for a BSD-compatible install... /usr/bin/install -c
checking whether build environment is sane... yes
checking for a thread-safe mkdir -p... /bin/mkdir -p
checking whether make sets $(MAKE)... yes
checking for gcc... gcc
checking whether the C compiler works... yes
checking for C compiler default output file name... a.out
checking for suffix of executables...
checking whether we are cross compiling... no
checking for suffix of object files... o
checking whether we are using the GNU C compiler... yes
checking whether gcc accepts -g... yes
checking for gcc option to accept ISO C89... none needed
checking whether gcc understands -c and -o together... yes
checking for style of include used by make... GNU
checking dependency style of gcc... gcc3
checking how to print strings... printf
checking for a sed that does not truncate output... /bin/sed
checking for grep that handles long lines and -e... /bin/grep
checking for egrep... /bin/grep -E
checking for fgrep... /bin/grep -F
checking for ld used by gcc... /usr/bin/ld
checking if the linker (/usr/bin/ld) is GNU ld... yes
checking for BSD- or MS-compatible name lister (nm)... /usr/bin/nm -B
checking the name lister (/usr/bin/nm -B) interface... BSD nm
checking whether ln -s works... yes
checking the maximum length of command line arguments... 1572864
checking whether the shell understands some XSI constructs... yes
checking whether the shell understands "+="... yes
checking how to convert x86_64-unknown-linux-gnu file names to x86_64-unknown-linux-gnu format... func_convert_file_noop
checking how to convert x86_64-unknown-linux-gnu file names to toolchain format... func_convert_file_noop
checking for /usr/bin/ld option to reload object files... -r
checking for objdump... objdump
checking how to recognize dependent libraries... pass_all
checking for dlltool... no
checking how to associate runtime and link libraries... printf %s\n
checking for ar... ar
checking for archiver @FILE support... @
checking for strip... strip
checking for ranlib... ranlib
checking command to parse /usr/bin/nm -B output from gcc object... ok
checking for sysroot... no
checking for mt... mt
checking if mt is a manifest tool... no
checking how to run the C preprocessor... gcc -E
checking for ANSI C header files... yes
checking for sys/types.h... yes
checking for sys/stat.h... yes
checking for stdlib.h... yes
checking for string.h... yes
checking for memory.h... yes
checking for strings.h... yes
checking for inttypes.h... yes
checking for stdint.h... yes
checking for unistd.h... yes
checking for dlfcn.h... yes
checking for objdir... .libs
checking if gcc supports -fno-rtti -fno-exceptions... no
checking for gcc option to produce PIC... -fPIC -DPIC
checking if gcc PIC flag -fPIC -DPIC works... yes
checking if gcc static flag -static works... yes
checking if gcc supports -c -o file.o... yes
checking if gcc supports -c -o file.o... (cached) yes
checking whether the gcc linker (/usr/bin/ld -m elf_x86_64) supports shared libraries... yes
checking whether -lc should be explicitly linked in... no
checking dynamic linker characteristics... GNU/Linux ld.so
checking how to hardcode library paths into programs... immediate
checking whether stripping libraries is possible... yes
checking if libtool supports shared libraries... yes
checking whether to build shared libraries... yes
checking whether to build static libraries... yes
checking spl author... OpenZFS on Linux
checking spl license... GPL
checking linux distribution... debian
checking default package type... deb
checking whether rpm is available... yes (4.11.3)
checking whether rpmbuild is available... yes (4.11.3)
checking whether spec files are available... yes (rpm/generic/*.spec.in)
checking whether dpkg is available... yes (1.17.27)
checking whether dpkg-buildpackage is available... yes (1.17.27.)
checking whether alien is available... yes (8.92)
checking spl config... kernel
checking kernel source directory... /lib/modules/3.16.0-4-amd64/source
checking kernel build directory... /lib/modules/3.16.0-4-amd64/build
checking kernel source version... 3.16.0-4-amd64
checking kernel file name for module symbols... Module.symvers
checking whether debugging is enabled... no
checking whether basic kmem accounting is enabled... no
checking whether detailed kmem tracking is enabled... no
checking whether modules can be built... yes
checking whether atomic types use spinlocks... no
checking whether kernel defines atomic64_t... yes
checking whether old 2-argument shrinker exists... no
checking whether old 3-argument shrinker exists... no
checking whether new 2-argument shrinker exists... no
checking whether ->count_objects callback exists... yes
checking whether struct ctl_table has ctl_name... no
checking whether CONFIG_TRIM_UNUSED_KSYM is disabled... yes
checking whether PDE_DATA() is available... yes
checking whether set_fs_pwd() requires const struct path *... yes
checking whether vfs_unlink() wants 2 args... no
checking whether vfs_unlink() wants 3 args... yes
checking whether vfs_rename() wants 4 args... no
checking whether vfs_rename() wants 5 args... no
checking whether vfs_rename() wants 6 args... yes
checking whether vfs_fsync() wants 2 args... yes
checking whether truncate_range() inode operation is available... no
checking whether struct fs_struct uses spinlock_t... yes
checking whether kuid_t/kgid_t is available... yes; mandatory
checking whether __put_task_struct() is available... yes
checking whether fops->fallocate() exists... yes
checking whether iops->fallocate() exists... no
checking whether fops->fallocate() exists... no
checking whether CONFIG_ZLIB_INFLATE is defined... yes
checking whether CONFIG_ZLIB_DEFLATE is defined... yes
checking whether zlib_deflate_workspacesize() wants 2 args... yes
checking whether struct shrink_control exists... yes
checking whether struct rw_semaphore member wait_lock is raw... yes
checking whether struct rw_semaphore has member activity... no
checking whether struct rw_semaphore has atomic_long_t member count... no
checking whether header linux/sched/rt.h exists... yes
checking whether vfs_getattr() wants... 2 args
checking whether usleep_range() is available... yes
checking whether struct kmem_cache has allocflags... yes
checking whether wait_on_bit() takes an action... yes
checking whether inode_lock_shared() exists... no
checking whether mutex has owner... yes
checking that generated files are newer than configure... done
configure: creating ./config.status
config.status: creating Makefile
config.status: creating man/Makefile
config.status: creating man/man1/Makefile
config.status: creating man/man5/Makefile
config.status: creating lib/Makefile
config.status: creating cmd/Makefile
config.status: creating module/Makefile
config.status: creating module/spl/Makefile
config.status: creating module/splat/Makefile
config.status: creating include/Makefile
config.status: creating include/fs/Makefile
config.status: creating include/linux/Makefile
config.status: creating include/rpc/Makefile
config.status: creating include/sharefs/Makefile
config.status: creating include/sys/Makefile
config.status: creating include/sys/fm/Makefile
config.status: creating include/sys/fs/Makefile
config.status: creating include/sys/sysevent/Makefile
config.status: creating include/util/Makefile
config.status: creating include/vm/Makefile
config.status: creating scripts/Makefile
config.status: creating rpm/Makefile
config.status: creating rpm/redhat/Makefile
config.status: creating rpm/redhat/spl.spec
config.status: creating rpm/redhat/spl-kmod.spec
config.status: creating rpm/redhat/spl-dkms.spec
config.status: creating rpm/generic/Makefile
config.status: creating rpm/generic/spl.spec
config.status: creating rpm/generic/spl-kmod.spec
config.status: creating rpm/generic/spl-dkms.spec
config.status: creating spl.release
config.status: creating spl_config.h
config.status: executing depfiles commands
config.status: executing libtool commands

Building module:
cleaning build area....
make KERNELRELEASE=3.16.0-4-amd64.......
cleaning build area....

DKMS: build completed.

spl.ko:
Running module version sanity check.
 - Original module
   - No original module exists within this kernel
 - Installation
   - Installing to /lib/modules/3.16.0-4-amd64/updates/dkms/

splat.ko:
Running module version sanity check.
 - Original module
 - Installation
   - Installing to /lib/modules/3.16.0-4-amd64/updates/dkms/

depmod....

DKMS: install completed.

root@nas:/home/lucas# dkms install zfs -v 0.6.5.8 --force

code:

Creating symlink /var/lib/dkms/zfs/0.6.5.8/source ->
                 /usr/src/zfs-0.6.5.8

DKMS: add completed.

Kernel preparation unnecessary for this kernel.  Skipping...

Running the pre_build script:
checking for gawk... gawk
checking metadata... META file
checking build system type... x86_64-unknown-linux-gnu
checking host system type... x86_64-unknown-linux-gnu
checking target system type... x86_64-unknown-linux-gnu
checking whether to enable maintainer-specific portions of Makefiles... no
checking whether make supports nested variables... yes
checking for a BSD-compatible install... /usr/bin/install -c
checking whether build environment is sane... yes
checking for a thread-safe mkdir -p... /bin/mkdir -p
checking whether make sets $(MAKE)... yes
checking for gcc... gcc
checking whether the C compiler works... yes
checking for C compiler default output file name... a.out
checking for suffix of executables...
checking whether we are cross compiling... no
checking for suffix of object files... o
checking whether we are using the GNU C compiler... yes
checking whether gcc accepts -g... yes
checking for gcc option to accept ISO C89... none needed
checking whether gcc understands -c and -o together... yes
checking for style of include used by make... GNU
checking dependency style of gcc... gcc3
checking how to print strings... printf
checking for a sed that does not truncate output... /bin/sed
checking for grep that handles long lines and -e... /bin/grep
checking for egrep... /bin/grep -E
checking for fgrep... /bin/grep -F
checking for ld used by gcc... /usr/bin/ld
checking if the linker (/usr/bin/ld) is GNU ld... yes
checking for BSD- or MS-compatible name lister (nm)... /usr/bin/nm -B
checking the name lister (/usr/bin/nm -B) interface... BSD nm
checking whether ln -s works... yes
checking the maximum length of command line arguments... 1572864
checking whether the shell understands some XSI constructs... yes
checking whether the shell understands "+="... yes
checking how to convert x86_64-unknown-linux-gnu file names to x86_64-unknown-linux-gnu format... func_convert_file_noop
checking how to convert x86_64-unknown-linux-gnu file names to toolchain format... func_convert_file_noop
checking for /usr/bin/ld option to reload object files... -r
checking for objdump... objdump
checking how to recognize dependent libraries... pass_all
checking for dlltool... no
checking how to associate runtime and link libraries... printf %s\n
checking for ar... ar
checking for archiver @FILE support... @
checking for strip... strip
checking for ranlib... ranlib
checking command to parse /usr/bin/nm -B output from gcc object... ok
checking for sysroot... no
checking for mt... mt
checking if mt is a manifest tool... no
checking how to run the C preprocessor... gcc -E
checking for ANSI C header files... yes
checking for sys/types.h... yes
checking for sys/stat.h... yes
checking for stdlib.h... yes
checking for string.h... yes
checking for memory.h... yes
checking for strings.h... yes
checking for inttypes.h... yes
checking for stdint.h... yes
checking for unistd.h... yes
checking for dlfcn.h... yes
checking for objdir... .libs
checking if gcc supports -fno-rtti -fno-exceptions... no
checking for gcc option to produce PIC... -fPIC -DPIC
checking if gcc PIC flag -fPIC -DPIC works... yes
checking if gcc static flag -static works... yes
checking if gcc supports -c -o file.o... yes
checking if gcc supports -c -o file.o... (cached) yes
checking whether the gcc linker (/usr/bin/ld -m elf_x86_64) supports shared libraries... yes
checking whether -lc should be explicitly linked in... no
checking dynamic linker characteristics... GNU/Linux ld.so
checking how to hardcode library paths into programs... immediate
checking whether stripping libraries is possible... yes
checking if libtool supports shared libraries... yes
checking whether to build shared libraries... yes
checking whether to build static libraries... yes
checking dependency style of gcc... gcc3
checking zfs author... OpenZFS on Linux
checking zfs license... CDDL
checking linux distribution... debian
checking default package type... deb
checking default init directory... ${prefix}/etc/init.d
checking default init script type... lsb
checking default init config direectory... /etc/default
checking whether initramfs-tools is available... yes
checking whether rpm is available... yes (4.11.3)
checking whether rpmbuild is available... yes (4.11.3)
checking whether spec files are available... yes (rpm/generic/*.spec.in)
checking whether dpkg is available... yes (1.17.27)
checking whether dpkg-buildpackage is available... yes (1.17.27.)
checking whether alien is available... yes (8.92)
checking zfs config... kernel
checking for -Wno-unused-but-set-variable support... yes
checking for -Wno-bool-compare support... no
checking kernel source directory... /lib/modules/3.16.0-4-amd64/source
checking kernel build directory... /lib/modules/3.16.0-4-amd64/build
checking kernel source version... 3.16.0-4-amd64
checking kernel file name for module symbols... Module.symvers
checking spl source directory... /usr/src/spl-0.6.5.8
checking spl build directory... /var/lib/dkms/spl/0.6.5.8/3.16.0-4-amd64/x86_64
configure: error:
        *** Please make sure the kmod spl devel <kernel> package for your
        *** distribution is installed then try again.  If that fails you
        *** can specify the location of the spl objects with the
        *** '--with-spl-obj=PATH' option.

Building module:
cleaning build area....(bad exit status: 2)
make KERNELRELEASE=3.16.0-4-amd64....(bad exit status: 2)
Error! Bad return status for module build on kernel: 3.16.0-4-amd64 (x86_64)
Consult /var/lib/dkms/zfs/0.6.5.8/build/make.log for more information.

root@nas:/home/lucas# dkms status

code:

spl, 0.6.5.8, 3.16.0-4-amd64, x86_64: installed
zfs, 0.6.5.8: added

[Simkin]

Edit: Heb het dmv dkms werkend te krijgen opgegeven en van source geinstalleerd, alles werkt nu weer.

---


(ten eerste sorry for de spam allemaal, Ik post dit bewust in een follow-up post ipv een edit van mijn vorige post ivm leesbaarheid)

Nav deze pagina heb ik het onderstaande geprobeerd. Dit resulteerde in een successvolle zfs installatie? maar het werkt allemaal nog steeds niet, begin moedeloos te worden :

root@nas:/lib/modules/3.16.0-4-amd64# dpkg --purge --force-depends spl-dkms

code:

dpkg: spl-dkms: dependency problems, but removing anyway as you requested:
 zfs-dkms depends on spl-dkms (>= 0.6.5.8).

(Reading database ... 220019 files and directories currently installed.)
Removing spl-dkms (0.6.5.8-2~bpo8+2) ...

-------- Uninstall Beginning --------
Module:  spl
Version: 0.6.5.8
Kernel:  3.16.0-4-amd64 (x86_64)
-------------------------------------

Status: Before uninstall, this module version was ACTIVE on this kernel.

spl.ko:
 - Uninstallation
   - Deleting from: /lib/modules/3.16.0-4-amd64/updates/dkms/
 - Original module
   - No original module was found for this module on this kernel.
   - Use the dkms install command to reinstall any previous module version.


splat.ko:
 - Uninstallation
   - Deleting from: /lib/modules/3.16.0-4-amd64/updates/dkms/
 - Original module
   - No original module was found for this module on this kernel.
   - Use the dkms install command to reinstall any previous module version.

depmod....

DKMS: uninstall completed.

------------------------------
Deleting module version: 0.6.5.8
completely from the DKMS tree.
------------------------------
Done.

root@nas:/lib/modules/3.16.0-4-amd64# apt-get install spl-dkms

code:

Reading package lists... Done
Building dependency tree
Reading state information... Done
The following NEW packages will be installed:
  spl-dkms
0 upgraded, 1 newly installed, 0 to remove and 0 not upgraded.
Need to get 0 B/374 kB of archives.
After this operation, 2,874 kB of additional disk space will be used.
Selecting previously unselected package spl-dkms.
(Reading database ... 219734 files and directories currently installed.)
Preparing to unpack .../spl-dkms_0.6.5.8-2~bpo8+2_all.deb ...
Unpacking spl-dkms (0.6.5.8-2~bpo8+2) ...
Setting up spl-dkms (0.6.5.8-2~bpo8+2) ...
Loading new spl-0.6.5.8 DKMS files...
First Installation: checking all kernels...
Building only for 3.16.0-4-amd64
Building initial module for 3.16.0-4-amd64
Done.

spl:
Running module version sanity check.
 - Original module
   - No original module exists within this kernel
 - Installation
   - Installing to /lib/modules/3.16.0-4-amd64/updates/dkms/

splat.ko:
Running module version sanity check.
Error! Module version 0.6.5.8-2~bpo8+2 for splat.ko
is not newer than what is already found in kernel 3.16.0-4-amd64 (0.7.0-rc2).
You may override by specifying --force.

Running the post_install script:

depmod....

DKMS: install completed.

root@nas:/lib/modules/3.16.0-4-amd64# dpkg --configure --pending

root@nas:/lib/modules/3.16.0-4-amd64# dkms install zfs -v 0.6.5.8 --force

code:

Kernel preparation unnecessary for this kernel.  Skipping...

Running the pre_build script:
checking for gawk... gawk
checking metadata... META file
checking build system type... x86_64-unknown-linux-gnu
checking host system type... x86_64-unknown-linux-gnu
checking target system type... x86_64-unknown-linux-gnu
checking whether to enable maintainer-specific portions of Makefiles... no
checking whether make supports nested variables... yes
checking for a BSD-compatible install... /usr/bin/install -c
checking whether build environment is sane... yes
checking for a thread-safe mkdir -p... /bin/mkdir -p
checking whether make sets $(MAKE)... yes
checking for gcc... gcc
checking whether the C compiler works... yes
checking for C compiler default output file name... a.out
checking for suffix of executables...
checking whether we are cross compiling... no
checking for suffix of object files... o
checking whether we are using the GNU C compiler... yes
checking whether gcc accepts -g... yes
checking for gcc option to accept ISO C89... none needed
checking whether gcc understands -c and -o together... yes
checking for style of include used by make... GNU
checking dependency style of gcc... gcc3
checking how to print strings... printf
checking for a sed that does not truncate output... /bin/sed
checking for grep that handles long lines and -e... /bin/grep
checking for egrep... /bin/grep -E
checking for fgrep... /bin/grep -F
checking for ld used by gcc... /usr/bin/ld
checking if the linker (/usr/bin/ld) is GNU ld... yes
checking for BSD- or MS-compatible name lister (nm)... /usr/bin/nm -B
checking the name lister (/usr/bin/nm -B) interface... BSD nm
checking whether ln -s works... yes
checking the maximum length of command line arguments... 1572864
checking whether the shell understands some XSI constructs... yes
checking whether the shell understands "+="... yes
checking how to convert x86_64-unknown-linux-gnu file names to x86_64-unknown-linux-gnu format... func_convert_file_noop
checking how to convert x86_64-unknown-linux-gnu file names to toolchain format... func_convert_file_noop
checking for /usr/bin/ld option to reload object files... -r
checking for objdump... objdump
checking how to recognize dependent libraries... pass_all
checking for dlltool... no
checking how to associate runtime and link libraries... printf %s\n
checking for ar... ar
checking for archiver @FILE support... @
checking for strip... strip
checking for ranlib... ranlib
checking command to parse /usr/bin/nm -B output from gcc object... ok
checking for sysroot... no
checking for mt... mt
checking if mt is a manifest tool... no
checking how to run the C preprocessor... gcc -E
checking for ANSI C header files... yes
checking for sys/types.h... yes
checking for sys/stat.h... yes
checking for stdlib.h... yes
checking for string.h... yes
checking for memory.h... yes
checking for strings.h... yes
checking for inttypes.h... yes
checking for stdint.h... yes
checking for unistd.h... yes
checking for dlfcn.h... yes
checking for objdir... .libs
checking if gcc supports -fno-rtti -fno-exceptions... no
checking for gcc option to produce PIC... -fPIC -DPIC
checking if gcc PIC flag -fPIC -DPIC works... yes
checking if gcc static flag -static works... yes
checking if gcc supports -c -o file.o... yes
checking if gcc supports -c -o file.o... (cached) yes
checking whether the gcc linker (/usr/bin/ld -m elf_x86_64) supports shared libraries... yes
checking whether -lc should be explicitly linked in... no
checking dynamic linker characteristics... GNU/Linux ld.so
checking how to hardcode library paths into programs... immediate
checking whether stripping libraries is possible... yes
checking if libtool supports shared libraries... yes
checking whether to build shared libraries... yes
checking whether to build static libraries... yes
checking dependency style of gcc... gcc3
checking zfs author... OpenZFS on Linux
checking zfs license... CDDL
checking linux distribution... debian
checking default package type... deb
checking default init directory... ${prefix}/etc/init.d
checking default init script type... lsb
checking default init config direectory... /etc/default
checking whether initramfs-tools is available... yes
checking whether rpm is available... yes (4.11.3)
checking whether rpmbuild is available... yes (4.11.3)
checking whether spec files are available... yes (rpm/generic/*.spec.in)
checking whether dpkg is available... yes (1.17.27)
checking whether dpkg-buildpackage is available... yes (1.17.27.)
checking whether alien is available... yes (8.92)
checking zfs config... kernel
checking for -Wno-unused-but-set-variable support... yes
checking for -Wno-bool-compare support... no
checking kernel source directory... /lib/modules/3.16.0-4-amd64/source
checking kernel build directory... /lib/modules/3.16.0-4-amd64/build
checking kernel source version... 3.16.0-4-amd64
checking kernel file name for module symbols... Module.symvers
checking spl source directory... /usr/src/spl-0.6.5.8
checking spl build directory... /var/lib/dkms/spl/0.6.5.8/3.16.0-4-amd64/x86_64
checking spl source version... 0.6.5.8-2~bpo8+2
checking spl file name for module symbols... Module.symvers
checking whether modules can be built... yes
checking whether Linux was built with CONFIG_DEBUG_LOCK_ALLOC... no
checking whether DECLARE_EVENT_CLASS() is available... no
checking whether current->bio_tail exists... no
checking whether current->bio_list exists... yes
checking whether submit_bio() wants 1 arg... no
checking block device operation prototypes... struct block_device
checking whether block_device_operations.release is void... void
checking whether kernel defines fmode_t... yes
checking whether kernel defines KOBJ_NAME_LEN... no
checking whether blkdev_get() wants 3 args... yes
checking whether blkdev_get_by_path() is available... yes
checking whether open_bdev_exclusive() is available... no
checking whether lookup_bdev() is available... yes
checking whether invalidate_bdev() wants 1 arg... yes
checking whether bdev_logical_block_size() is available... yes
checking whether bdev_physical_block_size() is available... yes
checking whether bio has bi_iter... yes
checking whether BIO_RW_FAILFAST_* are defined... no
checking whether REQ_FAILFAST_MASK is defined... yes
checking whether REQ_OP_DISCARD is defined... no
checking whether REQ_OP_SECURE_ERASE is defined... no
checking whether REQ_OP_FLUSH is defined... no
checking whether bio->bi_opf is defined... no
checking whether bio_end_io_t wants 1 arg... no
checking whether BIO_RW_BARRIER is defined... no
checking whether BIO_RW_DISCARD is defined... no
checking whether blk_queue_flush() is available... yes
checking whether blk_queue_flush() is GPL-only... yes
checking whether blk_queue_write_cache() exists... no
checking whether blk_queue_max_hw_sectors() is available... yes
checking whether blk_queue_max_segments() is available... yes
checking whether get_disk_ro() is available... yes
checking whether get_gendisk() is available... yes
checking whether ql->discard_granularity is available... yes
checking whether super_block uses const struct xattr_handler... yes
checking whether xattr_handler has name... no
checking whether xattr_handler->get() wants both dentry and inode... checking whether xattr_handler->get() wants xattr_handler... no
checking whether xattr_handler->get() wants dentry... yes
checking whether xattr_handler->set() wants both dentry and inode... checking whether xattr_handler->set() wants xattr_handler... no
checking whether xattr_handler->set() wants dentry... yes
checking whether xattr_handler->list() wants simple... no
checking whether xattr_handler->list() wants xattr_handler... no
checking whether xattr_handler->list() wants dentry... yes
checking whether inode_owner_or_capable() exists... yes
checking whether posix_acl_from_xattr() needs user_ns... yes
checking whether posix_acl_release() is available... yes
checking whether posix_acl_release() is GPL-only... yes
checking whether posix_acl_chmod exists... no
checking whether __posix_acl_chmod exists... yes
checking whether posix_acl_equiv_mode() wants umode_t... yes
checking whether posix_acl_valid() wants user namespace... no
checking whether iops->permission() exists... yes
checking whether iops->permission() wants nameidata... no
checking whether iops->check_acl() exists... no
checking whether iops->check_acl() wants flags... no
checking whether iops->get_acl() exists... yes
checking whether uncached_acl_sentinel() exists... no
checking whether sops->show_options() wants dentry... yes
checking whether file_inode() is available... yes
checking whether fops->fsync() wants... range
checking whether sops->evict_inode() exists... yes
checking whether sops->dirty_inode() wants flags... yes
checking whether sops->nr_cached_objects() exists... no
checking whether sops->free_cached_objects() exists... no
checking whether fops->fallocate() exists... yes
checking whether iops->fallocate() exists... no
checking whether iops->create()/mkdir()/mknod() take umode_t... yes
checking whether iops->lookup() passes nameidata... no
checking whether iops->create() passes nameidata... no
checking whether iops->get_link() passes delayed... no
checking whether iops->get_link() passes cookie... no
checking whether iops->follow_link() passes cookie... no
checking whether iops->follow_link() passes nameidata... yes
checking whether iops->put_link() passes cookie... no
checking whether iops->put_link() passes nameidata... yes
checking whether iops->truncate_range() exists... no
checking whether dops->d_automount() exists... yes
checking whether eops->encode_fh() wants inode... yes
checking whether eops->commit_metadata() exists... yes
checking whether clear_inode() is available... yes
checking whether insert_inode_locked() is available... yes
checking whether d_make_root() is available... yes
checking whether d_obtain_alias() is available... yes
checking whether d_prune_aliases() is available... yes
checking whether d_set_d_op() is available... yes
checking whether dops->d_revalidate() takes struct nameidata... no
checking whether dentry uses const struct dentry_operations... yes
checking whether check_disk_size_change() is available... yes
checking whether truncate_setsize() is available... yes
checking whether security_inode_init_security wants 6 args... no
checking whether security_inode_init_security wants callback... yes
checking whether mount_nodev() is available... yes
checking whether super_block has s_shrink... no
checking whether shrink_control has nid... yes
checking whether super_block has s_instances list_head... no
checking whether super_block has s_d_op... yes
checking whether bdi_setup_and_register() wants 2 args... no
checking whether bdi_setup_and_register() wants 3 args... yes
checking whether set_nlink() is available... yes
checking whether elevator_change() is available... yes
checking whether sget() wants 5 args... yes
checking whether lseek_execute() is available... no
checking whether fops->iterate_shared() is available... no
checking whether fops->iterate() is available... yes
checking whether fops->read/write_iter() are available... yes
checking whether kmap_atomic wants 1 args... yes
checking whether follow_down_one() is available... yes
checking whether make_request_fn() returns int... no
checking whether make_request_fn() returns void... yes
checking whether generic IO accounting symbols are avaliable... no
checking whether debugging is enabled... no
checking whether dmu tx validation is enabled... no
checking that generated files are newer than configure... done
configure: creating ./config.status
config.status: creating Makefile
config.status: creating module/Makefile
config.status: creating module/avl/Makefile
config.status: creating module/nvpair/Makefile
config.status: creating module/unicode/Makefile
config.status: creating module/zcommon/Makefile
config.status: creating module/zfs/Makefile
config.status: creating module/zpios/Makefile
config.status: creating include/Makefile
config.status: creating include/linux/Makefile
config.status: creating include/sys/Makefile
config.status: creating include/sys/fs/Makefile
config.status: creating include/sys/fm/Makefile
config.status: creating include/sys/fm/fs/Makefile
config.status: creating zfs.release
config.status: creating zfs_config.h
config.status: executing depfiles commands
config.status: executing libtool commands

Building module:
cleaning build area....
make KERNELRELEASE=3.16.0-4-amd64...................
cleaning build area....

DKMS: build completed.

zavl.ko:
Running module version sanity check.
 - Original module
 - Installation
   - Installing to /lib/modules/3.16.0-4-amd64/updates/dkms/

zcommon.ko:
Running module version sanity check.
 - Original module
 - Installation
   - Installing to /lib/modules/3.16.0-4-amd64/updates/dkms/

znvpair.ko:
Running module version sanity check.
 - Original module
 - Installation
   - Installing to /lib/modules/3.16.0-4-amd64/updates/dkms/

zpios.ko:
Running module version sanity check.
 - Original module
 - Installation
   - Installing to /lib/modules/3.16.0-4-amd64/updates/dkms/

zunicode.ko:
Running module version sanity check.
 - Original module
 - Installation
   - Installing to /lib/modules/3.16.0-4-amd64/updates/dkms/

zfs.ko:
Running module version sanity check.
 - Original module
 - Installation
   - Installing to /lib/modules/3.16.0-4-amd64/updates/dkms/

depmod....

DKMS: install completed.

root@nas:/lib/modules/3.16.0-4-amd64# dkms status

code:

spl, 0.6.5.8, 3.16.0-4-amd64, x86_64: installed (WARNING! Diff between built and installed module!)
zfs, 0.6.5.8, 3.16.0-4-amd64, x86_64: installed

root@nas:/lib/modules/3.16.0-4-amd64# zpool status

code:

The ZFS modules are not loaded.
Try running '/sbin/modprobe zfs' as root to load them.

root@nas:/lib/modules/3.16.0-4-amd64# modprobe zfs

code:

modprobe: ERROR: could not insert 'zfs': Invalid argument

root@nas:/lib/modules/3.16.0-4-amd64# ls -l /lib/modules/3.16.0-4-amd64/updates/dkms/

code:

total 2832
-rw-r--r-- 1 root root  162784 Dec 12 09:12 spl.ko
-rw-r--r-- 1 root root   13624 Dec 12 09:14 zavl.ko
-rw-r--r-- 1 root root   74680 Dec 12 09:14 zcommon.ko
-rw-r--r-- 1 root root 2138368 Dec 12 09:14 zfs.ko
-rw-r--r-- 1 root root  128992 Dec 12 09:14 znvpair.ko
-rw-r--r-- 1 root root   32992 Dec 12 09:14 zpios.ko
-rw-r--r-- 1 root root  329880 Dec 12 09:14 zunicode.ko

root@nas:/lib/modules/3.16.0-4-amd64# ls -l extra/

code:

total 20
drwxr-xr-x 2 root root 4096 Dec  9 18:07 avl
drwxr-xr-x 2 root root 4096 Dec  9 18:07 icp
drwxr-xr-x 2 root root 4096 Dec  9 18:07 nvpair
drwxr-xr-x 2 root root 4096 Dec  9 19:51 splat
drwxr-xr-x 2 root root 4096 Dec  9 18:07 unicode

[Steven-b]

Klein "vraagje"

Ben recent begonnen met ZFS op Ubuntu 16.04.1 LTS.
Alles werkt prachtig, alleen heb ik opgemerkt dat als ik ZVOL aanbiedt via iSCSI Target en dan in W2K12R2 koppel via de initiator de data die ik vervolgens delete op dat volume niet echt verwijdert wordt.

Ik had al het 1 en ander gelezen over SCSI Unmap maar krijg het niet echt op orde.
Zijn hier hier mensen met dergelijke ervaring?

Ik los dit momenteel op door het progje SDelete te draaien.

Grtn,
Steven

[EnerQi]

Steven-b schreef op woensdag 14 december 2016 @ 11:24:
Klein "vraagje"

Ben recent begonnen met ZFS op Ubuntu 16.04.1 LTS.
Alles werkt prachtig, alleen heb ik opgemerkt dat als ik ZVOL aanbiedt via iSCSI Target en dan in W2K12R2 koppel via de initiator de data die ik vervolgens delete op dat volume niet echt verwijdert wordt.

Ik had al het 1 en ander gelezen over SCSI Unmap maar krijg het niet echt op orde.
Zijn hier hier mensen met dergelijke ervaring?

Ik los dit momenteel op door het progje SDelete te draaien.

Grtn,
Steven

Gebruik je snapshots? Als je die gebruikt, blijft de data beschikbaar omdat de snapshot 'm nog nodig heeft.
Overigens werk ik alleen met ZFS / FreeBSD, geen idee of dat anders werkt.

[Steven-b]

EnerQi schreef op woensdag 14 december 2016 @ 12:11:
[...]


Gebruik je snapshots? Als je die gebruikt, blijft de data beschikbaar omdat de snapshot 'm nog nodig heeft.
Overigens werk ik alleen met ZFS / FreeBSD, geen idee of dat anders werkt.

Nope, ik gebruik helemaal geen snapshots.. hier had ik al het 1 en ander over gelezen maar daar was ik zelfs nog niet mee beginnen testen.

Het gaat me vooral om deduplicatie & compressie

Wat ik daarnet vergeten te vermelden was, ik gebruik TGT om het iSCSI target aan te maken, hier is een optie genaamd Thin_provisioning welke scsi unmap zou ondersteunen, deze heb ik dan ook ingeschakeld maar bood geen soelaas.

Doch zou dit ergens moeten werken, tenzij ik iets gemist hebt (wat goed mogelijk zou kunnen zijn )

[Beninho]

Ik gebruik al enkele jaren een ZFS systeem. Gelukkig heb ik nog nooit mijn backup nodig gehad.

In de openingspost staat:

ZFS kun je uitstekend als backup combineren. De snapshots zijn heel krachtig om incremental backups te maken. Het idee is dat je terug in de tijd kunt bladeren en zien hoe je bestanden toen waren. Dat is een krachtige feature om perongeluk deleted files of een virus die aan je bestanden knaagt af te dekken.

Zijn deze incremental backup's als filesystem door te bladeren?

Casus:
Ik verwijder op 1 november 2016 een de folder 'fotomap100' op de ZFS server. Daar kom ik na drie weken achter, maar weet niet meer precies wanneer ik dit heb gedaan. Hoe kan ik dat door het systeem bladeren en terugzetten?

-edit-- Ik las onderstaande.

Dat kan prima. Alleen moet dat handmatig. Als ik dus bijv. een vakantieplanning wil terughalen van 24 mei 2015, dan ga ik via verkenner naar mijn snapshots share en dan vervolgens:

code:

\\SERVER\snapshots\Hobby\GMT-2015.05.24-00.00.00\Reizen\vakantieplannen.odt

Als je daadwerkelijk je hele snapshot wil terugzetten dan doe je dat met:

code:

zfs rollback /data/users/user1/Hobby@GMT-2015.05.24-00.00.00

[ Voor 23% gewijzigd door Beninho op 14-12-2016 21:24 ]

[Steven-b]

Steven-b schreef op woensdag 14 december 2016 @ 12:16:
[...]


Nope, ik gebruik helemaal geen snapshots.. hier had ik al het 1 en ander over gelezen maar daar was ik zelfs nog niet mee beginnen testen.

Het gaat me vooral om deduplicatie & compressie

Wat ik daarnet vergeten te vermelden was, ik gebruik TGT om het iSCSI target aan te maken, hier is een optie genaamd Thin_provisioning welke scsi unmap zou ondersteunen, deze heb ik dan ook ingeschakeld maar bood geen soelaas.

Doch zou dit ergens moeten werken, tenzij ik iets gemist hebt (wat goed mogelijk zou kunnen zijn )

Wel, mochten er ooit nog mensen dit probleem tegenkomen, gelieve IET, TGT, ... te vervangen door SCST

[Verwijderd]

Steven-b, je kunt je bericht Wijzigen met Wijzig-link die rechtsboven je eigen bericht staat. Dan weet je dat voor de volgende keer.

[FireDrunk]

Steven-b schreef op woensdag 14 december 2016 @ 23:15:
[...]


Wel, mochten er ooit nog mensen dit probleem tegenkomen, gelieve IET, TGT, ... te vervangen door SCST

IET en TGT zijn ook best oud, en slecht onderhouden.
Qua goed iSCSI server support heb je eigenlijk 3 keuzes (mijn mening):

Linux:
- LIO/Target (met als cmd tool TargetCLI) - de default in-kernel iSCSI server van Linux
- SCST de runner-up die ooit de strijd van LIO verloren heeft, maar technisch op veel vlakken superieur is/was. Is veel moeilijker te installeren (compileren vanaf source in veel gevallen. Maar kan je draaien als kernel-module)
(niet gebruiken) - De oude TGT/IET frameworks

FreeBSD:
- Het nieuwe ctld iSCSI framework. Relatief jong (paar jaar) maar wel al redelijk stabiel. De tooling is mager, maar het werkt allemaal prima.
(niet gebruiken) - Het oude istgt framework. (word niet meer onderhouden).

Windows:
(moet je sowieso niet gebruiken )

[Q]

Windows als iSCSI target of client werkt anders best goed hoor
Hoop minder gekloot tov Linux

Maar goed advies: geen IET of TGT gebruiken.
LIO is prima of anders maar scst.

Zelf handmatig scgt compileren van scratch:

http://louwrentius.com/tag/iscsi.html

Ik adviseer om gewoon targetcli te installeren en LIO te gebruiken.

[ Voor 59% gewijzigd door Q op 15-12-2016 11:54 ]

[FireDrunk]

Precies, het is meer wat je fijn vind in dat geval. Ik kon in het begin niet wennen aan TargetCLI, nu kan ik er mee lezen en schrijven. Super fijne tool.

Windows als iSCSI target is voor mij heeeeeel lang geleden

Ik begreep net van HyperBart dat Windows Storage Spaces ook wel lekker aan de weg aan het timmeren is. Als je daar bovenop ook nog iSCSI draait heb je dus een soort vSAN.

[Q]

Ik heb zelf met Windows 2012 R2 wat oude hardware tijdelijk ingezet op het werk via storage spaces als een LUN met wat extra temporary storage. Werkt prima met VMware, inclusief multi-pathing.
Kun je zelf nog leuk spelen met SSD en HDD in tiers met een beetje powershell.

Maar het is verder altijd bij spelen gebleven.

[FREAKJAM]

Mensen die ZFS-KMOD hebben draaien op CentOS 7 (1511) en vervolgens updaten naar CentOS 7.3 (1611) zitten na een reboot met een niet werkende zfs-module.

Gebruik de volgende instructies om dit te fixen:

When updating to RHEL/CentOS 7.3 the existing kmod packages will not work due to upstream kABI changes in the 3.10.0-514 kernel series. After upgrading to 7.3 users must uninstall ZFS and then reinstall it as described in the kABI-tracking kmod section. Compatible kmod packages will be installed from the CentoS 7.3 repository.

code:

$ sudo yum remove zfs zfs-kmod spl spl-kmod libzfs2 libnvpair1 libuutil1 libzpool2 zfs-release
$ sudo yum install http://download.zfsonlinux.org/epel/zfs-release.el7_3.noarch.rpm
$ sudo yum install zfs

Ik had zelf laatst van bovenstaand issue, en genoemende instructies losten direct voor mij dit issue op.

[ Voor 5% gewijzigd door FREAKJAM op 15-12-2016 22:19 ]

[Steven-b]

FireDrunk schreef op donderdag 15 december 2016 @ 11:21:
[...]

IET en TGT zijn ook best oud, en slecht onderhouden.
Qua goed iSCSI server support heb je eigenlijk 3 keuzes (mijn mening):

Linux:
- LIO/Target (met als cmd tool TargetCLI) - de default in-kernel iSCSI server van Linux
- SCST de runner-up die ooit de strijd van LIO verloren heeft, maar technisch op veel vlakken superieur is/was. Is veel moeilijker te installeren (compileren vanaf source in veel gevallen. Maar kan je draaien als kernel-module)
(niet gebruiken) - De oude TGT/IET frameworks

FreeBSD:
- Het nieuwe ctld iSCSI framework. Relatief jong (paar jaar) maar wel al redelijk stabiel. De tooling is mager, maar het werkt allemaal prima.
(niet gebruiken) - Het oude istgt framework. (word niet meer onderhouden).

Windows:
(moet je sowieso niet gebruiken )

Wel zover rijkt mijn linux kennis eigenlijk niet , ik gebruikte het in het verleden niet zo vaak tot nu eigenlijk.
Ik zie dat je zegt TargetCLI (LIO) heb ik geprobeerd.

Probleem dat ik voorhad was dat wanneer ik een iSCSI Target gebruik via TargetCLI en deze koppel aan Windows Server 2012 R2 SCSI Unmap niet werkt.
Tot "grote" ergernis want wanneer ik een file delete in het NTFS filesysteem ziet het onderliggende FS (ZFS in mijn geval) dit niet.

Dit euvel kon welk opgelost worden door SDelete te gebruiken maar nu SCSI Unmap werkt is het zoveel handiger

[Sleepie]

Ik heb een RAIDZ2 pool van 10 stuks 1.5TB disks, die al een paar jaar draait.

Nu heb ik de laatste tijd opeens heel veel problemen met 2 van die 10 disks, ik zie een hoop read en write errors op 2 van die 10 disks in het zpool status commando.
Met een zpool clear (en soms een reboot) is dat tot nu toe wel op te lossen geweest en alles draait dan eigenlijk weer prima.

De log van vannacht echter baart me wat meer zorgen:

  pool: tank
  state: DEGRADED
 status: One or more devices could not be opened.  Sufficient replicas exist for
         the pool to continue functioning in a degraded state.
 action: Attach the missing device and online it using 'zpool online'.
    see: http://illumos.org/msg/ZFS-8000-2Q
   scan: scrub in progress since Thu Dec 15 18:33:41 2016
         7.32T scanned out of 11.2T at 392M/s, 2h52m to go
         0 repaired, 65.40% done
 config:

         NAME                      STATE     READ WRITE CKSUM
         tank                      DEGRADED     0     0     0
           raidz2-0                DEGRADED     0     0     0
             8092002995827492606   UNAVAIL      3 6.91K     0  was /dev/label/disk5
             15670923897101494583  REMOVED      0     0     0  was /dev/label/disk10
             label/disk1           ONLINE       0     0     0
             label/disk2           ONLINE       0     0     0
             label/disk3           ONLINE       0     0     0
             label/disk4           ONLINE       0     0     0
             label/disk6           ONLINE       0     0     0
             label/disk7           ONLINE       0     0     0
             label/disk8           ONLINE       0     0     0
             da11                  ONLINE       0     0     0

Nu zou je zeggen dat deze twee disks gewoon kapot zijn en vervangen moeten worden.

Het vreemde/opvallende aan het verhaal is echter dat van deze pool 8 disks op een IBM-1015 kaartje aangesloten zitten en 2 disks op mijn moederboard (Supermicro X8SIL-F).
En het laat zich raden welke 2 disks de problemen geven ... dit zijn 'toevallig' de 2 disks die op het mobo zitten aangesloten.

Ik geloof echter niet zo in 'toevalligheden' dus ik vraag me af of er een andere reden zou kunnen zijn dat deze twee disks problemen geven? Mijn eigen idee was eigenlijk dat het probleem ontstaat als er op deze disks een bad sector beschreven wordt, dat om één of andere reden het mobo de disk dan uit de pool gooit (of inactief maakt of iets dergelijks). Bij herstarten wordt deze bad sector dan vervangen en dat zou dan verklaren dat het daarna weer goed werkt.

Voor ik zomaar nieuwe disks koop, wil ik graag het achterliggende probleem achterhalen, het is mij net iets te toevallig dat de overige 8 disks in deze pool nooit problemen hebben en juist deze twee wel.

Iemand een idee?

[syl765]

Als je alleen problemen hebt op de controller van het MB dan kan deze controller niet lekker zijn, maar waar ik het eerder zou zoeken is de bekabeling, de sata kabels.
Ik weet niet wat voor kabels je nu gebruikt, maar als dit van die goedkope sata kabels zijn dan kan het geen kwaad deze te vervangen door een kabel van een wat betere kwaliteit.

[Sleepie]

syl765 schreef op vrijdag 16 december 2016 @ 10:03:
Als je alleen problemen hebt op de controller van het MB dan kan deze controller niet lekker zijn, maar waar ik het eerder zou zoeken is de bekabeling, de sata kabels.
Ik weet niet wat voor kabels je nu gebruikt, maar als dit van die goedkope sata kabels zijn dan kan het geen kwaad deze te vervangen door een kabel van een wat betere kwaliteit.

Vergeten te vermelden, maar ik heb de kabels al vervangen (tot 2 keer toe).
Verder zitten er op de mobo controller nog 4 disks, te weten een mirror van twee SSD's (waar ZFSGuru op draait) ... en nog twee disks die deel uitmaken van een andere pool, die beiden geen problemen geven.

Maar ik geef toe dat de SATA-kabels wel de hoofd-verdachten zijn, ik zal ze nogmaals vervangen.

[wesleytjuh]

Yep had bij mijn build na het toevoegen van een 5e schijf ook continu errors op die disk. SATA kabel vervangen en was opgelost.

[FireDrunk]

Kan je de SSD pool en die twee disks eens van SATA poort wisselen? Misschien zijn er gewoon wat poorten gaar.

[Sleepie]

FireDrunk schreef op vrijdag 16 december 2016 @ 12:37:
Kan je de SSD pool en die twee disks eens van SATA poort wisselen? Misschien zijn er gewoon wat poorten gaar.

Goede tip!
Stom natuurlijk dat ik daar zelf niet aan gedacht heb, maar soms zoek je het gewoon te moeilijk
Dit ga ik komend weekend ook nog eens proberen.

[Giesber]

Sleepie schreef op vrijdag 16 december 2016 @ 10:12:
[...]
Maar ik geef toe dat de SATA-kabels wel de hoofd-verdachten zijn, ik zal ze nogmaals vervangen.

Waarom kan het geen toeval zijn dat 2 harde schijven op dezelfde controller ongeveer tegelijk stuk gaan, maar zijn de hoofdverdachten dan 2 kabels op dezelfde controller die toevallig ongeveer tegelijk stuk gaan?

[Sleepie]

Giesber schreef op vrijdag 16 december 2016 @ 13:37:
Waarom kan het geen toeval zijn dat 2 harde schijven op dezelfde controller ongeveer tegelijk stuk gaan, maar zijn de hoofdverdachten dan 2 kabels op dezelfde controller die toevallig ongeveer tegelijk stuk gaan?

Wat ik bedoel is dat bij read/write errors in het algemeen de kabels de boosdoeners zijn (los van alle andere toevalligheden).

Je hebt gelijk dat beide kabels die kapot gaan dan inderdaad ook wel toevallig is.
Aan de andere kant, alle 10 disks zijn hetzelfde, 8 ervan op de IBM-1015 zitten met SAS-to-SATA break-out kabels aangesloten en geven geen problemen. Twee zitten met consumer kabeltjes op de mobo controller en geven wel problemen.
En omdat ik niet wil dat er 2 poorten van mn mobo-controller kaduuk zijn ... steek ik het op de kabels

Mijn plan is als volgt nu:
- Kabels vervangen, kijken of dat het probleem oplost.
- Blijft het probleem bestaan, ga ik wat disks wisselen van poorten op de mobo-controller. Krijgen die disks opeens problemen, kan ik denk ik concluderen dat de poorten van de mobo-controller kapot zijn.
- Zo niet, dan zijn het de disks die overleden verklaard moeten worden.