Het grote ZFS topic

[F-Tim]

Wat is wijsheid... ik hoop dat jullie me in ieder geval kunnen helpen met een goeie vervolgstap!

Eind 2015 zelf een NAS gebouwd (G1840, 8GB RAM, inmiddels geupgrade naar 6x4TB WD Reds) op basis van ZFSguru 10.2.006 (wat onder water FreeBSD 10.2-RELEASE-p8). Toentertijd ultieme n00b van FreeBSD, maar heel de installatie opgezet in een VirtualBox omgeving en toen vond k ZFSguru fijner (ook mede vanwege Root-on-ZFS, wat nog steeds niet mogelijk is bij FreeNAS). Inmiddels nog steeds geen pro... maar ik kan prima m'n weg vinden in de combinatie van ZFSguru UI, WebMin en SSH

Inmiddels zitten we anno 2019, en merk ik dat ik tegen wat beperkingen aanloop, denk daarbij aan:
- SMB1 nog wordt gebruikt (en elke poging die ik heb gedaan om naar SMB2+ te gaan ervoor zorgden dat de NAS niet op file share benaderbaar was binnen W10).
- Ik inmiddels merk dat Plex niet verder te upgraden is dan 1.14.1 (die heb ik om de X tijd via SSH handmatig bijgewerkt).

Dus ik zit te kijken naar wat vervolgstappen.

Optie 1: ZFSguru upgraden naar een nieuwe versie (11.0.010, gebaseerd op FreeBSD 11.0-RELEASE). Op zich ben ik best tevreden over de stabiliteit van het systeem, met wekelijks 1 cron job die een reboot en SCRUB doet... werkt het eigenlijk al 3,5 jaar zonder 1 probleem.
- Voordeel: het is meer van hetzelfde, dus makkelijke upgrade
- Nadeel: ZFSguru is helaas op sterven na dood, en dus lijkt het een "tijdelijke" oplossing.

Optie 2: Overstappen op FreeNAS, voordeel dat het FreeBSD gebaseerd blijft, ik de ZFS pool (als het goed is) gewoon direct kan importeren, en ik "enkel" de configuratie opnieuw moet doen. Wel met als voordeel dat FreeNAS op een USB stick moet draaien, en ik het dus parallel kan opbouwen. FreeNAS met Root-on-ZFS is nog niet mogelijk.
- Voordeel: FreeNAS blijft ondersteund, blijft FreeBSD, dus overstap lijkt "relatief makkelijk" en toekomstbestendig.
- Nadeel: USB Stick nodig, en dat die regelmatig crashen i.v.m. het teveel schrijven op de USB stick.

Optie 3: Overstappen op een Linux distro (bv Ubuntu), met ZFS-on-Linux. Als ik het topic af en toe een beetje volg lijkt het erop dat ZoL de winnaar gaat worden op lange termijn, maar ik zie ook vaak genoeg verhalen voorbij komen dat het importeren van een ZFS pool niet heel lekker werkt omdat BSD en Linux op een andere manier de pool bijhouden.
- Voordeel: Lijkt vooralsnog de winnaar op lange termijn te zijn voor ZFS
- Nadeel: Grootste overstap, zit niet direct in de kernel gebakken i.v.m. licenties, dus moet ook separaat worden geinstalleerd, wellicht dataverlies bij import pool (mede ook door mijn beperkte kennis).

Ik neig een beetje naar optie 2, maar wat is nou wijsheid?

Op dit moment doe ik niet zoveel bijzonders, ik draai enkel Plex en Netwerk shares... zou ook wel Docker containers op het ding willen gaan draaien, maar aangezien ik ook nog een losse (krachtigere) server heb is die noodzaak nog niet hoog genoeg geweest.

Dus... wat zou "jij" doen, en waarom?

[FireDrunk]

Ik zou snel weg migreren van ZFSguru, en eerlijk gezegd ook van BSD. Hoewel lang niet iedereen dat met me eens zal zijn, durf ik te stellen dat ZFSonLinux de superieure ZFS distro is op dit moment. Het is het meest feature rijk, en de stabiliteit is zeker op het niveau van BSD (waar het dat ten tijde van jouw installatie niet was.), en ik durf haast wel te stellen daar voorbij.

Linux bied in diverse vormen support voor ZFS, hoewel er wat minder GUI's beschikbaar zijn. Er is volgens mij een GUI in de vorm van een plugin voor OpenMediaVault.

Als GUI geen requirement is, zou ik gewoon een recente distro met een moderne kernel pakken (Ubuntu of Fedora bijvoorbeeld).

Je verhaal aangaande ZFS niet in de kernel is niet erg. ZFSonLinux' installer is prima, en werkt op elke moderne distro, en het is wel een 'echte' kernel module, alleen worden de sources niet door de Linux Kernel developers geleverd... Maar ach, met hoeveel sources is dat nog tegenwoordig

Ik zou echt voor optie 3 gaan. En mocht je daar hulp bij nodig hebben, stuur gerust een DM

EDIT: Overigens is ZFS on Root ook mogelijk met Linux mocht je dat interessant vinden.

[ Voor 6% gewijzigd door FireDrunk op 12-06-2019 14:25 ]

[CurlyMo]

Wat @FireDrunk zegt. Gewoon lekker overstappen naar een Linux met GUI en geen ZFSGuru meer gebruiken. Als je niet overweg kan met louter de CLI, dan is Linux een betere keuze dan FreeBSD.

Daarnaast kan je natuurlijk ook altijd een aparte HDD of SSD gebruiken om je nieuwe systeem op te configureren parallel aan je huidige.

Overigens draai ik op ZFS systemen altijd ZFS-on-Root (in Linux en FreeBSD), omdat dat het backuppen van je OS makkelijker maakt en dus ook het weer operationeel worden na een crash of gefaalde upgrade.

[ Voor 23% gewijzigd door CurlyMo op 12-06-2019 14:34 ]

[mdbraber]

CurlyMo schreef op woensdag 12 juni 2019 @ 14:31:
Overigens draai ik op ZFS systemen altijd ZFS-on-Root (in Linux en FreeBSD), omdat dat het backuppen van je OS makkelijker maakt en dus ook het weer operationeel worden na een crash of gefaalde upgrade.

ZFSonLinux heeft hele goede guides voor ZFS-on-Root en ook voor ZFS encrypted on Root wat ik zelf overal heb draaien. Zeer degelijke goede guides: https://github.com/zfsonl...ebian-Stretch-Root-on-ZFS

[Dutch2007]

F-Tim schreef op woensdag 12 juni 2019 @ 14:03:
Wat is wijsheid... ik hoop dat jullie me in ieder geval kunnen helpen met een goeie vervolgstap!

Eind 2015 zelf een NAS gebouwd (G1840, 8GB RAM, inmiddels geupgrade naar 6x4TB WD Reds) op basis van ZFSguru 10.2.006 (wat onder water FreeBSD 10.2-RELEASE-p8). Toentertijd ultieme n00b van FreeBSD, maar heel de installatie opgezet in een VirtualBox omgeving en toen vond k ZFSguru fijner (ook mede vanwege Root-on-ZFS, wat nog steeds niet mogelijk is bij FreeNAS). Inmiddels nog steeds geen pro... maar ik kan prima m'n weg vinden in de combinatie van ZFSguru UI, WebMin en SSH

Inmiddels zitten we anno 2019, en merk ik dat ik tegen wat beperkingen aanloop, denk daarbij aan:
- SMB1 nog wordt gebruikt (en elke poging die ik heb gedaan om naar SMB2+ te gaan ervoor zorgden dat de NAS niet op file share benaderbaar was binnen W10).
- Ik inmiddels merk dat Plex niet verder te upgraden is dan 1.14.1 (die heb ik om de X tijd via SSH handmatig bijgewerkt).

Dus ik zit te kijken naar wat vervolgstappen.

Optie 1: ZFSguru upgraden naar een nieuwe versie (11.0.010, gebaseerd op FreeBSD 11.0-RELEASE). Op zich ben ik best tevreden over de stabiliteit van het systeem, met wekelijks 1 cron job die een reboot en SCRUB doet... werkt het eigenlijk al 3,5 jaar zonder 1 probleem.
- Voordeel: het is meer van hetzelfde, dus makkelijke upgrade
- Nadeel: ZFSguru is helaas op sterven na dood, en dus lijkt het een "tijdelijke" oplossing.

Optie 2: Overstappen op FreeNAS, voordeel dat het FreeBSD gebaseerd blijft, ik de ZFS pool (als het goed is) gewoon direct kan importeren, en ik "enkel" de configuratie opnieuw moet doen. Wel met als voordeel dat FreeNAS op een USB stick moet draaien, en ik het dus parallel kan opbouwen. FreeNAS met Root-on-ZFS is nog niet mogelijk.
- Voordeel: FreeNAS blijft ondersteund, blijft FreeBSD, dus overstap lijkt "relatief makkelijk" en toekomstbestendig.
- Nadeel: USB Stick nodig, en dat die regelmatig crashen i.v.m. het teveel schrijven op de USB stick.

Optie 3: Overstappen op een Linux distro (bv Ubuntu), met ZFS-on-Linux. Als ik het topic af en toe een beetje volg lijkt het erop dat ZoL de winnaar gaat worden op lange termijn, maar ik zie ook vaak genoeg verhalen voorbij komen dat het importeren van een ZFS pool niet heel lekker werkt omdat BSD en Linux op een andere manier de pool bijhouden.
- Voordeel: Lijkt vooralsnog de winnaar op lange termijn te zijn voor ZFS
- Nadeel: Grootste overstap, zit niet direct in de kernel gebakken i.v.m. licenties, dus moet ook separaat worden geinstalleerd, wellicht dataverlies bij import pool (mede ook door mijn beperkte kennis).

Ik neig een beetje naar optie 2, maar wat is nou wijsheid?

Op dit moment doe ik niet zoveel bijzonders, ik draai enkel Plex en Netwerk shares... zou ook wel Docker containers op het ding willen gaan draaien, maar aangezien ik ook nog een losse (krachtigere) server heb is die noodzaak nog niet hoog genoeg geweest.

Dus... wat zou "jij" doen, en waarom?

ALs je al ZFSGuru wilt behouden..

http://zfsguru.com/forum/zfsgurusupport/1166

Staat eea beschreven nog hoe je de base-OS het meest courant kan houden.

tl:dr --> nongeneric FreeBSD kernel, naar Generic Kernel & force re-install van de packages welke installed zijn zodat alles als een "original" FreeBSD geïnstalleerd worden.

[CurlyMo]

Dutch2007 schreef op woensdag 12 juni 2019 @ 14:44:
[...]
Staat eea beschreven nog hoe je de base-OS het meest courant kan houden.

Hier ook op een vergelijkbare manier gedaan. Draai nu al een hele tijd kaal FreeBSD. Nieuwe installatie kan goed Linux worden.

[jacovn]

F-Tim schreef op woensdag 12 juni 2019 @ 14:03:
- Nadeel: USB Stick nodig, en dat die regelmatig crashen i.v.m. het teveel schrijven op de USB stick.

FreeNas kan toch gewoon op een SSD geinstalleerd worden ?
Het is dan wellicht geen Root on ZFS, maar je kunt gewoon van SSD booten.

Ik zal eens kijken of mijn ZFSguru systemen nog werken. Half jaar geleden verhuisd en nooit weer aan gehad.
Een GUI wil ik wel, het is voor mij een opslag ding en ik wil me er niet te veel in verdiepen moeten.
Pools importeren hoeft niet zo nodig, ik begin wel met 1 machine waar ik de pools van leeg maak en dan dan copieer ik alle data zo wel. Desnoods een paar nieuw HDD's Pool zijn 10x 3 TB of 10 x 4 TB in Z2 dus een keer 30 TB data.
Dan is 6 x 8 TB disk in raid Z2 genoeg. 10 Disks zijn optimaler in Z2 dacht ik me te herinneren.

[ Voor 5% gewijzigd door jacovn op 12-06-2019 15:15 ]

[syl765]

Als groot fan van FreeBSD zou ik naar FreeNAS migreren. FreeBSD gaat in de toekomst gebruik maken van ZOL, dus features zullen sneller geïmplementeerd worden van ZOL naar FreeBSD. Naar mijn mening is FreeBSD een wat stabieler OS. Met stabieler bedoel ik niet dat FreeBSD stabieler draait dan Linux maar meer in de zin van features en andere zaken die geïmplementeerd worden omdat het kan.

Mocht je later meerdere NASjes willen kun je die met Truecommand allemaal beheren via 1 console. https://www.ixsystems.com/blog/truecommand/

[imdos]

F-Tim schreef op woensdag 12 juni 2019 @ 14:03:
Wat is wijsheid... ik hoop dat jullie me in ieder geval kunnen helpen met een goeie vervolgstap!
Optie 2: Overstappen op FreeNAS, voordeel dat het FreeBSD gebaseerd blijft, ik de ZFS pool (als het goed is) gewoon direct kan importeren, en ik "enkel" de configuratie opnieuw moet doen. Wel met als voordeel dat FreeNAS op een USB stick moet draaien, en ik het dus parallel kan opbouwen. FreeNAS met Root-on-ZFS is nog niet mogelijk.
- Voordeel: FreeNAS blijft ondersteund, blijft FreeBSD, dus overstap lijkt "relatief makkelijk" en toekomstbestendig.
- Nadeel: USB Stick nodig, en dat die regelmatig crashen i.v.m. het teveel schrijven op de USB stick.

Het is denk ik vooral een persoonlijke voorkeur; maar een aantal onjuistheden over FreeNAS.

• FreeNAS heeft al een tijdje root-on-zfs.
• Verder is sinds 11.1 of mogelijk eerder al het mogelijk om een mirror te maken van je USB-stick.
• Als laatste kan je de logfiles op een andere zfs datastore zetten (zoals een SSD).

[ Voor 2% gewijzigd door imdos op 12-06-2019 18:42 . Reden: layout ]

[F-Tim]

FireDrunk schreef op woensdag 12 juni 2019 @ 14:23:
...

Goeie tip, dan ga ik zeker eens kijken naar optie 3! Wel eerst met een setje VM's, en dan ook gebruik makende van je aanbod om via DM mee te denken. Een aantal van de tutorials die ik vind over Root-on-zfs en linux moeten een lege pool aanmaken.

CurlyMo schreef op woensdag 12 juni 2019 @ 14:31:
...

Ik heb nu ook Root-on-ZFS, op 2 van de 6 disks een 32GB mirror zodat ik idd altijd snel online kan zijn bij een HDD crash en niet opnieuw hoef te configureren als ik er geen zin/tijd voor heb.

Dutch2007 schreef op woensdag 12 juni 2019 @ 14:44:
...

Thanks! Die had ik idd ook gezien, maar dat is zo dermate drastisch dat ik bij die route liever kies voor een long-term oplossing Ik zie ZFSguru namelijk helaas niet meer tot leven komen (zonde...)

imdos schreef op woensdag 12 juni 2019 @ 18:41:
...

Ah nice! Dat haalt dan een nadeel weg Dan is dat ook een poging waard!

[Dutch2007]

F-Tim schreef op donderdag 13 juni 2019 @ 09:08:
[...]


Thanks! Die had ik idd ook gezien, maar dat is zo dermate drastisch dat ik bij die route liever kies voor een long-term oplossing Ik zie ZFSguru namelijk helaas niet meer tot leven komen (zonde...)

In feite is 't ook een long-term, je zorgt met die stappen er nml voor dat 't base system in feit gewoon een "pure" FreeBSD install is, de reguliere stappen om een FreeBSD omgeving naar een nieuwere/hogere versie blijven daarna van kracht. Komt er van 1 van de geïnstalleerde packages een nieuwe versie uit dan kan je die vanaf dat moment gewoon los installeren, geen ZFSGuru compleet image meer nodig.

Dat vondt ik dan ook altijd weer jammer aan ZFSGuru, updaten (ivm vulernabilities), kon eigenlijk alleen als er een nieuw image was en niet als er een nieuwe packages was door de application maintainer.

Met de beschreven stappen heb je dus in feite een vanilla FreeBSD, met een WebGui d'r overheen.

[nero355]

F-Tim schreef op donderdag 13 juni 2019 @ 09:08:
Een aantal van de tutorials die ik vind over Root-on-zfs en linux moeten een lege pool aanmaken.

Je kan toch twee kleine SSD's aanschaffen en daarop het OS installeren om vervolgens je bestaande ZFS Pool in dat OS te importeren en mounten of zeg ik nou wat raars

Twee keer pricewatch: Crucial MX500 2,5" 250GB bijvoorbeeld!

Dutch2007 schreef op donderdag 13 juni 2019 @ 09:18:
In feite is 't ook een long-term, je zorgt met die stappen er nml voor dat 't base system in feit gewoon een "pure" FreeBSD install is, de reguliere stappen om een FreeBSD omgeving naar een nieuwere/hogere versie blijven daarna van kracht. Komt er van 1 van de geïnstalleerde packages een nieuwe versie uit dan kan je die vanaf dat moment gewoon los installeren, geen ZFSGuru compleet image meer nodig.

Dat vondt ik dan ook altijd weer jammer aan ZFSGuru, updaten (ivm vulernabilities), kon eigenlijk alleen als er een nieuw image was en niet als er een nieuwe packages was door de application maintainer.

Met de beschreven stappen heb je dus in feite een vanilla FreeBSD, met een WebGui d'r overheen.

Het was vroeger toch mogelijk om FreeBSD te installeren en daar weer bovenop de ZFSGuru WebGUI overheen te installeren via de packages/ports tree ?!

Ook een optie als dat nog steeds kan

[Dutch2007]

nero355 schreef op donderdag 13 juni 2019 @ 15:31:
[...]


[...]

Het was vroeger toch mogelijk om FreeBSD te installeren en daar weer bovenop de ZFSGuru WebGUI overheen te installeren via de packages/ports tree ?!

Ook een optie als dat nog steeds kan

Klopt, maar je gaat denk ik niet een clean install uitvoerne, dan de gui weer installeren als je al een GUI met werkend systeem hebt en je alleen 't base OS naar de meeste courante versie kan/wil brengen.

[nero355]

Dutch2007 schreef op donderdag 13 juni 2019 @ 15:33:
Klopt, maar je gaat denk ik niet een clean install uitvoerne, dan de gui weer installeren als je al een GUI met werkend systeem hebt en je alleen 't base OS naar de meeste courante versie kan/wil brengen.

Bedoelde meer in het geval dat er iets niet helemaal lekker gaat en je helemaal overnieuw moet beginnen

[F-Tim]

nero355 schreef op donderdag 13 juni 2019 @ 15:31:
...

Klopt... ware het niet dat mijn mobo maar 6 SATA poorten heeft, en ik ook 6 HD's eraan heb (6x4TB in Z2). Anders was ik die route al ingeslagen

[nero355]

F-Tim schreef op donderdag 13 juni 2019 @ 15:56:
Klopt... ware het niet dat mijn mobo maar 6 SATA poorten heeft, en ik ook 6 HD's eraan heb (6x4TB in Z2). Anders was ik die route al ingeslagen

Heeft de kast wel nog wat ruimte ?

Dan is het zo opgelost : https://www.ebay.com/sch/i.html?_nkw=lsi+controller+it+mode

[F-Tim]

nero355 schreef op donderdag 13 juni 2019 @ 22:57:
[...]

Heeft de kast wel nog wat ruimte ?

Dan is het zo opgelost : https://www.ebay.com/sch/i.html?_nkw=lsi+controller+it+mode

... nope Heb (helaas) alles in een (fijne) kleine Node304 zitten.

[CurlyMo]

F-Tim schreef op vrijdag 14 juni 2019 @ 09:55:
[...]


... nope Heb (helaas) alles in een (fijne) kleine Node304 zitten.

Daar passen prima 6 HDD's en 4 SSD's in. Heb ik ook gehad. Dan moet je alleen wel de SSD's aan de buitenkant van de twee buitenste brackets installeren.

[kdbruin]

Doordat binnen onze organisatie de BSD systemen uitgefaseerd en worden vervangen door Debian systemen, en omdat het thuis wel eens een keer tijd is om schoon te beginnen, wil ik m'n FreeBSD systeem vervangen door een Linux systeem.

Ik heb hiervoor m'n oude SSD weer van stal gehaald en hierop Ubuntu 19.04 gezet met de ZFS on Root beschrijving zoals dir op de ZFS-on-Linux wiki staat. Dit werkt allemaal zonder problemen maar als ik m'n bestaande pools bekijk met

zpool import

dan geeft dit voor elke pool de volgende melding:

   pool: zpool
     id: 4298430052314952970
  state: UNAVAIL
 status: The pool was last accessed by another system.
 action: The pool cannot be imported due to damaged devices or data.
   see: http://zfsonlinux.org/msg/ZFS-8000-EY
 config:

	zpool       UNAVAIL  unsupported feature(s)
	  sdd       ONLINE

Is dit nog op te vangen of moet ik alles via een tussenstap overzetten?

[nero355]

kdbruin schreef op zondag 16 juni 2019 @ 15:42:
Doordat binnen onze organisatie de BSD systemen uitgefaseerd en worden vervangen door Debian systemen, en omdat het thuis wel eens een keer tijd is om schoon te beginnen, wil ik m'n FreeBSD systeem vervangen door een Linux systeem.

Weer één minder!

Is dit nog op te vangen of moet ik alles via een tussenstap overzetten?

Ik denk dat je effe het oude systeem moet opstarten en de pool netjes moet exporteren of zelfs destroyen, waarna je pas netjes alles weer in het huidige systeem kan importeren

Waarschijnlijk heb je het oude systeem alleen netjes afgesloten en verder niks met ZFS gedaan, voordat je de pool op het nieuwe systeem hebt aangesloten ?

[kdbruin]

nero355 schreef op zondag 16 juni 2019 @ 15:54:
[...]

Weer één minder!

[...]

Ik denk dat je effe het oude systeem moet opstarten en de pool netjes moet exporteren of zelfs destroyen, waarna je pas netjes alles weer in het huidige systeem kan importeren

Waarschijnlijk heb je het oude systeem alleen netjes afgesloten en verder niks met ZFS gedaan, voordat je de pool op het nieuwe systeem hebt aangesloten ?

Inderdaad geen zfs export gedaan (nu wel) en dan krijg ik de volgende error:

   pool: ztm
     id: 626008562149749826
  state: UNAVAIL
status: The pool can only be accessed in read-only mode on this system. It
	cannot be accessed in read-write mode because it uses the following
	feature(s) not supported on this system:
	com.delphix:spacemap_v2 (Space maps representing large segments are more efficient.)
action: The pool cannot be imported in read-write mode. Import the pool with
	"-o readonly=on", access the pool on a system that supports the
	required feature(s), or recreate the pool from backup.
 config:

	ztm         UNAVAIL  unsupported feature(s)
	  mirror-0  ONLINE
	    sdb     ONLINE
	    sdc     ONLINE

Zit dus niks anders op dan via een spare disk de boel over te zetten. Moet alleen even kijken hoe ik dit met de root pool kan doen, die geeft nog steeds problemen. Denk dat ik ergens een FreeBSD stick moet opzoeken om ook die pool goed te exporteren.

[nero355]

kdbruin schreef op zondag 16 juni 2019 @ 16:09:
Inderdaad geen zfs export gedaan (nu wel) en dan krijg ik de volgende error:

   pool: ztm
     id: 626008562149749826
  state: UNAVAIL
status: The pool can only be accessed in read-only mode on this system. It
	cannot be accessed in read-write mode because it uses the following
	feature(s) not supported on this system:
	com.delphix:spacemap_v2 (Space maps representing large segments are more efficient.)
action: The pool cannot be imported in read-write mode. Import the pool with
	"-o readonly=on", access the pool on a system that supports the
	required feature(s), or recreate the pool from backup.
 config:

	ztm         UNAVAIL  unsupported feature(s)
	  mirror-0  ONLINE
	    sdb     ONLINE
	    sdc     ONLINE

Zit dus niks anders op dan via een spare disk de boel over te zetten. Moet alleen even kijken hoe ik dit met de root pool kan doen, die geeft nog steeds problemen. Denk dat ik ergens een FreeBSD stick moet opzoeken om ook die pool goed te exporteren.

Nou... Lekker dan!

@FireDrunk zit gewoon ons voor de gek te houden : FireDrunk in "Het grote ZFS topic"

FreeBSD loopt nog steeds voorop qua ZFS gewoon!

[F-Tim]

CurlyMo schreef op vrijdag 14 juni 2019 @ 10:27:
[...]

Daar passen prima 6 HDD's en 4 SSD's in. Heb ik ook gehad. Dan moet je alleen wel de SSD's aan de buitenkant van de twee buitenste brackets installeren.

Ook dan nog niet helaas, heb een brede low profile cooler en die zit net over het PCI-e slot, kan dus echt geen controller bij prikken

[CurlyMo]

F-Tim schreef op maandag 17 juni 2019 @ 07:51:
[...]


Ook dan nog niet helaas, heb een brede low profile cooler en die zit net over het PCI-e slot, kan dus echt geen controller bij prikken

Volgens mij had ik deze cooler er in zitten. Dan zijn je sloten weer vrij:
pricewatch: Cooler Master Hyper 212 EVO

Daarnaast geen mini-pcie slot waar wat in zou kunnen waar nu wifi in zit? Wie klein wil zijn (met zijn NAS) moet pijn lijden

[FireDrunk]

nero355 schreef op zondag 16 juni 2019 @ 23:55:
[...]

Nou... Lekker dan!

@FireDrunk zit gewoon ons voor de gek te houden : FireDrunk in "Het grote ZFS topic"

FreeBSD loopt nog steeds voorop qua ZFS gewoon!

Zie hier:
http://open-zfs.org/wiki/...ture_flags_implementation

ZFS on Linux (master) heeft alles

[Giesber]

FireDrunk schreef op maandag 17 juni 2019 @ 08:26:
[...]

Zie hier:
http://open-zfs.org/wiki/...ture_flags_implementation

ZFS on Linux (master) heeft alles

Dus je kan beter niet naar Linux gaan, want dan kan je nooit meer naar een ander systeem migreren .

[nero355]

FireDrunk schreef op maandag 17 juni 2019 @ 08:26:
Zie hier:
http://open-zfs.org/wiki/...ture_flags_implementation

ZFS on Linux (master) heeft alles

Die Master versie klinkt een beetje onstabiel

Hoe zou @kdbruin daar naartoe kunnen switchen ?!

F-Tim schreef op maandag 17 juni 2019 @ 07:51:
Ook dan nog niet helaas, heb een brede low profile cooler en die zit net over het PCI-e slot, kan dus echt geen controller bij prikken

Ik heb ooit vanwege dezelfde reden een AIO model moeten kopen : Het eerste slot zat te dichtbij de socket en ik moest zo nodig 4 GPU's in mijn PC hebben...

CurlyMo schreef op maandag 17 juni 2019 @ 08:06:
Volgens mij had ik deze cooler er in zitten. Dan zijn je sloten weer vrij:
pricewatch: Cooler Master Hyper 212 EVO

Daarnaast geen mini-pcie slot waar wat in zou kunnen waar nu wifi in zit? Wie klein wil zijn (met zijn NAS) moet pijn lijden

En terecht!

[kdbruin]

nero355 schreef op maandag 17 juni 2019 @ 15:09:
Hoe zou @kdbruin daar naartoe kunnen switchen ?!

Niet meer nodig! Heb alles via een extra disk overgezet naar nieuwe pools en gelijk een opruim en herverdeel actie gedaan. De pools en volumes zijn nu weer wat logischer opgezet zodat de minder belangrijke zaken niet meer op m'n zraid pools staan zodat ik meer plek heb voor de belangrijke zaken op de zraid pools. Er wordt van alles toch een backup gemaakt maar dan is uitval van een disk iets minder vervelend.

[FireDrunk]

nero355 schreef op maandag 17 juni 2019 @ 15:09:
[...]

Die Master versie klinkt een beetje onstabiel

Hoe zou @kdbruin daar naartoe kunnen switchen ?!

Er staat niet voor niets een smiley bij... Maar serieus, ZFS on Linux heeft de meeste features. Zitten ze allemaal in de laatste Stable Release? Nee, weet je zeker dat ze daar ooit in komen? Ja, want ze zitten al in master. Het is dus gewoon een kwestie van tijd voordat al die features gereleased worden.

Maar mijn voorkeur voor ZFS on Linux ligt niet alleen bij de ZFS kant, maar meer met de Linux kant
Linux is in een aantal opzichten gewoon een beter OS dan FreeBSD, maar dat is subjectief.

Ik zie gewoon meer toekomst in een combinatie van ZFS, Linux en NAS gerelateerde zaken.

[Dutch2007]

FireDrunk schreef op dinsdag 18 juni 2019 @ 08:58:
[...]


Er staat niet voor niets een smiley bij... Maar serieus, ZFS on Linux heeft de meeste features. Zitten ze allemaal in de laatste Stable Release? Nee, weet je zeker dat ze daar ooit in komen? Ja, want ze zitten al in master. Het is dus gewoon een kwestie van tijd voordat al die features gereleased worden.

Maar mijn voorkeur voor ZFS on Linux ligt niet alleen bij de ZFS kant, maar meer met de Linux kant
Linux is in een aantal opzichten gewoon een beter OS dan FreeBSD, maar dat is subjectief.

Ik zie gewoon meer toekomst in een combinatie van ZFS, Linux en NAS gerelateerde zaken.

Zolang de Linux GNU Kernel mainainers geen issue's maken dan ZFS CCDL licenced is, daar is immers sinds de 5.2 kernel dat issue dat ze geen snelle encryption/decryption meer kunnen zonder een feature te backporten....

[FireDrunk]

Klopt, maar ja, dat risico is er al jaren, en heeft (voor zover ik weet) nog nergens voor serieuze issues gezorgd. Maar inderdaad, tijd zal het leren.

[Freeaqingme]

nero355 schreef op maandag 17 juni 2019 @ 15:09:
[...]

Die Master versie klinkt een beetje onstabiel

De eennalaatste kolom is 0.7, daarna komt 'master'. Ik veronderstel dat al die features in 0.8 gereleased zijn.

Edit: daarnaast is ZoL doorgaans best stabiel als je de master branch gebruikt, zeker zodra de eerste release candidate gereleased is. Specifiek bij de encryptie-feature echter waren er nog wel een aantal gevallen dat niet het geval was.

[ Voor 30% gewijzigd door Freeaqingme op 18-06-2019 13:45 ]

[DataGhost]

Freeaqingme schreef op dinsdag 18 juni 2019 @ 11:54:
[...]


De eennalaatste kolom is 0.7, daarna komt 'master'. Ik veronderstel dat al die features in 0.8 gereleased zijn.

Precies:

# zpool --version; zpool get all main | grep -P "feature@(encryption|resilver_defer|device_removal|obsolete_counts|spacemap_v2|zpool_checkpoint|allocation_classes|project_quota)"
zfs-0.8.0-r0-gentoo
zfs-kmod-0.8.0-r1-gentoo
main  feature@encryption             enabled                        local
main  feature@project_quota          active                         local
main  feature@device_removal         enabled                        local
main  feature@obsolete_counts        enabled                        local
main  feature@zpool_checkpoint       enabled                        local
main  feature@spacemap_v2            active                         local
main  feature@allocation_classes     enabled                        local
main  feature@resilver_defer         enabled                        local

En ik heb nu ook eindelijk TRIM (autotrim setting op de pool, zpool trim command en zpool status -t) op m'n SSD's. Als je LUKS gebruikt wel nog even discard aanzetten op de container

[ Voor 7% gewijzigd door DataGhost op 18-06-2019 12:22 ]

[RampeStamp]

FireDrunk schreef op maandag 17 juni 2019 @ 08:26:
[...]

Zie hier:
http://open-zfs.org/wiki/...ture_flags_implementation

ZFS on Linux (master) heeft alles

Heeft nog zeker niet alles, maar scheelt niet veel meer. Zijn nog aantal items (spacemaps o.a.) die nog niet in de zfsonlinux-master zitten, maar er wordt wel aan gewerkt en hopen het in 1 van de 0.8.x releases te releasen.
Daarom is freebsd ook nog niet volledig over op zfsonlinux (zover ik weet), aangezien deze items nog 'missen'. Maar ik moet eerlijk zeggen dat het kan zijn dat ze het wel overgezet hebben, en gewoon klein stapje terug zijn om voorwaards te kunnen. [https://github.com/zfsonlinux/zfs/pull/8442]
(spacemaps voor zfsonlinux wordt ook aangespoord door aantal freebsd developers...)

Dutch2007 schreef op dinsdag 18 juni 2019 @ 10:00:
[...]


Zolang de Linux GNU Kernel mainainers geen issue's maken dan ZFS CCDL licenced is, daar is immers sinds de 5.2 kernel dat issue dat ze geen snelle encryption/decryption meer kunnen zonder een feature te backporten....

Dit geld dus ook voor de verscheidene 4.x kernels, aangezien dat gebackport is.
(zie ook : https://github.com/zfsonl...93#issuecomment-496709454)

DataGhost schreef op dinsdag 18 juni 2019 @ 12:16:
[...]

Precies:

# zpool --version; zpool get all main | grep -P "feature@(encryption|resilver_defer|device_removal|obsolete_counts|spacemap_v2|zpool_checkpoint|allocation_classes|project_quota)"
zfs-0.8.0-r0-gentoo
zfs-kmod-0.8.0-r1-gentoo
main  feature@encryption             enabled                        local
main  feature@project_quota          active                         local
main  feature@device_removal         enabled                        local
main  feature@obsolete_counts        enabled                        local
main  feature@zpool_checkpoint       enabled                        local
main  feature@spacemap_v2            active                         local
main  feature@allocation_classes     enabled                        local
main  feature@resilver_defer         enabled                        local

En ik heb nu ook eindelijk TRIM (autotrim setting op de pool, zpool trim command en zpool status -t) op m'n SSD's. Als je LUKS gebruikt wel nog even discard aanzetten op de container

Eh, zit tegenwoordig (v0.8.x) encryption ingebouwd, dus je kan langszaamaan je luks wel opdoeken :-)
Bespaard weer een extra layer en is weer wat dynamischer. Hoewel ze nog aan het inplementeren zijn dat je eventuele childs on een encrypted parent juist niet hoeft te encrypten...

[FireDrunk]

Die spacemaps feature zorgt voor minder fragmentatie? Dan moet ik die snel hebben

* FireDrunk heeft 80% fragmentatie...

[RampeStamp]

FireDrunk schreef op woensdag 19 juni 2019 @ 11:58:
Die spacemaps feature zorgt voor minder fragmentatie? Dan moet ik die snel hebben

* FireDrunk heeft 80% fragmentatie...

Yep, maar ja, geen garanties. Betekend gewoon puur dat hij ZFS beter probeerd vd ruimtes gebruik te maken (kort door de bocht: kleine blokken in kleine ruimtes, grote ruimtes vrij maken voor grotere blokken)

[DataGhost]

RampeStamp schreef op woensdag 19 juni 2019 @ 11:31:
[...]


Heeft nog zeker niet alles, maar scheelt niet veel meer. Zijn nog aantal items (spacemaps o.a.) die nog niet in de zfsonlinux-master zitten, maar er wordt wel aan gewerkt en hopen het in 1 van de 0.8.x releases te releasen.

Maar dat zit al wel in mijn 0.8 (ondertussen)?

Eh, zit tegenwoordig (v0.8.x) encryption ingebouwd, dus je kan langszaamaan je luks wel opdoeken :-)
Bespaard weer een extra layer en is weer wat dynamischer. Hoewel ze nog aan het inplementeren zijn dat je eventuele childs on een encrypted parent juist niet hoeft te encrypten...

Ja, maar ik vind het al knap zat dat ik die bak heb weten te installeren vanuit een draaiende ext4 Debian-machine over de hele HD heen (zonder usb-sticks e.d.), in een LUKS+ZFS root (lang verhaal maar was wel leerzaam ). Mijn afwegingen daarbij waren dat de Debian-host natuurlijk nog maar op 0.7 zat en dus geen encryption supportte, en ik had sterke vraagtekens bij werkende initramfs-support voor ZFS roots met native encryptie. Nu vraagt 'ie tenminste gewoon m'n disk-password on-boot over SSH, en daar heb ik al genoeg bugs in gevonden.

[idef1x]

Nu native encryption in zfsonlinux zit wil ik daar eens naar kijken, maar zo te zien voorlopig nog niet in ubuntu te verkrijgen. In het verleden eens zfs gecompileerd volgens de debian/ubuntu wiki, maar na afloop deed mijn zfs het niet meer (weet niet precies meer wat eigenlijk). Ik vermoed doordat zfs native in ubuntu zit, dus zal nog wel een stap missen?

Iemand ervaring met ubuntu 18.04 en het compileren van zfs hierop toevallig? Ik ga het eerdaags nog wel eens proberen, maar voor ik mijn server weer sloop en weer terug moet naar default ubuntu, heeft er misschien nog iemand een tip

[ Voor 0% gewijzigd door idef1x op 20-06-2019 10:59 . Reden: typo ]

[RampeStamp]

DataGhost schreef op woensdag 19 juni 2019 @ 16:23:

Maar dat zit al wel in mijn 0.8 (ondertussen)?

Gedeeltelijk. De voorbereidingen zijn er wel maar het is nog niet afgerond. Als je de link van me vorige post volgt, welke het pull-request is, kan je zien wanneer het in de master-branch terecht komt (en evt welke versie).

DataGhost schreef op woensdag 19 juni 2019 @ 16:23:
Ja, maar ik vind het al knap zat dat ik die bak heb weten te installeren vanuit een draaiende ext4 Debian-machine over de hele HD heen (zonder usb-sticks e.d.), in een LUKS+ZFS root (lang verhaal maar was wel leerzaam ). Mijn afwegingen daarbij waren dat de Debian-host natuurlijk nog maar op 0.7 zat en dus geen encryption supportte, en ik had sterke vraagtekens bij werkende initramfs-support voor ZFS roots met native encryptie. Nu vraagt 'ie tenminste gewoon m'n disk-password on-boot over SSH, en daar heb ik al genoeg bugs in gevonden.

Dat is waar. Zou Luks ook nog heel even aanhouden. Wacht zelf ook nog even met encryptie in ZFS aangezien het vrij nieuw is, maar lijkt goed te werken.
Luks werkt inderdaad ook prima, en als je het inderdaad ingeregeld hebt via SSH is het wel zo makkelijk het zo te laten.

idef1x schreef op donderdag 20 juni 2019 @ 10:58:
Nu native encryption in zfsonlinux zit wil ik daar eens naar kijken, maar zo te zien voorlopig nog niet in ubuntu te verkrijgen. In het verleden eens zfs gecompileerd volgens de debian/ubuntu wiki, maar na afloop deed mijn zfs het niet meer (weet niet precies meer wat eigenlijk). Ik vermoed doordat zfs native in ubuntu zit, dus zal nog wel een stap missen?

Iemand ervaring met ubuntu 18.04 en het compileren van zfs hierop toevallig? Ik ga het eerdaags nog wel eens proberen, maar voor ik mijn server weer sloop en weer terug moet naar default ubuntu, heeft er misschien nog iemand een tip

Volgens mij zit ubuntu op 0.7.x series, welke encryptie nog niet heeft. 0.8.x series bestaat net en zal ngo niet in ubuntu zijn opgenomen (wachten meestal tot een paar versies, bijv 0.8.3, zoals ik ook doe zodat alle kinderziektes eruit zijn. (kleine bugs))

[idef1x]

RampeStamp schreef op donderdag 20 juni 2019 @ 13:45:
[...]

Volgens mij zit ubuntu op 0.7.x series, welke encryptie nog niet heeft. 0.8.x series bestaat net en zal ngo niet in ubuntu zijn opgenomen (wachten meestal tot een paar versies, bijv 0.8.3, zoals ik ook doe zodat alle kinderziektes eruit zijn. (kleine bugs))

Ja dat weet ik, daarom wilde ik het ook zelf zien te compileren, want wil wel eens zien hoe het werkt met encryptie. Vind het wel hadig om ook offsite een raw encrypted dataset te kunnen zetten.

Afijn zie nu dat er ook iemand een ppa heeft gemaakt (https://launchpad.net/~jonathonf/+archive/ubuntu/zfs)
Ga ik die eerst maar eens proberen. Als ik de beschrijving van de ppa lees vermoed ik dat ik de zfs-dkms niet geinstalleerd had....

[jacovn]

Ik heb nu alle ZFSguru servers weer opgestart, ze werken allemaal ok.
Ook een test server met freenas opgezet. Die werkt wel ok alleen maar de oude 72 GB hdd’s komen niet allemaal goed online in een kleine pool met 1’hdd met errors en dan bevriest de hele server (veel errors op’de Hdd kwamen continue binnen)
De andere pool werkt prima met oudere 1 TB hdds.

Even shuffle plan gemaakt en moet een paar TB op mijn PC vrijmaken.

[DataGhost]

RampeStamp schreef op donderdag 20 juni 2019 @ 13:45:
[...]


Gedeeltelijk. De voorbereidingen zijn er wel maar het is nog niet afgerond. Als je de link van me vorige post volgt, welke het pull-request is, kan je zien wanneer het in de master-branch terecht komt (en evt welke versie).

Ah, nu zie ik het. Ik dacht dat je met "spacemaps" op spacemap_v2 wees, wat al in 0.8.0 zit, maar je hebt het over log_spacemap. Een nieuwe/andere feature dus

Dat is waar. Zou Luks ook nog heel even aanhouden. Wacht zelf ook nog even met encryptie in ZFS aangezien het vrij nieuw is, maar lijkt goed te werken.
Luks werkt inderdaad ook prima, en als je het inderdaad ingeregeld hebt via SSH is het wel zo makkelijk het zo te laten.

Als ik wat tijd over heb zal ik er wel eens mee gaan spelen in een VM en kijken of de support er is of nog gemaakt moet worden. Ik zit nu voor Gentoo iig een beetje in de codebase van genkernel initramfs dus dat maakt het makkelijker.

idef1x schreef op donderdag 20 juni 2019 @ 16:15:
[...]

Afijn zie nu dat er ook iemand een ppa heeft gemaakt (https://launchpad.net/~jonathonf/+archive/ubuntu/zfs)
Ga ik die eerst maar eens proberen. Als ik de beschrijving van de ppa lees vermoed ik dat ik de zfs-dkms niet geinstalleerd had....

zfs-dkms is normaal ook niet nodig, omdat de module bij de standaardkernel wordt meegeleverd. Als 'ie wel in de standaard repo's zit zal het dezelfde versie zijn die je al hebt. Als je de ppa gebruikt moet je wel de dkms-package installeren, die compilet de module voor je draaiende kernel. Op het moment dat 0.8 bij Ubuntu zelf meegeleverd wordt, kan je (volgens mij) zfs-dkms weer weghalen en dan pakt ie weer de module uit de kernel-package. Let wel op dat je niet te pas en te onpas zfs upgrade blijft uitvoeren. Bijvoorbeeld de feature waar RampeStamp het over had, als ik die thread zo zie verwacht ik die feature wel in 0.8.4 of niet heel veel later, en dat zou eerder kunnen zijn dan dat 0.8 in de Ubuntu repo's beschikbaar wordt. Ik verwacht sowieso eigenlijk niet dat ze naar 0.8 gaan voor 19.10, misschien via backports. Anyway, als je dan te nieuwe features op je pool aan hebt staan kan je geen gebruik maken van de officiele repo's en blijf je op die ppa zitten.

[FireDrunk]

https://www.phoronix.com/...m=optane-linux-raid&num=1

ZFS is awesome!

_{De eerste benchmarks zijn veelbelovend, de rest helaas wat minder.}

[ Voor 29% gewijzigd door FireDrunk op 21-06-2019 08:49 ]

[kdbruin]

Zoals eerder beschreven heb ik m'n FreeBSD systeem overgezet naar een Ubuntu 19.04 systeem. Voor beide gebruik ik ZFS-on-Root en de beschrijving op de ZoL wiki voor Ubuntu gevolgd. Ik heb hiervoor een extra SSD gebruikt maar nu alles is overgezet wil ik echter op de SSD waarop nu FreeBSD staat (deze is namelijk wat groter) de installatie opnieuw doen.

De vraag is nu voor welke Linux distributie te kiezen: Ubuntu of Debian. Aangezien we hier op het werk overstappen op Debian, heeft dat de voorkeur maar ik zie dat veel van de packages nog oudere versies zijn van wat ik op FreeBSD draai. Op Ubuntu (19.04) zijn deze versies over het algemeen wel beschikbaar.

Zijn er hier al mensen die Debian Buster draaien? Het gaat hier niet om een productie systeem maar m'n eigen server. En als ik de verhalen op het internet mag geloven, dan draait Debian Buster heel stabiel dus dat heeft wel mijn voorkeur.

[idef1x]

FireDrunk schreef op vrijdag 21 juni 2019 @ 08:47:

ZFS is awesome!

Daar gaat dit hele topic toch juist over?

@DataGhost Dank voor de toelichting en een goed punt. Ik ga het wel in test zien te draaien tot ik vol overtuigd ben dat ik dan wel op de ppa's blijf en het stabiel/betrouwbaar genoeg vind werken.

[ Voor 31% gewijzigd door idef1x op 21-06-2019 10:44 . Reden: toevoeging ]

[Chocola]

kdbruin schreef op vrijdag 21 juni 2019 @ 09:37:
Zoals eerder beschreven heb ik m'n FreeBSD systeem overgezet naar een Ubuntu 19.04 systeem. Voor beide gebruik ik ZFS-on-Root en de beschrijving op de ZoL wiki voor Ubuntu gevolgd. Ik heb hiervoor een extra SSD gebruikt maar nu alles is overgezet wil ik echter op de SSD waarop nu FreeBSD staat (deze is namelijk wat groter) de installatie opnieuw doen.

De vraag is nu voor welke Linux distributie te kiezen: Ubuntu of Debian. Aangezien we hier op het werk overstappen op Debian, heeft dat de voorkeur maar ik zie dat veel van de packages nog oudere versies zijn van wat ik op FreeBSD draai. Op Ubuntu (19.04) zijn deze versies over het algemeen wel beschikbaar.

Zijn er hier al mensen die Debian Buster draaien? Het gaat hier niet om een productie systeem maar m'n eigen server. En als ik de verhalen op het internet mag geloven, dan draait Debian Buster heel stabiel dus dat heeft wel mijn voorkeur.

Debian Buster is hier in testomgevingen ook behoorlijk stabiel, maar risico nemen bij 'in productie' draaien hangt wat mij betreft meer af van de toepassing in kwestie. Als het om een kritieke applicatie gaat, dan is elke vorm van extra risico onwenselijk. Dus dit kun je het beste zelf inschatten.

Verder: ja Ubuntu loopt wat betreft packages vanwege releaseschedule wat voor op Debian, maar heb je echt die allernieuwste versies van alles nodig? Mijn ervaringen met Ubuntu XX.10 zijn toch vooral dat het niet veel stabieler is dan Debian unstable.

Een mix tussen Stretch/stable en Buster/unstable is ook mogelijk trouwens, heb je backports al overwogen? Dan kun je een deel van de packages upgraden naar unstable: https://wiki.debian.org/Backports.

[kdbruin]

Chocola schreef op vrijdag 21 juni 2019 @ 10:56:
Debian Buster is hier in testomgevingen ook behoorlijk stabiel, maar risico nemen bij 'in productie' draaien hangt wat mij betreft meer af van de toepassing in kwestie. Als het om een kritieke applicatie gaat, dan is elke vorm van extra risico onwenselijk. Dus dit kun je het beste zelf inschatten.

Verder: ja Ubuntu loopt wat betreft packages vanwege releaseschedule wat voor op Debian, maar heb je echt die allernieuwste versies van alles nodig? Mijn ervaringen met Ubuntu XX.10 zijn toch vooral dat het niet veel stabieler is dan Debian unstable.

Een mix tussen Stretch/stable en Buster/unstable is ook mogelijk trouwens, heb je backports al overwogen? Dan kun je een deel van de packages upgraden naar unstable: https://wiki.debian.org/Backports.

De toepassing is niets meer dan een multimedia server + NAS voor m'n eigen netwerk thuis. Voor zover ik kan nagaan zitten de meeste packages die ik gebruik qua versie wel in Buster dus ik ga daar gewoon mee aan de slag.

En inderdaad, cutting edge is niet altijd nodig maar kan soms wel handig zijn.

[vanaalten]

Chocola schreef op vrijdag 21 juni 2019 @ 10:56:
Een mix tussen Stretch/stable en Buster/unstable is ook mogelijk trouwens, heb je backports al overwogen? Dan kun je een deel van de packages upgraden naar unstable: https://wiki.debian.org/Backports.

'Buster' nu nog unstable noemen is wel wat overdreven: alles is zo ongeveer bevroren en enkel nog wat laatste bugs die er uit moeten; met een week of drie zal 'ie hoogstwaarschijnlijk wel de nieuwe stable worden.

[Chocola]

kdbruin schreef op vrijdag 21 juni 2019 @ 11:35:
[...]


De toepassing is niets meer dan een multimedia server + NAS voor m'n eigen netwerk thuis. Voor zover ik kan nagaan zitten de meeste packages die ik gebruik qua versie wel in Buster dus ik ga daar gewoon mee aan de slag.

En inderdaad, cutting edge is niet altijd nodig maar kan soms wel handig zijn.

Dan lekker Buster installeren inderdaad ;-). Je kunt later altijd nog verder upgraden naar de backports van de nieuwe unstable branch.

[Chocola]

vanaalten schreef op vrijdag 21 juni 2019 @ 13:09:
[...]

'Buster' nu nog unstable noemen is wel wat overdreven: alles is zo ongeveer bevroren en enkel nog wat laatste bugs die er uit moeten; met een week of drie zal 'ie hoogstwaarschijnlijk wel de nieuwe stable worden.

Om mezelf te quoten:

Debian Buster is hier in testomgevingen ook behoorlijk stabiel, maar risico nemen bij 'in productie' draaien hangt wat mij betreft meer af van de toepassing in kwestie. Als het om een kritieke applicatie gaat, dan is elke vorm van extra risico onwenselijk. Dus dit kun je het beste zelf inschatten.

Debian Buster is unstable tot het stable is verklaard, en met een goede reden want er zitten nog steeds bugs in Buster met impact op onze testomgeving. Alles hangt af van je requirements en hoeveel risico je wilt/kunt lopen. Ik zou voor veel toepassingen Buster prima durven in te zetten (paar maanden geleden al wel), maar dat maakt Buster nog niet 'stable'.

[nero355]

FireDrunk schreef op vrijdag 21 juni 2019 @ 08:47:
https://www.phoronix.com/...m=optane-linux-raid&num=1

ZFS is awesome!

_{De eerste benchmarks zijn veelbelovend, de rest helaas wat minder.}

Je bedoelt : "Optane is AWESOME!!!"

* nero355 geilt een beetje op alles wat Intel uitbrengt qua SSD's zoals de S3710/P3700, maar dus ook de Optane modellen

[CurlyMo]

nero355 schreef op zondag 23 juni 2019 @ 20:29:
[...]

Je bedoelt : "Optane is AWESOME!!!"

* nero355 geilt een beetje op alles wat Intel uitbrengt qua SSD's zoals de S3710/P3700, maar dus ook de Optane modellen

En dan kom je aanzetten met je thuisgebruik waarbij je er helemaal niks van merkt

[FireDrunk]

Maar wel goed voor je E-penis!

[nero355]

CurlyMo schreef op zondag 23 juni 2019 @ 20:35:
En dan kom je aanzetten met je thuisgebruik waarbij je er helemaal niks van merkt

Ik ga echt niet van die ranzige onbeschermde Samsung en co. SSD's kopen als je het niet erg vindt!

Heb nu ook 2x Intel 320 van 120 en 300 GB en daarnaast nog een Crucial M500 van 960 GB dus die "traditie" wil ik graag zo houden

FireDrunk schreef op maandag 24 juni 2019 @ 09:35:
Maar wel goed voor je E-penis!

Dat ook natuurlijk!

Jammer alleen dat de meesten niet eens weten waar het over gaat en als je het dan uitlegt meteen roepen : "Ow, maar dat maakt toch niks uit joh!"

[CurlyMo]

Ik heb hier ook alleen maar super-cap protected SSD's, maar ook twee S3700's in mijn NAS gehad. Die weer verkocht, omdat ik geen enkel meerwaarde van die dingen had in mijn workflow

[FireDrunk]

Ik twijfel nog om mijn 2.5" SMR schijven te voorzien van een ZIL / SLOG vanwege de random reads en writes die behoorlijk slecht zijn. Maar nodig? Meh. sync=disabled zou voor mij prima acceptabel zijn
L2ARC zou in mijn geval denk ik beter werken.

[Freeaqingme]

Kan je dat niet combineren? Dat je een partitie van max een paar gigabyte pakt als ZIL, en dan de rest als l2arc?

[FireDrunk]

Klopt, maar sync=disabled is effectief hetzelfde als een ZIL. En sync is voor deze pool niet zo belangrijk.

[jacovn]

Is er ergens een link met simpele uitleg wanneer je sync writes hebt ?

Iets als dit: https://www.systutorials....sync-or-async-for-writes/
Geeft aan dat SMB in principe async is, maar je kunt het omconfigureren.

En hier: https://docs.microsoft.co...nous-and-asynchronous-i-o
Staat wat betere uitleg. Maar waarom zou de sync writes willen hebben ?

[ Voor 27% gewijzigd door jacovn op 25-06-2019 12:51 ]

[CurlyMo]

jacovn schreef op dinsdag 25 juni 2019 @ 12:42:
Maar waarom zou de sync writes willen hebben ?

Die zorgen voor bescherming tegen corruptie bij bijv. stroomuitval of kabelfouten op het moment van het wegschrijven van je data.

Volgens mij is overigens binnen ZFS de tegenhanger van sync niet async, maar sowieso helemaal geen sync.

NFS doet overigens ook standaard synced writes.

[FireDrunk]

(lokale) Applicaties kunnen zelf kiezen of ze SYNC of ASYNC willen schrijven. ASYNC is sneller want er kan beter gebuffered worden door je filesystem / harddisk / ssd en er kan dus beter in 1 grote opdracht geschreven worden.

Kleine sync writes zijn dus funest voor je performance omdat je hele filesystem en onderliggende componenten op elkaar moeten wachten tot 1 zo'n sync write doorgedrongen is tot je SSD.
Daarom is bij de Optane tests de QD1 test zo interresant. Dat zijn precies de worst case snelheden die je haalt met sync writes.

Als je op ZFS dus sync uit zet, gaat ZFS 'liegen' tegen je applicatie dat alles al op onderliggende storage staat, maar het staat dus eigenlijk nog in RAM. Hierdoor kan ZFS verderop grotere groepen writes combineren (in 1 transaction group) en sneller wegschrijven.
Als tijdens het wegschrijven van zo'n transaction group er iets fout gaat, moet ZFS dus terugvallen op de vorige transcation group (het zal niet corrupt raken), maar daarmee zal ook je applicatie 'terug' gezet worden naar de vorige transcation group. En in sommige gevallen kan dat dus tot file corruptie leiden.

In mijn geval is het dus voor 90% media files, waarvan de kans dat ze compleet onbruikbaar worden vrijwel 0 is. Hooguit een kapot frame. Dat boeit me weinig.

[ Voor 6% gewijzigd door FireDrunk op 25-06-2019 13:20 ]

[jacovn]

@FireDrunk bij mij is het 100% media.dus alleen een L2arc SSD dan maar. Al lees ik ook nooit 2 keer hetzelfde maar directory structuur opvragen zal ook wel sneller gaan. Kan wel een kleine SSD zijn dan lijkt me "vroeger" maakte ik met Yadis afbeeldingen voor mijn films op de NAS. Dat hielp wel een stuk met inlezen. Maar geen zin meer het handmatig te doen.
Wellicht maar naar een afspeler overstappen die zelf indexering etc doet.


Verder gebruik ik smb en als ik het niet specifiek aan zet is alles dus asychroon.

[FireDrunk]

Precies dat, je directory en file lookups zijn met L2ARC gewoon stukken sneller. Ik merk dat ondanks dat ik echt _veel_ RAM heb, mijn disks met een flink `du` commando nog erg druk zijn.

Ik denk dat ik de root partitie van mijn OS gewoon ga verkleinen, en er een tweede partitie achteraan zet voor L2ARC, dat zal flink helpen.

[F-Tim]

Zo... even de vorderingen van mijn poging om mijn FreeBSD ZFSGuru installatie te vervangen door een Linux + ZoL configuratie.

Voordat ik alles verpruts (en 16TB data kwijtraak), wil ik eerst alles op een Hyper-V VM voor mekaar krijgen. En stap 1 is dan de huidige situatie repliceren.

Dus begonnen met:
- VM aangemaakt
- 2 virtuele disks toevoegen (2x 128GB)
- ZFSGuru 10.2.003 gedownload (Live CD) en gemount
- Één 16GB ZFS-mirror configuratie op beide disks (bootable) - genaamd /zboot
- Één "rest" ZFS-mirror configuratie op beide disks (met LZ4 compressie) - genaamd /ztank
- Samba share open gezet, en data gekopieerd

Het maakt immers niet uit of ik een ZFS-mirror heb, of een Z2 configuratie, het gaat erom dat ik meerdere partities op de disks heb, één waarop ik linux wil installeren (/zboot), en één voor data (/ztank) die onaangetast moet blijven in de procedure.

Vervolgens Ubuntu 18.04 LTS Desktop gedownload en de LiveCD omgeving geboot.

Op basis van deze handleiding ZFS Utils geinstalleerd, beide pools geïmporteerd, chown gedaan, en ik kan vanuit de Ubuntu Terminal en Files op de (bestaande) ZFS partitie schrijven en de bestaande data zien. Dus... ZoL werkt op de bestaande pools! Ook al een zpool upgrade gedaan omdat ZoL voorloopt op de v5000 implementatie die ik draaide, en ik daar melding van kreeg.

Dan de stap om Ubuntu te installeren. Dat lijkt nog niet zo snel te lukken. Via deze handleiding zou ik het op een ander (bv extern USB) device moeten schrijven, en dan de data volledig kopiëren naar de /zboot. Maar dat voelt een beetje omslachtig.

Is er een manier om direct vanaf de LiveCD naar de /zboot te schrijven zonder een extern device als tussenstap te gebruiken?

[FireDrunk]

Welk deel van de handleiding ben je? En wil je een pure zfs-on-root inc kernel? of is een /boot partitie op ext4 en de rest van je os op ZFS voldoende? Want dat laatste is super simpel.

[jacovn]

FireDrunk schreef op dinsdag 25 juni 2019 @ 14:41:
Precies dat, je directory en file lookups zijn met L2ARC gewoon stukken sneller. Ik merk dat ondanks dat ik echt _veel_ RAM heb, mijn disks met een flink `du` commando nog erg druk zijn.

Ik denk dat ik de root partitie van mijn OS gewoon ga verkleinen, en er een tweede partitie achteraan zet voor L2ARC, dat zal flink helpen.

FreeNAS lijkt geen partities op SSD's te ondersteunen of ik heb niet goed gezocht. Ik ben gelimiteerd qua sata interfaces met 6 on board, en 2 x M1015 dus totaal 22 interfaces. Dat is dan een boot device een L2arc en 2x 10 hdd's

Meeste servers zitten toch al 2 SSD's in en ik heb er 2 bij gekocht, dus migreren moet verder gaan.

[F-Tim]

FireDrunk schreef op dinsdag 25 juni 2019 @ 14:54:
Welk deel van de handleiding ben je? En wil je een pure zfs-on-root inc kernel? of is een /boot partitie op ext4 en de rest van je os op ZFS voldoende? Want dat laatste is super simpel.

De Howto... aan het begin. Omdat ik het omslachtig vind voor mijn gevoel.

Liefste uiteraard een volledige zfs-on-root, wil namelijk voorkomen dat als nét de disk crasht waar Ubuntu op staat dat ik alles opnieuw moet installeren en configureren. Ik zou dan nl. simpelweg een disk willen wisselen, in de bios booten van disk2 (waar de mirror van de zboot op draait), en dan het resilver proces starten zonder al teveel downtime.

[FireDrunk]

Dat kan ook prima met MDADM, dat maakt je leven een stuk makkelijker... MDADM is gewoon native supported in de installer.

Qua vervangbaarheid van disks is MD net zo makkelijk als ZFS.

[F-Tim]

FireDrunk schreef op dinsdag 25 juni 2019 @ 15:28:
Dat kan ook prima met MDADM, dat maakt je leven een stuk makkelijker... MDADM is gewoon native supported in de installer.

Qua vervangbaarheid van disks is MD net zo makkelijk als ZFS.

Dan moet ik even zoeken hoe ik dat netjes met de installer kan doen. Als ik tijdens install op "Something else" klik, waarbij ik dan zelf multiple partities zou kunnen kiezen. Dan zie ik een overzicht van de disks en partities, maar bij welke keuze ik ook maak krijg ik de melding "No root file system is defined. Please correct this from the partitioning menu."

Ik heb daarbij geprobeerd:
- beide /zboot partities als "ext4" en "format" aan te vinken.
- device bootloader van /dev/sda naar /dev/sda2 (de /zboot partitie) aan te passen.
- /dev/sda1 (512kb boot sector op disk 1) en /dev/sda2 (/zboot partitie op disk 1) verwijderen en 1 nieuwe ext4 ervoor in de plek te maken

Dus ik zal gegarandeerd iets fout doen tijdens de keuze? Moet ik via gparted een root file system aangeven. ? Of kan het wel tijdens de installer?

[FireDrunk]

Je gebruikt een hoop termen, maar begrijpen doe ik je niet. De term zboot zegt mij verder niets...

Je hebt voor een geldig systeem een paar dingen nodig.
Als je met MBR (ouderwetse BIOS werkt) heb je minimaal 1 partitie nodig, bijvoorbeeld /dev/sda1. Die moet met een door GRUB en door de kernel native herkend filesystem geformatteerd zijn, welke dat zijn, kan je vrij gemakkelijk opzoeken. ZFS is geen 'native' herkend filesystem, het is als module te compileren.
Modules kan je wel gebruiken tijdens boot, maar dan moeten ze uit het zogenoemde initrd (ook wel initramfs) genoemd komen. Dit initramfs moet dan op een filesystem staan wat native ondersteund wordt.
De bootloader staat aan het begin van de DISK niet aan het begin van de PARTITIE.

Het treintje is dan dus BIOS -> bootloader op disk x -> GRUB (menu) -> kernel + initrd op ondersteund filesystem -> systeem boot.

Wil je hier dus ZFS van maken, heb je 2 opties: een losse /boot of ZFS in de kernel bakken.

Bij optie 1 wordt het treintje:
BIOS -> bootloader op disk x -> GRUB (menu) -> kernel + initrd op /boot (ext4 / xfs) -> system boot -> / wordt later gemount tijdens boot (ZFS).
Optie 2:
BIOS -> bootloader op disk x -> GRUB (menu -> kernel + initrd op / (zfs) -> system boot


In het geval van UEFI ligt het geheel iets anders. Bij UEFI heb je een zogenaamde ESP (EFI System Partition) nodig, deze partitie bevat de bootloader (anders dan bij MBR is dit gewoon een file ipv een stuk ruwe binaire data). Grub installeert deze bij een UEFI installatie onder de naam grubx64.efi uit mijn hoofd.

Deze file kijkt (net als de gewone grub) naar wat files een menu op te bouwen. Leuke van de UEFI optie is, dat je de kernel en initrd gewoon op de efi partitie kan zetten, die bijten elkaar niet.

Je kan dus je kernel, initrd en grub bootloader gewoon op die ene ESP partitie zetten, en deze mounten op /boot.
Daarna kan je dus van je root filesystem (/) gewoon ZFS maken.

In de custom layout kies je dan dus voor:
1 ESP partitie (iets van 2 GB), en een extra partitie (ZFS root).
De eerste zet je op mountpoint /boot , de tweede op /.

Als het goed is moet dat gewoon werken, en wordt in de startup volgorde je root ZPOOL vroeg genoeg geinitialiseerd om daarna het root filesystem te kunnen mounten.

Mocht dat niet lukken wil ik het best eens proberen in een VM.

[DataGhost]

Ik denk dat het grootste probleem is dat (vziw) Ubuntu 18.04 nog geen native support heeft voor ZFS (iig in de installer). Het is leuk dat het LTS is maar het is wel al bijna anderhalf jaar oud, en Debian en Ubuntu zijn hier nou eenmaal ontzettend traag mee geweest. Dan is het inderdaad het makkelijkst het volgens de guide te doen, gewoon installeren "ergens anders" (of op normale ext4 partities maar dat maakt het "replacen" waarschijnlijk een stuk omslachtiger), daarna handmatig je zpool maken voor je root en alles daarheen cp-/rsync-en. Anders zou je moeten kijken naar 19.04, daarmee kan het volgens mij wel. "Ubuntu Still Working On ZFS Install Support, But Not In Time For 19.04" aahh.

Anyway, zeker in een VM is het makkelijker om de "ergens anders" methode te gebruiken want je maakt gewoon een extra vdisk die je na het overzetten weg kan knikkeren. Als je verder een beetje ervaring hebt met handmatig installeren van grub e.d. kan je in principe zonder al teveel problemen gewoon de hele root vanuit je VM direct rsyncen naar je nieuwe machine en kan je de hele installer skippen

Je kan denk ik zelf wel inschatten hoe "goed" de guide is die je hebt gevonden, en als die omslachtig is zullen daar ongetwijfeld goede redenen achter zitten. De meeste IT-ers zijn nog steeds behoorlijk lui en als iets makkelijker kan zullen ze dat echt wel met beide handen aangrijpen.

[ Voor 21% gewijzigd door DataGhost op 25-06-2019 17:15 ]

[FireDrunk]

Ik zie dat de Ubuntu installer zelfs de 'grub' partitie forceert en niet wijzigbaar maakt en keihard op 1 MB zet... Niet super handig dus... Ik ga even verder prutsen.

EDIT: Goed, ik heb even gekeken in de installer, en je kan inderdaad niks meer zelf kiezen.
Je moet en zal hun manier gebruiken. Misschien kan je het nog met de legacy installer proberen, maar de nieuwe werkt in ieder geval niet. Je kan zelf namelijk je partitie layout niet genoeg besturen.

Ik zou lekker voor MDADM gaan

[ Voor 49% gewijzigd door FireDrunk op 25-06-2019 17:33 ]

[Freeaqingme]

Ik ben een groot ZFS fanboy, maar heb nu wel een teleurstellinkje. Ik wou voor een projectje reflinks gebruiken, maar specifiek dat ondersteunt ZFS nog niet. Helaas, dan maar een omweg met snapshots.

[nero355]

@F-Tim @FireDrunk @DataGhost :

Gek idee : Proxmox als NAS OS gebruiken

Die kan wel een ZFS systeem aanmaken tijdens de installatie en ervan booten


Zomaar een gekke gedachte dus... Niet te hard schreeuwen als het een heel dom idee is!

[DataGhost]

Ik draai zelf Gentoo en die installer support ook gewoon ZFS out of the box, 0.8 al, met root-on-ZFS, encryptie, you name it. Maar F-Tim kiest voor een "oudere" LTS versie van Ubuntu en zal daar vast redenen voor hebben denk ik dan altijd

[FireDrunk]

nero355 schreef op woensdag 26 juni 2019 @ 00:40:
@F-Tim @FireDrunk @DataGhost :

Gek idee : Proxmox als NAS OS gebruiken

Die kan wel een ZFS systeem aanmaken tijdens de installatie en ervan booten


Zomaar een gekke gedachte dus... Niet te hard schreeuwen als het een heel dom idee is!

Ja hoor, kan prima. Dat is alleen debian based, en niet ubuntu based. Maakt niet super veel uit, maar wel iets.

[Wiebeltje]

Ik heb zelf ook proxmox draaien. Wel op een SSD met een 3 disk ZFS RAID-Z los gemount. Werkt al jaren echt prima. Container aanmaken, directory mappen en je kan bij je zfs data vanuit je nieuwe container.

Ik vind het ook veel fijner dan de FreeBSD distros omdat ik meer ervaring heb met Linux en er is ook veel meer info over te vinden op het net.

[FireDrunk]

Kom net deze tegen:
https://docs.google.com/s...baeGN2nKVXgxCI/edit#gid=0

vrij recente lijst met welke feature op welk platform beschikbaar is/komt.

[F-Tim]

nero355 schreef op woensdag 26 juni 2019 @ 00:40:
@F-Tim @FireDrunk @DataGhost :

Gek idee : Proxmox als NAS OS gebruiken

Die kan wel een ZFS systeem aanmaken tijdens de installatie en ervan booten


Zomaar een gekke gedachte dus... Niet te hard schreeuwen als het een heel dom idee is!

Kan ook, k koos voor Ubuntu omdat het (voor mij) een van de bekendere moderne distro's was.
Ik ga hem eens proberen!

Eerste poging gedaan... ZFS is wel ondersteund, maar ik kan hem niet op een bestaande pool installeren, alleen op een compleet nieuwe? Is daar een workaround voor?

DataGhost schreef op woensdag 26 juni 2019 @ 00:46:
Ik draai zelf Gentoo en die installer support ook gewoon ZFS out of the box, 0.8 al, met root-on-ZFS, encryptie, you name it. Maar F-Tim kiest voor een "oudere" LTS versie van Ubuntu en zal daar vast redenen voor hebben denk ik dan altijd

Enkel gekozen vanwege het LTS deel eigenlijk. Was nog van plan tijdens de Hyper-V tests ook even 19.04 te bekijken (die heeft immers Linux 5.0 kernel)

Ook nog ff bezig geweest met mdadm, met wat puzzelen iig een RAID1 aan kunnen maken op 2 disks. En toen kwam ik er tijdens de installer achter dat de /dev/md0 "grub" partitie te klein was (ZFSGuru had 512kb nodig, ik las dat Grub ergens 1 a 2MB nodig had, 8MB aangemaakt... maar moest 22-23Mb zijn volgens installer). Dus 2 stapjes vooruit, 1 terug.

[ Voor 5% gewijzigd door F-Tim op 26-06-2019 11:43 . Reden: Poging met Proxmox ]

[nero355]

FireDrunk schreef op woensdag 26 juni 2019 @ 10:04:
Kom net deze tegen:
https://docs.google.com/s...baeGN2nKVXgxCI/edit#gid=0

vrij recente lijst met welke feature op welk platform beschikbaar is/komt.

Wat doet Windows daar in die lijst

[FireDrunk]

ZFS op Windows kan tegenwoordig ook?
_{En nee, dat is niet een sarcastische vraag...}

[ Voor 44% gewijzigd door FireDrunk op 26-06-2019 16:15 ]

[Freeaqingme]

FireDrunk schreef op woensdag 26 juni 2019 @ 16:15:
ZFS op Windows kan tegenwoordig ook?
_{En nee, dat is niet een sarcastische vraag...}

https://github.com/openzfsonwindows/ZFSin

Denk dat het dit project is. Denk niet dat het om native support gaat die door Microsoft geintroduceerd is.

[FireDrunk]

Absoluut niet, het is een extreem alpha hobby projectje van iemand

[mdbraber]

F-Tim schreef op woensdag 26 juni 2019 @ 11:08:
[...]
Eerste poging gedaan... ZFS is wel ondersteund, maar ik kan hem niet op een bestaande pool installeren, alleen op een compleet nieuwe? Is daar een workaround voor?
[...]

Wel eens vaker genoemd, maar dit is een hele goede guide voor ZFS root met Debian (en dus ook Proxmox): https://github.com/zfsonl...ebian-Stretch-Root-on-ZFS

[nero355]

FireDrunk schreef op woensdag 26 juni 2019 @ 16:15:
ZFS op Windows kan tegenwoordig ook?
_{En nee, dat is niet een sarcastische vraag...}

Freeaqingme schreef op woensdag 26 juni 2019 @ 16:37:
https://github.com/openzfsonwindows/ZFSin

Denk dat het dit project is.

Dat wist ik dus niet!

Denk niet dat het om native support gaat die door Microsoft geintroduceerd is.

Dat is serieus een gevalletje "Hell just froze over!"

[FireDrunk]

Mwoh, met al die hippe stappen die Microsoft laat zien (Github, Visual Studio Code, en nog wat van die projecten) zou het me minder verbazen dan zeg 6 jaar geleden.

Het zou me desalniettemin wel verbazen Maar niet meer zo extreem.

[CurlyMo]

FireDrunk schreef op donderdag 27 juni 2019 @ 08:22:
Mwoh, met al die hippe stappen die Microsoft laat zien (Github, Visual Studio Code, en nog wat van die projecten) zou het me minder verbazen dan zeg 6 jaar geleden.

Het zou me desalniettemin wel verbazen Maar niet meer zo extreem.

Iemand al een handleiding gevonden voor ConZFS ?

[F-Tim]

Zo... weer een stapje verder gekomen gisteravond...

Met mdadm een mirror aangemaakt, op de bestaande ZFSGuru partities, met de Ubuntu (19.04 inmiddels) installer op /dev/md0 de installatie doorlopen. Ironisch genoeg wel de /dev/md0 met gparted als ext4 moeten formatteren... met sudo mkfs.ext4... werkte het niet... ws niet het goede commando gevonden.. Klapt ie uiteindelijk weer eruit bij het wegschrijven van de bootloader naar /dev/sda.

Dus nu toch écht even m'n Hyper-V backup weer terugzetten en even wat partities shuffelen... de installatie van ubuntu op een bestaande partitie lijkt me nl. wel te lukken zonder dataverlies.

@mdbraber, ook nog even die handleiding bekeken, maar die maakt gebruik van een hele disk ipv slechts een bestaande partitie.

[ Voor 9% gewijzigd door F-Tim op 27-06-2019 09:57 ]

[dcm360]

Op zich hoef je de handleiding ook niet letterlijk te volgen, zo lang je maar met ongeveer de juiste partitiestructuur eindigt. Zelf heb ik Proxmox met ZFS via een dergelijke handleiding werkend gekregen op een nvme-schijf (wat de Proxmox-installer niet doet (deed?)), maar de partitie-indeling heb zelf bedacht, met als idee om later nog een deel van de schijf als SLOG en L2ARC te gebruiken voor een andere pool.

[kdbruin]

Ik heb uiteindelijk de Ubuntu 18.04 how to gebruikt (https://github.com/zfsonl.../Ubuntu-18.04-Root-on-ZFS) nadat ik met Debian Buster tegen een paar onverklaarbare errors aanliep. Dit loopt nu al een aantal dagen zonder problemen.

Echter ben ik bij een reboot al m'n data pools kwijt. Deze worden niet automatisch geimporteerd na een herstart. In het bestand /etc/default/zfs heb ik alle pools toegevoegd:

code:

ZFS_POOL_IMPORT="dpool0;dpool1;dpool2;dpool3"

Verder heb ik ook de cachefile property van de pools gezet:

code:

zpool set cachefile=/etc/zfs/zpool.cache dpool0
zpool set cachefile=/etc/zfs/zpool.cache dpool1
zpool set cachefile=/etc/zfs/zpool.cache dpool2
zpool set cachefile=/etc/zfs/zpool.cache dpool3

Maar ook dit lijkt niet te helpen. Mis ik hier iets? Probleem is dat bij het booten een aantal Docker containers worden gestart die gebruik maken van de data pools en dat nu niet altijd goed gaat.

[A1AD]

kdbruin schreef op donderdag 27 juni 2019 @ 12:18:
Ik heb uiteindelijk de Ubuntu 18.04 how to gebruikt (https://github.com/zfsonl.../Ubuntu-18.04-Root-on-ZFS) nadat ik met Debian Buster tegen een paar onverklaarbare errors aanliep.

Vreemd, ik werk hier al enkele jaren dagelijks mee. Super stabiel!

[dcm360]

A1AD schreef op donderdag 27 juni 2019 @ 12:49:
[...]


Vreemd, ik werk hier al enkele jaren dagelijks mee. Super stabiel!

Weet je zeker dat je al enkele jaren dagelijks werkt op een Debian-versie die binnenkort pas uitkomt?

[A1AD]

dcm360 schreef op donderdag 27 juni 2019 @ 12:58:
[...]

Weet je zeker dat je al enkele jaren dagelijks werkt op een Debian-versie die binnenkort pas uitkomt?

Wijsneus
Installatie gestart in stretch > testing > buster
Deze install zal toch al tegen de 2 jaar oud zijn gok ik.

[ Voor 9% gewijzigd door A1AD op 27-06-2019 13:26 ]

[FireDrunk]

Hmm, blijkbaar is er behoorlijk wat verbeterd / veranderd in ZFS. Mijn fragmentatie is terug naar 20%, waar dat vroeger behoorlijk meer was

Geen idee hoe

* FireDrunk zit op ZFS 0.7.13

[ Voor 10% gewijzigd door FireDrunk op 27-06-2019 18:10 ]

[F-Tim]

Yeahhh... het duurt ff, maar dan lukt het uiteindelijk toch

Ubuntu 19.04 geinstalleerd, Grub geinstalleerd, ZFSUtils geinstalleerd en pool geïmporteerd zonder issues, machine boot prima, en na reboot is de ZFS pool direct beschikbaar zonder enige tussenkomst van mezelf.Om de een of andere reden lijkt grub niet met de installatie mee te komen, enkel met handmatige tussenkomst van boot-repair en een shitlading scripts.

Op naar de volgende stappen... Samba (Nautilus gaf wat problemen bij het openen van bestanden op Windows, dus even kijken wat ik handmatig kan doen), Docker, Plex container, en dan kijken of ik de Plex library data ook van FreeBSD naar Linux kan overzetten. Als dat allemaal gelukt is, dan wordt het tijd om een toetsenbord en monitor op de NAS aan te sluiten... en alle stappen ook daar even netjes te doorlopen.

[FireDrunk]

Als de installatie een UEFI compatible systeem detecteert wordt GRUB waarschijnlijk in UEFI modus geinstalleerd. Als jij daarna in je BIOS/UEFI Legacy boot aan hebt staan, en die 'eerder' uitvoert dan de native UEFI opties, kan dat wel eens mis gaan.

Plex library data overzetten klinkt als veel werk, ik zou die opnieuw laten genereren

[kdbruin]

A1AD schreef op donderdag 27 juni 2019 @ 12:49:
Vreemd, ik werk hier al enkele jaren dagelijks mee. Super stabiel!

Qua installatie was het allemaal geen probleem maar er ging bij het toevoegen van Grub iets niet goed (UEFI geneuzel) en kreeg het niet snel voor elkaar. Omdat ik wist dat Ubuntu wel geinstalleerd kon worden (had ik als test op een 2e SSD gedaan), ben ik daar maar op overgestapt.

Nu alleen nog het probleem met het importeren van de data pools na een reboot oplossen en dan moet het systeem er weer even tegen kunnen.

[A1AD]

FireDrunk schreef op vrijdag 28 juni 2019 @ 08:09:
Plex library data overzetten klinkt als veel werk, ik zou die opnieuw laten genereren

Ik heb is van ubuntu server naar debian gemigreerd, dat was 1 scp commando en wat instellingen in Plex.
Hier zo: https://support.plex.tv/a...nstall-to-another-system/

[HyperBart]

FireDrunk schreef op vrijdag 28 juni 2019 @ 08:09:
Als de installatie een UEFI compatible systeem detecteert wordt GRUB waarschijnlijk in UEFI modus geinstalleerd. Als jij daarna in je BIOS/UEFI Legacy boot aan hebt staan, en die 'eerder' uitvoert dan de native UEFI opties, kan dat wel eens mis gaan.

Plex library data overzetten klinkt als veel werk, ik zou die opnieuw laten genereren

T’is wel fijn als je je viewed status enzo kan meenemen.

[jacovn]

Inmiddels de testserver en de eerste nas over op FreeBSD en die vul ik nu met data van nas 2
Hobbelt redelijk door via SMB 1 op de ZFSguru met 150-280 MB/sec met een PC ertussen.

[ Voor 32% gewijzigd door jacovn op 28-06-2019 14:22 ]