Het grote ZFS topic

[HyperH]

Xudonax schreef op woensdag 13 mei 2015 @ 08:25:
[...]
Het zal niet vaak gebeuren, er zijn wat discussies geweest omtrent hoe waarschijnlijk dit is. Heeft vooral te maken met of je op tijd je schijven vervangt zodra dit aangegeven word en of je ECC gebruikt of niet. Vooral dat laatste leid tot wat verhitte discussies, je kunt er enkele terugvinden in de geschiedenis van het topic.

Kort samengevat, zolang je goed voor je machine en pool zorgt dan kan er weinig fout gaan.

Dat ECC verstandig is had ik al begrepen van enkele opmerkingen hier. Een defecte HDD op tijd vervangen lijkt mij ook logisch.
Ik ga er echter wel van uit dat wanneer een pool crasht of de S-ATA controller / het moederbord de geest geven de schijven gewoon in een ander systeem kunnen worden gehangen om te worden recovered.

Of bedoelde je met het crashen van de pool dat er meer dan één schijf tegelijk kapot gaan? Dat is een probleem wat je bij bijna alle opslagsystemen ondervind. Zolang de kans bij ZFS maar niet groter is dan bij alternatieve systemen.
Ik overweeg om Z2 te gebruiken met vier HD's. Dan zouden er twee kunnen crashen zonder gevolgen voor de data toch?

[...]
Dit is een functionaliteit van ZFS welke op een handige manier aan Windows beschikbaar word gemaakt. Hetgeen dat het echte werk doet draait dus op je ZFS machine, Windows bied enkel een handige interface hiervoor. De moeite waard, vond ik. Zeker aangezien een snapshot je praktisch niets kost zolang de bestanden niet veranderen

De snapshots klinken geweldig en hoewel ik het concept kan volgen begrijp ik nog niet hoe zoiets kan werken. Als elk snapshot alleen de mutaties bevat t.o.v. het vorige snapshot. Wat zou er dan gebeuren als ik een willekeurig snapshot verwijder? Dan moet het opvolgende snapshot worden aangepast om de keten niet te breken.

[HyperH]

FireDrunk schreef op donderdag 14 mei 2015 @ 13:05:
ESXi goed krijgen via NFS op ZFS is idd niet de makkelijkste opgave

Misschien een domme vraag, maar wat is het voordeel van ESXi op ZFS?
Het guest OS draait in een container met de zwakheden van het native file system toch?

[FireDrunk]

Nee, niet helemaal. Stel je maakt een snaphot van een VM.
Daarna maak je een snapshot van het ZFS volume wat eronder ligt.

Dan kan je daarna 100% zeker zijn dat wat er op ZFS staat zeker weten werkt. Er kan namelijk geen bitrot meer optreden in de data van de VM.

Als je guest filesystem netjes SYNC writes honoreert (xfs, met barrier mounten, ext4 met sync enzo) dan kan je er vrijwel vanuit gaan dat je op 99% van de beveiliging zit van ZFS.

Er zijn wel wat edge cases waarin dat misschien niet helemaal op gaat, maar doorgaans kan je er van uit gaan dat als alle hardware en software zich aan de afspraken van SYNC houdt, ZFS zeker een meerwaarde heeft voor data integriteit.

[CurlyMo]

HyperH schreef op donderdag 14 mei 2015 @ 15:20:
De snapshots klinken geweldig en hoewel ik het concept kan volgen begrijp ik nog niet hoe zoiets kan werken. Als elk snapshot alleen de mutaties bevat t.o.v. het vorige snapshot. Wat zou er dan gebeuren als ik een willekeurig snapshot verwijder? Dan moet het opvolgende snapshot worden aangepast om de keten niet te breken.

Dat is precies wat er (automatisch) gebeurd.

[HyperBart]

Ik vind het toch iedere keer maar schitterend als je zo stapsgewijs de kennis ziet doordruppelen (in dit geval bij bv. HyperH) over wat ZFS allemaal kan en hoe robuust het is

Anyways, even een kleine statusupdate; ik had via een Tweaker een Fractal XL op de kop kunnen tikken, USB 3, alles wat je wil. Jammer genoeg misten er enkele schroefjes. Alternatieve schroefjes worden asap opgestuurd, maar ik heb dus even mijn change moeten tegenhouden .

Alles zit terug in de oude behuizing, en ik heb ondertussen ook al geleerd dat ik misschien best ineens de nieuwe voeding aanschaf aangezien mijn BeQuiet waarschijnlijk te kort gaat zijn (ATX stekker) om tot bij het moederbord te gaan, en al helemaal als ik 'm netjes langs achter wil wegwerken...

Even kijken hoe dat met de G360 uitkomt...

[FireDrunk]

De afgelopen dagen (lees: weken) zat ik mij weer eens te vervelen, en heb daarom een kleine web interface gemaakt voor ZFSonLinux.

ZFSmond Code staat hier: https://github.com/FireDrunk/ZFSmond

Mochten mensen zin hebben om het te proberen, probeer de installatie handleiding goed te volgen, en ik sta open voor bug reports

(Het is gebouwd onder Fedora, en getest onder Ubuntu, beide op ZFS versie 0.6.4)

[ Voor 3% gewijzigd door FireDrunk op 14-05-2015 23:44 ]

[HyperBart]

Ik wou je nog bijna een WhatsApp'je sturen: "wat denk je, is het al Tweakers-ready ?"

Ik blijf het een mooie, nette interface vinden, prima voor snel eens even je ZFS omgeving te checken.

Hulde Thijs!

[FREAKJAM]

Werkt het ook in een virtualwrapper? (of ziet hij dan ZFS niet meer?)

[ Voor 41% gewijzigd door FREAKJAM op 14-05-2015 23:53 ]

[FireDrunk]

Zou gewoon moeten werken, een virtualenv is niet anders dan een andere locatie voor al je python meuk.
Vergelijk het met een andere JAVA_HOME.

Let wel op dat je dan de pip install in de virtualenv doet.

[ Voor 18% gewijzigd door FireDrunk op 14-05-2015 23:54 ]

[FREAKJAM]

Ja ik ken het.
bijv: mkvirtualenv zfsmond en dan pip install -r requirements.txt draaien.
moet pip -u update pip niet eventueel toegevoegd worden aan de instructies?

Ziet er tof uit trouwens. Django-ZFS hiermee verbannen?

[ Voor 47% gewijzigd door FREAKJAM op 15-05-2015 00:00 ]

[FireDrunk]

Mja, Django is leuk, maar eigenlijk veel te groot voor wat ik wilde. Kwam meer omdat ik ook Django wilde leren als framework.

Dit is gemaakt met Flask, Flask Restful, en AngularJS. Dat maakt het meer lightweight.

(Voor de nerdies: Check [ip]:5000/api/pools, /api/filesystems, /api/disks )

[HyperBart]

We mogen toch all issues loggen he

https://github.com/FireDrunk/ZFSmond/issues/1

[FREAKJAM]

haha EvilBart

[HyperBart]

Eigenlijk had ik nu graag gezien dat er een paar Tweakers of anderen wat beginnen forken en mergen.

Ik heb echt twee programmeer-linkerhanden, ik denk wel dat als ik een dagje full immerged de taal machtig krijg dat ik wat mee kan doen, maar tijd tijd tijd.

Hij weet al van het merendeel van de issues hoor, maar misschien zijn er nog wat onvolkomendheden die we missen.

Ik heb hier al regelmatig wat zitten git pullen, ik vind het allemaal wel netjes!

[Compizfox]

Zijn er al plannen voor FreeBSD-support?

[FireDrunk]

Nope, het heeft momenteel een harde dependancy met libzfs-python (geschreven door DXaroth, ook hier van GoT ). Die werkt niet op BSD vooralsnog, en hij is volgens mij niet van plan dat te gaan maken.

Ook is er een harde dependancy met pyudev, en dat is er niet op BSD

[A1AD]

FireDrunk schreef op donderdag 14 mei 2015 @ 23:40:
De afgelopen dagen (lees: weken) zat ik mij weer eens te vervelen, en heb daarom een kleine web interface gemaakt voor ZFSonLinux.

Mochten mensen zin hebben om het te proberen...

Aha! Ga ik vanavond zeker eens proberen op debian (proxmox).

[Q]

FireDrunk schreef op donderdag 14 mei 2015 @ 23:40:
De afgelopen dagen (lees: weken) zat ik mij weer eens te vervelen, en heb daarom een kleine web interface gemaakt voor ZFSonLinux.

Heb het even geïnstalleerd. Mijn oude ubuntu heeft een iets te oude smartctl, maar het werkt. Ziet er leuk uit. Ik heb het versie nummer van smartctl gehacked maar daardoor crasht de interface bij een bepaalde schijf met

code:

  File "/usr/local/lib/python2.7/dist-packages/pySMART/device.py", line 479, in update
    self.serial = line.split(':')[1].split()[0].rstrip()
IndexError: list index out of range

De smart waarden zouden overigens best automatisch, dus zonder knoppen opgehaald mogen worden.

[FireDrunk]

Daar heb je gelijk in, nadeel is alleen dat het laden van de pagina dan 20s duurde hier.

En bijkomend voordeel is nu, disks die in spindown staat, spinnen pas op bij klikken op de button.

Mocht je zin en tijd hebben, wil je dan even een github issue aanmaken voor die smart error?

[Dadona]

Nee, ze blijven met de dingen die je nu opvraagt ook dan nog in spindown.

[ Voor 27% gewijzigd door Dadona op 15-05-2015 10:33 ]

[FireDrunk]

Dat is denk ik per schijf verschillend, in principe kan een schijf beslissen om op te spinnen om bepaalde waardes te lezen (heb het eerder gezien).

Je kan zelfs tegen Smartctl zeggen dat hij geen data moet teruggeven als de schijf in spindown is
Maar dat gaat een beetje ver

[ikkeenjij36]

Hallo na mijn laatste problemen om guru te instaleren ff intern wat veranderd.
Boot ssd rechtstreeks op mobo ipv de ibm1015 en ja instaleren booten en pool maken lukt nu wel,misschien stom van mij maar het heeft wel gewerkt.
Nu was jullie advies om guru voor de zfs storage te bebruiken en het dl gedeelte in een vm te draaien.
Hoe werkt dat,want ik geloof dat mijn mobo de msi 970x-ud-g65 am3+ en mijn cpu geen vm's draaien kunnen?
Of hebben jullie tips om het wel werkend te krijgen?
Of moet ik kijken naar andere hardware?
Budget daarvoor moet ik even gaan rekenen of ik het vrij kan maken want een mobo en cpu met ecc en het geheugen zelf is best prijzig voor mij.
Of er moet iemand zijn die nog wat oudere hardware heeft liggen die ik gereduceerd over kan nemen maar waar ik toch een redelijke machine kan bouwen.
Ik hoor graag jullie tips of ideeen.
Ik blijf leren van jullie en wil toch graag zfs gaan gebruiken omdat ik steeds meer documenten enz. krijg due ik veilig maar bereikbaar wil houden.
Daarnaast heb ik een externe schijf aangeschaft om daar de backups op te zetten van die dingen.

[FREAKJAM]

Beste opzet is om dan beiden in een aparte VM te draaien (dus zowel ZFSGuru als het OS waar je je downloads op wilt laten regelen). Je kunt ESXi bijvoorbeeld installeren op een aparte usb-stick en vervolgens binnen ESXi een VM aanmaken voor ZFSGuru en een aparte VM voor je downloads. Je kunt dan je M1015 kaart gebruiken om mbv VT-D de kaart door te geven aan je ZFSGuru VM.

Je zou eerst even op het internet moeten opzoeken of je moederbord plus netwerkkaarten compatible zijn met ESXi. Met de handleiding van je moederbord kom je al een heel eind.

Ik wil je tevens aanraden even te gluren in dit topic, daar komen veel ESXi + ZFS setups voor:
Zuinige ESXi Server

Ik denk dat een apart topic je ook beter gaat helpen trouwens, je stelt nu ook een hoop vragen die niets met ZFS te maken hebben.

[ikkeenjij36]

Mm lijkt me allemaal erg ingewikkeld worden.
Maar zover ik weet ondersteunen mijn mobo en cpu geen vt
/vm of iets van die aard dus blijf ik een probleem houden.
Dan moet ik een andere oplossing zien te verzinnen waardoor ik zfs kan gebruiken icm een media downloader/nas.

[CurlyMo]

FREAKJAM schreef op vrijdag 15 mei 2015 @ 11:56:
Ik denk dat een apart topic je ook beter gaat helpen trouwens, je stelt nu ook een hoop vragen die niets met ZFS te maken hebben.

Dat dus

[FREAKJAM]

ikkeenjij36 schreef op vrijdag 15 mei 2015 @ 13:06:
Mm lijkt me allemaal erg ingewikkeld worden.
Maar zover ik weet ondersteunen mijn mobo en cpu geen vt
/vm of iets van die aard dus blijf ik een probleem houden.
Dan moet ik een andere oplossing zien te verzinnen waardoor ik zfs kan gebruiken icm een media downloader/nas.

Het exacte modelnummer van je mobo lijkt al niet te kloppen, want ik kan dit type nergens online vinden. Zoek gewoon even de handleiding op het internet. Met "zover ik weet" doe je alleen maar aannames en daar schiet je ook niets mee op.

[krijn1985]

ikkeenjij36 schreef op vrijdag 15 mei 2015 @ 13:06:
Mm lijkt me allemaal erg ingewikkeld worden.
Maar zover ik weet ondersteunen mijn mobo en cpu geen vt
/vm of iets van die aard dus blijf ik een probleem houden.
Dan moet ik een andere oplossing zien te verzinnen waardoor ik zfs kan gebruiken icm een media downloader/nas.

Bij AMD heet het sowieso geen vt, maar moet je kijken naar IOMMU. Zover ik weet ondersteund de 970 chipset wel IOMMU maar is het afhankelijk van je mobo of je het werkt (en je dus hardware passthrough hebt).

Ik vraag me af of je voor simpel downloaden met VM's moet gaan werken. Bij mij doet mijn ZFSguru nas gewoon het downloaden met sabnzbd, werkt prima. Zo hoef je dus niet te gaan kloten met passthrough.

[Xistance]

Dag mede-tweakers,

nu mn systeem bijna in elkaar zit ben ik aan het nadenken geslagen hoe ik van mn 2 * Raid 5 naar ZFS ga overschakelen.

Huidige situatie is als volgt:
- Raid 5 volume met 4 * 1 TB
- Raid 5 volume met 4 * 2 TB

Het is de bedoeling dat alle schijven vroeg of laat (afhankelijk van het geld ezeltje) vervangen worden door schijfjes van 4 TB (6 TB is momenteel nog te duur vrees ik, of de swap zal langer duren). 1 schijfje van 4 TB heb ik reeds in bezit.

Qua uitbreidingsmogelijkheden:
Ik denk dat ik eerder de switch van 4TB -> 6/8/X TB zal maken later ipv extra vdevs aan te maken via een ibm M1015 bvb. (maar ik wil de optie niet uitsluiten). Ik wil met bovenstaande aanpassingen wel nog enkele jaartjes doorgaan.

Suggesties hoe ik het allemaal opdeel in de zpool?
- 1 raidz2 vdev met 8 schijven in waardoor ik even de space penalty (ik neem aan dat van de 2 TB schijven maar 1 TB useable is) opvreet tot de 1 TB's vervangen zijn door grotere exemplaren?
- 2 raidz1 vdevs met 4 * 1 TB en de andere 4 * 2 TB ?

Of zijn er andere (betere) oplossingen?
(ik ben me er van bewust dat ik me niet hou aan de meest ideale configuratie van 6 disks met raidz2, maar wil niet te veel inboeten aan space.)

Hopelijk kunnen jullie me op het goeie pad zetten
Bedankt hoor !

Xistance

Edit:
Misschien nog nuttige bij info: 'k heb een Supermicro x10sl7-f bordje waar de sas controller naar een (virtueel) ZFS systeempje gaat (wellicht freenas), dus 8 poorten beschikbaar.

[ Voor 7% gewijzigd door Xistance op 15-05-2015 15:25 ]

[ikkeenjij36]

krijn1985 schreef op vrijdag 15 mei 2015 @ 15:08:
[...]


Bij AMD heet het sowieso geen vt, maar moet je kijken naar IOMMU. Zover ik weet ondersteund de 970 chipset wel IOMMU maar is het afhankelijk van je mobo of je het werkt (en je dus hardware passthrough hebt).

Ik vraag me af of je voor simpel downloaden met VM's moet gaan werken. Bij mij doet mijn ZFSguru nas gewoon het downloaden met sabnzbd, werkt prima. Zo hoef je dus niet te gaan kloten met passthrough.

Ok ik heb al verschillende keren zfsguru alles laten doen maar liep steeds tegen problemen op.
Misschien toch nog een poging wagen en dan geen gekloot xtra erbij doen,me houden aan de zpool configuratie.
Ik raak dan wel wat ruimte kwijt maar weet dat het goed beschermd is.
Dan moet ik ook nog eens het snapshot gedeelte goed gaan lezen zodat dat automatisch gaat en kijken of ik in loop vd tijd alle schijven kan upgraden naar 4 TB zodat ik op 48TB kan komen En ook kijken mettertijd voor ander mobo en ecc geheugen.
Denk dat ik maar op 2 vdevs kom met 1xzpool2 met 9x2TB en dan eentje met 2x3TB.
Kan ik die 2 vdevs dan in 1 pool stoppen of moet ik er 2 pools van maken en op die van 2x3tb backups snaphots en bv films zetten terwijl ik die andere voor dl en series/muziek hou?

[FREAKJAM]

ikkeenjij36 schreef op vrijdag 15 mei 2015 @ 16:53:
[...]

Ok ik heb al verschillende keren zfsguru alles laten doen maar liep steeds tegen problemen op.
Misschien toch nog een poging wagen en dan geen gekloot xtra erbij doen,me houden aan de zpool configuratie.
Ik raak dan wel wat ruimte kwijt maar weet dat het goed beschermd is.
Dan moet ik ook nog eens het snapshot gedeelte goed gaan lezen zodat dat automatisch gaat en kijken of ik in loop vd tijd alle schijven kan upgraden naar 4 TB zodat ik op 48TB kan komen En ook kijken mettertijd voor ander mobo en ecc geheugen.
Denk dat ik maar op 2 vdevs kom met 1xzpool2 met 9x2TB en dan eentje met 2x3TB.
Kan ik die 2 vdevs dan in 1 pool stoppen of moet ik er 2 pools van maken en op die van 2x3tb backups snaphots en bv films zetten terwijl ik die andere voor dl en series/muziek hou?

Daar is al eerder antwoord op gegeven toch, op je laatste vraag?

[A1AD]

FireDrunk schreef op donderdag 14 mei 2015 @ 23:40:
Mochten mensen zin hebben om het te proberen, probeer de installatie handleiding goed te volgen, en ik sta open voor bug reports

(Het is gebouwd onder Fedora, en getest onder Ubuntu, beide op ZFS versie 0.6.4)

geen libzfs-dev beschikbaar in debian7. Suggesties?

[FireDrunk]

Hmm, dat zou in de ZFSonLinux repos moeten zitten... Zal morgen eens kijken of ik wat kan vinden.

[johann1982]

Hallo,

Ik probeer mijn zfs pool (geen bootpool) te renamen. zpool export blijft maar "pool is busy" zeggen. ook met de -f optie. Alle samba en nfs shares op de pool staan af. Ook na reboot wil hij de export niet doen.

OS: Freebsd met zfsguru 10.1-001
Iemand enig idee ?

Thx ! Johan

[CurlyMo]

Even via de live CD booten. Dan weet je zeker dat er niks de pool in gebruik heeft.

[johann1982]

CurlyMo schreef op zaterdag 16 mei 2015 @ 13:25:
Even via de live CD booten. Dan weet je zeker dat er niks de pool in gebruik heeft.

Via de live cd pool geboot en pool rename uitgevoerd; dat werkte.
Na reboot en boot van de bootpool heeft de pool wel terug de oude naam en kan ik hem weer niet hernoemen ?

[CurlyMo]

Kan je de exacte commando's plaatsen die je gebruikt voor het hernoemen?

[johann1982]

CurlyMo schreef op zaterdag 16 mei 2015 @ 13:41:
Kan je de exacte commando's plaatsen die je gebruikt voor het hernoemen?

Ik heb het via de zfsguru gui gedaan; dat is dus:
- zpool export #POOLNAME_OUD
- zpool import #POOLNAME_OUD #POOLNAME_NIEUW

[CurlyMo]

Heb je daarna ook een expliciete zpool export gedaan voordat je reboot?

[johann1982]

CurlyMo schreef op zaterdag 16 mei 2015 @ 13:48:
Heb je daarna ook een expliciete zpool export gedaan voordat je reboot?

Was ik inderdaad vergeten..; logisch

Bedankt voor je snelle hulp !

[Compizfox]

johann1982 schreef op zaterdag 16 mei 2015 @ 13:21:
Hallo,

Ik probeer mijn zfs pool (geen bootpool) te renamen. zpool export blijft maar "pool is busy" zeggen. ook met de -f optie. Alle samba en nfs shares op de pool staan af. Ook na reboot wil hij de export niet doen.

OS: Freebsd met zfsguru 10.1-001
Iemand enig idee ?

Thx ! Johan

Met lsof kun je zien welke processen de partitie in gebruik hebben.

[ikkeenjij36]

FireDrunk schreef op donderdag 13 juni 2013 @ 09:24:
ZFSGuru SSD ZIL & L2ARC Tutorial

Partitioneer eerst je SSD's op deze manier:
[afbeelding]

LET OP: De groottes hier zijn fictief en geen representatie voor je eigen setup, bedenk zelf goed hoeveel ruimte je wil geven aan elk deel (root, ZIL en L2ARC). ZFSGuru neemt zelf doorgaans minder dan 1GB in beslag, maar als je services gaat installeren kan dat nog best groeien. Voor ZIL is 4GB doorgaans ruim voldoende, en als je krap zit is 2GB ook nog wel te doen. Voor L2ARC geld meestal hoe meer hoe beter, maar bedenk je wel dat je meer geheugen gebruik krijgt door het gebruik van L2ARC. ZFSGuru berekend van te voren ook netjes hoeveel meer geheugen je nodig hebt. Wordt dit meer dan 50% van het geheugen dat de machine uberhaupt heeft, is er een kans dat je dit in sequentiele transfers gaat zien.

Maak daarna een rootpool aan:
[afbeelding]

Label daarna ook je data disks, waarna je dit overhoud:
[afbeelding]

Maak daarna je data pool aan:
[afbeelding]

Voeg de L2ARC toe:
[afbeelding]

Na testen krijg je dit:
[afbeelding]

Daarna ziet je data pool er zo uit:
[afbeelding]

Voer via de commandline dit commando uit:
[afbeelding]

En je pool ziet er daarna zo uit:
[afbeelding]

Hierna kan je de reguliere setup volgen en de installatie wijzen naar rootpool

Hoi allemaal.
Ik heb deze tut nu gevolgd stap voor stap en zil en l2arc werken allebei.
Daarna de installatie gemaakt op de rootpool en als ik nu van de ssd in mirror wil booten kont er btx halted te staan.
moet ik nu nog iets in mijn bios veranderen zodat er geboot kan worden?
de ssd's staan nu als 1e en 2e bootdevice in mijn bios maar boot dus niet.
2 identieke ssd's van dezelfde grote.
Of komt het(dat denk ikzelf)dat het bios de rootpool als 2 verschillende devices ziet en daarom via de 1e te booten en daardoor niet verder kan?
Zo ja hoe dit op te lossen?

[ Voor 3% gewijzigd door ikkeenjij36 op 16-05-2015 19:09 ]

[tvwes]

CurlyMo schreef op zaterdag 16 mei 2015 @ 13:41:
Kan je de exacte commando's plaatsen die je gebruikt voor het hernoemen?

zpool history pool

[CurlyMo]

ikkeenjij36 schreef op zaterdag 16 mei 2015 @ 18:54:
...

Open even je eigen topic gezien de hoeveelheid hulp je overal voor nodig hebt zoals je al tig keer is aangeraden!

[tvwes]

ikkeenjij36 schreef op zaterdag 16 mei 2015 @ 18:54:
[...]

Hoi allemaal.
Ik heb deze tut nu gevolgd stap voor stap en zil en l2arc werken allebei.
Daarna de installatie gemaakt op de rootpool en als ik nu van de ssd in mirror wil booten kont er btx halted te staan.
moet ik nu nog iets in mijn bios veranderen zodat er geboot kan worden?
de ssd's staan nu als 1e en 2e bootdevice in mijn bios maar boot dus niet.
2 identieke ssd's van dezelfde grote.

Als je de tweede SSD los neemt. Kan je wel booten vanaf de SSD waarop je de installatie hebt uit gevoerd? Zoja dan moet je even je boot volgorde aanpassen zodat je boot vanaf de werkende SSD terwijl beide zijn aangesloten. Daarna de bootloader installaren op de niet bootende SSD. Ik ga ervan uit de je mirror van je rootpool in orde is. Maar die mirror zorgt er niet voor dat je kan booten. Nadat je de bootloader ook hebt geinstalleerd op de tweede SSD moet je nog wel testen dat je van beide kan booten.

[CurlyMo]

@tvwes, zoek even dit topic door op de naam van ikkeenjij36 en dan zie je waarom er velen malen wordt geadviseerd een eigen topic te openen.

[tvwes]

@CurlyMo, je hebt helemaal gelijk. Ik had deze ellende even verdrongen. Ik dacht even goed te doen. Don't feed ... Ik ga snel weer door met echt nuttig werk.

[ikkeenjij36]

CurlyMo schreef op zaterdag 16 mei 2015 @ 19:12:
[...]


Open even je eigen topic gezien de hoeveelheid hulp je overal voor nodig hebt zoals je al tig keer is aangeraden!

Ja ik ben de enige die er geen raad mee weet en alleen als je op nivo mee kan praten ben je welkom hier.
Voorderest moet je niet zeiken en je kop houden.
Ik ben dr klaar mee en ben hier weg.
Op zoek naar een noob vriendelijk forum.
Eigen topic ook vaak zat geopend en daar is de sfeer een beetje hetzelfde.
Ik kijk wel op andere fora voor hulp.
Ook als ik aangeef dat ik een tut heb gevolgd uit dit forum wordt er gezegd wegwezen dus adios en succes met jullie wereld.

Modbreak:

Hoi ikkeenjij36,

Vervelend dat het niet goed lukt voor je om hier hulp te vragen; verscheidende mensen storen zich aan je en dat is ook voor jou niet leuk. Maar besef wel dat als je op dit forum - GoT - hulp wilt, dat hier ook een tegenprestatie van jouw zijde wordt verwacht. Andere fora hebben inderdaad minder hoge eisen aan postkwaliteit, aantoonbare eigen inzet en zelfredzaamheid. Maar als je op dit forum wilt posten, betekent dat ook dat je ervoor kiest om je aan de conventies van dit forum te houden. Ik vind het jammer dat het niet goed lukt, maar bedenk wel dat vele mensen - inclusief mijzelf - hebben geprobeerd ook jou van goed advies te voorzien.

Ondanks je negatieve ervaring, hoop ik dat het nu wel gaat lukken bij je. Zie ook je DM bericht van mij.

Vriendelijke groet,
CiPHER
Moderator OT

[ Voor 37% gewijzigd door Verwijderd op 17-05-2015 16:49 ]

[Durandal]

Ik wil een low power backup machientje neerzetten met ZFS guru en 2 disks in raid1 (ik heb al een ZoL server). Nu zie ik bij de downloads de nieuwste versie op 10 staan, maar bovenaan het download scherm staat dat er een 11 is. Welke moet ik hebben, en waar vandaan?
Verder wil ik dat ding alleen 's nachts een paar uur aan hebben ten tijde van de backup (want zuiniger), en twijfel of ik zfs-guru moet booten van USB stick of root-on-zfs (Weet niet of belangrijk/relevant is; zfs guru noob).
Tenslotte de backup zelf; kan dat met rsync, of met zfs zelf? wat is handiger?

Alvast bedankt voor de info

[ Voor 3% gewijzigd door Durandal op 16-05-2015 21:13 ]

[CurlyMo]

Durandal schreef op zaterdag 16 mei 2015 @ 21:08:
Verder wil ik dat ding alleen 's nachts een paar uur aan hebben ten tijde van de backup (want zuiniger), en twijfel of ik zfs-guru moet booten van USB stick of root-on-zfs (Weet niet of belangrijk/relevant is; zfs guru noob).

USB stick is niet goed ondersteund dus als noob zou ik daar verre van blijven.

Tenslotte de backup zelf; kan dat met rsync, of met zfs zelf? wat is handiger?

Alvast bedankt voor de info

Deze vraag is afgelopen week al uitgebreid langsgekomen en sowieso al vaak behandeld. Even zoeken dus.

[tvwes]

Durandal schreef op zaterdag 16 mei 2015 @ 21:08:
Verder wil ik dat ding alleen 's nachts een paar uur aan hebben ten tijde van de backup (want zuiniger)

Afhankelijk van je mobo, bios en os zijn er de volgende standaard oplossingen

• via IPMI je systeem starten (je mobo moet dit hebben)
• via WOL je systeem starten (je OS moet dit ondersteunen)
• in de bios kan je een wakeup tijd specificeren
• via een losse schakelklok en de bios instelling "resume last state after power restore" oid.

Meer tweaker achtige oplossingen:

• via een JeeNode (zuinige arduino) met een RTC de power switch bedienen
• vanuit je router/wifipunt een GPIO lijntje pakken en daarmee de psu starten

Wil je echt los gaan dan boot je je backup systeem natuurlijk via PXE en spaar je een usb of andere boot disk uit.

[FREAKJAM]

ikkeenjij36 schreef op zaterdag 16 mei 2015 @ 20:28:
[...]

Ja ik ben de enige die er geen raad mee weet en alleen als je op nivo mee kan praten ben je welkom hier.
Voorderest moet je niet zeiken en je kop houden.
Ik ben dr klaar mee en ben hier weg.
Op zoek naar een noob vriendelijk forum.
Eigen topic ook vaak zat geopend en daar is de sfeer een beetje hetzelfde.
Ik kijk wel op andere fora voor hulp.
Ook als ik aangeef dat ik een tut heb gevolgd uit dit forum wordt er gezegd wegwezen dus adios en succes met jullie wereld.

We proberen je met velen al minimaal een jaar te helpen en je weigert onze adviezen op te volgen. Je blijft aanrommelen met je setups en elke keer weer gaat er iets mis. En telkens "pleur" je je probleem in dit topic en dan verwacht je dat wij je probleem oplossen. Je moet snappen dat wij het op een gegeven moment ook vervelend gaan vinden als blijkt dat je telkens een nieuw probleem hebt en niet naar onze goed bedoelde adviezen luistert.

@Durandal
Versie 11 is experimental en zonder services dus die zou ik niet nemen. Versie 10.1 is FreeBSD 10 based en stable. Je kunt ZFSGuru zelf en de webgui (beta10) updaten in de installer.

[ Voor 7% gewijzigd door FREAKJAM op 17-05-2015 00:32 ]

[dcm360]

Voor de gein net even ZFSmond geprobeerd op een van mijn systemen, en ik kan daarmee bevestigen dat het werkt op OpenSuse. Wel nog even de opmerking dat gcc niet bij prerequisites staat, terwijl ik die toch nog even moest installeren.

Mocht ik er eens de tijd voor hebben (sowieso niet binnenkort) lijkt het me ook wel leuk om er aan bij te gaan dragen. Flask is wel leuk speelgoed voor dergelijke projecten, lekker licht en veel mogelijkheden. Een tijdje geleden heb ik dat voor wat andere doeleinden ingezet op wat Raspberry Pi's, en dat beviel me wel.

[jacovn]

ikkeenjij36 schreef op zaterdag 16 mei 2015 @ 20:28:
[...]

Ja ik ben de enige die er geen raad mee weet en alleen als je op nivo mee kan praten ben je welkom hier.

Onzin, ik heb ook dingen gevraagd die voor mensen hier standaard kennis zijn en altijd prima geholpen.

[tvwes]

ikkeenjij36 schreef op zaterdag 16 mei 2015 @ 20:28:
[...]

Ja ik ben de enige die er geen raad mee weet en alleen als je op nivo mee kan praten ben je welkom hier.

@ikkeenjij36,
Je hebt voor een keer helemaal gelijk. Een zeker niveau is voor deze materie vereist.
Enkele malen hebben mensen je er al op gewezen dat er alternatieven zijn die misschien beter bij je passen. Je posts zijn rommelig, vol fouten en goede adviezen volg je niet.
Daarnaast ben je ook nog eens onbeleefd. Ik schreef een keurige troubleshooting post voor je boot probleem en krijg dan zo'n reactie terug.

Ik ben de laatste die z'n neus ophaalt voor de "collectie kneuzen" (ironie) hier. Ik heb de afgelopen weken een aantal mensen hier heel erg uitgebreid (gedeeltelijk offline) geholpen. Met hun volkomen stompzinnige problemen. Waren hun problemen te min voor mij? Nee, natuurlijk niet. Het verschil tussen @ikkeenjij36 en deze andere tweakers is dat zij a) een helder probleem konden formuleren en b) bereid waren te doen wat degene die hen aan het helpen was te doen.
Het is dan leuk om anderen te helpen en wat kennis overdracht te doen.

Ik wil graag iedereen helpen ongeacht z'n niveau, probleem, distro of cupmaat. Maar verwacht wel dat instructies worden opgevolgd en dat er een beleefde reactie komt. Zoniet, dan hoop ik dat diegene ook onderstaand advies van @ikkeenjij36 volgt. Ook al heb ik er een hard hoofd in dat hij zijn eigen advies volgt.

Voorderest moet je niet zeiken en je kop houden.
Ik ben dr klaar mee en ben hier weg.
... wordt er gezegd wegwezen dus adios en succes met jullie wereld.

[FireDrunk]

dcm360 schreef op zondag 17 mei 2015 @ 01:53:
Voor de gein net even ZFSmond geprobeerd op een van mijn systemen, en ik kan daarmee bevestigen dat het werkt op OpenSuse. Wel nog even de opmerking dat gcc niet bij prerequisites staat, terwijl ik die toch nog even moest installeren.

Mocht ik er eens de tijd voor hebben (sowieso niet binnenkort) lijkt het me ook wel leuk om er aan bij te gaan dragen. Flask is wel leuk speelgoed voor dergelijke projecten, lekker licht en veel mogelijkheden. Een tijdje geleden heb ik dat voor wat andere doeleinden ingezet op wat Raspberry Pi's, en dat beviel me wel.

Leuk om te horen! Je input is van harte welkom!
Mocht je willen afspreken wat je graag wil maken, stuur even een DM, dan kunnen we het even kortsluiten.

Ik zal gcc toevoegen als prerequisite, goed dat je het zegt. Ik had alleen verwacht dat die al als dependencay van ZFS mee zou komen (je moet ZFS immers compilen).

[dcm360]

Zal ik doen tegen de tijd dat ik verwacht er tijd voor te hebben

ZFS heb ik zelf niet hoeven te compilen, voor OpenSuse zijn er packages te vinden op software.opensuse.org (voor de geïnteresseerden: ik gebruik home:munix9:zfs).

[ Voor 13% gewijzigd door dcm360 op 17-05-2015 11:47 ]

[FireDrunk]

Zijn die packages precompiled ja? ik zou verwachten dat die via DKMS gecompileerd worden tegen je huidige kernel versie...

Dat doen ze om licentieproblemen te voorkomen dacht ik.

[dcm360]

Zoals de naam misschien al een beetje doet vermoeden, is dit geen officiële repository maar een user-repository. Welke kernel ik draai is ook bekend, want dat is gewoon de kernel van de 13.1-release met security-patches.
Op mijn laptop zou dat een ander verhaal zijn, aangezien ik daar de laatste kernel draai vanwege hardware-support, en zou compilen denk ik wel vereist zijn. Daar gebruik ik echter btrfs (wat tegenwoordig de default is in OpenSUSE). Op een van mijn servers heb ik overigens een btrfs-bootpartitie en de data-schijven gebruiken zfs. Prima combineerbaar

[Tsurany]

Ik had enorm veel last van schijven die plots niet meer gevonden konden worden. Aangesloten in mijn Windows machine even een smart test gedraaid en daar werden ze allemaal goed bevonden. Wellicht dat mijn moederbord niet meer helemaal in orde is en dat de sata controller wat issues geeft. Wel besloten om mijn setup aan te passen, niet langer FreeNAS binnen ESXi draaien met controller passthrough maar FreeNAS als main OS en dan mijn andere VM binnen een VirtualBox jail. Werkt eigenlijk net zo goed qua performance.

Nu hoop ik dat mijn issues kwamen doordat ESXi niet lekker liep en dat ik daardoor af en toe de verbinding kwijt raakte. Nog maar even aankijken of ik nog issues tegen kom.

Mooie feature van FreeNAS is dat je keurige e-mails krijgt als er iets uit valt. Echter de eerste keer dat je wakker wordt of in een restaurant zit en je twee keer achter elkaar device unavailable krijgt schrik je toch wel even.

Misschien even kijken of ik mijn i5 ga inruilen met een andere processor, beetje overkill om die nu te gebruiken daar ik geen VT-d meer nodig heb.

[HyperBart]

Als je toch controller passthrough had vermoed ik dat je een aparte controller (M1015?) had. Hang ze daar eens allemaal op? Of heb je te veel disks om alles op 8 poorten te hangen?

[CurlyMo]

En als je geen Windows VM's hebt kan je ook een bhyve proberen. Ik ben ook overgestapt van VirtualBox naar bhyve en dat werkt zonder problemen en is allemaal wat minder bloated.

[Tsurany]

Nee moederbord controllers die goed in ESXi herkend werken. Beide moederbord controllers via passthrough maar uiteindelijk de schijven maar op eentje aangesloten. Had vier schrijven van 3 terrabyte dus dat was genoeg.

[HyperH]

Het weekend heb ik gebruikt om zoveel mogelijk te lezen over ZFS en bijbehorende zaken. Ik ben een paar dingetjes tegen gekomen en zou daar jullie mening over willen vragen.

Neem als voorbeeld een stroomstoring of plotselinge power-off van het ZFS systeem. Er bestaat dan een kans op data corruptie die zelfs tot het verlies van alle data kan leiden heb ik gelezen.
Dit wil ik natuurlijk niet. De kans dat dit een keer gaat gebeuren is namelijk best groot. ZFS zou dit moeten voorkomen als ik het goed begrijp alleen gaat het mis als je de cache niet uitschakelt:

Always default to the write cache enabled. Good (S)ATA RAID controllers will turn it off for you if setup correctly. It's possible to disable the cache on disks via the operating system, but this can be dangerous. There are reports of drives that don't turn off caching regardless and cases where the write cache turns back on if the drive is reset. A better technique is to turn the cache off using the diagnostic tools most manufacturers provide, so that it defaults to off even on reset. This requires some discipline on your part, to make sure that happens even when disks are replaced (the time around disk replacement after a drive failure tends to be stressful).

En dan iets verder schrijft de PostgeSQL wiki:

If you get a good ATA controller, one that always turns off the individual disk caches for you, it's possible to build a reliable database system around ATA drives. But if you're just using the controller that comes integrated with your motherboard, unless you're very careful to validate that the write cache is disabled you risk database corruption if there's a crash.

1) Moet ik de cach van de HDD's (handmatig) uitschakelen?

2) Is het misschien beter de HDD's uitsluitend op externe SDD-controllers aan te sluiten en de moederbord aansluitingen te negeren? Hoe weet ik of ik een goede controller heb die dit probleem ondervangt?

3) Zijn er meer van dit soort tweaks of hardware aanpassingen nodig voor je een betrouwbare ZFS installatie kunt beginnen?

4) Ik moet geschikte HDD's uitzoeken om in mijn ZFS NAS te gebruiken. Sommigen adviseren om verschillende merken te gebruiken, omdat de kans op gelijktijdig falen dan kleiner wordt. Anderen adviseren juist om dezelfde HDD's te nemen.
Ik denk dat de laatste optie misschien handiger is. Het risico van verschillende firmware combinaties zou misschien wel problemen kunnen geven. Stel dat op één van de HDD's de cach niet wordt uitgeschakeld omdat deze een valse terugkoppeling geeft of valt dat wel mee?

[CurlyMo]

1, 2, 3) Als je begint met ZFS zou ik de meeste van die tweaks en angst verhalen laten voor wat ze zijn. Als je echt zorgen maakt voor stroomuitval dan neem je een UPS. Had je al gezegd hoeveel schijven je ging gebruiken.

4) Verschillende merken is niet zo boeiend. Verschillende batches wel. Als je WD Red koopt, dan staat er een productiedatum op het label. Probeer deze zo verschillend mogelijk te houden.

[FireDrunk]

1) Nee, die verhalen stammen uit ATA land. AHCI/SATA heeft een keurige implementatie voor FLUSH SYNC, dat wil zeggen dat je OS kan bepalen of de disk zijn caches naar disk moet flushen, en alle moderne Operating Systems gebruiken dit.

Er is wel een lijst met controllers die goed werken met ZFS. Kort door de bocht: Alles wat puur AHCI praat, alle controllers gebaseerd op LSI's SAS1068, SAS2008 en SAS2308 chipsets. Al de andere controllers zijn reden om even goed te googlen naar ervaringen van andere gebruikers.

Controllers die je doorgaans niet wil (maar er zijn uitzonderingen): HP, Dell, Fujitsu, 3Ware, Promise, Highpoint, Areca, Adaptec, en alles waar het woord RAID in de naam zit moet je voor oppassen.

De gebruikelijke term waar je juist op wil letten is HBA (dit betekend Host Bus Adapter). Dit wil zeggen dat de kaart (zo goed als geen) RAID logica aan boord heeft.

2) HDD's aansluiten op externe SDD controllers??? Say Whut? Bedoel je nou SAS Controllers? Nee dat is niet nodig. AHCI is goed genoeg voor ZFS (hoewel SAS in extreme gevallen het beste kan zijn, maar dat is een hele andere discussie.)

3) ZFS werkt niet op een RAID systeem. Je moet ZFS gebruiken op een supported platform. Dat wil zeggen: AHCI, of speciale SAS/SATA controllers die geschikt geacht zijn. (en dat heeft dus vooral te maken met punt 1.

4) Verschillende batches is in mijn ogen zelfs ook niet nodig. De fabriek en distri zorgen er volgens mij al voor dat je niet 10 opeenvolgende serienummers krijgt. Qua firmware zou ik voordat je de schijven in gebruik neemt altijd zorgen dat ze op hetzelfde niveau zitten, en gewoon eens flink test draien.

Zo heb ik mijn nieuwe array een week lang dezelfde data gevoerd als mijn oude array en flink belast. Nadat alles goed werkte, heb ik alles pas omgezet.

[ Voor 11% gewijzigd door FireDrunk op 17-05-2015 22:01 ]

[tvwes]

HyperH schreef op zondag 17 mei 2015 @ 21:26:
Het weekend heb ik gebruikt om zoveel mogelijk te lezen over ZFS en bijbehorende zaken. Ik ben een paar dingetjes tegen gekomen en zou daar jullie mening over willen vragen.

Neem als voorbeeld een stroomstoring of plotselinge power-off van het ZFS systeem. Er bestaat dan een kans op data corruptie die zelfs tot het verlies van alle data kan leiden heb ik gelezen.
Dit wil ik natuurlijk niet. De kans dat dit een keer gaat gebeuren is namelijk best groot. ZFS zou dit moeten voorkomen als ik het goed begrijp alleen gaat het mis als je de cache niet uitschakelt:


[...]


En dan iets verder schrijft de PostgeSQL wiki:


[...]


1) Moet ik de cach van de HDD's (handmatig) uitschakelen?

Nee, ZFS controlleert de caches. Dit is een van de redenen dat het in het algemeen beter is geen raid controller met write cache te gebruiken. Het is niet dat de raid controller niet werkt met ZFS maar de RAID controller liegt over het algemeen aangaande scsi commando "synchronize_cache" (35h). ZFS wil graag zelf de controle houden over de caches zodat als het aan jouw meld dat het is opgeslagen het ook echt is opgeslagen. (Consumenten SSD's liegen hier ook graag over)

2) Is het misschien beter de HDD's uitsluitend op externe SDD-controllers aan te sluiten en de moederbord aansluitingen te negeren? Hoe weet ik of ik een goede controller heb die dit probleem ondervangt?

Wat is een externe SDD controller?

3) Zijn er meer van dit soort tweaks of hardware aanpassingen nodig voor je een betrouwbare ZFS installatie kunt beginnen?

Niet bij ZFS. Wel een goed mobo en het liefst ECC. ZFS regelt veel voor je maar als je ram steken laat vallen kan je als nog in de problemen komen. Zoek een paar weken terug in dit forum naar dit onderwerp.

4) Ik moet geschikte HDD's uitzoeken om in mijn ZFS NAS te gebruiken. Sommigen adviseren om verschillende merken te gebruiken, omdat de kans op gelijktijdig falen dan kleiner wordt. Anderen adviseren juist om dezelfde HDD's te nemen.
Ik denk dat de laatste optie misschien handiger is. Het risico van verschillende firmware combinaties zou misschien wel problemen kunnen geven. Stel dat op één van de HDD's de cach niet wordt uitgeschakeld omdat deze een valse terugkoppeling geeft of valt dat wel mee?

De enige keer dat ik adviseer om verschillende merken te mixen in een zpool is bij SSD's. Daar gaat nog zoveel mee mis, dat ik vaak twee verschillende merken SSD gebruik. De kans dat ze allebei hetzelfde probleem hebben is heel klein. De kans dat je last krijgt van een firmware bug van een merk/model is redelijk groot. Maar nooit met beide tegelijk.
Met harddisken zou ik vooral, zoals al gezegd is, proberen bij verschillende winkels en/of in tranches te kopen.
En wat niet is genoemd is of je een harddisk koopt met of zonder TLER support. Ook dit onderwerp leid tot verhitte discussies. Zoek maar terug in het topic. Ik adviseer zelf altijd een disk met TLER te nemen als meerdere harddisken tegelijk in een enkele zpool wilt gebruiken. Bij een enkele disk, voor bijv een backup, is het een ander verhaal. TLER zorgt ervoor dat de schijf niet lang (tot wel een minuut) blijft proberen iets te lezen maar na een paar seconden het al opgeeft. ZFS zal vervolgens de fout lachend herstellen. De meeste toepassingen, filmpje streamen of virtual machines, houden niet van dit soort extreme vertragingen. Beter snel falen en ZFS laten repareren dan blijven proberen. Als het je enige harddisk is in je laptop ben je natuurlijk heel blij als de schijf het een tijdje probeert.

De postgres wiki doelt op liegende hardware. Je kan databases perfect op ZFS laten draaien. Zolang jij niet bepaalde tweaks doet liegt ZFS niet en heb je een zeer goed filesystem voor een database.

[ Voor 11% gewijzigd door tvwes op 17-05-2015 22:24 ]

[HyperH]

CurlyMo schreef op zondag 17 mei 2015 @ 21:39:
1, 2, 3) Als je begint met ZFS zou ik de meeste van die tweaks en angst verhalen laten voor wat ze zijn. Als je echt zorgen maakt voor stroomuitval dan neem je een UPS.

De aanschaf van een UPS had ik geen rekening mee gehouden. Ik dacht dat ZFS juist beter met de gevolgen van een stroomstoring om zou moeten gaan. Als een stroomonderbreking een groot risico is om je pool met data te verliezen dan raak ik onzeker.
O.a. op het FreeBSD forum kom je opmerkingen tegen over het risico van powerfailures: https://forums.freebsd.or...ve-zfs.19885/#post-113350

Daarom vraag ik jullie mening, want er is hier veel deskundigheid en ervaring aanwezig. Ik begrijp dat dit risico in mijn situatie verwaarloosbaar is?

Had je al gezegd hoeveel schijven je ging gebruiken.

Nou ik ben de paragrafen gewijd aan pool configuraties nog aan het bestuderen. Ik twijfel nog tussen een mirror of Z2 configuratie.
Als ik een Z2 configuratie bouw, dan zou ik vier HDD's moeten kopen. Dan kan ik later nog wel uitbreiden mocht dat nodig zijn.

[HyperH]

FireDrunk schreef op zondag 17 mei 2015 @ 21:57:
1) Nee, die verhalen stammen uit ATA land. AHCI/SATA heeft een keurige implementatie voor FLUSH SYNC, dat wil zeggen dat je OS kan bepalen of de disk zijn caches naar disk moet flushen, en alle moderne Operating Systems gebruiken dit.

Het stukje van de PostgreSQL wiki is een beetje verwarrend, want het gaat om S-ATA vs SCSI, maar in de tekst spreken ze over ATA.
Dit probleem speelt dus eigenlijk niet meer met S-ATA?

Er is wel een lijst met controllers die goed werken met ZFS. Kort door de bocht: Alles wat puur AHCI praat, alle controllers gebaseerd op LSI's SAS1068, SAS2008 en SAS2308 chipsets. Al de andere controllers zijn reden om even goed te googlen naar ervaringen van andere gebruikers.

Controllers die je doorgaans niet wil (maar er zijn uitzonderingen): HP, Dell, Fujitsu, 3Ware, Promise, Highpoint, Areca, Adaptec, en alles waar het woord RAID in de naam zit moet je voor oppassen.

Dat is best een lange lijst met ook gerenommeerde merken die worden genoemd. In het DIY NAS topic werd o.a. de Highpoint Rocket 640L aanbevolen, die heeft wel Linux en FreeBSD ondersteuning, maar die kan ik dan dus toch beter links laten liggen begrijp ik?
De meeste moederbord controllers zijn dan ook niet geschikt? Op sommige websites wordt juist aanbevolen om deze wel te gebruiken, omdat deze meer bandbreedte zouden moeten hebben dan de controllers op de PCIe bus?

2) HDD's aansluiten op externe SDD controllers??? Say Whut? Bedoel je nou SAS Controllers? Nee dat is niet nodig. AHCI is goed genoeg voor ZFS (hoewel SAS in extreme gevallen het beste kan zijn, maar dat is een hele andere discussie.)

Sorry voor de verwarring. Dat was een foutje van mij. Ik bedoelde een externe HDD controller. (niet de HDD controller op het moederbord, maar een losse controller op de PCIe bus)

3) ZFS werkt niet op een RAID systeem. Je moet ZFS gebruiken op een supported platform. Dat wil zeggen: AHCI, of speciale SAS/SATA controllers die geschikt geacht zijn. (en dat heeft dus vooral te maken met punt 1.

Ja, ik heb nogmaals een artikel gelezen en ik begrijp nu het verschil tussen de verschillende controllers. Ik moet oppassen voor hardware-raid en goedkope 'nep'-raid controllers. Het moet een SATA/SAS controller zijn.

[CurlyMo]

HyperH schreef op zondag 17 mei 2015 @ 23:42:
[...]

De aanschaf van een UPS had ik geen rekening mee gehouden. Ik dacht dat ZFS juist beter met de gevolgen van een stroomstoring om zou moeten gaan. Als een stroomonderbreking een groot risico is om je pool met data te verliezen dan raak ik onzeker.
O.a. op het FreeBSD forum kom je opmerkingen tegen over het risico van powerfailures: https://forums.freebsd.or...ve-zfs.19885/#post-113350

Daarom vraag ik jullie mening, want er is hier veel deskundigheid en ervaring aanwezig. Ik begrijp dat dit risico in mijn situatie verwaarloosbaar is?

Je draait nu mijn woorden om. Ik zeg juist dat er geen enkele reden is om je zorgen te maken. MAAR als je dat niet gelooft, koop een UPS.

Nou ik ben de paragrafen gewijd aan pool configuraties nog aan het bestuderen. Ik twijfel nog tussen een mirror of Z2 configuratie.
Als ik een Z2 configuratie bouw, dan zou ik vier HDD's moeten kopen. Dan kan ik later nog wel uitbreiden mocht dat nodig zijn.

Gewoon voor Z2 gaan. Dat biedt je meer bescherming dan een mirror.

[HyperH]

tvwes schreef op zondag 17 mei 2015 @ 22:12:
[...]
Nee, ZFS controlleert de caches. Dit is een van de redenen dat het in het algemeen beter is geen raid controller met write cache te gebruiken. Het is niet dat de raid controller niet werkt met ZFS maar de RAID controller liegt over het algemeen aangaande scsi commando "synchronize_cache" (35h). ZFS wil graag zelf de controle houden over de caches zodat als het aan jouw meld dat het is opgeslagen het ook echt is opgeslagen. (Consumenten SSD's liegen hier ook graag over)

Dus het probleem van data corruptie of zelfs het verliezen van een pool na een stroomonderbreking is reëel? Het speelt alleen bij het gebruik van een RAID controller of bij SSD's.
Als ik dus mijn HDD's aan een HBA SATA controller hang zou alles goed moeten gaan?

Wat is een externe SDD controller?

Sorry mijn fout. Ik bedoelde een losse HDD controller voor de PCIe bus. In dit geval een SATA controller dus.

Niet bij ZFS. Wel een goed mobo en het liefst ECC. ZFS regelt veel voor je maar als je ram steken laat vallen kan je als nog in de problemen komen. Zoek een paar weken terug in dit forum naar dit onderwerp.

De ECC discussie had ik al helemaal gelezen en ik was al van plan om ECC te gaan gebruiken.

En wat niet is genoemd is of je een harddisk koopt met of zonder TLER support. Ook dit onderwerp leid tot verhitte discussies. Zoek maar terug in het topic. Ik adviseer zelf altijd een disk met TLER te nemen als meerdere harddisken tegelijk in een enkele zpool wilt gebruiken. Bij een enkele disk, voor bijv een backup, is het een ander verhaal. TLER zorgt ervoor dat de schijf niet lang (tot wel een minuut) blijft proberen iets te lezen maar na een paar seconden het al opgeeft. ZFS zal vervolgens de fout lachend herstellen. De meeste toepassingen, filmpje streamen of virtual machines, houden niet van dit soort extreme vertragingen. Beter snel falen en ZFS laten repareren dan blijven proberen. Als het je enige harddisk is in je laptop ben je natuurlijk heel blij als de schijf het een tijdje probeert.

Die TLER is een goede tip. Ik las net een stukje over TLER en dat dit tegenwoordig niet meer op de consumenten HDD's van WD zit. Nu had ik al gezien dat de WD Green geen geschikte HDD zou zijn, maar de gewone WD's dus ook niet zonder TLER.

De postgres wiki doelt op liegende hardware. Je kan databases perfect op ZFS laten draaien. Zolang jij niet bepaalde tweaks doet liegt ZFS niet en heb je een zeer goed filesystem voor een database.

Ja ik had wel door dat het om de 'liegende' hardware ging. Mijn vraag was of ik zelf iets aan die 'liegende' hardware moest doen of niet.
Zoals ik het nu begrepen heb van jullie reacties zou dit niet nodig zijn wanneer ik SATA HDD's gebruik i.c.m. een SATA controller zonder RAID.

[HyperH]

CurlyMo schreef op zondag 17 mei 2015 @ 23:51:
Je draait nu mijn woorden om. Ik zeg juist dat er geen enkele reden is om je zorgen te maken. MAAR als je dat niet gelooft, koop een UPS.

Zo bedoelde ik het niet hoor. Ik wilde aangeven waar mijn vraag vandaan kwam. Juist omdat ik de kennis en ervaring hier op waarde schat wilde ik het aan jullie voorleggen.
Enkele regels verder vat ik de gegeven reacties samen in mijn eigen woorden zoals ik het begrepen heb. Met een vraagteken om zeker te zijn dat ik het goed heb begrepen.

Ik besef dat ik niet alles goed heb verwoord. Ik had dat typfoutje met de 'externe SDD' controller ook al gemaakt. Gewoon over heen gelezen bij het teruglezen.
Je moet het vooral niet persoonlijk opvatten. Ik ben al enkele dagen aan het onderzoeken en het weekend heb ik gebruikt om zoveel mogelijk over ZFS te lezen. ZFS is namelijk nieuw voor mij en ik wil het beter begrijpen zodat ik geen stomme keuzes ga maken en ook geen domme vragen hoef te stellen.
Aan het einde van het weekend ben ik nu gewoon een beetje gaar en is de opbouw c.q. formulering in mijn tekst wat minder zorgvuldig.

[tvwes]

HyperH schreef op zondag 17 mei 2015 @ 23:58:
[...]

Dus het probleem van data corruptie of zelfs het verliezen van een pool na een stroomonderbreking is reëel? Het speelt alleen bij het gebruik van een RAID controller of bij SSD's.
Als ik dus mijn HDD's aan een HBA SATA controller hang zou alles goed moeten gaan?

Je moet een aantal zaken goed gescheiden houden in de discussie.
ZFS raakt niet corrupt door netuitval, een per ongeluk tikje tegen de reset knop of wat dan ook.
ZFS kan data verliezen door niet netjes het systeem te stoppen (stroom uitval of wat dan ook) Wat betekend "data verliezen"? Als de applicatie aan het OS vraagt iets naar disk te schrijven en het OS meld terug dat het goed is opgeslagen en na de stroomuitval of crash de data er niet is dan is er data verloren. Hoe kan je dat voorkomen?
Doe een synchronous write, dat betekent dat alle data in de write ook daadwerkelijk op disk moet staan en dat een crash of stroomuitval geen probleem moet zijn. Als het OS aan de applicatie terug meld dat het succesvol is weggeschreven staat het ook echt op disk. (Als je hardware niet liegt)
Toch word dit niet altijd gedaan. Waarom niet? Omdat deze synchrone writes hele beroerde performance hebben, alle caches worden effectief uitgezet.
Standaard bundelt ZFS writes in een zogeheten transaction group (txg) en schrijft deze eenmaal per 5 seconden naar disk. Heb je voor die 5 seconden verstreken zijn een netuitval of crash dan verlies je al die data maar is er geen corruptie. Het OS/ZFS zal voor deze asynchrone writes ook melden dat ze gelukt zijn alleen heb je niet de garantie dat ze echt op disk staan. Het is aan de applicatie ontwikkelaar om die keuze te maken.

De UPS heb je dus niet perse nodig, je ZPOOL raakt niet corrupt maar de applicatie die er gebruik van maakt misschien wel. Het meest praktische voorbeeld wat ik kan noemen zijn vSphere datastores via iSCSI. Datastores via NFS zijn geen probleem want die gaan wel synchroon met de bijbehorende performance hit maar via iSCSI loop je wel dat risico. ZFS is geen probleem als je weer opstart maar je vm's vinden dat niet altijd even leuk. Daar kan een UPS een groot verschil maken. Om net even alles netjes af te sluiten. Nogmaals voor ZFS hoeft het niet, maar nuttig is het altijd.

[...]

Sorry mijn fout. Ik bedoelde een losse HDD controller voor de PCIe bus. In dit geval een SATA controller dus.


[...]

De ECC discussie had ik al helemaal gelezen en ik was al van plan om ECC te gaan gebruiken.


[...]

Die TLER is een goede tip. Ik las net een stukje over TLER en dat dit tegenwoordig niet meer op de consumenten HDD's van WD zit. Nu had ik al gezien dat de WD Green geen geschikte HDD zou zijn, maar de gewone WD's dus ook niet zonder TLER.


[...]

Ja ik had wel door dat het om de 'liegende' hardware ging. Mijn vraag was of ik zelf iets aan die 'liegende' hardware moest doen of niet.
Zoals ik het nu begrepen heb van jullie reacties zou dit niet nodig zijn wanneer ik SATA HDD's gebruik i.c.m. een SATA controller zonder RAID.

Zolang jij of je onboard AHCI/SATA controller gebruikt of een LSI SAS HBA, zoals eerder genoemd, zit je goed. Andere controllers kunnen werken maar de onboard of een LSI HBA werken echt. Die LSI chip's zitten ook in controllers van Dell of HP maar zoek eerst even of een oem model geschikt is voor ZFS. Alle controllers met accu's, dimm's, raid in de naam of koelventilators moet je inrpincipe niet hebben. Gewoon je model model samen met het woord ZFS opzoeken en je komt er snel achter of dat een goede combi is. En hier in het topic is ook genoeg te vinden.

[Compizfox]

CurlyMo schreef op zondag 17 mei 2015 @ 23:51:
[...]
Gewoon voor Z2 gaan. Dat biedt je meer bescherming dan een mirror.

Ehm, volgens mij niet. Bij een RAID-Z2 heb je parity equivalent aan 2 disks. In het geval van 4 disks in totaal, heb je dus precies 1/2 parity (de helft van je schijven mag tegelijkertijd stuk gaan).

Dat is bij een mirror van twee disks toch ook zo? Het voordeel van RAID-Z2 boven mirroring is dat je hogere performance hebt.

[FireDrunk]

Zelfs dat niet, je hebt hogere data dichtheid... Het wordt pas een verschil op het moment dat je 4 schijven met elkaar gaat vergelijken.

2 mirrors zijn namelijk onveiliger dan een pool van vier schijven in raidz2. Dit omdat in de raidz2 pool er twee *willekeurige* schijven kunnen falen.
Bij de mirrors zijn dat twee specifieke schijven.

[CurlyMo]

HyperH schreef op maandag 18 mei 2015 @ 00:22:
[...]
Je moet het vooral niet persoonlijk opvatten. Ik ben al enkele dagen aan het onderzoeken en het weekend heb ik gebruikt om zoveel mogelijk over ZFS te lezen. ZFS is namelijk nieuw voor mij en ik wil het beter begrijpen zodat ik geen stomme keuzes ga maken en ook geen domme vragen hoef te stellen.
Aan het einde van het weekend ben ik nu gewoon een beetje gaar en is de opbouw c.q. formulering in mijn tekst wat minder zorgvuldig.

Het was een constatering geen aanval

Ik denk dat je in veel gevallen ZFS overschat. Tuurlijk is ECC, 16GB Ram, Quad Core i7 op een Supermicro allemaal het beste maar als thuisgebruiker kan je ook prima uit de voeten de eerste tijd met een simpel moederbord met 4GB geheugen en zonder ECC. Als die gevaren die je overal leest zijn te verwaarlozen IMHO.

Het enige wat goed is om op letten is schaalbaarheid. Als je een m-itx moederbord koopt, begin dan met 8GB zodat je later er nog 8GB bij kan kopen. Begin met een enkele ZFS Mirror zodat je later door kan groeien naar alles vanaf 4 disk RAIDZ2. Denk ook na hoeveel schijven je wil gaan gebruiken en of je dat allemaal onboard wil aansluiten. Idem qua voeding. Ga je uiteindelijk 20 schijven aansturen, koop dan geen 300W voeding.

In mijn situatie weet ik dat ik niet meer data heb dan ik met 4 schijven kan opvangen. Daarbij 2 SSD's voor VM en OS. Gezien de VM's ook 16GB geheugen. Meer heb ik ook niet nodig en geen ECC Ram aangezien ik onsite én offsite backups heb. Daarom draai ik dus in een m-itx setup met een 6x sata moederbord en 2x 8GB ram. Dat is hier voldoende.

Het kan zijn dat anderen het niet met me eens zijn, maar dat is misschien het perspectief van professionele ZFS sysadmins

@CompizFox, wat FireDrunk dus zegt.

[vanaalten]

Als je serieus geen data wil verliezen bij een powerfailure, dan kan je volgens mij niet om een UPS heen. Als ik tvwes hiervoor goed begrepen hebt zorgt de opbouw van ZFS ervoor dat het filesystem niet corrupt raakt en dat, als je software data opslaat, het werkelijk is opgeslagen als de software zegt dat het opgeslagen is.

Dus stel, je bent in photoshop of zo bezig en je slaat je grote belangrijke job op. Je drukt op save, de opslag duurt vijf seconde of zo (grote files en zo) en de software zegt klaar te zijn met opslaag... en juist dan krijg je een powerfailure. ZFS heeft dan daadwerkelijk de boel opgeslagen, het filesystem is nog OK en je bent niets kwijt.

Maar als je je zorgen maakt over zo'n scenario, dan is net zo waarschijnlijk dat er een powerfailure is *tijdens* die vijf seconde van het opslaan zelf. Je filesystem zal nog OK zijn, de data die is weggeschreven staat daadwerkelijk op de disk maar je bent alsnog data kwijt.

Of, extremer: je bent al een hele dag bezig een word-document in te kloppen, een hoop denk & typewerk er in gestoken en op het eind van de dag valt de stroom uit. Resultaat: document weg.

Het ligt voor de hand, maar toch: ZFS beschermt niet tegen het verlies van data dat je niet hebt opgeslagen. Als je je zorgen maakt over powerfailures dan is een UPS, lijkt mij, misschien nog belangrijker dan ZFS implementeren.

[FireDrunk]

Als je de hele dag aan een word document werkt, en pas aan het einde van de dag het ding op slaat, ben je sowieso een knurft

Maar je hebt wel gelijk, als tijdens een Transaction Group de stroom uitvalt, ben je alle data in de transaction group kwijt. Maar dat is ook wat je wil, want je wil geen kapotte halve data die gemixt is met data die er al stond.

Dit soort scenario's heb je ook bij alle andere filesystems, dus zijn absoluut niet aan de orde om wel of niet voor ZFS te kiezen. Het is alleen maar handig om de werking te begrijpen, maar verder zou ik me er niet druk over maken.

Ultieme zfs machine is: Snelle CPU, Extreem grote bak met ECC geheugen en Memory Mirroring, flinke RAIDZ3 array, en goede software, (en een goede beheerder )

[Pantagruel]

vanaalten schreef op maandag 18 mei 2015 @ 08:13:
..snipzz..

Het ligt voor de hand, maar toch: ZFS beschermt niet tegen het verlies van data dat je niet hebt opgeslagen. Als je je zorgen maakt over powerfailures dan is een UPS, lijkt mij, misschien nog belangrijker dan ZFS implementeren.

Redundante PSU voor t geval dat....

FireDrunk schreef op maandag 18 mei 2015 @ 08:32:
Als je de hele dag aan een word document werkt, en pas aan het einde van de dag het ding op slaat, ben je sowieso een knurft

Vaak kunnen ze de meest onwijze opsmuk/maak voor elkaar toveren in een Word doc/Powerpoint presentatie, maar je zult ze de kost moeten geven die reageren met "Ohh kan dat ook zo, zo automatisch..." als je ze wijst op de 'AutoSave' of 'AutoSave recovery every X minutes' van Office.

Maar je hebt wel gelijk, als tijdens een Transaction Group de stroom uitvalt, ben je alle data in de transaction group kwijt. Maar dat is ook wat je wil, want je wil geen kapotte halve data die gemixt is met data die er al stond.

Onder het motto 'Beter een klein beetje kwijt dan veel data beschadigd/inconsistent'

Dit soort scenario's heb je ook bij alle andere filesystems, dus zijn absoluut niet aan de orde om wel of niet voor ZFS te kiezen. Het is alleen maar handig om de werking te begrijpen, maar verder zou ik me er niet druk over maken.

Ultieme zfs machine is: Snelle CPU, Extreem grote bak met ECC geheugen en Memory Mirroring, flinke RAIDZ3 array, en goede software, (en een goede beheerder )

Het laatste is idd. niet van minder belang, liefst ook nog voorzien van wat geduld en een luisterend oor om de wens van de gebruiker(s) aan te horen (en een poging wil doen om deze te begrijpen).

[tvwes]

Toch nog een keer wat over dataverlies en corruptie. (Ik zal het heel grof en algemeen houden) Voor de rest van deze uitleg zal het woord "crash" gebruiken als synoniem voor stroomuitval, onbedoelde reset, panic, vastloper etc.
ZFS raakt niet corrupt door een crash. Na de crash is er geen repair of fsck nodig. Hoe kan dat? Heel erg versimpeld, iedere write/update in ZFS is een transactie (txg) met een bijhorend monotoon stijgend nummer. Stel je huidige toestand is txg 100 en je bent allemaal dingen aan het schrijven van txg 101 en plots is er een crash. Dan zal na de herstart alles nog steeds op txg 100 staan, de restjes van txg 101 zijn "automagisch" weg. Vergelijk het met een pin transactie. Of het lukt en de ene partij heeft een bedrag erbij en de andere heeft hetzelfde bedrag eraf. Of het lukt niet en alles is zoals het ervoor was. Deze ACID eigenschappen zijn cruciaal. ZFS heeft dat ook, klassieke filesystemen als NTFS of EXT hebben niet deze automatische consistentie.
Dat was de consistentie van het filesysteem. Nu dataverlies. Dat is wat ik eerder al schreef meer een verantwoordelijkheid van de applicatie programmeur. (ook hier zal ik weer heel erg versimpelen) Applicaties die met transacties werken, als een boekingsysteem of bankrekeningen, willen na de crash graag dat alles weer is zoals daarvoor. Jij als consument zou het niet leuk vinden dat het geld wel van je rekening is afgeboekt maar dat de vliegtuig maatschappij zegt "wij weten van niks". Zo'n situatie kan ontstaan doordat het OS meld dat je write is gelukt maar dat de data nog in een cache zit en nog niet op disk. Ja de write is op zich gelukt want de opdracht is aangekomen en de data om weg te schrijven is in de cache klaar gezet om weg te schrijven. Alleen als er een crash is zal deze data verloren gaan, dit is wat met het bovengenoemde dataverlies wordt bedoeld.
Deze aanpak met bijbehorend risico op dataverlies is de standaard in computers.
Je moet je hier niet druk over maken want je windows werkt ook zo. Alleen specialistische applicaties als databases zullen voor synchrone writes kiezen met de performance nadelen en de betrouwbaarsheidsgarantie.
Bedenk ook even wat voor zin het heeft om af te dwingen dat je file direct op disk wordt geschreven (synchroon zonder caching) en halverwege de save valt de stroom uit. Na het rebooten zal er nog steeds een halve file staan de andere helft is simpelweg niet opgeslagen omdat het uberhaubt nog was aangeboden om weg te schrijven. Je zal bijna nooit iets hebben aan die halve file. Hier kan een UPS uitkomst bieden. Dit is waarom "normale" applicaties de data asynchroon (met caching) wegschrijven. Stel je wilt een grote file van 500Mb wegschrijven. Je drukt op save en 100Mb .. 200Mb..300Mb en crash. Wat maakt het uit dat er na het opstarten plots 200Mb op de disk staat ipv 300Mb. Je bent nu 100Mb kwijt wat in de caches zat. Het maakt niet uit want je moest 500Mb opslaan. En alleen aan die 500Mb heb je wat aan niet aan een stukje. Deze aanpak nemen we dagelijks allemaal voor lief.

Wat heeft bovenstaande uitleg te maken met ZFS? Als je niet synchroon schrijft heeft ZFS een write cache van 5 seconden. Wat betekent dat je max 5 seconden aan data kan verliezen. Stel dat je via gbit 5 seconden goed veel weet te schrijven dan kan je zo'n 500Mb verliezen.

Tot slot nog de vergelijking:
Stel je hebt een stapel brieven die je wilt verzenden.
Bij synchrone write gaat die stapel brieven als volgt worden bezorgd. Je komt met je brieven bij het postkantoor dan wordt de eerste brief aangenomen bezorgt en de postbode komt weer terug naar de balie en zegt dan "deze is afgeleverd" en pakt de volgende en gaat die bezorgen. Jij staat al die tijd te wachten maar weet wel dat de brieven precies in de juiste volgorde en echt zijn afgeleverd.
Bij asynchrone writes (de default mode) geef je de stapel in keer af bij het postkantoor, waarbij de medewerker lacht en zegt dat het allemaal in orde gaat komen. De brieven worden vervolgens op een efficiente manier bezorgd. Namelijk door ze te sorteren en gelijkwaardige bestemmingen te groeperen. En niet per stuk ze te gaan bezorgen. Dit is een snelle en goedkope manier van bezorgen. Ja er is een kans dat een vrachtwagen met brieven verloren gaat maar dan neem je een UPS.

(Disclaimer ik heb tal van zaken weggelaten om het niet te lang en te zwaar te maken)

Samenvattend:
-ZFS raakt niet corrupt door een crash (ZFS kan wel corrupt raken, bijv door geheugen fouten)
-ZFS verliest geen data, zolang de applicatie hier om vraagt.
-ZFS heeft een write-cache van 5 seconden
-ZFS weet wanneer het de caches van harddisken moet legen. De harddisk moet daar dus niet over liegen.
-ZFS heeft geen zware CPU nodig, zelfs met een pentium of celeron kan je makkelijk gbit datastromen afhandelen incl compressie.
-ZFS heeft niet veel ram nodig, praktisch zou ik niet minder dan 4GB nemen. Veel ram heeft alleen zin als er iets te cachen valt. Als je alleen maar films streamt dan valt er weinig te cachen. Heb je een ESX server dan valt er veel te cachen. Begin klein en analyseer je ARC bepaal dan of het zin heeft om heel veel geheugen te kopen.
-Kijk even naar wat CurlyMo eerder schreef over het inzetten van een snelle SSD zpool en een langzame harddisk zpool. Dat is een hele kosten-baten efficiente opzet.

[FireDrunk]

Mooi verhaal!

kleine sidenote: Die 5 seconden write-cache is instelbaar. Vroegah was dat 15 seconden, maar op BSD en Linux platformen is het tegenwoordig 5 seconden.

Een quick-win voor het verhogen van je sequentiele transfer snelheid is vaak om deze timeout op 1 seconde te zetten.

(zfs_vdev_min_pending en zfs_vdev_max_pending)

[Pantagruel]

tvwes schreef op maandag 18 mei 2015 @ 11:20:
Toch nog een keer wat over dataverlies en corruptie. (Ik zal het heel grof en algemeen houden) Voor de rest van deze uitleg zal het woord "crash" gebruiken als synoniem voor stroomuitval, onbedoelde reset, panic, vastloper etc.

..deleted HUGE txt block

Voor de echt geïnteresseerden onder ons, lees deze pdf: End-to-end Data Integrity for File Systems: A ZFS Case Study door.

Abstract
We present a study of the effects of disk and memory corruption on file system data integrity.
Our analysis focuses on Sun’s ZFS, a modern commercial offering with numerous reliability mechanisms. Through careful and thorough fault injection, we show that ZFS is robust to a wide range of disk faults.
We further demonstrate that ZFS is less resilient to memory corruption, which can lead to corrupt data being returned to applications or system crashes. Our analysis reveals the importance of
considering both memory and disk in the construction of truly robust file and storage systems

[ Voor 35% gewijzigd door Pantagruel op 18-05-2015 11:35 ]

[tvwes]

FireDrunk schreef op maandag 18 mei 2015 @ 11:26:
Mooi verhaal!

kleine sidenote: Die 5 seconden write-cache is instelbaar. Vroegah was dat 15 seconden, maar op BSD en Linux platformen is het tegenwoordig 5 seconden.

Je hebt helemaal gelijk, maar zoals ik al schreef het was een vereenvoudiging. Stel je eens voor als ik echt los zou gaan ..
Maar waar haal jij 15 seconden vandaan? Het is ooit 30 seconden geweest in pre onnv-87, maar ik vraag me af of iemand hier (behalve mezelf) daar ervaring mee heeft.

Een quick-win voor het verhogen van je sequentiele transfer snelheid is vaak om deze timeout op 1 seconde te zetten.

(zfs_vdev_min_pending en zfs_vdev_max_pending)

Eh... je haalt hier twee dingen door elkaar. Wat jij denk ik bedoeld is de zfs_txg_timeout. De twee tuneables die jij noemt regelen het aantal uitstaande i/o per device. En hebben niets te maken met txg's.

[tvwes]

Pantagruel schreef op maandag 18 mei 2015 @ 11:29:
[...]


Voor de echt geïnteresseerden onder ons, lees deze pdf: End-to-end Data Integrity for File Systems: A ZFS Case Study door.


[...]

Goede paper, ik heb daar naar verwezen destijd als argument om wel ECC te gebruiken. Sommige risico's die in de paper staan zijn inmiddels verholpen.

Helaas kunnen niet veel mensen dit soort papers echt lezen en begrijpen.

[A1AD]

Pantagruel schreef op maandag 18 mei 2015 @ 11:29:
[...]
Voor de echt geïnteresseerden onder ons, lees deze pdf: End-to-end Data Integrity for File Systems: A ZFS Case Study door.
[...]

Super interessant! thx

[Compizfox]

FireDrunk schreef op maandag 18 mei 2015 @ 06:45:
2 mirrors zijn namelijk onveiliger dan een pool van vier schijven in raidz2. Dit omdat in de raidz2 pool er twee *willekeurige* schijven kunnen falen.
Bij de mirrors zijn dat twee specifieke schijven.

Aha, check. Daar had ik nog niet aan gedacht

[FireDrunk]

tvwes schreef op maandag 18 mei 2015 @ 11:50:

[...]

Eh... je haalt hier twee dingen door elkaar. Wat jij denk ik bedoeld is de zfs_txg_timeout. De twee tuneables die jij noemt regelen het aantal uitstaande i/o per device. En hebben niets te maken met txg's.

Ah, scuzy, je hebt gelijk Die vdev_max_pending was wel een tweak die je sequentiele transfers boost.
Was het niet zo dat als de vdev de max IO boundary raakt, je txg automatisch gecommit werd?

Is alweer een tijd geleden dat ik daar iets over gelezen heb.

Ik zal sowieso eens een keer kijken wat die txg_timeout voor effect heeft op sequentiele transfers.

Voor de meeste mensen hier, is ZFS in gebruik voor media, en zijn dat soort tweaks dus interresant

[Pantagruel]

tvwes schreef op maandag 18 mei 2015 @ 11:55:
[...]

Goede paper, ik heb daar naar verwezen destijd als argument om wel ECC te gebruiken. Sommige risico's die in de paper staan zijn inmiddels verholpen.

Helaas kunnen niet veel mensen dit soort papers echt lezen en begrijpen.

Klopt, de paper is inmiddels al weer uit feb 2010 en pittige leesstof.

[CurlyMo]

Pantagruel schreef op maandag 18 mei 2015 @ 12:50:
[...]
Klopt, de paper is inmiddels al weer uit feb 2010 en pittige leesstof.

Het meest schokkende is nog wel dat niet het fysieke geheugen zelf het probleem hoeft te vormen als wel het gebruik van het geheugen door willekeurige software. Hoeveel (linux) software wel niet wordt ontwikkeld zonder serieus het eigen werk te analyseren via valgrind of gdb is echt schokkend. Het voor mij meest schrijnende geval was avrdude. Dat is echt een vergiet als het gaat om geheugenbeheer. Het zijn echter wel deze programma's die voor memory corruptie kunnen zorgen in geheugengebieden in gebruik door ZFS en vervolgens voor data corruptie. Het heeft me dan ook aardig wat moeite gekost om avrdude helemaal op te lappen zodat ik het als library kon opnemen in mijn eigen pilight. Dus ECC geheugen is leuk, maar dan moet je tevens zeker weten dat andere programma's niet aan de software kant stilletjes het geheugen corrumperen door slecht geheugenbeheer.

Het is overigens erg leuk om je systeem te laten crashen met een doelbewuste geheugencorruptie Bijv. het corrumperen van een bepaalde belangrijke IRQ.

[Compizfox]

CurlyMo schreef op maandag 18 mei 2015 @ 12:58:
[...]


Het meest schokkende is nog wel dat niet het fysieke geheugen zelf het probleem hoeft te vormen als wel het gebruik van het geheugen door willekeurige software. Hoeveel (linux) software wel niet wordt ontwikkeld zonder serieus het eigen werk te analyseren via valgrind of gdb is echt schokkend. Het voor mij meest schrijnende geval was avrdude. Dat is echt een vergiet als het gaat om geheugenbeheer. Het zijn echter wel deze programma's die voor memory corruptie kunnen zorgen in geheugengebieden in gebruik door ZFS en vervolgens voor data corruptie.

Huh, dat hoort toch niet te kunnen? Ik dacht dat een application een SEGFAULT krijgt als ie geheugen van een ander programma/van de kernel probeert te accessen.

[Verwijderd]

Goede paper maar onduidelijk voor veel mensen is dat de corruptie die plaatsvindt door geheugenfouten in veel gevallen tijdelijke corruptie is; die evengoed weer gecorrigeerd wordt bij een volgende toegang. Voor bedrijven is dit niet zo relevant: zij hebben end-to-end data protection nodig omdat hun applicaties geen corrupte data mogen ontvangen. Stel dat de bank bij het overboeken van geld door een RAM bitflip opeens een paar miljoen ipv een paar euro overmaakt, of naar een andere rekening. Afijn..

Maar voor thuisgebruikers is het helemaal niet zo erg dat er tijdelijke corruptie plaatsvindt. Stel dat in een RAID-Z2 pool er diverse blokjes corrupt zijn door RAM bitflips, wordt dat evengoed weer gecorrigeerd bij een scrub of volgende I/O actie. Nu kunnen RAM bitflips er in theorie ook voor zorgen dat de hele pool corrupt raakt; al heb ik daar nog nooit één concreet voorbeeld van gezien. De normale RAM bitflips komen enorm vaak voor. Ik heb al minimaal 8 mensen met zelfbouw NAS gehad die dit opmerken. En de grap is dat zij dit opmerkten doordat ZFS op een later tijdstip de corruptie weer herstelde; dan zie je dus checksum errors op je disks willekeurig. Vooral als deze willekeurig verspreid zijn over de disks, is geheugen corruptie een zeer aannemelijke oorzaak. Maar tot permanente corruptie heeft het in de praktijk nog nooit geleid, althans ik heb daar nog nooit een concreet voorbeeld van gezien.

Risicoafweging is belangrijk; alleen door alle verhalen over corruptie denk ik dat het voor de gebruiker niet duidelijk hoe deze risico's in te schatten. Ook zijn de belangen van zakelijke gebruikers en thuisgebruikers op bepaalde punten heel anders. Ik vind het dus heel gevaarlijk om algemeen advies bedoeld voor enterprise-gebruikers zomaar op thuisgebruikers toe te passen. Ook vraag ik mij af of gebruikers inderdaad begrepen hadden dat het in die paper om tijdelijke corruptie gaat; die aan de applicatie wordt geleverd. Er wordt niet gesteld dat deze corruptie een volgende keer gewoon weer gecorrigeerd wordt, mits de checksum zelf niet gecorrumpeerd is.

Leuk voorbeeld is de gebruiker ikkeenjij36. Deze is door alle spookverhalen ook geïnteresseerd in ECC geheugen. Maar hij gebruikt nog wel zijn OCZ Vertex als systeemschijf. Dan heb je dus een extreem klein risico met veel geld afgedekt, terwijl een supergroot risico wagenwijd open blijft staan; want een OCZ SSD is in feite onbruikbaar door continu corruptie. Het is voor gebruikers niet altijd duidelijk welke risico's nu echt belangrijk zijn, en welke risico's een margekwestie zijn. Een UPS is ook logischer, voordat je een koepel tegen meteorietinslag zou bouwen. Kortom, begin eerst met het uitschakelen van de grote risico's wat met weinig geld kan, en eindig bij het uitschakelen van kleine risico's met grof geld. Dat is het toetje dat je als thuisgebruiker altijd kunt overwegen om enterprise-achtige veiligheid te bereiken. Maar daar heb je weinig aan als je de veel grotere risico's niet uitsluit. Daarom dat ik de hele discussie hieromtrent zeer nadelig vindt voor thuisgebruikers. Ook zie ik dat mensen ZFS links laten liggen ("want dat werkt alleen goed met ECC") en maar terug gaan naar hun legacy oplossing. Compleet idioot en de oorzaak van deze verkeerde afweging zoek ik in de cowboy-verhalen over ZFS en veiligheid. Want als iemand ZFS kiest, dan moet gelijk voor duizenden euro's alle mogelijke risico's worden uitgesloten. Terwijl dat onzinnig is; een legacy oplossing heeft meer baat bij ECC dan ZFS zou ik durven te stellen; omdat ZFS tenminste detectie heeft voor alle corruptie - ook al is die detectie vertraagd - en tevens enige vorm van correctie heeft voor RAM bitflips. Bij legacy oplossingen zijn beide afwezig, en legacy oplossingen gebruiken meer RAM geheugen dan ZFS.

[CurlyMo]

Compizfox schreef op maandag 18 mei 2015 @ 13:12:
[...]

Huh, dat hoort toch niet te kunnen? Ik dacht dat een application een SEGFAULT krijgt als ie geheugen van een ander programma/van de kernel probeert te accessen.

Dat kan best hoor. Gewoon een memory map aanleggen op een willekeurig geheugen gebied en bitjes aanpassen

[Compizfox]

Verwijderd schreef op maandag 18 mei 2015 @ 13:12:
* lang verhaal *

amen.

[FireDrunk]

CurlyMo schreef op maandag 18 mei 2015 @ 13:16:
[...]

Dat kan best hoor. Gewoon een memory map aanleggen op een willekeurig geheugen gebied en bitjes aanpassen

Ik ben toch echt van mening dat dat niet zou moeten kunnen hoor? Een proces krijgt zijn eigen memory ruimte, en daar moet ie binnen blijven... De root user heeft misschien wat speciale rechten om hier wat gekke dingen mee te doen, maar het zou bizar zijn als applicaties zomaar andermans geheugen uit zouden kunnen lezen...

[yamahabest]

Hoe staat het eigenlijk met ZFSGuru 0.3? Ik heb eerst berichten gezien van april en later van mei?

[Verwijderd]

Bijna alles is af, draai het nu hier. Overmorgen bij mijn familie installeren. Kortom, het is al 'af' maar er moeten nog wat dingen met de web-interface en distributie-tags gebeuren, en uiteindelijk nog verse systeem images. Dus waarschijnlijk nog een weekje.

0.3 zal nog geen ondersteuning hebben voor de Raspberry Pi; maar daar zijn al wel plannen voor. Wat wel in 0.3 zal zitten zijn de nieuwe distributies, RoZ / RoR / RoM.

[FireDrunk]

Root on ZFS, Root on RAM, Root on Mobile?

[Verwijderd]

Ah sorry, voor mij inmiddels bekende koek

RoZ = Root-on-ZFS - ongeveer gelijk aan wat ZFSguru nu gebruikt alleen kun je nu je eigen extra filesystems opgeven en nog wat opties.

RoR = Root-on-RAM, dus tmpfs op de root en het hele OS draait in RAM. Dat betekent ook dat alle disks afgesloten kunnen worden en natuurlijk maximale performance. Alleen wel 1GB minder RAM.

RoM = Root-on-Media, dus een LiveCD of USB stick waarbij de systeemversie direct gemount wordt. Zo kun je ook booten op systemen met minder dan 1GiB RAM. Dus Raspberry Pi wil je met RoM kunnen booten.

Nu doet de LiveCD nog iets als RoR, maar dat wordt dus RoM zodat je minder RAM nodig hebt en sneller kunt booten. Maar je kunt met USB stick of op je hardeschijf ook voor RoR of RoM kiezen, dat kon eerst niet.

Vooral RoR vind ik interessant. Ook omdat FreeBSD nu met memory compression & deduplication bezig is: https://wiki.freebsd.org/...mpression%26Deduplication.

[yamahabest]

FireDrunk schreef op maandag 04 mei 2015 @ 21:53:
Die kans is groot ja. Die IPMI usb speler doet een hele oude usb controller na volgens mij, en die is/was een beetje bugged in BSD.

'Gewone' USB cdrom spelers zouden het gewoon moeten doen.

Potverdrie... De USB cdrom speler doet het ook niet...
Zelfde foutmelding.

Toch maar een USB stick in VirtualBox maken dan.

[FireDrunk]

Tja, het blijft BSD

[yamahabest]

Was die 0.3 maar klaar...