Het grote ZFS topic

[ikkeenjij36]

Verwijderd schreef op zaterdag 15 november 2014 @ 19:59:
Hmhm, plex conflicteert met MiniDLNA. Dus als je die uitschakelt, zou je Plex wel goed moeten kunnen starten.

Via DM mag altijd. Het is op dit moment zo dat dit topic al erg druk is; straks is er een speciaal topic voor dit soort vragen en stoort dat minder voor de mensen die enkel over ZFS zelf willen discussiëren, en niet over specifieke ZFS platforms of diens addons.

Ok ik zal je even op de hoogte houden via pm.
Net minidlna eraf gegooid en hij is nu aan het rebooten.
OOk nog even een vraagje over de ibm1015,kan het kloppen dat je niet kan booten als ik er mijn boot ssd aan hang?

[Verwijderd]

Dat kan heel goed kloppen ja. Sowieso is het echt veel beter als je je SSD op de chipset AHCI poorten aansluit. Je hebt dan TRIM ondersteuning en kan DIPM gebruiken en is in theorie ook sneller.

[ikkeenjij36]

Ok dat idd maar gedaan en het werkt gelukkig,in is het aan de binnenkant van mijn server weer iets netter geworden.
Dm is gestuurd

[ Voor 7% gewijzigd door ikkeenjij36 op 15-11-2014 20:24 ]

[hansdegit]

Ik doe ongetwijfeld iets niet goed, maar ik zie het niet... Ik wil om de zoveel dagen een automatische scrub van de pools. Ik heb /etc/periodic.conf ge-edit, maar scrubbn: ho maar....

/etc/periodic.conf:

code:

## /etc/periodic.conf
## override periodically executed cron scripts
#

# disable scanning of all filesystems every night at 3:01 am.
daily_status_security_chksetuid_enable="NO"

# daily ZFS status querying
daily_status_zfs_enable="NO"                    # check ZFS
daily_status_zfs_zpool_list_enable="YES"        # list ZFS pools

# automatic scrubbing (which checks data on your ZFS pool)
daily_scrub_zfs_enable="YES"                    # change NO to YES to enable
daily_scrub_zfs_pools="hdtier ssdtier"                  # empty string selects all pools
daily_scrub_zfs_default_threshold="15"          # days between scrubs
#daily_scrub_zfs_POOLNAME_threshold="35"        # pool specific threshold

Waar gaat het mis en wat moet ik nog meer instellen? Welke dingetjes kan ik nog controleren?

[matty___]

hansdegit schreef op maandag 17 november 2014 @ 11:22:
Ik doe ongetwijfeld iets niet goed, maar ik zie het niet... Ik wil om de zoveel dagen een automatische scrub van de pools. Ik heb /etc/periodic.conf ge-edit, maar scrubbn: ho maar....

/etc/periodic.conf:

code:

## /etc/periodic.conf
## override periodically executed cron scripts
#

# disable scanning of all filesystems every night at 3:01 am.
daily_status_security_chksetuid_enable="NO"

# daily ZFS status querying
daily_status_zfs_enable="NO"                    # check ZFS
daily_status_zfs_zpool_list_enable="YES"        # list ZFS pools

# automatic scrubbing (which checks data on your ZFS pool)
daily_scrub_zfs_enable="YES"                    # change NO to YES to enable
daily_scrub_zfs_pools="hdtier ssdtier"                  # empty string selects all pools
daily_scrub_zfs_default_threshold="15"          # days between scrubs
#daily_scrub_zfs_POOLNAME_threshold="35"        # pool specific threshold

Waar gaat het mis en wat moet ik nog meer instellen? Welke dingetjes kan ik nog controleren?

en als je daily_scrub_zfs_pools leeg laat

[hansdegit]

Had ik eerst geprobeerd, maar gaf ook geen effect.

[FREAKJAM]

Gebruik je ZFS on Linux? ik gebruik het volgende script om te monitoren of mijn pool elke week wordt gescrubbed:

Vergeet niet de volgende regels te uncommenten in het script:

code:

   ### Ubuntu with GNU supported date format
    #scrubRawDate=$(/sbin/zpool status $volume | grep scrub | awk '{print $11" "$12" " $13" " $14" "$15}')
    #scrubDate=$(date -d "$scrubRawDate" +%s)

Met behulp van crontab draai ik bovenstaand script in combinatie met het scrub script zelf:

code:

SHELL=/bin/bash
PATH=/bin:/sbin:/usr/bin:/usr/sbin
0 7,11,16 *   *   *   /etc/init.d/healthcheck
0 1 * * mon           /etc/init.d/scrub

code:

#!/bin/bash
HOSTNAME=`hostname -s`
POOL="tank"

STATUS=`/sbin/zpool status $POOL`

echo "About to scrub pool $POOL, current status is: $STATUS "
/sbin/zpool scrub $POOL

[ Voor 36% gewijzigd door FREAKJAM op 17-11-2014 15:34 ]

[hansdegit]

Nee, ik gebruik ZFSGuru. Het is natuurlijk niet zo lastig om het via cron te regelen, maar ik meende hier geelzen te hebben dat dit vrij eenvoudig met /etc/periodic.conf geregeld kon worden. Ik snap alleen niet waarom dat bij mij dan weer niet werkt...

We zoeken verder.

[Verwijderd]

Hoe heb je het getest dan? Want je hebt het nu op eens in de 15 dagen staan. Heb je ook 15 dagen gewacht dan?

[hansdegit]

Hij staat al sinds 23 september op 15 dagen en er is nog niets gebeurd. Daaruit blijkt natuurlijk ook dat het niet zo hoog op mijn lijstje stond....Maar nu wil ik het gewoon gaan regelen. Doel was (of eigenlijk: is nog steeds) om dat op de FreeBSD standaard wijze te regelen, maar op één of andere wijze wordt dat niet zo mooi gestart bij mij.

Moet ik nog iets in de cron veranderen? Of kan het zijn dat ik iets stoms heb veranderd in de cron zonder dat ik het nog weet? Waar worden die periodic scripts afgetrapt? Dan kan ik daar eens een kijkje nemen.

[matty___]

hansdegit schreef op maandag 17 november 2014 @ 16:01:
Hij staat al sinds 23 september op 15 dagen en er is nog niets gebeurd. Daaruit blijkt natuurlijk ook dat het niet zo hoog op mijn lijstje stond....Maar nu wil ik het gewoon gaan regelen. Doel was (of eigenlijk: is nog steeds) om dat op de FreeBSD standaard wijze te regelen, maar op één of andere wijze wordt dat niet zo mooi gestart bij mij.

Moet ik nog iets in de cron veranderen? Of kan het zijn dat ik iets stoms heb veranderd in de cron zonder dat ik het nog weet? Waar worden die periodic scripts afgetrapt? Dan kan ik daar eens een kijkje nemen.

En als je # periodic daily draait?

[syl765]

Waar worden die periodic scripts afgetrapt? Dan kan ik daar eens een kijkje nemen.

In de file /etc/crontab staat het volgende.
# Perform daily/weekly/monthly maintenance.
0 * * * * root periodic hourly
1 3 * * * root periodic daily
15 4 * * 6 root periodic weekly
30 5 1 * * root periodic monthly

Maar zoals gezegd, periodic daily eens rechtstreeks draaien!

[justice strike]

Even een vraag voor de mensen die wat beter bekend zijn met VM's icm zfs.

Ik wil zfs in een VM draaien (waarschijnlijk freenas om minder hassle te hebben). Nu weet ik dat het niet gewenst is omdat je wat zaken mist (zoals SMART). Maar waar ik voornamelijk in geinteresseerd ben is het feit dat ik de schijven uit de pc kan trekken en in een andere pc kan stoppen en ze weer kan starten. Hiervoor wil ik de schijven in Raw Disk Mode in een VM hangen. Kan dit zo, of is dat toch anders dan zfs op bare metal te laten draaien? (i.e. doet raw disk mode nog wat dingen zodat je die schijven niet 1 op 1 over kan zetten op een andere server?)

verder moet ik nog een keuze maken tussen hyper-v of virtualbox. Ik vind virtualbox zoveel makkelijker in gebruik, maar hyper-v is toch wel netjes geintegreerd met windows. Is er een voorkeur voor het 1 of het ander? Werkt zoiets als S.M.A.R.T. bijvoorbeeld wel in hyper-v (het werkt niet in virtualbox bij mijn weten)

Ik krijg over deze 2 vragen niet echt een eenduidig antwoord, anders dan; Ik heb geen idee, maar het voelt niet goed om freenas op rdm te draaien.

[Compizfox]

Ik heb pas zo'n dergelijke setup gevirtualiseerd onder Hyper-V. Dat werkt op zich, maar ik heb geen S.M.A.R.T.

Op zich is S.M.A.R.T. niet nodig voor de werking van ZFS, maar ik vraag me wel af hoe 'raw' die disk passthrough nou echt is.

Ik dacht zelf altijd dat elke vorm van abstractie tussen de fysieke disk en ZFS ongewenst was (dus bijvoorbeeld ook Virtual RDM van ESXi), maar dat blijkt dus helemaal niet zo te zijn (volgens FireDrunk, tenminste)

Lees anders even een paar pagina's terug

De boel werkt natuurlijk gegarandeerd als je gewoon de hele controller met PCI-e passthrough doorgeeft, maar hiervoor heb je uiteraard IOMMU (Intel VT-d / AMD-Vi) nodig. Daarnaast geloof ik niet dat Virtualbox en Hyper-V dit kunnen. ESXi weer wel.

Als je het niet erg vind om Windows als host te draaien, snap ik niet waarom je Virtualbox zou verkiezen boven Hyper-V. Volgens mij is Hyper-V een stuk stabieler en volwassener dan Virtualbox. Daarnaast is Hyper-V een type-1 hypervisor en dus meer bare-metal dan een type-2 hypervisor zoals Virtualbox.

[ Voor 35% gewijzigd door Compizfox op 19-11-2014 15:22 ]

[Bigs]

RDM is toch een 1:1 mapping van sectors van de fysieke schijf naar de virtuele schijf in je VM? Daar zou je bij gebruik van ZFS geen last van mogen hebben. Ik gebruik zelf geen SMART in mijn ZFS setups.. ik zie wel wanneer een schijf ermee ophoudt maar dat mis je dus wel.

De theoretische prestaties van een met VT-d doorgegeven controller zullen wel hoger zijn, maar RDM is niet per se traag. Ik heb in een niet-ZFS setup wel eens een RAID10 LUN van een RAID controller doorgegeven aan een VM (onder ESXi) en dat presteerde uitstekend.

[Compizfox]

Virtual RDM geeft het als block device door. Je VM kan dus niet in AHCI communiceren met de schijf.

Bij Physical RDM zit er enkel een vertaalslag van AHCI naar SCSI tussen dacht ik, dus dan werkt S.M.A.R.T., downspinning e.d. ook allemaal.

[justice strike]

is de distinctie tussen virtual en physical rdm wel gemaakt in virtual box of hyper-v ik heb die optie er namelijk niet tussen gezien.

De andere vraag is dan meteen als die distinctie er niet is, wat doet hyper-v en virtualbox dan?

[Compizfox]

justice strike schreef op woensdag 19 november 2014 @ 16:20:
is de distinctie tussen virtual en physical rdm wel gemaakt in virtual box of hyper-v ik heb die optie er namelijk niet tussen gezien.

Van Hyper-V weet ik dat dat klopt, er is simpelweg "disk passthrough".

De andere vraag is dan meteen als die distinctie er niet is, wat doet hyper-v en virtualbox dan?

Geen idee. Dat vroeg ik me dus ook al af

Ik wist eigenlijk niet eens dat Virtualbox ook schijven raw kon doorgeven. Is dat nieuw?

[justice strike]

volgens mij niet nieuw, maar het is geen optie die je krijgt bij het aanmaken van een nieuwe vm. Dan moet je een vm maken zonder disk en daarna de raw disk eraan hangen.

[Keiichi]

Ik ben een pool van een server naar de andere aan schrijven met het commando

code:

zfs send tank/jail/dumpbak@t1 | /usr/local/bin/ssh -o cipher=none -o NoneSwitch=yes -o NoneEnabled=yes 192.168.5.154 zfs recv test/newpool/dumpbak

Maar bij het monitoren van het netwerkverkeer, stopt de transfer tijdelijk even voordat ie verder gaat. Als ik gstat op de ontvanger draait, lijkt het dan gedurende deze periode 1 vdev (lijkt willekeurig) op 100% bezig is, wellicht dat die een clue geeft wat het voorzaakt (mij op het moment niet ). sync staat op disabled.
Wat kan dit veroorzaken?

[Verwijderd]

offtopic:
CiPHER=none

Zie je in gstat dat het random seeks betreft? De metadata moet ook worden ingelezen namelijk.

[Keiichi]

Verwijderd schreef op woensdag 19 november 2014 @ 20:57:

offtopic:
CiPHER=none

offtopic:
sorry Maar het gaat zo veel sneller

Zie je in gstat dat het random seeks betreft? De metadata moet ook worden ingelezen namelijk.

Het is verschrikkelijk lastig te monitoren, omdat de 'freezes' te pas en onpas komen. Ik zal binnenkort eens scriptje maken dat output van gstat naar soort van spreadsheet omzet.

Zou ik bv met een l2arc ssd dit 'probleem' kunnen verminderen? Met oog op caching van metadata.

[justice strike]

nou... Freenas ondersteund de scsi controller van hyper-v niet, en met virtualbox werkt het ook niet soepeltjes Moet misschien maar een full blown freebsd installatie worden met zfsguru erop... heb er eigenlijk geen zin in omdat het toch wel een behoorlijk hoeveelheid werk is om dat op te zetten.

Iemand nog ideeen om dit in een wat kortere tijdsbestek op te zetten? Is er een standalone install voor zfsguru want de laatste keer dat ik het installeerde was het nogal wat werk en het upgraden ging daarna niet meer van zijn lijen dakje.

[Compizfox]

Welke versie van FreeBSD draaide je?

Ik heb het hier onder FreeBSD 10.1 gevirtualiseerd onder Hyper-V van Windows Server 2012 gewoon draaien met disk passthrough.

[justice strike]

freenas is volgens mij freebsd 9.2.1.x

in de freebsd wiki staat:
As of FreeBSD 10.0, Hyper-V integration services provide the following functionality.

Dus freenas gaat niet werken totdat ze up to scratch zijn. Zijn er nog andere opties voor zfs onder hyper-v welke maintenance free zijn?

[ Voor 77% gewijzigd door justice strike op 21-11-2014 13:22 ]

[Compizfox]

ZFSGuru?

[FireDrunk]

Niets is eigenlijk echt maintenance free... Zolang het (indirect) aan het internet hangt, vind ik persoonlijk dat je gewoon moet patchen...

[ikkeenjij36]

Hallo ik heb zfsguru uitgezet via de gui,daarna een nieuwe extra schijf ingedaan.
Bij het opstarten blijft ie hangen bij starting sabnzbd en is de server niet bereikbaar,ook niet via ssh.
Waarom gebeurt dit toch elke keer?
En hoe krijg ik hem weer werkend?
Alle tips welkom.
Voorderest is er niks veranderd,kabels zitten ook allemaal goed en de schijven draaien ook allemaal.

[FREAKJAM]

No offence, maar is ZFSGuru niet te complex voor je? Ik heb het idee dat je te vaak issues/problemen met je setup hebt en niet in staat bent zelf te troubleshooten en/of het probleem op te lossen.

Is OpenMediaVault wellicht niet iets voor je? Dan heb je wel geen ZFS, maar wel verder alles wat je eigenlijk zoekt:

openmediavault-plexmediaserver
openmediavault-couchpotato
openmediavault-sabnzbd
openmediavault-sickbeard
openmediavault-snapraid

etc etc.

Met betrekking tot je probleem; hang een monitor aan je server en kijk wat er mis gaat bij het opstarten. Haal desnoods de schijf eruit en kijk of ie het dan weer doet. Waarvoor is de extra schijf trouwens? Bij ZFS kan je er namelijk niet zomaar een schijf bij pleuren (of heb je een schijf moeten vervangen?)

[ Voor 24% gewijzigd door FREAKJAM op 21-11-2014 21:33 ]

[EnerQi]

ikkeenjij36 schreef op vrijdag 21 november 2014 @ 18:40:
Hallo ik heb zfsguru uitgezet via de gui,daarna een nieuwe extra schijf ingedaan.
Bij het opstarten blijft ie hangen bij starting sabnzbd en is de server niet bereikbaar,ook niet via ssh.
Waarom gebeurt dit toch elke keer?
En hoe krijg ik hem weer werkend?
Alle tips welkom.
Voorderest is er niks veranderd,kabels zitten ook allemaal goed en de schijven draaien ook allemaal.

1. Keyboard aangesloten? Mijn eerste NAS wilde niet opstarten als er geen keyboard gevonden kan worden.
2. Is niet toevallig de harde schijf volgorde aangepast door die extra schijf? check je BIOS/UEFI.

[Verwijderd]

@ikkeenjij36: wat vond je mijn voorstel om je setup minder foutgevoelig te maken door zaken te splitsen? Dus je SAB enzo in een VM of op een dedicated machine en je NAS ook als pure NAS houden. Dan hoef je er ook niets meer mee te doen maar kun je het lange tijd laten draaien.

Nu komt het regelmatig voor dat je alles goed draaiend hebt, maar bijvoorbeeld een update doet of iets anders, en het dan niet meer werkt. Je hebt elke keer weer andere problemen; soms gaan ze vanzelf weer weg. Ik wil je prima helpen maar ik vraag me ook af of je huidige opzet wel fijn voor jou werkt. Is het niet fijner om wat extra geld uit te geven en zaken te scheiden door je SAB op een ander systeem uit te voeren?

De meeste ZFSguru gebruikers hebben juist heel weinig problemen, vooral omdat ze weinig veranderen aan hun systeem. Eenmaal opgezet kun je zoiets jaren laten draaien, mits je geen veiligheidsrisico's hebt doordat de machine direct aan het internet zit (webserver,ftp,whatever).

Dus denk eens na hoe je je setup zo kunt inrichten dat je er bijna geen omkijken meer naar hebt en het 'gewoon werkt' want dat is wel zo fijn.

[ikkeenjij36]

Nee heb tot nu toe alleen de extra schijf erbij geplaatst en nergens nog in guru er wat mee gedaan.
Daarom is het juist zo gek dat ie blijft hangen bij starting sabnzbd.
Dat heeft toch niks met elkaar te maken?
Wat betreft te complex,als dat zo is zouden jason en cipher hun doel voorbij schieten met hun project want het moet ook voor noobs te doen zijn.
Ik heb alleen de sabnzbd services erop gezet en transmission dus als mediaserver gebruik ik hem,zoals de meeste van jullie bezig zijn is het idd te complex voor mij en daarom nu alleen als mediaserver gebruik ik hem en wacht de verdere ontwikkelingen af zodat ik er net wat meer mee kan doen als alleen een mediaserver.

[Verwijderd]

Maar punt is wel dat je met SAB toch vaak problemen hebt. Dus je kunt dan op zoek naar mogelijkheden om SAB niet via ZFSguru te draaien maar of in een virtual machine zoals een Ubuntu VM waarop SAB draait, ofwel op een dedicated systeem hiervoor.

Wil je toch proberen je huidige probleem te fixen; begin dan eens met een uitgebreide omschrijving en genoeg informatie waardoor we het probleem serieus kunnen analyseren. Mag ook in een apart topic, dat lijkt me iets beter.

[FREAKJAM]

Vind het een beetje te kort door de bocht om te zeggen Jason en CiPHER hun doel voorbij schieten. ZFS, Linux, FreeBSD etc is sowieso niet noobproof, (dat is mijn mening) je moet gewoon weten wat je aan het doen bent en niet zomaar dingen volgen die op het internet te lezen zijn en commando's copy/pasten en in je terminal hengsten. (Niet persoonlijk, gewoon in het algemeen).

Ik lees voornamelijk in dit topic problemen over XBMC, Plex en SabNZBd etc. De core van ZFSGuru (ZFS on root zelf) draait volgens mij bij jou zonder problemen, het zijn eerder de plugins die je problemen geven. (Vandaar ook het advies van CiPHER om het te scheiden).

CiPHER helpt je telkens heel erg uitgebreid, maar omdat ik het zo vaak zie voorkomen in dit topic vraag ik me af of deze setup wel de juiste oplossing voor je is. Misschien toch maar eens splitsen de boel.

Ik heb ook puur ZFS on Linux in een aparte VM draaien. (Ik heb 9 virtual machines). Aparte VM voor MySQL, aparte VM voor Plex, aparte VM voor pfSense, etc etc. Dan weet je in ieder geval zeker dat het elkaar allemaal niet bijt.

[ Voor 4% gewijzigd door FREAKJAM op 21-11-2014 22:08 ]

[justice strike]

Het is nogal vreemd. Maar ik heb de grootste moeite om freebsd onder Hyper-v te installeren.

gen 1 machines kunnen alleen booten van ide. Dus dat betekent, of 2 pools waarvan 1 in ide hangt of je pools kunnen niet groter worden dan 4 schijfen (want je hebt maar een max van 2 ide channels welke 2 devices aankunnen.

in een gen 2 machine is er geen ide, maar de cd booten van scsi blijkt niet helemaal goed te werken.

Ik dacht slim te zijn en alles op gen 1 machine te installeren en dan de schijfen te migreren naar gen 2 machine, maar dat boot ook niet.

Iemand enig idee hoe ik freebsd op een gen2 machine werkend krijg?

[Verwijderd]

Gebruik je 10.1? Volgens mij heb je ook bepaalde KLDs nodig, kernel modules.

Deze info is van 10.0, maar kun je proberen:

code:

  echo  "# Loader labels for Hyper-V drivers -do not modify" >> /boot/loader.conf
  echo  "hv_vmbus_load=\"YES\"" >> /boot/loader.conf
  echo  "hv_utils_load=\"YES\""  >> /boot/loader.conf
  echo  "hv_storvsc_load=\"YES\""  >> /boot/loader.conf
  echo  "hv_netvsc_load=\"YES\""  >> /boot/loader.conf
  echo  "hv_ata_pci_disengage_load=\"YES\""  >> /boot/loader.conf

[Compizfox]

Ik heb ZFSGuru (FreeBSD 10.1) gewoon werkend onder Hyper-V zonder extra kernel modules.

Ik heb gekozen voor Gen1, en heb de schijven niet onder een IDE maar onder een SCSI-controller geplaatst. Het is niet erg dat daar niet van geboot kan worden, want ZFSGuru zelf is gewoon geinstalleerd op een VHD die aan een IDE-controller hangt.

[ Voor 26% gewijzigd door Compizfox op 22-11-2014 18:41 ]

[justice strike]

ik gebruik zfsguru dus dat is inderdaad 10.1. ik gebruik geen vhd maar raw disks. Dus het is voor mij weldegelijk van belang dat het niet onder een ide controller hangt. Probleem is niet zozeer dat hij de scsi niet herkend in gen 1 want dat werkt goed. Maar je kunt er niet van booten (wat ik wel een probleem vind).

Als ik dan voor gen2 ga dan ik met geen mogelijkheid iets geboot krijgen.

[Compizfox]

Je hoeft toch ook niet te kunnen booten van die schijven? Installeer ZFSGuru zélf gewoon op een VHD, die je aan een IDE-controller hangt. Daar kun je dan vanaf booten.

En de raw disks voor je ZFS pool hang je dan aan je SCSI-controller.

[ Voor 3% gewijzigd door Compizfox op 22-11-2014 19:48 ]

[justice strike]

gen 2 vm's zijn een stuk sneller omdat er bijna niets geemuleerd meer word. Daarbij vraag ik mij ook af hoe ik gebruik kan maken van non legacy netwerk kaarten want nu zit zfs vast aan een 100mbit kaartje. Das wel wat langzaam.

[Verwijderd]

Gebruikt HyperV geen virtio? Want dat werkt als het goed juist wel snel en is paravirtualisatie; dat is juist wat je wilt ipv emulatie van 'echte' hardware.

[justice strike]

wat ik zie met hyper-v gen 1 (kan het niet nagaan met gen 2) is dat zfsguru erg langzaam boot (bij installeren) en dat scsi wel wordt herkend maar de non legacy netwerkkaarten niet werken.

om een beeld te geven van hoe langzaam. Ik zie letterlijk de letters 1 voor 1 op beeld komen en dat regel voor regel. Ik zie wel dat de hyper-v drivers geladen worden.


Vreemd genoeg boot freenas wel gewoon snel op, maar die ziet de scsi disks dan weer niet.

[ Voor 30% gewijzigd door justice strike op 22-11-2014 21:44 ]

[Compizfox]

Bedoel je toevallig dat je de tekst regel-voor-regel voorbij ziet komen, in een extreem lage snelheid? Dat is een bekende bug in de console driver van FreeBSD (vt) in combinatie met Hyper-V. Na installatie heb je er geen last meer van, omdat je dan een nieuwere versie installeert waarin die bug gefixed is.

https://bugs.debian.org/cgi-bin/bugreport.cgi?bug=755739

Het is dus niet zo dat de VM écht zo traag is (dat zou ook wel zo extreem traag zijn dat het vrijwel onmogelijk is, zelfs onder qemu waarbij je alles emuleert is het niet zo traag), alleen de console driver is traag.

[ Voor 36% gewijzigd door Compizfox op 22-11-2014 23:16 ]

[nero355]

FREAKJAM schreef op vrijdag 21 november 2014 @ 22:05:
ZFS, Linux, FreeBSD etc is sowieso niet noobproof, (dat is mijn mening) je moet gewoon weten wat je aan het doen bent en niet zomaar dingen volgen die op het internet te lezen zijn en commando's copy/pasten en in je terminal hengsten. (Niet persoonlijk, gewoon in het algemeen).

FreeBSD heeft een geweldige Handbook die je IMHO als nieuwe gebruiker gewoon een paar keer moet doornemen en dan vooral de onderdelen die je gaat gebruiken : http://www.freebsd.org/do...books/handbook/index.html

Het is IMHO juist een heel strak ingedeeld OS met hele duidelijke instructies en voorbeelden in heel veel config files, maar je moet er gewoon effe wat extra tijd voor nemen net als met elk nieuw OS

Ik lees voornamelijk in dit topic problemen over XBMC, Plex en SabNZBd etc. De core van ZFSGuru (ZFS on root zelf) draait volgens mij bij jou zonder problemen, het zijn eerder de plugins die je problemen geven. (Vandaar ook het advies van CiPHER om het te scheiden).

Ook dat is geen probleem, maar nogmaals : Effe goed inlezen over hoe het OS in elkaar zit!

Ik heb ook puur ZFS on Linux in een aparte VM draaien. (Ik heb 9 virtual machines). Aparte VM voor MySQL, aparte VM voor Plex, aparte VM voor pfSense, etc etc. Dan weet je in ieder geval zeker dat het elkaar allemaal niet bijt.

Dat kan eventueel allemaal in aparte Jails. Wat een Jail is ?

STAAT IN HET HANDBOEK!!!


Op voorwaarde dat je MS-DOS en Windows echt goed kent is een willekeurig BSD of Linux gebaseerd OS echt geen probleem, maar het kost een beetje tijd en dat moet je maar net ervoor over hebben!

[FREAKJAM]

Ik weet wat jails zijn, ik heb zelf in het begin ook FreeNAS gedraaid, maar toch wil ik liever alles 100% gescheiden hebben op basis van VM's en niet op basis van jails.

Bovendien, ik sprak niet voor mezelf maar voor iemand anders.

[matty___]

FREAKJAM schreef op maandag 24 november 2014 @ 08:56:
Ik weet wat jails zijn, ik heb zelf in het begin ook FreeNAS gedraaid, maar toch wil ik liever alles 100% gescheiden hebben op basis van VM's en niet op basis van jails.

Bovendien, ik sprak niet voor mezelf maar voor iemand anders.

Met als reden? Maar je kunt ook VM's draaien met Bhyve in FreeBSD.

Apps uit elkaar houden zou ik met jails doen en enkel pfsense in een VM draaien

[Compizfox]

FREAKJAM schreef op maandag 24 november 2014 @ 08:56:
Ik weet wat jails zijn, ik heb zelf in het begin ook FreeNAS gedraaid, maar toch wil ik liever alles 100% gescheiden hebben op basis van VM's en niet op basis van jails.

Waarom zou je dat doen? Geeft dat niet ontzettend veel (onnodige) overhead? Zelf draai ik mijn VMs onder ESXi, maar ik scheid alleen dingen als dat echt moet (x en y kunnen niet op dezelfde VM draaien) of omdat ik verschillende operating systems wil draaien (ik heb ZFS onder FreeBSD draaien, en bv. mijn webserver onder Debian)

[FireDrunk]

Ik vind jails ook niet zo'n grote meerwaarde hebben voor thusigebruik.
Ik heb momenteel de volgende VM's

ZFSonLinux + SabNZBd (vanwege performance redenen)
NZBDrone (als vervanger voor SickBeard) icm CouchPotato
GITLab
OwnCloud
Minecraft VM

De GitLab VM zou in theorie nog bij de andere erop kunnen, maar de GitLab en OwnCloud VM's zijn Turnkey Linux 'standaard' VM's.

[FREAKJAM]

Ik heb 9 virtual machines:

Bubuntu (Nakivo backup)
Cubuntu (ownCloud)
Dubuntu (couchpotato + nzbget + sonarr (nieuwe naam van nzbdrone))
Mubuntu (Observium, monitoring)
pfSense (firewall)
Pubuntu (Plex Media Server)
Vubuntu (vCenter)
Wubuntu (Webserver, Nginx + Mysql)
Zubuntu (ZFS on Linux).

Afgelopen weekend heb ik trouwens een update van zfs-dkms geinstalleerd en nu importeert mijn Ubuntu server mijn pool niet meer automatisch na een reboot. Vreemde is dat ik de pool alleen nog maar kan importen op basis van disk-id. Mijn disklabels zijn naar de malle moer.

code:

maximum@zubuntu:~$ sudo zpool import -d /dev/disk/by-partlabel/
   pool: tank
     id: 6234290816706156355
  state: UNAVAIL
 status: One or more devices contains corrupted data.
 action: The pool cannot be imported due to damaged devices or data.
   see: http://zfsonlinux.org/msg/ZFS-8000-5E
 config:

        tank                                          UNAVAIL  insufficient repl                                                                                           icas
          raidz2-0                                    UNAVAIL  insufficient repl                                                                                           icas
            ata-WDC_WD30EFRX-68EUZN0_WD-WMC4N0237419  ONLINE
            ata-WDC_WD30EFRX-68EUZN0_WD-WMC4N0245360  ONLINE
            zfs                                       ONLINE
            8529719075795222734                       FAULTED  corrupted data
            7489901603709643194                       FAULTED  corrupted data
            zfs                                       FAULTED  corrupted data
maximum@zubuntu:~$ sudo zpool import -d /dev/disk/by-id/
   pool: tank
     id: 6234290816706156355
  state: ONLINE
 action: The pool can be imported using its name or numeric identifier.
 config:

        tank                                          ONLINE
          raidz2-0                                    ONLINE
            ata-WDC_WD30EFRX-68EUZN0_WD-WMC4N0237419  ONLINE
            ata-WDC_WD30EFRX-68EUZN0_WD-WMC4N0245360  ONLINE
            ata-WDC_WD30EFRX-68EUZN0_WD-WMC4N0328511  ONLINE
            ata-WDC_WD30EFRX-68EUZN0_WD-WMC4N0565098  ONLINE
            ata-WDC_WD30EFRX-68EUZN0_WD-WMC4N0565375  ONLINE
            ata-WDC_WD30EFRX-68EUZN0_WD-WMC4N0565854  ONLINE

Na een paar scrubs blijkt een film een permanent error te hebben. Deze heb ik vanmorgen verwijderd. Nu hopen dat alles goed blijft draaien.

Wel belangrijke opmerking:

Vooraan had ik de volgende entry in /etc/default/zfs staan, maar dit mag blijkbaar niet meer

code:

Do not set ZFS_MOUNT=y in the /etc/default/zfs file. (This option is deprecated. The /etc/init.d/zfs-mount script will not be installed for new installations.)

[ Voor 85% gewijzigd door FREAKJAM op 24-11-2014 09:51 ]

[DXaroth]

FREAKJAM schreef op maandag 24 november 2014 @ 09:48:
Ik heb 9 virtual machines:

Bubuntu (Nakivo backup)
Cubuntu (ownCloud)
Dubuntu (couchpotato + nzbget + sonarr (nieuwe naam van nzbdrone))
Mubuntu (Observium, monitoring)
pfSense (firewall)
Pubuntu (Plex Media Server)
Vubuntu (vCenter)
Wubuntu (Webserver, Nginx + Mysql)
Zubuntu (ZFS on Linux).

Je mist nog een paar letters in je alfabet

[Compizfox]

FREAKJAM schreef op maandag 24 november 2014 @ 09:48:
Ik heb 9 virtual machines:

Bubuntu (Nakivo backup)
Cubuntu (ownCloud)
Dubuntu (couchpotato + nzbget + sonarr (nieuwe naam van nzbdrone))
Mubuntu (Observium, monitoring)
pfSense (firewall)
Pubuntu (Plex Media Server)
Vubuntu (vCenter)
Wubuntu (Webserver, Nginx + Mysql)
Zubuntu (ZFS on Linux).

Pff, waarom zou je dat doen? Als ik het even goed bekijk zou je 8 van die 9 VMs (je zelfbedachte Ubuntu-varianten ) gewoon op 1 VM kunnen draaien. Dat lijkt me toch een stuk simpeler (en sneller!) dan zo'n wildgroei van VMs.

[DXaroth]

Compizfox schreef op maandag 24 november 2014 @ 09:51:
[...]

Pff, waarom zou je dat doen? Als ik het even goed bekijk zou je 8 van die 9 VMs (je zelfbedachte Ubuntu-varianten ) gewoon op 1 VM kunnen draaien. Dat lijkt me toch een stuk simpeler (en sneller!) dan zo'n wildgroei van VMs.

totdat je in upgrade trajecten komt (12.04 => 14.04 bijvoorbeeld), als je niet weet wat wel en niet blijft draaien.. je kan nu lekker per instance upgraden, gaat het mis, rollback van die instance, en dan wachten tot die -wel- werkt met de nieuwe versie.

[Compizfox]

Tja, daarom draai ik dus Debian testing, da's lekker rolling

[FireDrunk]

Precies, er zijn meerdere voor- en na-delen... Voor ieder wat wils

Compizfox schreef op maandag 24 november 2014 @ 09:54:
Tja, daarom draai ik dus Debian testing, da's lekker rolling

Brrr, testing...

[ Voor 59% gewijzigd door FireDrunk op 24-11-2014 09:54 ]

[Compizfox]

Niks mis met testing. Durf zelfs te stellen dat het net zo stabiel is als (of nog stabieler is dan) Ubuntu.

[justice strike]

eindelijk alles draaiend onder hyper-v. Weet niet zeker of vt-x en vt-d geactiveerd zijn. vt-x lijkt me haast wel, vt-d lijkt me haast niet, maar ik weet niet waar ik dat kan bekijken.

Verder draait snel genoeg, maar internet netwerk werkt niet heel soepeltjes, externe netwerk werkt vrij goed (maar is gelimiteerd op 1 gbit denk ik aangezien de throughput niet hoger dan 100 mb komt). Ik denk dat het interne netwerk niet goed werkt omdat het niet via dhcp werkt. Het is maar even het gevoel wat ik erbij heb, het is nog niet gekwantificeerd.

ISCSI ook al uitgeprobeerd. Dacht dat het wel beter zou zijn dan smb, maar bij nader inzien denk ik dat smb beter is omdat dat op fileniveau werkt en ook geschikt is voor netwerk sharing. Ik heb zo'n idee dat ntfs dat niet is.

Nu moet ik even uitzoeken hoe je minidlna kan instellen want het werkt wel, maar ik kan geen libraries aanwijzen, dus alles lijkt leeg vanuit xbmc. Iemand enig idee waar je dat kan installen?

Verder zit ik nog een beetje te dubben of ik moet dedupen. Er zit 8gb ram in de machine, en de totale schijfruimte van de zpool waar ik op wil dedupen is (maar) 900 gb (das 3 schijven van 320gb). Was de stelregel niet iets van 4gb minimum plus 1gb per terabyte en als je wil dedupen een extra gb per terabyte. Dan zou ik uitkomen op ongeveer 6 gb. Zou moeten werken lijkt zo. klopt deze gedachte gang? ik weet dat er geen eenduidig antwoord hierop is, maar guidelines geven me wat meer houvast.

Laatste waar ik nog over zit te dubben. Ik heb een falende ssd schijf in de machine gezet, als cache (niet als zil) en een kleine ssd (120gb) als os/cache/zil. De twee zaken waar ik over na zit te denken. Zil en cache op 1 schijf kan dat? Zil op een falende ssd, maakt dat uit?

[ Voor 47% gewijzigd door justice strike op 24-11-2014 10:14 ]

[Compizfox]

Ik geloof niet dat Hyper-V PCI-e passthrough ondersteunt. Aan je IOMMU heb je dus niets.

SLOG en L2ARC kan op een enkele SSD, maar let wel op dat je SLOG device supercaps heeft. En een falende SSD als SLOG, ik hoef hopelijk niet uit te leggen waarom dat geen goed idee is.

[ Voor 54% gewijzigd door Compizfox op 24-11-2014 10:41 ]

[FREAKJAM]

Er is trouwens sinds kort een ZFS plugin in OpenMediaVault. Als iemand zich mocht vervelen. Directe link naar de .deb file van de nieuwste versie vind je hier en changelog hier.

Ik heb nu trouwens een nieuwe scrub aan het doen op mijn schijven en het gaat ontzettend traag; ~60 M/s. Normaal gaat dit minimaal met 400M/s. Binnenkort toch eens mijn pool opnieuw opbouwen (schijf voor schijf formatten en telkens mijn pool laten resilveren). Voor de zekerheid misschien alvast een reserve-schijf aanschaffen (Ik heb nog 2 jaar garantie, maar dan duurt het wellicht te lang eerdat ik een nieuwe schijf krijg).

[ Voor 72% gewijzigd door FREAKJAM op 24-11-2014 11:19 ]

[FireDrunk]

Heb je hem zelf al geprobeerd, en zo ja, wat vond je er van?

[IceTeaGX]

Compizfox schreef op maandag 24 november 2014 @ 10:16:Ik geloof niet dat Hyper-V PCI-e passthrough ondersteunt. Aan je IOMMU heb je dus niets.

Hyper-V kan enkel netwerk SR-IOV gebruiken. IOMMU met andere devices kan het niet.
Het kan echter wel vrij aardig een vorm van RDM toepassen, en de schijven rechtstreeks onder een virtuele SCSi/SAS adapter plaatsen.

Echter draait zfsguru niet bepaald lekker onder hyper-v. Opstarten duurt minuten, de console refresht regel per regel, waarschijnlijk iets van driver issue, maar heb mij er niet al te lang mee bezig gehouden.

[Compizfox]

Echter draait zfsguru niet bepaald lekker onder hyper-v. Opstarten duurt minuten, de console refresht regel per regel, waarschijnlijk iets van driver issue, maar heb mij er niet al te lang mee bezig gehouden.

Die bug is al lang gefixed in latere versies van FreeBSD. Je hebt er dus alleen last van als je ZFSGuru boot vanaf de installatie-image, want de installatie-image gebruikt nog een wat oudere versie van FreeBSD.

[FREAKJAM]

FireDrunk schreef op maandag 24 november 2014 @ 11:44:
Heb je hem zelf al geprobeerd, en zo ja, wat vond je er van?

Ik heb in het verleden al eens OMV gedraaid, maar toen was het nog gebaseerd op Debian Squeeze. Inmiddels is versie 1.1 uit en is het gebaseerd op Wheezy. Ik zal vanavond de boel eens proberen in een VM.

[FireDrunk]

Och, hoef je voor mij niet te doen, dus alleen als je het zelf wil

Heb zelf sinds kort ook weer ESXi (op mijn NAS), dus kan zo een VM optuigen

[ Voor 4% gewijzigd door FireDrunk op 24-11-2014 12:54 ]

[FREAKJAM]

Ik vond het eerder interessant voor de community. OMV is eigenlijk de tegenhanger van FreeNAS, maar dan gebaseerd op Debian. De ontwikkelaar zat vroeger ook in het team van FreeNAS, maar is daar vertrokken en is toen in zijn eentje OMV gaan ontwikkelen.

Ik vond de GUI vooral erg prettig.

[FireDrunk]

In de screenshots lijkt het nog steeds als 2 druppels op FreeNAS? Persoonlijk vind ik het een draak van een interface... (FreeNAS that is...)

[Midas.e]

Wat ik me wel afvraag is wat de ZoL mensen hier denken over dit: https://github.com/zfsonl...label%3A%22Bug+-+Major%22

Redelijk wat bugs die als major zijn getagged en waarvan ik eigelijk denk, is dit wel productierijp? zelfs voor thuisgebruik.

[FREAKJAM]

CiPHER vond ZoL ook (nog) niet volwassen genoeg en attendeerde me eigenlijk dit weekend ook op het feit dat het nog niet helemaal volwassen is. Ik twijfel ook om weer terug te grijpen naar FreeNAS/ZFSGuru etc nu mijn pool een beetje van de wap is na een update van zfs-dkms.

[ Voor 13% gewijzigd door FREAKJAM op 24-11-2014 15:46 ]

[FireDrunk]

Ik draai al dik een jaar ZFSonLinux, en heb wel een paar issues gehad met out of memory lopen. Je moet gewoon goed je ARC instellen... Niet instellen kan soms rare resultaten opleveren, maar over het algemeen werkt het hier prima. Snapshotten, massa's snapshots tegelijk verwijderen, en dat soort dingen. Werkt allemaal prima...

Scrubs lopen prima (150-200MB/s met 4 schijven), en de performance an sich is prima.

ZVOL performance is nog mager in vergelijking tot FreeBSD, maar dat komt omdat Linux een speciaal framework heeft voor Asynchrone Memory IO welke voor Zero Copy Memory transacties zou moeten zorgen... Dat is (nog) niet gemaakt voor ZFS. In FreeBSD is ZVOL IO wel zero copy volgens mij.

Ook is er nog een groot performance issue als je op een lokaal ZVOL een filesysteem zet. Dan zitten de filesystem caches van het filesystem op de ZVOL, en de ARC van ZFS elkaar al snel in de weg, en cache je data dus 2 keer, wat helemaal niet nuttig is.

Verder geen problemen eigenlijk... Nog geen kernel panics gehad, alleen maar het standaard gedrag wat Linux vertoont als het out of memory raakt (dat wil je ook niet, dan begint het gewoon applicaties af te schieten, maar het blijft draaien... ). Ook nog geen corruptie of ander verlies van data gehad.

[ Voor 11% gewijzigd door FireDrunk op 24-11-2014 15:51 ]

[FREAKJAM]

Punt is wel dat ik geen SLOG/L2ARC device heb. Ik heb 8GB toegewezen aan mijn ZoL VM waar ik 6x3tb schijven aan heb hangen. Performance is gewoon goed te noemen. (Ik haal 400M/s als ik mijn schijven scrub). Ik heb ECC ram.

Verder alleen het volgende in zfs.conf staan:

code:

 cat /etc/modprobe.d/zfs.conf
#minimal zfs memory (2GB)
options zfs zfs_arc_min=2147483648

#maximum zfs memory (8 x 0.5 -512MB)
options zfs zfs_arc_max=3758096384

#maximum arc size (1/4 x 8GB)
options zfs zfs_arc_meta_limit=2147483648

#disable zfs high level prefetch cache
options zfs zfs_prefetch_disable=1

#decrease zfs txg timeout value from 30 (default) to 5 seconds
options zfs zfs_txg_timeout=5

Ik vind het gewoon vervelend dat mijn pool ineens raar doet na een stable update van zfs-dkms.

[justice strike]

Compizfox schreef op maandag 24 november 2014 @ 10:16:
Ik geloof niet dat Hyper-V PCI-e passthrough ondersteunt. Aan je IOMMU heb je dus niets.

SLOG en L2ARC kan op een enkele SSD, maar let wel op dat je SLOG device supercaps heeft. En een falende SSD als SLOG, ik hoef hopelijk niet uit te leggen waarom dat geen goed idee is.

Dit is dus eventjes waar ik de draad kwijt ben. Ik dacht dat intent log in ram wordt gezet als je geen zil hebt. Dus als de stroom uitvalt ben je dat ook kwijt. Nu heb ik de falende SSD niet als zil maar als cache, maar ik weet niet of die andere ssd supercaps heeft. Dus de vraag Is, mis ik alleen de laatste data of Is mij. Zfs system naar zijn gootje als je een zil kwijtraakt

[CurlyMo]

justice strike schreef op maandag 24 november 2014 @ 16:47:
Dus de vraag Is, mis ik alleen de laatste data of Is mij. Zfs system naar zijn gootje als je een zil kwijtraakt

In zfs < 28 wel, in zfs >= 28 niet. Je kunt hooguit je laatste transacties kwijt zijn.

[Verwijderd]

Vanaf ZFS versie 19 mag je je sLOG verliezen. In sommige gevallen was je pool nog steeds niet importeerbaar, later is dat gefixed ook met extra opties voor zpool import, dat was nadat ZFS versie 28 is geland. Dat waren dus geen fixes die het on-disk format veranderde.

sLOG = separate LOG device. Kortom, als je geen sLOG hebt, heb je de log (ook wel ZIL genoemd) op de pool staan. sLOG is er juist voor om je hardeschijven te verlossen van de log functie; daarom kan het ook performance voordeel bieden. sLOG in RAM is onzin omdat de hele functie van de sLOG gaat om recovery na het niet netjes afsluiten van je pool (crash/reset/power failure).

[ Voor 41% gewijzigd door Verwijderd op 24-11-2014 16:57 ]

[justice strike]

enfin, zal mijn slog op de goede ssd zetten. De slechte ssd ga ik splitten en gebruiken als arc2l cache.

Had net ook een artikel gelezen dat veel opties in zfs geen nut hebben (incluis cache, dedup en slog). De logica erachter sneed wel hout. Daar ga ik ook nog even over nadenken.

het ging er met name om dat er bijne geen dedup nodig is en dat je weinig voordeel hebt van slog's en cache devices als je array je gbit netwerkkaartje al leeg kan trekken.

[ Voor 23% gewijzigd door justice strike op 24-11-2014 17:42 ]

[huiser]

justice strike schreef op maandag 24 november 2014 @ 17:41:
enfin, zal mijn slog op de goede ssd zetten. De slechte ssd ga ik splitten en gebruiken als arc2l cache.

Had net ook een artikel gelezen dat veel opties in zfs geen nut hebben (incluis cache, dedup en slog). De logica erachter sneed wel hout. Daar ga ik ook nog even over nadenken.

het ging er met name om dat er bijne geen dedup nodig is en dat je weinig voordeel hebt van slog's en cache devices als je array je gbit netwerkkaartje al leeg kan trekken.

Heb je een link naar dat artikel ?

[Compizfox]

Inderdaad, wat CiPHER zegt. De ZIL is juist bedoeld om de synchrous writes op te 'parkeren'. Synchrous writes zijn dus de writes waarvan verzekerd moet zijn dat ze op non-volatile media staan. Je kunt de ZIL dus per definitie niet op het RAM opslaan, want RAM is volatile en dan zou het dus geen synchrous write zijn.

Om synchrous writes te versnellen kun je dus de ZIL op een SSD plaatsen. Dit noem je dan een SLOG (Separate Log device). Het is dus wel belangrijk dat die SSD die je als SLOG inzet 'veilig' is in het geval van stroomuitval. Daarom moet je SLOG eigenlijk supercaps hebben.

Had net ook een artikel gelezen dat veel opties in zfs geen nut hebben (incluis cache, dedup en slog). De logica erachter sneed wel hout. Daar ga ik ook nog even over nadenken.

het ging er met name om dat er bijne geen dedup nodig is en dat je weinig voordeel hebt van slog's en cache devices als je array je gbit netwerkkaartje al leeg kan trekken.

Dat hangt er natuurlijk vanaf wat je wilt bereiken met die opties.

Als het je vooral om de performance gaat, ligt het er vooral aan waar de bottleneck ligt, of het zin heeft. Als je bijvoorbeeld een snelle CPU hebt, maar erg trage schijven, kan het zeker nut hebben om sterke compressie en/of deduplication te gebruiken (mits je data compressible is natuurlijk). Als juist het omgekeerde het geval is (trage CPU + snelle schijven) is het juist geen goed idee.

Volgens mij heeft een ARC, zowel L1ARC (= RAM) als L2ARC (= SSD), vaak wel zin. Ik kan me eigenlijk geen situatie bedenken wanneer dat geen zin heeft, want een SSD is altijd een enorme factor sneller in random reads vanwege de lage access times.

Los van de performancewinst, bespaart deduplication en compression je natuurlijk ook schijfruimte.

[ Voor 49% gewijzigd door Compizfox op 24-11-2014 18:20 ]

[DRAFTER86]

Inmiddels draait ZoL (Ubuntu 14.04) hier al al een poosje zonder problemen (3x 2TB RaidZ1).
Enige wat nog niet lekker loopt is de backup naar een zelfde soort server die bij een vriend staat.
Wat ik graag zou willen is alle monthly en daily snapshots oversturen naar de backup server (ik gebruik zfs-auto-snapshot).
Nu heb ik hiervoor zelf een PHP script geklust, maar dat loopt toch niet helemaal lekker.
Het repliceren gaat soms mis ('broken pipe' errors) wat mijn script niet lekker detecteert.
Ook heb ik soms rare dingen met het incrementeel versturen van snapshots en het verwijderen van snapshots op de backup server die op de lokale server niet meer aanwezig zijn.

Goed, misschien blijkt uit bovenstaand ook wel dat ik door de bomen het bos een beetje uit het oog verloren ben, het lijkt me dan ook zeer onwaarschijnlijk dat dit niet makkelijker kan
Dus: doel is alle daily en monthly snapshots van een dataset en al zijn descendants versturen naar de backupserver, uiteraard incrementeel met zo weinig mogelijk traffic.
Ook mogen ze, zodra ze lokaal niet meer aanwezig zijn, verwijderd worden.
Iemand een idee hoe dit te realiseren?

[Q]

justice strike schreef op maandag 24 november 2014 @ 17:41:
enfin, zal mijn slog op de goede ssd zetten. De slechte ssd ga ik splitten en gebruiken als arc2l cache.

Had net ook een artikel gelezen dat veel opties in zfs geen nut hebben (incluis cache, dedup en slog). De logica erachter sneed wel hout. Daar ga ik ook nog even over nadenken.

het ging er met name om dat er bijne geen dedup nodig is en dat je weinig voordeel hebt van slog's en cache devices als je array je gbit netwerkkaartje al leeg kan trekken.

Een SSD kan nog moeite hebben om een gigabit link dicht te trekken met random IO. Dus een L2ARC voor leescache is prima, met name met VMs. Voor een thuis nas is een L2ARC cache meestal niet zo belangrijk. SLOG kun je overwegen om gewoon helemaal weg te laten, scheelt weer wat wear/tear op je SSD en als de machine op de UPS hangt neem je niet alle maar wel de belangrijkste risico's weg. Hoe belangrijk je VMs zijn is aan jou om te bepalen.

Dedup is meestal niet zo relevant voor thuis, maar in het geval met VMs, zeker als ze het zelfde OS draaien, kan dat wel wat schelen, omdat ze files delen met elkaar. Maar dat vraagt wel meer RAM denk ik dan je nu beschikbaar hebt. Hoeveel nut dit voor je heeft weet ik niet.

@DRAFTER86, je kunt altijd de exit code van een commando uitlezen en zo detecteren of iets goed/fout gaat. Zo kan je testen of je transfer is gelukt en zou je ook kunnen checken of een snapshot al dan niet aanwezig is. Ik heb niet de moeite genomen om te zoeken maar ik kan me niet voorstellen dat er al niet wat scripts bestaan die doen wat je wilt.

[ Voor 14% gewijzigd door Q op 24-11-2014 21:02 ]

[FREAKJAM]

Sedert ik een update van zfs (0.6.3-3~trusty) heb installeerd in mijn Ubuntu 14.04 VM is mijn RAIDZ2 setup een beetje van slag. Meer mensen hebben blijkbaar dit issue, zo blijkt hier te lezen.

code:

sudo zpool import -d /dev/disk/by-id/
  pool: tank
     id: 6234290816706156355
  state: ONLINE
 action: The pool can be imported using its name or numeric identifier.
 config:

        tank                                          ONLINE
          raidz2-0                                    ONLINE
            ata-WDC_WD30EFRX-68EUZN0_WD-WMC4N0237419  ONLINE
            ata-WDC_WD30EFRX-68EUZN0_WD-WMC4N0245360  ONLINE
            ata-WDC_WD30EFRX-68EUZN0_WD-WMC4N0328511  ONLINE
            ata-WDC_WD30EFRX-68EUZN0_WD-WMC4N0565098  ONLINE
            ata-WDC_WD30EFRX-68EUZN0_WD-WMC4N0565375  ONLINE
            ata-WDC_WD30EFRX-68EUZN0_WD-WMC4N0565854  ONLINE

   pool: tank
     id: 15167750781093255048
  state: ONLINE
 action: The pool can be imported using its name or numeric identifier.
 config:

        tank                                          ONLINE
          raidz2-0                                    ONLINE
            ata-WDC_WD30EFRX-68EUZN0_WD-WMC4N0328511  ONLINE
            ata-WDC_WD30EFRX-68EUZN0_WD-WMC4N0565375  ONLINE
            ata-WDC_WD30EFRX-68EUZN0_WD-WMC4N0237419  ONLINE
            ata-WDC_WD30EFRX-68EUZN0_WD-WMC4N0565854  ONLINE
            ata-WDC_WD30EFRX-68EUZN0_WD-WMC4N0245360  ONLINE
            ata-WDC_WD30EFRX-68EUZN0_WD-WMC4N0565098  ONLINE

Ik ben nu een scrub aan het doen in FreeNAS en inmiddels heb ik al een 2de file (een mkv die ik trouwens gevoon via cfs van begin tot eind kan afspelen zonder problemen) gevonden met een permanent error.

edit:
Bug staat al op github. Mensen met ZoL en Ubuntu, niet updaten dus. Pest is ook dat ik perongeluk nieuwe zfs features heb enabled in FreeNAS, waardoor importeren in Ubuntu niet meer mogelijk is. Beetje dom enzo.

edit2:
Automatisch importeren in Linux is dus blijkbaar ook niet meer.

Automatic imports are deprecated because they happen as a side-effect of other operations, like loading the ZFS driver. The change to non-automatic imports is happening now so that it does not coincide with other major changes that will happen later.

Even kijk wat nu wijsheid is. Ik vrees dat ik mijn data moet veiligstellen (en ik weet me god niet war ik 4TB kwijt kan) aangezien ik de boel niet meer kan draaien in Ubuntu. (Of ik moet alles nu migreren naar FreeNAS, maar dan zit ik alsnog met de bug opgescheept omdat het blijkbaar nu meegenomen heb naar de FreeNAS setup).

edit3:
Wat blijkbaar de oplossing is:

> echo manual >/etc/init/zpool-import.override
>
> ^ That worked.
>
> But I'm not clear what it's doing?

This reverts behavior and causes import to happen later when mountall
calls /sbin/zfs, which implicitly loads the zfs.ko driver, which does
an automatic import.

Ideally, you want /etc/init/zpool-import.conf to work so that you have
an upgrade path to ZoL 0.6.4, the Ubuntu 14.10+ series, and ultimately
systemd.

[ Voor 42% gewijzigd door FREAKJAM op 25-11-2014 00:24 ]

[mkroes]

FREAKJAM schreef op maandag 24 november 2014 @ 23:05:
edit:
Bug staat al op github. Mensen met ZoL en Ubuntu, niet updaten dus.

[...]

Te laat gelezen helaas. Automatisch importeren werkt ook hier niet meer.
Na je bericht van gisterochtend gelijk een scrub gestart en de data gecontroleerd maar op dit moment nog geen niets verloren op m'n RAIDZ2 pool _{Indien nodig gelukkig ook nog een goede backup achter de hand}.
Ik had mijn pool al aangemaakt op basis van disk-id dus kon hem gewoon weer importeren met de pool-naam. Ik laat het eerst voor wat het is, even snel een scriptje gemaakt wat de pool importeert, mount en de smbd en iscsi service opnieuw start bij een reboot.

[FREAKJAM]

Ik denk dat ik maar een spare schijf ga halen, want ik heb dus geen backup achter de hand. Ik heb nu (nog) maar 4TB data, dus als ik gelijk een reserve schijf haal voor mijn setup (ik heb schijven van 3TB) dan kan ik me data in ieder geval veilig stellen (Ik heb nog een andere 2TB schijf thuis liggen) en dan heb ik ook meteen een reserve schijf mocht een schijf van me defect raken.

Bummer dit.

[ Voor 11% gewijzigd door FREAKJAM op 25-11-2014 08:54 ]

[Q]

Persoonlijk ben ik altijd huiverig met het upgraden van mijn NAS, omdat ik geen backups heb.

Mijn oude 17tib NAS draait zelfs nog een oudere debian versie en die is niet up-to-date betreffende (security) updates. Security wise is dit niet het beste, maar security is niet zo'n issue in mijn omgeving.

Op het werk zou het een ander verhaal zijn, maar dan heb je ook backups enzo.

[Verwijderd]

FREAKJAM schreef op dinsdag 25 november 2014 @ 08:54:
Ik denk dat ik maar een spare schijf ga halen, want ik heb dus geen backup achter de hand.

Je weet dat dit je probleem is? Hiermee heb je een single point of failure gecreerd, je hebt nu geluk, maar ik zou toch naar een permanente backup oplossing gaan kijken.

Een extra harddisk in je NAS, of zelfs een externe in het zelfde pand als je NAS is geen backup.

[Q]

Met de hoeveelheid data die sommige mensen hebben is een backup financieel niet haalbaar. Dan moet je eigenlijk twee NASsen naast elkaar gaan draaien, of een bij kennissen/familie neerzetten. Duur grapje.

Wat redelijker is, is dat je een subset backupped, van de data die 'echt' belangrijk is en van de rest accepteert dat het verloren kan gaan. Gezien de data waar het meestal om gaat, is dat niet zo'n issue.

[FREAKJAM]

Q schreef op dinsdag 25 november 2014 @ 09:20:
Met de hoeveelheid data die sommige mensen hebben is een backup financieel niet haalbaar. Dan moet je eigenlijk twee NASsen naast elkaar gaan draaien, of een bij kennissen/familie neerzetten. Duur grapje.

Wat redelijker is, is dat je een subset backupped, van de data die 'echt' belangrijk is en van de rest accepteert dat het verloren kan gaan. Gezien de data waar het meestal om gaat, is dat niet zo'n issue.

Dit. Daarnaast is mijn data niet mega belangrijk. De 4TB waar ik over praat betreft eigenlijk allemaal media bestanden. Ik kan wel 2x een RAIDZ1 setup maken van 3 schijven, maar dat vind ik een beetje van de zotte. Dan heb je 18TB aan schijven en kan je netto maar 6TB gebruiken. Mijn vertrouwen in ZFS on Linux (Ubuntu) is hiermee in ieder geval wel een beetje teniet gedaan.

Vond het eigenlijk een klein beetje kort door de bocht ook om onaangekondigd iets te veranderen in een update en dit nergens te melden en vervolgens het volgende te zeggen:

Automatic imports are deprecated because they happen as a side-effect of other operations, like loading the ZFS driver. The change to non-automatic imports is happening now so that it does not coincide with other major changes that will happen later.

ie: We can have a small mess now, or risk a compound mess in a few months.

Ik besef net dat me pa nog een NAS heeft van 2TB en ik heb zelf een schijf van 2TB, dus daarmee kan ik denk ik mijn data veiligstellen. Ik denk verder dat mijn pool ook van slag is geraakt vanwege de crashes die de VM een aantal keer heeft gehad. Had een SLOG/L2ARC hier baat bij gehad?

Ik ga ook maar eens alvast filosoferen hoe ik ZFS nu ga inzetten, aangezien ik de pool toch opnieuw moet maken.

[ Voor 38% gewijzigd door FREAKJAM op 25-11-2014 09:52 ]

[Verwijderd]

FREAKJAM schreef op dinsdag 25 november 2014 @ 09:24:
[...]

Dit. Daarnaast is mijn data niet mega belangrijk. De 4TB waar ik over praat betreft eigenlijk allemaal media bestanden. Ik kan wel 2x een RAIDZ1 setup maken van 3 schijven, maar dat vind ik een beetje van de zotte. Dan heb je 18TB aan schijven en kan je netto maar 6TB gebruiken.

Ik gebruik zelf als backup voor belangrijke bestanden Crashplan. Een goed betaalbare oplossing. En inderdaad, mijn media bestanden staan hier niet, die zijn niet belangrijk genoeg. Wel gigabytes aan familie en vakantie fotos!

Deze belangrijke bestanden bestaan dus op drie locaties op verschillende media:
Harddisk van mijn PC, NAS bij mij thuis. Op BD-Rs en USB sticks buitenshuis en bij crashplan buitenshuis. Dit omdat deze data onvervangbaar is!

[CurlyMo]

@FREAKJAM, afhankelijk van welke features je op enabled heb gezet zou je ze nog kunnen uitzetten zolang je de featues nog niet hebt gebruikt. Stel je hebt lz4 compressie ingeschakeld, maar nog geen bestanden gekopiëerd naar een lz4 FS, dan kan je deze dus nog uitzetten.

Enabled is dus niet het grootste probleem (afhankelijk van de feature), active is het probleem

Kijk even in de linkjes van de TS waarin ik een uitgebreide analyze heb geplaatst van welke features wel of niet problematisch zijn in welke situatie.

Deze dus: CurlyMo in "Het grote ZFS topic"

[ Voor 6% gewijzigd door CurlyMo op 25-11-2014 10:13 ]

[FREAKJAM]

Het betreft helaas de features com.delpix:hole_birth en com.delphix:embedded data. Toch dank voor je post, handige tip.

[CurlyMo]

Opnieuw dus een reminder @iedereen dat je even goed moet kijken welke features je wel aanzet / gebruikt.

[Q]

Ik denk verder dat mijn pool ook van slag is geraakt vanwege de crashes die de VM een aantal keer heeft gehad. Had een SLOG/L2ARC hier baat bij gehad?

ZFS werkt met transacties, dus je file system zou nooit corrupt moeten raken, hooguit zou je wat data in transit kwijt kan raken, maar dat is niet zo'n issue voor thuis, meestal. Om dat laatste toch af te dekken kun je een SLOG toepassen. L2ARC helpt niet.

[MikeVM]

Verwijderd schreef op maandag 24 november 2014 @ 16:55:
Vanaf ZFS versie 19 mag je je sLOG verliezen. In sommige gevallen was je pool nog steeds niet importeerbaar, later is dat gefixed ook met extra opties voor zpool import, dat was nadat ZFS versie 28 is geland. Dat waren dus geen fixes die het on-disk format veranderde.

hoe weet je welke zfs versie je hebt?

[mkroes]

code:

sudo zdb | grep version

en

code:

sudo zfs get version

[ Voor 54% gewijzigd door mkroes op 25-11-2014 14:40 . Reden: regeltje extra ]

[CurlyMo]

Voor je pools en filesystems:

code:

zfs get version [fsnaam]
zpool get version [poolnaam]

Voor je programma versie

code:

zfs upgrade -v
zpool upgrade -v

[Pantagruel]

FREAKJAM schreef op maandag 24 november 2014 @ 23:05:
Sedert ik een update van zfs (0.6.3-3~trusty) heb installeerd in mijn Ubuntu 14.04 VM is mijn RAIDZ2 setup een beetje van slag. Meer mensen hebben blijkbaar dit issue, zo blijkt hier te lezen.

edit:
Bug staat al op github. Mensen met ZoL en Ubuntu, niet updaten dus. Pest is ook dat ik perongeluk nieuwe zfs features heb enabled in FreeNAS, waardoor importeren in Ubuntu niet meer mogelijk is. Beetje dom enzo.

edit2:
Automatisch importeren in Linux is dus blijkbaar ook niet meer.

[...]

Blergh, de hele dag druk bezig geweest en dan als mosterd na de maaltijd dit lezen.

Gisteravond op een pruts bak ZoL op Ubuntu ingericht (5 stuks 320 GB SATA disks, RAIDZ) om als temp storage te dienen voor een falende 1.5 TiB Samsung HDD (ca. 900 GiB aan data, disk heeft geen klagen, is denk ik 4+ jaar oud). 'K was tegen 01:00 klaar met t trekken van t dd_rescue image. Ik heb toen voor t afsluiten/slapen gaan nog een update rondje gedaan zodat ik vandaag (vanavond) verder zou kunnen, maar dat vergt dus een pietsie meer werk .

[FREAKJAM]

Ja, vrij vervelend. Ik heb wat externe disks bij elkaar geraapt en ga mijn media morgen veilig stellen (Dagje vrij dus dat komt goed uit). Ga nu wel meteen even bedenken hoe ik het opnieuw ga inrichten. Ik kan nu de keuze maken om ZFSGuru/FreeNAS, Debian whatever te kiezen.

[Q]

Ik ben nog niet zo'n ervaren FreeBSD gebruiker, maar met de perikelen rond systemd kijk ik er toch schalks naar. Zelfs als je niet voor een ZFSGuru / FreeNAS (niets mis mee) gaat en je hebt Linux skils, mogelijk is FreeBSD met wat leerwerk (Leuk! ) niet verkeerd. Het ondersteund ZFS ten minste 'echt' native en ik hoop dat de mentaliteit wat beter is bij BSD dat 'men' bovenstaand gedonder niet voorkomt.

[ Voor 15% gewijzigd door Q op 25-11-2014 21:44 ]

[FireDrunk]

Wat is de definitie van 'echt' native? Want ZFSonLinux is niet minder native dan FreeBSD's implementatie hoor?

Gentoo kent bijvoorbeeld al dit geneuzel niet hoor... Dit is meer een Ubuntu / SystemD probleem, niet echt de schuld van ZFSonLinux...

[Q]

ZFS zal nooit een stock onderdeel worden van Linux zoals ZFS dat wel is bij FreeBSD of zoals Btrfs dat wel zal worden door het licentie geneuzel.

De systemd discussie staat los van ZoL. Maar het geeft me een extra impuls op zijn minst eens te kijken wat BSD anno 10.1 te bieden heeft. Misschien dat ik mijn 71 tib storage bak dan gewoon overzet op BSD als het bevalt, kwestie van zpool export en import, right .

Eerst als oefening mijn download bak (was test ZFS bak). En dan wie weet...
Mogelijk wordt ik zo gek van BSD dat ik gillend weer terug naar Linux ren, maar niet zonder ff goed m'n best gedaan te hebben om het te leren/snappen. Kan daar nooit minder van worden.

[ Voor 28% gewijzigd door Q op 25-11-2014 22:47 ]

[Compizfox]

Q schreef op dinsdag 25 november 2014 @ 09:20:
Met de hoeveelheid data die sommige mensen hebben is een backup financieel niet haalbaar. Dan moet je eigenlijk twee NASsen naast elkaar gaan draaien, of een bij kennissen/familie neerzetten. Duur grapje.

Wat redelijker is, is dat je een subset backupped, van de data die 'echt' belangrijk is en van de rest accepteert dat het verloren kan gaan. Gezien de data waar het meestal om gaat, is dat niet zo'n issue.

Je hoeft ook niet per se alles te backuppen inderdaad. Ik kan me zo voorstellen dat je niet je hele shitload aan gedownloade series/films gaat backuppen, als je die hebt.

Maar om gewoon geen backup te regelen "want niet financieel haalbaar" dat lijkt me toch een enorm slecht plan. Blijkbaar snapt nog steeds niet iedereen het; RAID is geen backup. RAID beschermt je enkel tegen uitval van een schijf (en in het geval van ZFS ook tegen bitrot e.d.), maar als je server af-fikt, of gestolen wordt, of als je per ongeluk je pool verneukt door een verkeerd ZFS-commando (ja, dat is heel makkelijk) ben je alsnog alles kwijt.

Ik zou dus altijd naast je RAID-oplossing een off-site backup regelen. In dat geval ben je niet alles kwijt als bijvoorbeeld je hele huis afbrandt. Zelf heb ik dat geregeld met Crashplan. Niet op de servers van Crashplan zelf, maar dmv Crashplan op de server van een andere Tweaker

Je hebt natuurlijk ook nog als risico het per ongeluk verwijderen/overwriten van bestanden, maar die heb ik met opzet niet genoemd omdat je dat weer kunt oplossen met ZFS snapshots. Het enige risico dat je dan nog niet afgevangen hebt is de totale destructie van je server. Vandaar dat offsite backup dan alleen nog nuttig is.

[ Voor 10% gewijzigd door Compizfox op 25-11-2014 22:53 ]

[FREAKJAM]

Had ik dat maar nu, zpool import/export naar een andere doos haha. Mijn brein kraakt al de hele avond hoe ik mijn data kan veilig stellen, want ik heb de middelen niet. (blijkt dat een sata connector kapot is van een 2tb harde schijf die ik nog heb liggen).

Ik ga morgen toch maar gewoon WD30EFRX kopen denk ik. Ik heb nu 4TB data in use op mijn pool, dan kan ik mijn data in ieder geval tijdelijk veilig stellen op die nieuwe 3TB schijf en nog 2 losse externe drives die ik heb. Kan ik die nieuwe 3TB direct gebruiken als spare/reserve disk voor als een schijf echt stuk gaat. Ik heb nog twee jaar garantie, maar ik heb liever een schijf liggen die ik direct kan vervangen.

FreeBSD zie ik nog niet zo zitten en van FreeNAS krijg ik op een bepaalde manier toch rillingen over mijn lijf. Ik vind de GUI gewoon te bloated. Teveel opties/knoppen in één oogopslag.

Wellicht dat ik Debian plus ZFS on Linux eens ga proberen. Het feit dat de update de boel heeft vernaggeld in mijn Ubuntu VM zit me nu nog steeds dwars.

[Compizfox]

Waarom zie je FreeBSD niet zitten? Ik kan je ZFSGuru erg aanraden. In tegenstelling tot FreeNAS is ZFSGuru gewoon een up-to-date versie van FreeBSD met een handige installatie-feature en een webinterface.

Als je al Linux gewend bent is het verder heel makkelijk. Er zijn wat OS-specifieke dingen die anders zijn dan bij GNU/Linux (vooral de installatie/upgrade, het ports-systeem en de filesystem-structuur) maar een groot deel van de userland-applicaties die je gebruikt (denk aan dingen als ifconfig, nano, ssh, enz) zijn gewoon hetzelfde.