Het grote ZFS topic

[funnyname]

Xudonax schreef op zaterdag 10 januari 2015 @ 15:34:
Tenzij je je geen downtime kunt veroorloven zou ik je OS gewoon op een enkele SSD zetten, puur omdat je anders rare problemen kunt krijgen met UEFI. Been there, done that

Ik ben niet bekend met dit probleem, hoe groot is de kans dat met UEFI dit probleem voorkomt?
Als ik een MB met ouderwetse BIOS neem, neem ik aan dat er geen nadelen aan RAID1 onder linux zijn?

[FireDrunk]

Ook al zit er UEFI op je Moederbord, je kan het eigenlijk altijd wel uitzetten.
(door middel van Legacy Boot)

[ Voor 24% gewijzigd door FireDrunk op 11-01-2015 16:55 ]

[Xudonax]

Het probleem is dat met software RAID1 je wel je data veilig stelt, maar niet zozeer je boot mogelijkheid. UEFI gebruikt het MBR niet meer, dus je moet in de UEFI de bootschijf aangeven. Als je je bootpartitie niet spiegelt dan ga je dus nat op het moment dat de schijf met daarop je EFI partitie kapotgaat.

Met MBR/BIOS was het dan een simpele kwestie van zorgen dat GRUB op de andere schijf kwam en doorgaan. Bij UEFI moet je in de UEFI configuratie de nieuwe schijf registreren als bootable. Het kan wel, maar ik heb hier afgelopen vrijdag ~3 uur aan besteed en toen besloten om dan maar opnieuw te installeren (was een test, dus niet erg). Weet waar je aan begint

[FireDrunk]

Zoals ik al zei, UEFI ondersteund ook gewoon MBR. Dat kan je in veel Operating Systems gewoon forceren tijdens de installatie.

(En ik heb eerlijk gezegd nog geen moederbord meegemaakt wat sputterde als ik dmv UEFI een nieuw boot device moest kiezen?)

[Xudonax]

Shim stond enkel op de 1e schijf, en ik kreeg de UEFI niet zover om die entry te overschijven naar de andere schijf... Er was vast een makkelijkere optie geweest, maar de bootdrive is nu een hardware RAID1 setup. Dat werkt ook

[u_nix_we_all]

Xudonax schreef op zaterdag 10 januari 2015 @ 11:18:
Dit is de meest recente FW (20.00.00.00), ik zie alleen wel dat de NVDATA nog wel op versie 14.00.00.00 zit. Maar ik heb het vermoeden dat er een probleem in mijn Icy dock ToughArmor zit. Als ik de schijf die hier als UNAVAIL staat in een USB3 enclosure stop dan start deze vrolijk op en zie ik de partities en alles

Ik ga maar eens even met kabeltjes spelen denk ik...

EDIT: Okay... Schiet mij maar lek. De schijf die problemen geeft (en hierboven als UNAVAIL staat) weigerd te werken op zowel de Intel SATA controller als de IBM M1015. Echter, in de USB behuizing doet 'ie gezellig mee en gaat alles goed. Nu is het natuurlijk niet de bedoeling om die USB behuizing 24/7 aangesloten te laten... Tenzij iemand een brilliant idee heeft ga ik maar eens kijken om een echt nieuwe schijf te bestellen.

P20 Firmware staat bekend als buggy ! Ik denk dat je terug moet naar P19 !

[Xudonax]

Vreemd dat het dan wel gewoon nog publiekelijk blijft staan... Dan ga ik vanavond dus maar P19 flashen Kan het trouwens kwaad dat de NVDATA op versie 14.00.00.00 blijft staan?

[u_nix_we_all]

Geen idee waar die NVDATA voor is. Vreemd inderdaad, als je even googled roept iedereen dat P20 aan alle kanten zuigt

[jacovn]

Ik heb een vraag over de benodigde CPU power.

Als ik nu naar een server data move via 10 GE met goed 300 MB/sec zie ik de volgende info via top:

last pid: 1588; load averages: 1.04, 0.71, 0.36 up 0+00:08:21 12:05:52
29 processes: 2 running, 27 sleeping
CPU: 3.7% user, 0.0% nice, 23.9% system, 6.2% interrupt, 66.1% idle
Mem: 39M Active, 43M Inact, 23G Wired, 8164M Free
ARC: 22G Total, 244M MFU, 22G MRU, 75M Anon, 58M Header, 45M Other
Swap: 2048M Total, 2048M Free

PID USERNAME THR PRI NICE SIZE RES STATE C TIME WCPU COMMAND
915 root 1 88 0 88436K 22204K CPU0 0 1:44 53.47% smbd
853 www 1 44 0 53172K 11712K accept 1 0:00 0.00% php-cgi


De CPU schommelt wat met piek van 5.5% user en 29% system
De status pagina van ZFSguru geeft tot 140% aan (maar schommelt ook).

Dit is op een E3-1220 processor. Hij lijkt het niet zo druk te hebben bij deze copy slag.

Zou ik niet net zo goed een G serie CPU kunnen nemen ?

[matty___]

jacovn schreef op maandag 12 januari 2015 @ 13:12:
Ik heb een vraag over de benodigde CPU power.

Als ik nu naar een server data move via 10 GE met goed 300 MB/sec zie ik de volgende info via top:

last pid: 1588; load averages: 1.04, 0.71, 0.36 up 0+00:08:21 12:05:52
29 processes: 2 running, 27 sleeping
CPU: 3.7% user, 0.0% nice, 23.9% system, 6.2% interrupt, 66.1% idle
Mem: 39M Active, 43M Inact, 23G Wired, 8164M Free
ARC: 22G Total, 244M MFU, 22G MRU, 75M Anon, 58M Header, 45M Other
Swap: 2048M Total, 2048M Free

PID USERNAME THR PRI NICE SIZE RES STATE C TIME WCPU COMMAND
915 root 1 88 0 88436K 22204K CPU0 0 1:44 53.47% smbd
853 www 1 44 0 53172K 11712K accept 1 0:00 0.00% php-cgi


De CPU schommelt wat met piek van 5.5% user en 29% system
De status pagina van ZFSguru geeft tot 140% aan (maar schommelt ook).

Dit is op een E3-1220 processor. Hij lijkt het niet zo druk te hebben bij deze copy slag.

Zou ik niet net zo goed een G serie CPU kunnen nemen ?

Waarom had uberhaupt voor een Xeon gekozen?

[jacovn]

Meer PCI-lanes, ECC support was de hoofd reden destijds.
Bij de socket 1150 maakt het geen verschil meer.

[ Voor 60% gewijzigd door jacovn op 12-01-2015 15:27 ]

[justice strike]

jacovn schreef op maandag 12 januari 2015 @ 13:12:
Ik heb een vraag over de benodigde CPU power.

Als ik nu naar een server data move via 10 GE met goed 300 MB/sec zie ik de volgende info via top:

last pid: 1588; load averages: 1.04, 0.71, 0.36 up 0+00:08:21 12:05:52
29 processes: 2 running, 27 sleeping
CPU: 3.7% user, 0.0% nice, 23.9% system, 6.2% interrupt, 66.1% idle
Mem: 39M Active, 43M Inact, 23G Wired, 8164M Free
ARC: 22G Total, 244M MFU, 22G MRU, 75M Anon, 58M Header, 45M Other
Swap: 2048M Total, 2048M Free

PID USERNAME THR PRI NICE SIZE RES STATE C TIME WCPU COMMAND
915 root 1 88 0 88436K 22204K CPU0 0 1:44 53.47% smbd
853 www 1 44 0 53172K 11712K accept 1 0:00 0.00% php-cgi


De CPU schommelt wat met piek van 5.5% user en 29% system
De status pagina van ZFSguru geeft tot 140% aan (maar schommelt ook).

Dit is op een E3-1220 processor. Hij lijkt het niet zo druk te hebben bij deze copy slag.

Zou ik niet net zo goed een G serie CPU kunnen nemen ?

zwaardere compressie aanzetten zal een handje helpen om die waardes wat beter eruit te laten zien.

[FireDrunk]

jacovn schreef op maandag 12 januari 2015 @ 13:12:
Ik heb een vraag over de benodigde CPU power.

Als ik nu naar een server data move via 10 GE met goed 300 MB/sec zie ik de volgende info via top:

last pid: 1588; load averages: 1.04, 0.71, 0.36 up 0+00:08:21 12:05:52
29 processes: 2 running, 27 sleeping
CPU: 3.7% user, 0.0% nice, 23.9% system, 6.2% interrupt, 66.1% idle
Mem: 39M Active, 43M Inact, 23G Wired, 8164M Free
ARC: 22G Total, 244M MFU, 22G MRU, 75M Anon, 58M Header, 45M Other
Swap: 2048M Total, 2048M Free

PID USERNAME THR PRI NICE SIZE RES STATE C TIME WCPU COMMAND
915 root 1 88 0 88436K 22204K CPU0 0 1:44 53.47% smbd
853 www 1 44 0 53172K 11712K accept 1 0:00 0.00% php-cgi


De CPU schommelt wat met piek van 5.5% user en 29% system
De status pagina van ZFSguru geeft tot 140% aan (maar schommelt ook).

Dit is op een E3-1220 processor. Hij lijkt het niet zo druk te hebben bij deze copy slag.

Zou ik niet net zo goed een G serie CPU kunnen nemen ?

Ligt het aan mij of zie ik gewoon 53% CPU usage door Samba?

[jacovn]

FireDrunk schreef op maandag 12 januari 2015 @ 15:56:
[...]

Ligt het aan mij of zie ik gewoon 53% CPU usage door Samba?

Nee dat klopt wel, maar ik wist niet precies wat nu wat is.

Het is een quad Core CPU, is dat dan 53% van alle 4 cores, of van 1 etc.

Dat top overzicht is veel langer, maar de rest staat op 0% bij een copy slag.

[matty___]

justice strike schreef op maandag 12 januari 2015 @ 15:49:
[...]

zwaardere compressie aanzetten zal een handje helpen om die waardes wat beter eruit te laten zien.

LZ4 lijkt mij de enige juiste optie voor ZFS.
Maar conclusie is dus dat een NAS geen zware cpu nodig heeft

[Pantagruel]

jacovn schreef op maandag 12 januari 2015 @ 16:02:
[...]

Nee dat klopt wel, maar ik wist niet precies wat nu wat is.

Het is een quad Core CPU, is dat dan 53% van alle 4 cores, of van 1 etc.

Dat top overzicht is veel langer, maar de rest staat op 0% bij een copy slag.

PID USERNAME THR PRI NICE SIZE RES STATE C TIME WCPU COMMAND
915 root 1 88 0 88436K 22204K CPU0 0 1:44 53.47% smbd
853 www 1 44 0 53172K 11712K accept 1 0:00 0.00% php-cgi

Zo te zien van 1 core (CPU0)

Ieder user die connect krijgt btw zijn eigen smb process (en threads) dus samba zal bij meerde conected users de andere CPU cores wel gaan gebruiken).

matty___ schreef op maandag 12 januari 2015 @ 16:16:
[...]

LZ4 lijkt mij de enige juiste optie voor ZFS.
Maar conclusie is dus dat een NAS geen zware cpu nodig heeft

Klopt, kort door de bocht is voor het gros van de gebruikers een i3 snel genoeg. Echter als je dingen als ECC, AES (en als ik me niet vergis voldoende PCIe lanes wilt ivm insteekkaarten a la SAS/SATA HBA/IB/10 GBe) dan kom je met een i3 tekort.

[ Voor 25% gewijzigd door Pantagruel op 12-01-2015 16:37 ]

[justice strike]

matty___ schreef op maandag 12 januari 2015 @ 16:16:
[...]

LZ4 lijkt mij de enige juiste optie voor ZFS.
Maar conclusie is dus dat een NAS geen zware cpu nodig heeft

hoezo lz4 de enige juiste. je kunt vele malen hogere compressie behalen met gzip-9

[Pantagruel]

justice strike schreef op maandag 12 januari 2015 @ 16:20:
[...]

hoezo lz4 de enige juiste. je kunt vele malen hogere compressie behalen met gzip-9

Als je enigzins om je latency geeft dan kies je voor lz4.
Gzip doet het idd veel beter als t gaat om bestanden die goed te comprimeren zijn (txt, source code, databases,..) maar wel ten koste van een hogere CPU load (tov lz4).

[jacovn]

Die pool waar de copy naar toe loopt is een v5000 en LZ4 compressie staat aan zo te zien.

Het ging me meer om een nieuwe NAS met socket 1150 waar het aantal PCI lanes geen verschil meer maakt tussen Xeon E3, I3 en G serie als ik het goed begrepen heb.

Virtualiseren hoef ik (nog) niet zo nodig op een NAS. Maar aan de andere kant kan ik beter nu 80-100 euro meer betalen dan later een CPU vervangen wellicht.

[ Voor 64% gewijzigd door jacovn op 12-01-2015 16:45 ]

[justice strike]

Pantagruel schreef op maandag 12 januari 2015 @ 16:34:
[...]


Als je enigzins om je latency geeft dan kies je voor lz4.
Gzip doet het idd veel beter als t gaat om bestanden die goed te comprimeren zijn (txt, source code, databases,..) maar wel ten koste van een hogere CPU load (tov lz4).

sure, natuurlijk. maar als je cpu power genoeg hebt dan maakt dat niet zoveel uit. Daarbij denk ik dat je een gzip-9 volume ook wel kan zien als een veredelde tape storage. Traag om vanaf te halen voor slow acces data.

[Extera]

Gister heb ik geprobeerd om crashplan op mijn FreeNAS doos te installeren.
Door het aanzetten van de tunable linux_load="YES" is een reboot nodig.

Na de reboot komt echter 1 van de aangeboden iSCSI targets niet meer online in VMware.

Ik hoop dat jullie kunnen helpen met troubleshooten.


Het gaat om een FreeNAS 9.3 installatie.
1 iSCSI target is een file extent 'vmware-on-tank'
1 iSCSI target is een ZVOL 'vmware-on-zvol'

het zvol is gemaakt als:

code:

[root@claustofobia] /mnt/tank/vmware# zfs list
NAME                                                   USED  AVAIL  REFER  MOUNTPOINT
tank/vmware/iSCSI                                     3.09T  8.25T   833G  -

zoals je ziet staat er geen mount point achter.

Hoe kan ik troubleshooting het beste aanpakken?
Logging heb ik hier neergezet...

[ Voor 4% gewijzigd door Extera op 13-01-2015 12:26 ]

[FireDrunk]

zpool status?

Jan 12 13:25:01 claustofobia notifier: geli: Cannot access da0p1 (error=1).

Helpt ook niet echt.

[Extera]

klopt, dit is echter een rotte disk welke niet in een pool zit

Omdat mijn router en vpn server op deze zvol draait heb ik nu geen remote toegang...
Het leek me handig alvast info in te winnen zodat ik vanavond direct wat stappen kan maken

[ Voor 59% gewijzigd door Extera op 13-01-2015 12:48 ]

[Pantagruel]

Extera schreef op dinsdag 13 januari 2015 @ 12:22:
Gister heb ik geprobeerd om crashplan op mijn FreeNAS doos te installeren.
Door het aanzetten van de tunable linux_load="YES" is een reboot nodig.

Na de reboot komt echter 1 van de aangeboden iSCSI targets niet meer online in VMware.

Ik hoop dat jullie kunnen helpen met troubleshooten.


Het gaat om een FreeNAS 9.3 installatie.
1 iSCSI target is een file extent 'vmware-on-tank'
1 iSCSI target is een ZVOL 'vmware-on-zvol'

het zvol is gemaakt als:

code:

[root@claustofobia] /mnt/tank/vmware# zfs list
NAME                                                   USED  AVAIL  REFER  MOUNTPOINT
tank/vmware/iSCSI                                     3.09T  8.25T   833G  -

zoals je ziet staat er geen mount point achter.

Hoe kan ik troubleshooting het beste aanpakken?
Logging heb ik hier neergezet...

Een knipsel uit de logs

code:

Jan 12 13:22:29 claustofobia ctld[2547]: no LUNs defined for target "iqn.claustofobia.extera.local.istgt:vmware-on-tank"
Jan 12 13:22:29 claustofobia ctld[2547]: no LUNs defined for target "iqn.claustofobia.extera.local.istgt:vmware-on-zvol"
Jan 12 13:22:29 claustofobia ctld[2547]: auth-group "ag4tg_2" not assigned to any target
Jan 12 13:22:29 claustofobia ctld[2547]: auth-group "ag4tg_3" not assigned to any target
Jan 12 13:22:31 claustofobia nfsd: can't register svc name
Jan 12 13:22:31 claustofobia root: /etc/rc: WARNING: failed precmd routine for vmware_guestd
Jan 12 13:22:31 claustofobia vboxdrv: fAsync=0 offMin=0x2be offMax=0xd22
Jan 12 13:22:31 claustofobia warning: KLD '/boot/kernel-debug/ng_ether.ko' is newer than the linker.hints file
Jan 12 13:22:31 claustofobia link_elf_obj: symbol _mtx_assert undefined
Jan 12 13:22:31 claustofobia linker_load_file: Unsupported file type
Jan 12 13:22:34 claustofobia syslog-ng[2454]: I/O error occurred while writing; fd='18', error='Host is down (64)'
Jan 12 13:22:34 claustofobia syslog-ng[2454]: Syslog connection broken; fd='18', server='AF_INET(192.168.10.155:514)', time_reopen='60'

wellicht de config file van ctld ff na kijken of daar alles nog klopt.

[Extera]

Ik denk dat het (inderdaad) hier in zit, ik zal vanavond kijken in /etc/ctl.conf

code:

Jan 12 13:22:29 claustofobia ctld[2547]: auth-group "ag4tg_2" not assigned to any target
Jan 12 13:22:29 claustofobia ctld[2547]: auth-group "ag4tg_3" not assigned to any target

Ik gebruik overigens geen authenticatie voor iSCSI. Dit gaat toch over een apart subnet / netwerk.

syslog doet het niet omdat die VM down is...

[Extera]

Hier mijn ctl.conf

http://pastebin.com/AN4YAibf

Deze is zo aangemaakt door Freenas, ik heb hier niet in geedit.
Als ik de auth groups ag4tg_2 en ag4tg_3 weg haal, komen deze weer terug in de config.

[Xudonax]

u_nix_we_all schreef op maandag 12 januari 2015 @ 11:28:
[...]

P20 Firmware staat bekend als buggy ! Ik denk dat je terug moet naar P19 !

Makkelijker gezegd dan gedaan... De NVDATA versie 14.00.00.00 is te nieuw voor firmware P19 >_< Ik heb ondertussen wel een UEFI compatible BIOS naar de kaart kunnen flashen, maar ik krijg de P19 firmware er nog niet op. En de erase commando's die gegeven worden op internet (sas2flash -o -e 6 leveren bij mij enkel een melding "ERROR: Erase Flash Operation Failed!" op. Gaat lekker zo

En ja, ik ga even verhuizen naar het DIY RAID NAS topic hiermee denk ik zo.

[Emcee]

iSCSI vraag, blijven de voordelen van ZFS overeind als je bijv een hele vdev beschikbaar stelt met iSCSI voor een andere pc? Voordeel voor mij zou zijn dat je dan de iSCSI schijf kunt formatteren als NTFS waardoor de inhoud doorzoekbaar blijft met 'everything' de file indexeringstool van void tools (www.voidtools.com).
Dit programma gebruik ik nu zo vaak op mijn desktop pc dat het redelijk onmisbaar is geworden voor me...

Of zijn er ook oplossingen voor freenas die de inhoud van een zfs nas kan indexeren?

[Extera]

Je moet een ZVOL aanmaken welke je vervolgens kan aanbieden via iSCSI, deze kan je vervolgens formateren hoe je wilt, het ZVOL blijft ZFS.

Ik heb overigens de hele iSCSI config weggegooid en opnieuw aangemaakt, de boel draait weer

[Xudonax]

Het is waarschijnlijk al wel eens eerder gevraagd, maar kan iemand me dit uitleggen? Hoe kan mijn RAID-Z2 pool resilveren op krap 150MB/s als de schijf fysiek niet harder kan dan 125MB/s (fabrikant specificeert 999Mbit/s als maximum media speed), en er normaliter maximaal ~100MB/s uit komt?

Mijn eigen verklaring is dat ZFS de ruwe (uncompressed) data telt in plaats van de gecomprimeerde data, maar met een compressieratio van 1,02x over de hele pool genomen (er zit vrij veel video e.d. tussen) vind ik dit wel erg veel.

code:

  pool: tank
 state: DEGRADED
status: One or more devices is currently being resilvered.  The pool will
        continue to function, possibly in a degraded state.
action: Wait for the resilver to complete.
  scan: resilver in progress since Thu Jan 15 22:35:53 2015
    306G scanned out of 3.63T at 146M/s, 6h39m to go
    50.6G resilvered, 8.23% done
config:

        NAME                                                 STATE     READ WRITE CKSUM
        tank                                                 DEGRADED     0     0     0
          raidz2-0                                           DEGRADED     0     0     0
            replacing-0                                      UNAVAIL      0     0     0
              14823319844874634375                           UNAVAIL      0     0     0  was /dev/disk/by-id/ata-HGST_HTS541010A9E680_J810001VJ1Y3XA-part1
              ata-HGST_HTS541010A9E680_JA100CC013R21M-part1  ONLINE       0     0     0  (resilvering)
            ata-HGST_HTS541010A9E680_JB100013J3ST5B          ONLINE       0     0     1
            ata-HGST_HTS541010A9E680_JB100013J3TXGB          ONLINE       0     0     0
            ata-HGST_HTS541010A9E680_JB40001MGG3MJC          ONLINE       0     0     1
            ata-HGST_HTS541010A9E680_JB100013J4HGNB          ONLINE       0     0     0
            ata-HGST_HTS541010A9E680_JB100013J4J15B          ONLINE       0     0     1

errors: No known data errors

P.S: Ja, ik moest een partitie toevoegen omdat ZFS on Linux een rare bug heeft waardoor je geen hele devices meer kan toevoegen op het moment Dat ga ik wel eens proberen te fixen op het moment dat ZFS on Linux 0.6.4 of 0.7 uitkomt

EDIT: En de checksum errors schrijf ik toe aan de P20 firmware op de controller en alle grappen en grollen die daaruit voort zijn gekomen. De bestelde SFF-8087 => 4x SATA kabels bewaar ik voor mijn plannen met 28 schijven.

Daarop voortbordurend, wat is de meest efficiente configuratie voor de 22 schijven die ik aan deze pool wil gaan toevoegen op termijn? 2 RAID-Z3 pools van 11 disks, of 2 RAID-Z2 pools van 10 disks en 2 schijven voor ~iets anders~? Of weer een totáál ander plan? En nee, ik heb geen zin om 3 RAID-Z2 pools van 6 disks toe te voegen

[ Voor 11% gewijzigd door Xudonax op 15-01-2015 23:25 ]

[syl765]

306G scanned out of 3.63T at 146M/s, 6h39m to go

Er staat niet dat hij met 146M/s de schijf aan het vullen is.
Ik denk dat je dit meer moet zien als de snelheid waarmee op het moment het process resilver (schrijven en lezen) van de complete pool in zijn geheel gaat. Hij leest (scanned) de pool en schrijft daarbij ook de benodigde data weg.

Hieronder een link naar een stukje over resilvering.
http://callfortesting.org/resilver/

[ Voor 3% gewijzigd door syl765 op 16-01-2015 11:13 ]

[u_nix_we_all]

Xudonax schreef op donderdag 15 januari 2015 @ 23:15:
wat is de meest efficiente configuratie voor de 22 schijven die ik aan deze pool wil gaan toevoegen

Een stripe over 22 disks natuurlijk Kortom, hangt van je definitie van efficient af.

Ga je de bestaande 6 disks dan ook opnieuw indelen ? Zo ja, misschien kun je dan proberen naar 30 ipv 28 disks te gaan, en 3x 10 disken in RAID-Z2 te pakken ?

Mooi om te zien dat het met firmware P19 in ieder geval weer draait

[Xudonax]

28 disks is het maximum wat ik praktisch kwijt kan met mooie hotswap bays. Anders moet ik schijven vast gaan schroeven. Ik heb ook niet echt ruimte om die ~4TB "even" ergens anders op te slaan, en ja dat betekent dat als de data verloren gaat vanwege meerdere disk crashes dat het niet heel erg is. Maar om het nu expres te gaan slopen...

De bedoeling is om de huidige pool uit te breiden. Ik wil daarbij eigenlijk wel aan RAID-Z vast blijven houden, zodat het niet meteen over en uit is als er een schijf (half)dood neervalt. Ik weet echter niet of het nadelen heeft voor de performance als ik 1x 6 disk en 2x 10 disk draai.

[Pantagruel]

Xudonax schreef op vrijdag 16 januari 2015 @ 14:51:
28 disks is het maximum wat ik praktisch kwijt kan met mooie hotswap bays. Anders moet ik schijven vast gaan schroeven. Ik heb ook niet echt ruimte om die ~4TB "even" ergens anders op te slaan, en ja dat betekent dat als de data verloren gaat vanwege meerdere disk crashes dat het niet heel erg is. Maar om het nu expres te gaan slopen...

De bedoeling is om de huidige pool uit te breiden. Ik wil daarbij eigenlijk wel aan RAID-Z vast blijven houden, zodat het niet meteen over en uit is als er een schijf (half)dood neervalt. Ik weet echter niet of het nadelen heeft voor de performance als ik 1x 6 disk en 2x 10 disk draai.

RAID-Z betekend met t max. aantal posities dat je hebt, je 8 data disks en 1 parity disk (9 in totaal) per pool hebt (als optimale setup), in dat geval kun je 3 pools kwijt van ieder 9 disks (27 disks) en 1 positie over voor een losse OS disk. Als je RAID-Z2 in gedachten hebt dan kom je al snel uit op 2 pools van 10 disks (8 data + 2 parity) en 1 pool van 6 disks (4 data + 2 parity). In t geval van de laatste pool is het verlies aan ruimte percentueel gezien ongunstig. Wat dat betreft is de eerder aangehaalde 3 x 10 disks RAID-Z2 verdeling qua verlies aan ruimte tgv parity te verhapstukken. Je kunt ongetwijfeld gaan voor een RAID-Z2 array van 18 disks (16x data en 2x parity), maar dat wordt zo'n beetje aan alle kanten afgeraden ivm resilver tijden als je stront aan den knikker is.

[ Voor 15% gewijzigd door Pantagruel op 16-01-2015 15:11 ]

[syl765]

@pantagruel

Je haalt vdevs en pools door elkaar.
Een pool bestaat uit vdevs waar een vdev weer bestaat uit disks al dan niet in raid-z1, raid-z2, raid-z3, mirror of gewoon een single disk.

[ Voor 3% gewijzigd door syl765 op 18-01-2015 09:51 ]

[jantje112]

u_nix_we_all schreef op vrijdag 16 januari 2015 @ 14:45:
[...]


Een stripe over 22 disks natuurlijk Kortom, hangt van je definitie van efficient af.

Ga je de bestaande 6 disks dan ook opnieuw indelen ? Zo ja, misschien kun je dan proberen naar 30 ipv 28 disks te gaan, en 3x 10 disken in RAID-Z2 te pakken ?

Mooi om te zien dat het met firmware P19 in ieder geval weer draait

Als je een opstelling hebt van 3*10 disks met per setje van 10 dus 2 drives voor de pariteit. Zorgt ZFS dan ook nog voor een pariteit over de 2 andere pools? Oftewel, kan je een defecte pool van 10 dan terughalen als de andere 2 nog volledig intact zijn?

[funnyname]

Bedoel je nu 1 pool met 3 Vdevs van 3 x 10 = 30 schijven?

Of bedoel je 3 poolen (pools ) met ieder 1 Vdev van 10 schijven?

In het eerste geval worden de 3 Vdevs (raidz2 sets van 10 schijven) in 1 pool gestriped. Je kan dit zien als een soort van RAID 6-0. Iedere willekeurige Vdev die je toevoegt aan een pool, wordt namelijk altijd getriped in de pool.

Voor beide gevallen blijft de redundancy hetzelfde, per Vdev Raidz2 kunnen 2 schijven uitvallen.

[IceTeaGX]

Ik denk dat het over een RAID5/Z pool over zijn RAID6/Z2 vdevs, wat (dacht ik) niet werkt.

[justice strike]

ik vraag me altijd af wat het voordeel is van meerdere pools ipv alle schijven in 1 pool met de hoogst mogelijke stripe. mja... misschien dan het feit dat je niet meer dan z3 kunt hebben.

[syl765]

Je kan alle schijven in 1 pool plaatsen.
Je dient ze alleen als vdevs toe te voegen, en een vdev heeft nu eenmaal configuraties die beter of minder goed werken.

Stel je hebt 12 schijven, dan kun je twee vdev maken in raid-z2 bijvoorbeeld, en deze twee vdevs plaats je in de pool.
Je kan nu per vdev twee schijven missen. Met een beetje geluk kun je dus in de pool 4 schijven kwijt raken.
In onderstaande voorbeeld heb ik dus 12 schijven in 1 pool verdeeld over 2 vdevs.
De vdevs zijn genaamd raidz2-0 en raidz2-1

In vdev raidz2-0 kan ik dus twee schijven kwijt raken en in vdev raidz2-1 kan ik twee schijven kwijt raken, de gehele pool zal blijven werken, echter als ik in 1 vdev drie schijven kwijt raak, dan is de gehele pool weg.

code:

  pool: storage
 state: ONLINE
status: The pool is formatted using a legacy on-disk format.  The pool can
    still be used, but some features are unavailable.
action: Upgrade the pool using 'zpool upgrade'.  Once this is done, the
    pool will no longer be accessible on software that does not support feature
    flags.
config:

    NAME           STATE     READ WRITE CKSUM
    storage        ONLINE       0     0     0
      raidz2-0     ONLINE       0     0     0
        gpt/disk0  ONLINE       0     0     0
        gpt/disk1  ONLINE       0     0     0
        gpt/disk2  ONLINE       0     0     0
        gpt/disk3  ONLINE       0     0     0
        gpt/disk4  ONLINE       0     0     0
        gpt/disk5  ONLINE       0     0     0
         raidz2-1     ONLINE       0     0     0
        gpt/disk6  ONLINE       0     0     0
        gpt/disk7  ONLINE       0     0     0
        gpt/disk8  ONLINE       0     0     0
        gpt/disk9  ONLINE       0     0     0
        gpt/disk10  ONLINE       0     0     0
        gpt/disk11 ONLINE       0     0     0

In een mirrored setup ziet je pool er bijvoorbeeld zo uit.
14 disks verdeeld over 7 vdevs, genaamd mirror-0 tot mirror-6
In theorie kan ik 7 schijven kwijt raken mits er maar 1 in elke vdev stuk gaat, ook onderstaande config is 1 pool met meerdere vdevs.

code:

  pool: storage
 state: ONLINE
 scan: scrub repaired 0 in 1h22m with 0 errors on Thu Jan  1 06:53:00 2015
config:

    NAME                STATE     READ WRITE CKSUM
    storage          ONLINE       0     0     0
      mirror-0          ONLINE       0     0     0
        gpt/disk0       ONLINE       0     0     0
        gpt/disk1       ONLINE       0     0     0
      mirror-1          ONLINE       0     0     0
        gpt/disk2       ONLINE       0     0     0
        gpt/disk3       ONLINE       0     0     0
      mirror-2          ONLINE       0     0     0
        gpt/disk4       ONLINE       0     0     0
        gpt/disk5       ONLINE       0     0     0
      mirror-3          ONLINE       0     0     0
        gpt/disk12      ONLINE       0     0     0
        gpt/disk13      ONLINE       0     0     0
      mirror-4          ONLINE       0     0     0
        gpt/disk6       ONLINE       0     0     0
        gpt/disk7       ONLINE       0     0     0
      mirror-5          ONLINE       0     0     0
        gpt/disk10      ONLINE       0     0     0
        gpt/disk11      ONLINE       0     0     0
      mirror-6          ONLINE       0     0     0
        gpt/disk8       ONLINE       0     0     0
        gpt/disk9       ONLINE       0     0     0

errors: No known data errors

Nu kun je ook nog single disk vdevs gebruiken, maar dan kun je dus geen enkele schijf missen.
Maar een pool uit 12 disks bestaat dan ook uit 12 vdevs. waar iedere vdev gewoon een single disk is, gaat er 1 stuk dan is net zoals in bovende configuraties de hele pool weg.

[justice strike]

ik bedoelde eigenlijk meer. alles in 1 vdev gooien en dan de hoogste raid level kiezen (i.e. raidz3) eventueel met hotspare. Ik zie het nut niet in van 2 vdevs met een lagere pariteit level. intuitief zou ik zeggen dat je juist sneller je array kwijt kunt raken.

[syl765]

Zoals gezegd, zijn er gewoon sweetspots in de configuratie.
Natuurlijk kun je all je disks in 1 vdev stoppen in een raidz3 config. Er blijft echter niets over van je performance. Er word aangeraden niet meer dan 9 disks per vdev te gebruiken.

Het mooie van ZFS is dat bijna alles mogelijk is. Je kan ook een single disk vdev aan de pool toevoegen die bestaat uit raidz(x) vdevs. Echter is dat voor de performance en de veiligheid van je pool niet verstandig.
Net zoals meer dan 9 disks aan een vdev toevoegen, het kan wel maar is niet verstandig.

[inSane666]

syl765 schreef op maandag 19 januari 2015 @ 13:49:
...
Stel je hebt 12 schijven, dan kun je twee vdev maken in raid-z2 bijvoorbeeld, en deze twee vdevs plaats je in de pool.
...

Kan je ook gewoon 2 pools maken (in dit voorbeeld elke een raid-z2 van 6 disks) in hetzelfde systeem? ZFS doet dan wel geen load balancing, en je moet zelf data verdelen over de 2 pools, maar er mag een volledige vdev (en dus pool) dood, en de tweede pool blijft intact?

En nog iets met klok en klepel:

Welke invloed heeft dit als je boot vanaf je data pool (niet aparte ssd bv)? Kan je booten als er meerdere vdev's en/of pools zijn?

[GioStyle]

inSane666 schreef op maandag 19 januari 2015 @ 18:26:
[...]


Kan je ook gewoon 2 pools maken (in dit voorbeeld elke een raid-z2 van 6 disks) in hetzelfde systeem? ZFS doet dan wel geen load balancing, en je moet zelf data verdelen over de 2 pools, maar er mag een volledige vdev (en dus pool) dood, en de tweede pool blijft intact?

Dat kan en dat klopt.

Ik ga zelf binnenkort van 6 x 3TB raidz2 naar 10 x 3TB raidz2, moet alleen even ergens 4,5TB parkeren.

[syl765]

Je kan prima booten vanaf een pool met meerdere vdevs.
Maar je zit wel een beetje met je boot partities. Ik gebruik zelf altijd een mirrored zpool van twee disk om te booten en het OS en een aparte pool voor de data.
Voordeel hiervan is dat je de pool zo mee kan nemen naar een ander systeem en je niet in de knoop komt te zitten met mountpoints.

Thuis staat het OS gewoon op 1 disk met UFS. Gaat die stuk dan pak ik een nieuwe disk, installeer FreeBSD, importeer de pool, zet mijn packages terug die op de pool staan en we gaan weer vrolijk verder.
Half uurtje werk.

[ Voor 24% gewijzigd door syl765 op 19-01-2015 20:01 ]

[joopworst]

Ik heb op dit moment een vdev van 6x6TB draaien in RAIDZ2. Nu las ik dat je deze kan uitbreiden met minimaal 4 schijven naar RAIDZ2+0 configuratie. Is dit hetzelfde als een raidz2 met 10 schijven of voeg ik op die manier gewoon een RAIDZ2 vdev van 4x6TB toe aan de bestaande pool en heb ik er maar (n-2) aan ruimte bij en gebruik ik nu 4 schijven in totaal als parity. Dit lijkt mij namelijk een beetje overdreven.

[syl765]

Je kan een pool uitbreiden met elk type vdev.
Dus de pool kun je uitbreiden met een 4 disk vdev. Of het je performance schaad durf ik niet te zeggen.
Een vuist regel is wel dat het beter is om de vdevs per pool hetzelfde te houden.
Het is dus beter om een tweede 6 disk raidz2 vdev toe te voegen.

[Q]

joopworst schreef op maandag 19 januari 2015 @ 21:13:
Ik heb op dit moment een vdev van 6x6TB draaien in RAIDZ2. Nu las ik dat je deze kan uitbreiden met minimaal 4 schijven naar RAIDZ2+0 configuratie. Is dit hetzelfde als een raidz2 met 10 schijven of voeg ik op die manier gewoon een RAIDZ2 vdev van 4x6TB toe aan de bestaande pool en heb ik er maar (n-2) aan ruimte bij en gebruik ik nu 4 schijven in totaal als parity. Dit lijkt mij namelijk een beetje overdreven.

Dat laatste is het geval. In jouw situatie zou het economischer zijn om er nog eens 6 x 6 TB er bij te zetten in RAIDZ2.

Edit: net te laat

Over performance hoef je je niet zo druk te maken: ik draai zelf met een 18 disk RAIDZ2 + een 6 disk RAIDZ2 en ik zie dat ZFS heel netjes de load verdeeld over de twee vdevs.

Als je tijdelijk je data ergens anders kwijt kunt, kun je ook je huidige pool slopen en een 10disk RAIDZ2 maken (optimaal aantal disks). Kun je weer even vooruit. Maar is wel klote klus.

[ Voor 22% gewijzigd door Q op 19-01-2015 21:34 ]

[Q]

syl765 schreef op maandag 19 januari 2015 @ 19:54:
J
Maar je zit wel een beetje met je boot partities. Ik gebruik zelf altijd een mirrored zpool van twee disk om te booten en het OS en een aparte pool voor de data.
Voordeel hiervan is dat je de pool zo mee kan nemen naar een ander systeem en je niet in de knoop komt te zitten met mountpoints.

Bedenk dat je een VDEV in de huidige ZFS versies niet kunt verwijderen uit een pool, dus zodra je een vdev toevoegd kun je de vdev alleen terug krijgen door de pool in zijn geheel te vernietigen.

'Ze' zijn naar het schijn bezig om het wel mogelijk te maken om een vdev te ontkoppelen van een pool, maar hoe lang dat nog duurt?!

Maak dus altijd separate boot en data pools.

[ Voor 3% gewijzigd door Q op 19-01-2015 21:36 ]

[matty___]

Q schreef op maandag 19 januari 2015 @ 21:36:
[...]


Bedenk dat je een VDEV in de huidige ZFS versies niet kunt verwijderen uit een pool, dus zodra je een vdev toevoegd kun je de vdev alleen terug krijgen door de pool in zijn geheel te vernietigen.

'Ze' zijn naar het schijn bezig om het wel mogelijk te maken om een vdev te ontkoppelen van een pool, maar hoe lang dat nog duurt?!

Maak dus altijd separate boot en data pools.

Als ze toch zo een block pointer rewrite doen kun je veel meer kanten op want feitelijk, zover ik het begrijp, verplaats je daarmee alle data en zou verkleinen van een raidz bijv mogelijk moeten zijn.
https://forums.freenas.or...ck-pointer-rewrite.21064/

edit: hoewel http://blog.delphix.com/a...5/openzfs-device-removal/

[ Voor 4% gewijzigd door matty___ op 19-01-2015 21:44 ]

[MikeVM]

ik heb een probleem met ZFSGURU.

elke keer als ik in mijn webgui naar een andere pagina ga, of refresh, moet ik telkens weer inloggen.
wsl zijn mijn rechten niet goed in orde.

iemand een idee waardoor dit komt?

[GioStyle]

Welke browser gebruik je?

[MikeVM]

chrome, maar het is sinds dat ik gisteren wat "onderhoud" heb gepleegd. (edit: Firefox en IE is hetzelfde resultaat)

nu kan ik niets meer belangrijk meer wijzigen via de webgui, (niewe installatie, rechten aanpassen op mappen etc.)

dan maar een cd'tje branden en zo installeren?

[ Voor 71% gewijzigd door MikeVM op 22-01-2015 23:26 ]

[Verwijderd]

Log even in lokaal op het toetsenbord als root (zonder wachtwoord) en kijk of je filesystems vol zijn:

df -h

zo ja, dan kun je wat verwijderen. Kijk ook met:

zfs list -r <poolnaam>

poolnaam vervang je dan door de pool waarvan je boot. Die kan vol zijn.

[MikeVM]

via ssh :




kan ik manueel updaten naar 10.0-002? (via ssh)

[ Voor 46% gewijzigd door MikeVM op 22-01-2015 23:39 ]

[Habana]

MikeVM schreef op donderdag 22 januari 2015 @ 22:10:
ik heb een probleem met ZFSGURU.

elke keer als ik in mijn webgui naar een andere pagina ga, of refresh, moet ik telkens weer inloggen.
wsl zijn mijn rechten niet goed in orde.

iemand een idee waardoor dit komt?

Met IE heb ik er ook last van, met Firefox niet.

[Xudonax]

Ik probeer een VM te draaien op mijn ZFS pool, maar dat is niet echt snel. Ik zie in de Windows 10 Task Manager dat de reactietijd van de schijf bij een beetje IO druk al heel snel >4500ms is. Niet écht prettig dus. Met het zetten van logbias=latency is dit al iets naar beneden te krijgen en lukt het over het algemeen met een reactietijd tussen de 1500ms en 2500ms, maar dat is nog steeds niet soepel. Als ik hier een (oude) Sandisk SSD aan toe voeg als SLOG/L2ARC dan gaat het een drupje beter, gemiddeld 1500ms. Als ik vervolgens alle writes synchronous maak (weet eigenlijk niet of dat uitmaakt met Linux + KVM) dan zakt het nog ietsjes verder, maar het is nog steeds traag! Zou een betere fatsoenlijk SLOG device hierbij helpen?

En zijn er dan goedkopere alternatieven dan de in de topic start genoemde Intel 320? Ik wil namelijk niet al te veel geld eraan kwijt zijn Als ik zelf Google kom ik uit bij de Intel S3700 of de Intel S3500. Maar zijn er ook goedkopere alternatieven zonder héél veel in te leveren op performance?

Het tweede gedeelte van de vraag neemt natuurlijk aan dat het antwoord op het 1e gedeelte ja is

[Q]

SLOG is alleen nodig als je perse sync writes nodig hebt omdat je data mission-critical is. Je kunt ook gewoon je ZIL uitschakelen en voor async writes gaan. Dan heb je geen SLOG meer nodig.

Sync writes maakt de performance dus slechter dan async writes.

Geld in SSDs zou je ook in meer RAM kunnen stoppen.

Waarom is je performance mogelijk brak: de random I/O performance van je ZFS pool is die van het aantal VDEVs keer de random I/O van 1 device in de VDEV. Dus heb je maar 1 vdev met zeg 6 drives, dan heb je maar 50-100 random IOPS, afhankelijk van de RPM van je schijven.

ZFS doet zijn uiterste best om random I/O zoveel mogelijk om te vormen naar sequentiele i/o, maar dat lukt natuurlijk niet altijd.

[ Voor 10% gewijzigd door Q op 23-01-2015 22:36 ]

[FireDrunk]

Er is een bekende bug volgens mij dat als je geen limiet op ARC gezet hebt in ZFSonLinux je raar gedrag krijgt.
Probeer je ARC eens te limiteren naar 4-6GB ofzo (als de VM zoveel RAM heeft).

[Thralas]

FireDrunk schreef op dinsdag 09 december 2014 @ 11:17:
Is een bekend probleem, ik heb het zelf ook gehad, en al bij HyperBart moeten fixen.

Volgens mij is dit nu een stuk of vijf keer voorbijgekomen, maar ik heb het gevoel dat het bij mij net even anders zit.

Specs: Arch, ZFS als root en bootdevice, enkele pool.

Na de initiele installatie (vanaf een livecd) een raidz1 gemaakt met /dev/disk/by-id/DISK-part1. Pool exported en de boel gereboot, en waarempel, m'n pool heeft als members sd[abcd]1 ipv. de ids.

Opnieuw de livecd geboot, daar doet zich de volgende situatie voor (na een force import en export):

root@archiso ~ # zpool import
   pool: zroot
     id: 180596180596265539
  state: ONLINE
 action: The pool can be imported using its name or numeric identifier.
 config:

	zroot       ONLINE
	  raidz1-0  ONLINE
	    sda1    ONLINE
	    sdb1    ONLINE
	    sdc1    ONLINE
	    sdd1    ONLINE

root@archiso ~ # zpool import -d /dev/disk/by-id
   pool: zroot
     id: 180596180596265539
  state: FAULTED
 status: One or more devices contains corrupted data.
 action: The pool cannot be imported due to damaged devices or data.
   see: http://zfsonlinux.org/msg/ZFS-8000-5E
 config:

	zroot                                   FAULTED  corrupted data
	  raidz1-0                              ONLINE
	    ata-SAMSUNG_HD501LJ_S0MUJ1EP900797  UNAVAIL  corrupted data
	    ata-SAMSUNG_HD501LJ_S0MUJ1KPA78804  UNAVAIL  corrupted data
	    ata-SAMSUNG_HD501LJ_S0MUJDSP903004  UNAVAIL  corrupted data
	    ata-SAMSUNG_HD501LJ_S0MUJ1FP900087  UNAVAIL  corrupted data

Meer info:

root@archiso ~ # ls -l /dev/disk/by-id/ata*part1                                                                                                                                                                                                                                                                                                                                                                                      :(
lrwxrwxrwx 1 root root 10 Jan 28 01:06 /dev/disk/by-id/ata-SAMSUNG_HD501LJ_S0MUJ1EP900797-part1 -> ../../sda1
lrwxrwxrwx 1 root root 10 Jan 28 01:06 /dev/disk/by-id/ata-SAMSUNG_HD501LJ_S0MUJ1FP900087-part1 -> ../../sdd1
lrwxrwxrwx 1 root root 10 Jan 28 01:06 /dev/disk/by-id/ata-SAMSUNG_HD501LJ_S0MUJ1KPA78804-part1 -> ../../sdb1
lrwxrwxrwx 1 root root 10 Jan 28 01:06 /dev/disk/by-id/ata-SAMSUNG_HD501LJ_S0MUJDSP903004-part1 -> ../../sdc1
root@archiso ~ # zdb -l /dev/sda1
--------------------------------------------
LABEL 0
--------------------------------------------
    version: 5000
    name: 'zroot'
    state: 1
    txg: 514
    pool_guid: 180596180596265539
    errata: 0
    hostid: 2831155968
    hostname: 'archiso'
    top_guid: 1475328291791100645
    guid: 12231187319677016776
    vdev_children: 1
    vdev_tree:
        type: 'raidz'
        id: 0
        guid: 1475328291791100645
        nparity: 1
        metaslab_array: 34
        metaslab_shift: 34
        ashift: 9
        asize: 2000408281088
        is_log: 0
        create_txg: 4
        children[0]:
            type: 'disk'
            id: 0
            guid: 12231187319677016776
            path: '/dev/sda1'
            whole_disk: 0
            DTL: 40
            create_txg: 4
        children[1]:
            type: 'disk'
            id: 1
            guid: 512655242993486723
            path: '/dev/sdb1'
            whole_disk: 0
            DTL: 44
            create_txg: 4
        children[2]:
            type: 'disk'
            id: 2
            guid: 5392722385362398224
            path: '/dev/sdc1'
            whole_disk: 0
            DTL: 43
            create_txg: 4
        children[3]:
            type: 'disk'
            id: 3
            guid: 4975688440662484578
            path: '/dev/sdd1'
            whole_disk: 0
            DTL: 42
            create_txg: 4
    features_for_read:
        com.delphix:hole_birth
        com.delphix:embedded_data

What gives? Hoe zou ik dat voor elkaar hebben kunnen krijgen als ik echt met ata-DISK-part1 de boel heb aangemaakt?

Volgens mij is de daadwerkelijke installatie wel eenmaal geboot met een import zonder -d. Nu heb ik de boel zo geconfigged dat hij -d wel meegeeft, maar dan boot hij niet (verdere info heb ik niet, headless). Maar dat dat niet meer werkt is logisch gezien de output van de livecd van hierboven.

tl;dr hoe krijg ik het nu weer op disk-id imported?

Oh, ik las iets over cachefiles, hoewel ik dat nog niet helemaal snap, ga ik daarmee de mist in? Ik heb er nu geen, geloof ik..

[ Voor 36% gewijzigd door Thralas op 28-01-2015 01:24 ]

[FireDrunk]

/etc/zpool.cache bestaat niet?

[Thralas]

Nee, die heb ik niet op de desbetreffende box. Ben er nu ook achter dat het simpelweg een representatie van de te mounten pools is, die heb ik sowieso niet echt nodig want de pool wordt imported dmv. bootfs.

Inmiddels heb ik de boel even opgezet onder Virtualbox. Alles was prima qua paths, tot ik rebootte en `zpool import` vanaf de archiso tikte. Hier is het nog merkwaardiger, 1 disk heeft z'n juiste path nog, de andere 2 niet..

root@archiso ~ # zpool import
	zroot                                            ONLINE
	  raidz1-0                                       ONLINE
	    ata-VBOX_HARDDISK_VBddaeeba9-7a81f82e-part1  ONLINE
	    sdb1                                         ONLINE
	    sdc1                                         ONLINE

root@archiso ~ # zpool import -d /dev/disk/by-id
	zroot                                            FAULTED  corrupted data
	  raidz1-0                                       ONLINE
	    ata-VBOX_HARDDISK_VBddaeeba9-7a81f82e-part1  ONLINE
	    ata-VBOX_HARDDISK_VBd9bd2c66-43299ec8        UNAVAIL  corrupted data
	    ata-VBOX_HARDDISK_VBd11e6b29-98448085        UNAVAIL  corrupted data

Ik snap ook niet waarom hij in de tweede situatie de disk identifier weergeeft, terwijl sdx1 (dus een partitie!) in de disk label staat.

Willekeurige zdb -l geeft:

children[0]:
    guid: 10662129894837205211
    path: '/dev/disk/by-id/ata-VBOX_HARDDISK_VBddaeeba9-7a81f82e-part1'
children[1]:
    guid: 2602622291728041034
    path: '/dev/sdb1'
children[2]:
    guid: 16814850403537030948
    path: '/dev/sdc1'

Ik snap er echt NIETS meer van. Die paths mogen toch helemaal niet zomaar worden geupdated? Lijkt me een bug?

EDIT: Volgens mij beschrijft men in zfsonlinux/zfs/issues/2844 mijn probleem

Als ik de /dev/disk/by-id/DEVICE links rm pakt hij WEL de -partX en kan ik de pool importen met -d. Na een export zie ik dan weer de 'juiste' labels in zdb.

[ Voor 11% gewijzigd door Thralas op 28-01-2015 12:44 ]

[rikadoo]

Thralas schreef op woensdag 28 januari 2015 @ 12:07:
Nee, die heb ik niet op de desbetreffende box. Ben er nu ook achter dat het simpelweg een representatie van de te mounten pools is, die heb ik sowieso niet echt nodig want de pool wordt imported dmv. bootfs.

Inmiddels heb ik de boel even opgezet onder Virtualbox. Alles was prima qua paths, tot ik rebootte en `zpool import` vanaf de archiso tikte. Hier is het nog merkwaardiger, 1 disk heeft z'n juiste path nog, de andere 2 niet..

root@archiso ~ # zpool import
	zroot                                            ONLINE
	  raidz1-0                                       ONLINE
	    ata-VBOX_HARDDISK_VBddaeeba9-7a81f82e-part1  ONLINE
	    sdb1                                         ONLINE
	    sdc1                                         ONLINE

root@archiso ~ # zpool import -d /dev/disk/by-id
	zroot                                            FAULTED  corrupted data
	  raidz1-0                                       ONLINE
	    ata-VBOX_HARDDISK_VBddaeeba9-7a81f82e-part1  ONLINE
	    ata-VBOX_HARDDISK_VBd9bd2c66-43299ec8        UNAVAIL  corrupted data
	    ata-VBOX_HARDDISK_VBd11e6b29-98448085        UNAVAIL  corrupted data

Ik snap ook niet waarom hij in de tweede situatie de disk identifier weergeeft, terwijl sdx1 (dus een partitie!) in de disk label staat.

Willekeurige zdb -l geeft:

children[0]:
    guid: 10662129894837205211
    path: '/dev/disk/by-id/ata-VBOX_HARDDISK_VBddaeeba9-7a81f82e-part1'
children[1]:
    guid: 2602622291728041034
    path: '/dev/sdb1'
children[2]:
    guid: 16814850403537030948
    path: '/dev/sdc1'

Ik snap er echt NIETS meer van. Die paths mogen toch helemaal niet zomaar worden geupdated? Lijkt me een bug?

Deze tweaker heeft hetzelfde probleem ofniet?

Beninho in "Het grote ZFS topic"

[Thralas]

Dat zou zomaar kunnen, maar in mijn geval met als twist dat brakke device detection een import met -d in de weg staat. Zie m'n edit.

Nu weet ik in ieder geval hoe ik daar omheen kan werken. Sterker nog, ik hang er wel wat partlabels aan, dan gaat dat ook niet meer fout.

[Kortfragje]

Heeft iemand ervaring met zfs op CentOS? Ik heb vandaag een zfs pool opgezet onder centos 6, had er onder ubuntu al ervaring mee.

1 Heb nu de tips van Firedrunk gevolgd maar loop tegen het probleem aan dat er geen symlinks in /dev/disk/by-partlabel/ worden aangemaakt. Kan dan dus ook geen pool op deze manier aanmaken.

2 Toen heb ik vervolgens geprobeerd om aliassen aan te maken in /etc/zfs/vdev_id.conf

code:

#     by-vdev
#     name                   fully qualified or base name of device link
alias S1_2TB_WMC301348703    /dev/disk/by-id/scsi-SATA_WDC_WD20EFRX-68_WD-WMC301348703-part1

maar wederom worden er geen symlinks aangemaakt, deze keer in niet in /dev/disk/by-vdev/

Ook niet in beide gevallen na udevadm trigger of reboot.

In ubuntu werkte 2 wel, maar hier gebruikte ik full disks, niet disks die gepartitioneerd warend mbv gdisk. Zou het probleem zijn dat dit alleen met full disks werkt? Ik kan wel gewoon een pool aanmaken via /dev/disk/by-id maar zou toch de voorkeur geven aan eigen labels (vooral omdat ik niet de enige beheerder ben en ik het fysieke slot in het chassis op wil nemen in het label).

[Thralas]

Kortfragje schreef op woensdag 28 januari 2015 @ 20:47:
In ubuntu werkte 2 wel, maar hier gebruikte ik full disks, niet disks die gepartitioneerd warend mbv gdisk. Zou het probleem zijn dat dit alleen met full disks werkt?

Huh, die snap ik niet. Maar heb je de wiki van Arch en deze stackexchange thread al bekeken? Genoeg voer om udev mee te debuggen.

Hier een voorbeeldje ter referentie:

# udevadm info /dev/sda1 | grep ZFS
S: disk/by-partlabel/ZFS-S0MUJ1EP900797
[..]
E: ID_PART_ENTRY_NAME=ZFS-S0MUJ1EP900797

# udevadm test /sys/class/block/sda1
[..]
IMPORT builtin 'blkid' /usr/lib/udev/rules.d/60-persistent-storage.rules:70
probe /dev/sda1 raid offset=0
LINK 'disk/by-id/wwn-0x50000f001b900797-part1' /usr/lib/udev/rules.d/60-persistent-storage.rules:81
LINK 'disk/by-partuuid/354bd99b-6926-4581-a2fb-9d6af59cf13a' /usr/lib/udev/rules.d/60-persistent-storage.rules:84
LINK 'disk/by-partlabel/ZFS-S0MUJ1EP900797' /usr/lib/udev/rules.d/60-persistent-storage.rules:85
RUN '/sbin/modprobe zfs' /usr/lib/udev/rules.d/90-zfs.rules:5
[..]

[Kortfragje]

Probleem opgelost (ook dankzijn udevadm test). /etc/zfs/vdev_id.con werk alleen met hele disks.

ik had de partlabels toegevoegd en dat werkt dus niet:

code:

#       by-vdev
#       name     fully qualified or base name of device link
alias S1_2TB_WMC4N0DA3SZX /dev/disk/by-id/scsi-SATA_WDC_WD20EZRX-00_WD-WMC4N0DA3SZX-part1
alias S2_2TB_WCC1P0965131 /dev/disk/by-id/scsi-SATA_WDC_WD2000FYYZ-_WD-WCC1P0965131-part1
alias S3_2TB_WMC4N0DC5SHL /dev/disk/by-id/scsi-SATA_WDC_WD20EZRX-00_WD-WMC4N0DC5SHL-part1
alias S4_2TB_WCC4N2AXTKU0 /dev/disk/by-id/scsi-SATA_WDC_WD20EZRX-00_WD-WCC4N2AXTKU0-part1
alias S5_2TB_WCC4MPFV34X3 /dev/disk/by-id/scsi-SATA_WDC_WD20EZRX-00_WD-WCC4MPFV34X3-part1
alias S6_2TB_WMC4N0D9Z5RX /dev/disk/by-id/scsi-SATA_WDC_WD20EZRX-00_WD-WMC4N0D9Z5RX-part1
~

Als je die weghaalt wekt het wel :

code:

#       by-vdev
#       name     fully qualified or base name of device link
alias S1_2TB_WMC4N0DA3SZX /dev/disk/by-id/scsi-SATA_WDC_WD20EZRX-00_WD-WMC4N0DA3SZX
alias S2_2TB_WCC1P0965131 /dev/disk/by-id/scsi-SATA_WDC_WD2000FYYZ-_WD-WCC1P0965131
alias S3_2TB_WMC4N0DC5SHL /dev/disk/by-id/scsi-SATA_WDC_WD20EZRX-00_WD-WMC4N0DC5SHL
alias S4_2TB_WCC4N2AXTKU0 /dev/disk/by-id/scsi-SATA_WDC_WD20EZRX-00_WD-WCC4N2AXTKU0
alias S5_2TB_WCC4MPFV34X3 /dev/disk/by-id/scsi-SATA_WDC_WD20EZRX-00_WD-WCC4MPFV34X3
alias S6_2TB_WMC4N0D9Z5RX /dev/disk/by-id/scsi-SATA_WDC_WD20EZRX-00_WD-WMC4N0D9Z5RX
~

Maar dan moet je je zfs pool wel creeren door de '-part1' labels aan te roepen. Wellicht toch handiger om met full disks te werken? Dit wordt ook aangeraden in best practices (disk grootte is nu toch gestandaardiseerd). http://www.solarisinterna...tices_Guide#Storage_Pools

edit:
there we go

code:

[root@leviathan by-vdev]# zpool status
  pool: zfspool
 state: ONLINE
  scan: none requested
config:

    NAME                     STATE     READ WRITE CKSUM
    zfspool                  ONLINE       0     0     0
      raidz2-0               ONLINE       0     0     0
        S1_2TB_WMC4N0DA3SZX  ONLINE       0     0     0
        S2_2TB_WCC1P0965131  ONLINE       0     0     0
        S3_2TB_WMC4N0DC5SHL  ONLINE       0     0     0
        S4_2TB_WCC4N2AXTKU0  ONLINE       0     0     0
        S5_2TB_WCC4MPFV34X3  ONLINE       0     0     0
        S6_2TB_WMC4N0D9Z5RX  ONLINE       0     0     0

[ Voor 18% gewijzigd door Kortfragje op 29-01-2015 09:23 ]

[FireDrunk]

Toch logisch dat als je een ZPOOL maakt op disks met partities dat je niet de disks in zpool create noemt maar de partitie? of mis ik iets?

Ik snap het probleem echt niet zo, als je netjes GPT gebruikt en niet die gare udev implementatie van labels of id's gebruikt, is er toch niets aan de hand?

UDEV rules zijn niet op elke distro hetzelfde, dus je neemt een risico met je pool als je ooit naar een andere distro wil...

[justice strike]

ik vraag me even af. Stel je hebt zpool, daar maak je een iscsi device op aan, vervolgens connect je hem en voegt deze toe aan je zpool. Is ZFS dan zo slim om dat door te hebben?

[jacovn]

FireDrunk schreef op donderdag 29 januari 2015 @ 10:57:
Ik snap het probleem echt niet zo, als je netjes GPT gebruikt en niet die gare udev implementatie van labels of id's gebruikt, is er toch niets aan de hand?

Als je zoals ik minder van ZFS weet, en ZFS guru gebruikt gaat alles via de GUI.
Dan doe je netjes partities, maar alles krijgt simpele namen helaas die opnummeren voor alle disks in een VDEV.

Ik neem aan dat je via de command line netjes elke hdd (partitie) een betere naam kunt geven.

Is daar een geode uitleg voor, hoe je een basis opzet netjes en goed doet ?
Ik zit nu ook met weinig zeggende namen van de HDD's

[Verwijderd]

jacovn schreef op donderdag 29 januari 2015 @ 11:17:
[...]

Als je zoals ik minder van ZFS weet, en ZFS guru gebruikt gaat alles via de GUI.
Dan doe je netjes partities, maar alles krijgt simpele namen helaas die opnummeren voor alle disks in een VDEV.

Hoezo is dat helaas? Dat is toch zoals het hoort? In een ZFS pool horen GPT label namen te zitten die naar partities wijzen middels een zelfgekozen (korte) naam met een nummer. Zoals samsung-04 voor de 4e samsung disk.

Er zijn nog meer redenen waarom je partities wilt gebruiken. GPT partities met labels is natuurlijk het allerbeste. Kale disks dat is hoe het in 2008 ging op Solaris vanwege beperkingen van dat OS - namelijk dat write buffering werd uitgeschakeld op disks met partities omdat die mogelijk UFS kunnen bevatten en Solaris heeft geen beveiligde UFS zoals UFS+SU(J) zoals onder FreeBSD. Maar nu de dag; is er echt geen reden om géén GPT partities te gebruiken lijkt me.

Ik neem aan dat je via de command line netjes elke hdd (partitie) een betere naam kunt geven.

Hoezo zou je op de command line iets beter kunnen dan via de web-interface? Of begrijp ik je verkeerd?

Is daar een geode uitleg voor, hoe je een basis opzet netjes en goed doet ?
Ik zit nu ook met weinig zeggende namen van de HDD's

Gewoon via de web-interface? Hoe kun je weinig zeggende namen te zien krijgen? Je hebt immers zelf de naam bedacht?!

Kortom, ik snap je post niet helemaal. Juist onder ZFSguru werkt dit perfect. Onder andere platforms minder goed omdat die of geen label namen gebruiken of door issues die reverten naar GPT-IDs of device nodes. Voor zover ik weet is ZFSguru de enige die partitioneren en disk naming juist helemaal goed doet.

[jacovn]

Ze werken prima, ik begon als totale n00b met zfsguru en heb 3 servers draaien die het altijd doen (user error heeft me wel eens zweet gekost, maar niet schuld system)

Ik zou in elke naam wel type en serienummer van de hdd willen hebben.

Wellicht werkt dat op disk nivo en niet op partitie nivo ?

Het gaat mij erom om een eventuele defected hdd terug te kunnen vinden.

Nu kan ik ook vast wel met een commando de disk uitlezen en zo serie nummer vinden. Ik had natuulijk een sheetje moeten maken met waar welk serienummer in mijn kast zit.
Kwestie van te weinig tijd destijds. Ga ze wel helemaal opnieuw opzetten, kost alleen wat copieer tijd.

[Verwijderd]

Je kiest toch zelf de naam dus als jij je disks namen op basis van het serienummer wilt geven - of de eerste x letters van het serienummer - dan kan dat.

Je kunt je disks ook labelen, door een plakkertje op de disk of disk bay te doen met de naam van de disk. Denk aan 'samsung-01' t/m 'samsung-10'. Zou je de disk anders aansluiten op een andere controller op het moederbord, dan blijft de GPT naam hetzelfde. Precies wat je wilt dus. Zou er een disk uitvallen, dan weet je dat 'samsung-03' overeenkomt met een bepaalde fysieke schijf die je dan relatief makkelijk kunt vervangen.

Namen op basis van serienummer heeft niet mijn voorkeur. Zo zou je ook niet makkelijk kunnen zien om welke disk het gaat. Want je SSD krijgt zo ook een serienummer, of andere disks. Ik vind het zelf fijn om mijn groepen disks van elkaar te onderscheiden. Dan zie ik in één klap 'samsung-01' t/m 10 en 'ezrx-01' tot 6 en crucial-1 en crucial-2. Enzovoorts. Alles in één overzicht gelijk duidelijk.

[Thralas]

FireDrunk schreef op donderdag 29 januari 2015 @ 10:57:
UDEV rules zijn niet op elke distro hetzelfde, dus je neemt een risico met je pool als je ooit naar een andere distro wil...

Huh? Ten eerste, 60-persistent-storage.rules shipt gewoon met udev, volgens mij moet je een heel exotische distro opzoeken om geen /dev/disk/by-foo te hebben.

Ten tweede, wat is het risico? Je kunt je pool toch probleemloos op een andere wijze importeren (ik ben geswitched van by-id naar by-partlabel)?

[FireDrunk]

Er zijn wat exotische distro's die (extra) udev rules mijden (Gentoo volgens mij) en er is ook iets als mdev (van busybox). Je kan inderdaad switchen, ik doelde meer op het maken van aparte rules om vdev's alsnog geimporteerd te krijgen.

[Kortfragje]

Voor zover ik kan zien maakt ZFS gpt partities aan als je het volledige disks geeft tijdens zpool create. Indien er alleen MBR is moet je een -f meegeven zodat ie dat daadwerkelijk doet en de partitietabel overschrijft. Dit was idd niet nodig als er al een GPT partitie op stond. Heb nu geen toegang tot de machine, zal maandag even kijken.

Voorlopig ben ik erg happy hiermee, ik kon de pool ook importeren in ubuntu 12.04 + ZoL dus voor mij is dit prima.

Ik heb de disks nu gelabeld met Slot (Sx) _ grootte (2TB) _ serienr . (S1_2TB_WMC4N0DA3SZX) Zo kan bij een fault / fail, snel de juiste disk vervangen worden en ook gecontroleerd worden of dat inderdaad de juiste disk is.

[Verwijderd]

Kortfragje schreef op donderdag 29 januari 2015 @ 14:35:
Voor zover ik kan zien maakt ZFS gpt partities aan als je het volledige disks geeft tijdens zpool create.

Als dat zo is dan is dat platform afhankelijk. Want onder BSD werkt dat zeker niet zo:

code:

[root@zfsguru ~]# mdconfig -a -s 1g
md0
[root@zfsguru ~]# zpool create md0pool /dev/md0
[root@zfsguru ~]# zpool list
NAME       SIZE  ALLOC   FREE   FRAG  EXPANDSZ    CAP  DEDUP  HEALTH  ALTROOT
md0pool   1016M    50K  1016M     0%         -     0%  1.00x  ONLINE  -
[root@zfsguru ~]# zpool status md0pool
  pool: md0pool
 state: ONLINE
  scan: none requested
config:

    NAME        STATE     READ WRITE CKSUM
    md0pool     ONLINE       0     0     0
      md0       ONLINE       0     0     0

[Timoh]

Kan je ZFSguru laten inschakelen en uitschakelen op bepaalde momenten , aangezien hij in de nacht niets doet ?

Ben aan het overwegen om htpc en nas op 1 systeem te laten draaien maar ik heb daar geen ervaring mee en zit met een aantal zaken waar dat ik niet weet.

Is het mogelijk om op een windows machine zfsguru via VM te draaien en werkt dit performant ? Als de huidige zfsmachine reeds een bestaande pool heeft mogen de schijven dan blijven zitten tijdens de windows installatie zonder dat er kans is om de data te verliezen ?

Hoe gaat windows om met de schijven tijdens de installatie aangezien eens je windows 7 hebt draaien ik graag mijn nas os dat nu op een usb stick staat graag zou inladen in de vmware. Ik vraag me dan alleen af hoe hij met die schijven gaat omgaan of de vm die schijven mooi netjes gaat detecteren.

[Afwezig]

Je vragen lezende denk ik dat het korte antwoord is; Nee en wat wel kan moet je niet willen.

Wat een ZFS OS, of dat nu ZFSGuru is of niet, nodig heeft is directe toegang tot de controller, niet alleen de harddisks. Je zal ZFSGuru bijvoorbeeld in VirtualBox best opgestart krijgen, want het is gebaseerd op FreeBSD en dat gaat prima, maar je gaat nooit een echte 'pool' aan kunnen maken, want die VM gaat nooit toegang tot de controller krijgen; die wordt tenslotte al gebruikt door Windows.

Wil je ZFSGuru virtueel draaien, ontkom je er niet aan een bare-metal hypervisor zoals ESXi. Leesvoer;
- http://en.wikipedia.org/wiki/Hypervisor
- https://software.intel.co...tualization-of-io-devices

[Verwijderd]

Je kunt wel partitie/disk passthroughs maken met command line 'VBoxManage createrawvmdk' commando. Dan kun je in elk geval wel fysieke disks in je virtualised ZFS platform gebruiken, en dus ook partitioneren en formatteren enzovoorts. Dat betekent dat je de disks later in een ander systeem kan zetten waar native ZFS op draait en daarmee je pool importeren.

Het alternatief is om virtualised container files te gebruiken maar daarmee gaat bijna elk voordeel van ZFS verloren omdat je ZFS als een 'file' opslaat op je legacy NTFS-filesystem. Dat gaat hem niet worden natuurlijk.

[FireDrunk]

Afwezig schreef op zaterdag 31 januari 2015 @ 14:20:
Je vragen lezende denk ik dat het korte antwoord is; Nee en wat wel kan moet je niet willen.

Wat een ZFS OS, of dat nu ZFSGuru is of niet, nodig heeft is directe toegang tot de controller, niet alleen de harddisks. Je zal ZFSGuru bijvoorbeeld in VirtualBox best opgestart krijgen, want het is gebaseerd op FreeBSD en dat gaat prima, maar je gaat nooit een echte 'pool' aan kunnen maken, want die VM gaat nooit toegang tot de controller krijgen; die wordt tenslotte al gebruikt door Windows.

Wil je ZFSGuru virtueel draaien, ontkom je er niet aan een bare-metal hypervisor zoals ESXi. Leesvoer;
- http://en.wikipedia.org/wiki/Hypervisor
- https://software.intel.co...tualization-of-io-devices

Dat is helemaal niet waar. ZFS snapt helemaal niets van controllers... Het kent alleen maar POSIX block devices, en het weet iets van SYNC (fsync() voor de POSIX ingewijden).

ZFS kan niets met drivers, kent geen onderscheid tussen merken, en weet niets van SAS, SATA of Fibre Channel.

[Verwijderd]

Letterlijk klopt het wellicht niet helemaal, maar in de kern lijkt het me wel juist?

Het is namelijk beter wanneer de disks zo dicht mogelijk op ZFS zitten; dus niet met allerlei lagen er tussenin die problemen kunnen geven, zoals een Areca hardware RAID controller in write-back modus. Dat zijn de manieren om een hele ZFS pool stuk te maken. Hetzelfde geldt voor virtuele disks op een NTFS-filesystem. Dat is het stapelen van stoelen en tafels en dat gaat een keer fout...

Je zou wat hij zegt kunnen veranderen in 'het beste is wanneer het OS dat ZFS aanstuurt directe controle heeft over de hardware'. Dan maak je wel het onderscheid dat ZFS zelf niets met de disks doet. Maar zijn punt is natuurlijk: beter zo kaal mogelijk waarbij ZFS (*kuch* het OS dat ZFS aanstuurt) zo direct mogelijke controle heeft over de hardware, met name de disks.

[nwagenaar]

Ugh... Mijn 4 x 2TB ZFS pool heeft enkele Seagates in gebruik en ondertussen beginnen die langzaam aan problemen te geven (elke week valt er wel eentje uit, reboot en ze zijn weer terug om daarna gescrubt te worden).

Tot op heden heb ik geluk gehad met mijn gegevens, maar ze worden dus nu allen prefentief vervangen voor 3TB's WD Red Editions. Het resilveren duurt gemiddeld 16 uur, met een beetje mazzel is mijn set dinsdag geheel geupgrade en door de autoexpansion zou de pool na een export/import gebruik moeten maken van de extra ruimte.

Maar is het resilveren wellicht wat te versnellen?

[FireDrunk]

Waarom 3TB's en niet 4TB's ?

[nwagenaar]

Ik had nog circa 1TB aan vrije ruimte en de 3TB's waren volop beschikbaar. Door zaken als Spotify, Netflix en HBO GO is mijn downloadgedrag aanzienlijk veranderd.

[Kortfragje]

Verwijderd schreef op donderdag 29 januari 2015 @ 15:14:
[...]

Als dat zo is dan is dat platform afhankelijk. Want onder BSD werkt dat zeker niet zo:

code:

[root@zfsguru ~]# mdconfig -a -s 1g
md0
[root@zfsguru ~]# zpool create md0pool /dev/md0
[root@zfsguru ~]# zpool list
NAME       SIZE  ALLOC   FREE   FRAG  EXPANDSZ    CAP  DEDUP  HEALTH  ALTROOT
md0pool   1016M    50K  1016M     0%         -     0%  1.00x  ONLINE  -
[root@zfsguru ~]# zpool status md0pool
  pool: md0pool
 state: ONLINE
  scan: none requested
config:

    NAME        STATE     READ WRITE CKSUM
    md0pool     ONLINE       0     0     0
      md0       ONLINE       0     0     0

Het lijkt erop dat zpool create onder ZoL een GPT partitie aanmaakt zie:

[Timoh]

Verwijderd schreef op zaterdag 31 januari 2015 @ 16:26:
Letterlijk klopt het wellicht niet helemaal, maar in de kern lijkt het me wel juist?

Het is namelijk beter wanneer de disks zo dicht mogelijk op ZFS zitten; dus niet met allerlei lagen er tussenin die problemen kunnen geven, zoals een Areca hardware RAID controller in write-back modus. Dat zijn de manieren om een hele ZFS pool stuk te maken. Hetzelfde geldt voor virtuele disks op een NTFS-filesystem. Dat is het stapelen van stoelen en tafels en dat gaat een keer fout...

Je zou wat hij zegt kunnen veranderen in 'het beste is wanneer het OS dat ZFS aanstuurt directe controle heeft over de hardware'. Dan maak je wel het onderscheid dat ZFS zelf niets met de disks doet. Maar zijn punt is natuurlijk: beter zo kaal mogelijk waarbij ZFS (*kuch* het OS dat ZFS aanstuurt) zo direct mogelijke controle heeft over de hardware, met name de disks.

Dus ik kan met andere woorden dit idee maar beter in de kast steken

Wel jammer anders zou je hardware veel efficiënter kunnen gebruiken. Is er een mogelijkheid om ZFSguru dan wel in hibernate te laten gaan en terug te laten opstarten ? Indien niet, is dat een mogelijkheid om te implementeren in de toekomst want dat zou wel leuk (en beetje milieu minded) zijn

[Weiman]

Ik heb sinds een jaartje 4 4TB WD RED's in RAIDZ1 (ik weet, niet optimaal) hangen met een SSD voor ZIL en cache ervoor. Momenteel gewoon via iscsi NTFS-geformatteerd aan m'n desktop, in de toekomst mogelijk meer als shared storage voor .xvhd's om met Hyper-V te gaan spelen.

Het is vrij statische data nu, en het het volume zit op een paar GB na zo goed als vol. (niet goed, I know) Ik kon ook niet meer data schrijven, dan liep het systeem bijna vast, error logs zaten vol met "istgt_lu_disk_lbwrite: ***ERROR*** lu_disk_write() failed" en windows riep dat het om I/O errors ging.

Als ik wat data verwijderde kon ik weer wel schrijven, maar ik merkte laatst nadat ik zo'n 500GB had verwijderd dat ik nog steeds vrijwel niks erbij kon schrijven zonder op hetzelfde probleem te stuiten.

Data lezen gaat nog altijd zonder problemen. SMART status van alle schijven is zeer goed en ik kan in geen enkel overzicht iets verdachts ontdekken. Scrubs doen het prima, een chkdsk vanuit windows roept dat er unsolved issues zijn. Die kan hij niet oplossen omdat er niet op de schijf geschreven kan worden denk ik.

De enige "oplossing" die ik zie is alles backuppen en de pool opnieuw herbouwen. Ik vraag me alleen wel heel erg af wat er nou in 's hemelsnaam aan de hand is.

[FireDrunk]

Heb je niet een snapshot open staan? Dan word de oude data pas vrijgegeven als je dat snapshot weggooit.

[Weiman]

Kan het momenteel niet checken, maar volgens mij heb ik het hele snapshot gedeelte nog nooit aangeraakt.

Ik snap trouwens dat het een beetje speld in een hooiberg is, maar misschien dat iemand de error kent of iets vergelijkbaars heeft meegemaakt.

[CooleSmurf]

Heb je shadow copies / previous versions op je NTFS volume?

[Pantagruel]

Weiman schreef op maandag 02 februari 2015 @ 12:01:
Kan het momenteel niet checken, maar volgens mij heb ik het hele snapshot gedeelte nog nooit aangeraakt.

Ik snap trouwens dat het een beetje speld in een hooiberg is, maar misschien dat iemand de error kent of iets vergelijkbaars heeft meegemaakt.

Binnen t FreeNAS forum is er een vermelding van terugkerende lu_write_errors en daar hint men naar performance problemen bij een _te_ volle pool of evt. netwerkproblemen die voor iscsi trgt problemen zorgt.

CooleSmurf schreef op maandag 02 februari 2015 @ 14:53:
Heb je shadow copies / previous versions op je NTFS volume?

Weiman zegt/denkt van niet, afhankelijk van zijn ZFS enabled OS oplossing is t afhankelijk of t klikken/aanvinken is om snapshots te activeren of meer werk vergt. Daarbij komt dat het verkrijgen van toegang tot je snapshot op een iSCSI target enigszins werkt anders dan op een CIFS share.
Bij een CIFS share kun je op file basis terug gaan in de tijd. Dit heeft er mee te maken dat ZFS bekend is met de staat van het bestand in het verloop van de tijd.

In het geval van een iSCSI target kun je snapshots nemen maar maak je een 'opname' van de block-status van het gehele iSCSI target zoals t op dat moment is. Je kunt vervolgens een roll-back doen naar t voorgaande snapshot (of een snapshot clonen, als lun vrijgeven en de boel uitpluizen). Dit heeft ermee te maken dat ZFS compleet geen benul heeft van wat er zich in het bewuste iSCSI device afspeelt.

[FireDrunk]

Belangrijkste is altijd: Er moet genoeg ruimte vrij zijn voor een volledige transaction group voor zover ik.
Als je dus echt grote transaction group hebt, ga je rare errors krijgen, maar hele kleine writes gaan misschien wel goed...

[MikeVM]

ik heb laatst heel veel bestanden verwijdert, mijn pool geeft nu netjes 1TB freespace aan,
maar in de filesystem ziet hij maar 128GB





is er ergens nog een verborgen recycle bin?

---

ook mijn memory usage werkt niet meer netjes


is er een verband?

[ Voor 18% gewijzigd door MikeVM op 04-02-2015 14:24 ]

[FireDrunk]

De toekenning van vrije ruimte aan een filesystem gebeurt volgens mij niet direct. De vrije ruimte 'zweeft' boven de filesystems tot deze iets claimen volgens mij.

Hoe dat met het teruggeven van vrije ruimte werkt, durf ik niet te zeggen, maar als je in Filesystem A ruimte vrij maakt zie je dat niet direct in Filesystem B. Volgens mij zou dit geen problemen moeten opleveren als je de ruimte daadwerkelijk gebruikt.

[jacovn]

Die memory display werkt ook op een van mijn servers niet meer goed.
Volgens mij diegene die ik geupgrade heb, dus nieuwe gui versie.
Ook met de v5000 heb ik blijkbaar standaard compressie gekregen. Dat zuigt ook, want het comprimeert natuurlijk niets voor video files. Ik zal wel hebben zitten slapen of het is een domme default.

[FireDrunk]

Met v5000 krijg je de mogelijkheid om LZ4 te gebruiken, maar het staat niet default aan voor zover ik weet.
Dus vrij logisch dat je 0% compressie ziet.

En video's willen comprimeren is natuurlijk een beetje vreemd

[jacovn]

Op de server met 0.2.0-beta8 GUI ziet de memory pagina er normaal uit.
Op de server met 0.2.0-beta9 GUI zier de memory pagina er uit zoals hierboven gepost.

Wat betreft de feature flags van V5000:
Feature flags


Status Feature Description

Enabled async_destroy Destroy filesystems asynchronously.
Enabled empty_bpobj Snapshots use less space.
Enabled lz4_compress LZ4 compression algorithm support.
Enabled multi_vdev_crash_dump Crash dumps to multiple vdev pools.
Active spacemap_histogram Spacemaps maintain space histograms.
Active enabled_txg
Active hole_birth
Enabled extensible_dataset Enhanced dataset functionality, used by other features.
Enabled bookmarks


Ik kan me niet herinneren iets specifieks aangevinkt te hebben. Wellicht begrijp ik het verkeerd en staat alleen Active aan, en Enabled is alleen dat het mogelijk is, maar nog niet geactiveerd ?

[ Voor 6% gewijzigd door jacovn op 05-02-2015 10:56 ]

[FireDrunk]

Klopt, Hij wordt Active op het moment dat je er data mee opgeslagen hebt.

[nwagenaar]

Ik heb (eindelijk) mijn schijven vervangen voor 3TB's, bleek één van mijn "oude" schijven al een Seagate 3TB te zijn en een nieuwe geleverde WD Red was dus DOA waardoor ik die (nog) niet kon vervangen.

In mijn geval is sdd (of ata-ST33000651AS_Z290726Y) nog niet vervangen, maar ik zou toch verwachten dat de autoexpansion zijn werk zou doen. Uiteraard de pool geexporteerd en opnieuw geimporteerd, maar het resultaat is en blijft de oude grootte.

root@NAS01:~# zpool status
  pool: data
 state: ONLINE
status: The pool is formatted using a legacy on-disk format.  The pool can
        still be used, but some features are unavailable.
action: Upgrade the pool using 'zpool upgrade'.  Once this is done, the
        pool will no longer be accessible on software that does not support
        feature flags.
  scan: scrub repaired 0 in 12h49m with 0 errors on Tue Feb  3 03:11:00 2015
config:

        NAME                           STATE     READ WRITE CKSUM
        data                           ONLINE       0     0     0
          raidz1-0                     ONLINE       0     0     0
            sda                        ONLINE       0     0     0
            sdb                        ONLINE       0     0     0
            sdc                        ONLINE       0     0     0
            ata-ST33000651AS_Z290726Y  ONLINE       0     0     0

errors: No known data errors

root@NAS01:~# zpool list
NAME   SIZE  ALLOC   FREE    CAP  DEDUP  HEALTH  ALTROOT
data  7.25T  6.20T  1.05T    85%  1.00x  ONLINE  -

root@NAS01:~# zpool history
History for 'data':
2015-02-02.14:12:06 zpool set autoexpand=on data
2015-02-02.14:12:44 zpool export data
2015-02-02.14:15:59 zpool import -N data

Iemand een idee waar dit aan zou kunnen liggen? Voor de duidelijkheid, ik gebruik ZFS op een Ubuntu 14.04 LTS installatie.