Het grote ZFS topic

[]Byte[]

descriptief of destructief?

Hyper: Niks mis met Mac toch...? (heb er zelf ook twee staan)
Heb je /var/log/messages al eens uitgeplozen om te zien wanneer ie begonnen is met processen te killen?
En dan vooral wat er daarvoor gebeurd is wat de aanleiding / trigger is geweest om dit te gaan doen.
(misschien toch maar weer naar ZFSguru?)

CiPHER:
Nog even over Samsung / Intel / Crucial...
Is mij nu helemaal duidelijk.
Heb je ook al ervaring met de M550 van Crucial? Of blijf je toch naar Intel lonken voor de SLOG?

[HyperBart]

Verwijderd schreef op woensdag 16 april 2014 @ 13:04:
Foutmeldingen lijken me aardig descriptief.

Ok, ik begrijp wel dat mijn server zonder memory is te komen zitten, maar met een ARC die limited op 20G staat in een server met 32GB geheugen vraag ik me toch af waarom een OS daar zo op begint te bokken... Geheugenmanagement niks?

[Verwijderd]

@]Byte[: M550 is niet echt beter dan de M500; eerder slechter voor zover ik nu kan overzien. De RAID5 beveiliging is achteruit gegaan van 16-way naar 128-way. Denk aan een RAID5 array met 16 disks (Waarvan 1 parity) versus een RAID5 array met 128 disks waarvan 1 parity disk. De laatstgenoemde biedit natuurlijk veel minder bescherming dan de eerste, maar heeft ook maar 1/128e aan overhead die je kwijt bent aan paritygegevens. Deze 'bezuiniging' maakt dat de M550 als 256GB kan worden verkocht terwijl de M500 als 240GB wordt verkocht. Maar qua bescherming is dit een achteruitgang. Echter, het kan zijn dat de M550 beter NAND geheugen heeft dan de M500; waardoor netto hij misschien wel een betere uBER heeft.

Maar tot zover is de M500 de beste budgetkeuze en Intel de beste keuze voor zekerheid en degelijkheid.

@HyperBart: geheugenmanagement is heel belangrijk en wijkt af op ieder platform wat ZFS ondersteunt. ZFS is niet simpelweg een drivertje dat ergens wordt aangehooked, maar dient op juiste manier met het operating system (VMM) worden geïntegreerd. Kortom, er kunnen grote verschillen zitten tussen Linux/BSD/Solaris voor wat betreft ZFS geheugenmanagement.

Hoe dan ook, dit is een RAM issue en je kunt moeten kijken hoe het kan dat je te weinig RAM geheugen hebt.

[Q]

@HyperBart,

Ik draai ZFS op mijn download bak en ik heb jouw problematiek nog nooit gezien. Ik draai 12.04 LTS. Ik heb niets aan de settings aangepast.

[FREAKJAM]

De laatste ZFS daily build werkt sinds vandaag met de laatste kernel (3.14).

Deed zojuist een apt-get update && apt-get upgrade:

code:

Calculating upgrade... Done
The following packages will be upgraded:
  libnvpair1 libuutil1 libzfs2 libzpool2 zfs-dkms zfsutils
6 upgraded, 0 newly installed, 0 to remove and 0 not upgraded.
Need to get 2,361 kB of archives.

code:

Setting up zfs-dkms (0.6.2-2.1~trusty~10.gbp94fd6e) ...
Loading new zfs-0.6.2 DKMS files...
Building only for 3.14.0-031400-generic
Building initial module for 3.14.0-031400-generic
Done.

..

DKMS: install completed.


zfs list
NAME             USED  AVAIL  REFER  MOUNTPOINT
tank            2.91M  10.7T   336K  /tank
tank/downloads   272K  10.7T   272K  /tank/downloads
tank/media       272K  10.7T   272K  /tank/media
tank/snapshots   272K  10.7T   272K  /tank/snapshots

Morgen komt Ubuntu 14.04 trouwens uit (met kernel 3.13 wel). Ik heb nu al een aantal weken ZoL getest/geexperimenteert en dat bevalt goed. Ik ga morgen vanaf scratch alles herinstalleren onder Ubuntu 14.04.

[Dr_Hell]

Ik draai sinds enkele weken met ZoL op Ubuntu 12.04.
Het systeem loopt als een trein, alleen krijg ik de laatste tijd bij iedere scrub een aantal checksum errors.

  pool: data
 state: ONLINE
status: One or more devices has experienced an unrecoverable error.  An
        attempt was made to correct the error.  Applications are unaffected.
action: Determine if the device needs to be replaced, and clear the errors
        using 'zpool clear' or replace the device with 'zpool replace'.
   see: http://zfsonlinux.org/msg/ZFS-8000-9P
  scan: scrub repaired 132K in 4h18m with 0 errors on Wed Apr 16 21:33:58 2014
config:

        NAME                                            STATE     READ WRITE CKSUM
        data                                            ONLINE       0     0     0
          raidz2-0                                      ONLINE       0     0     0
            scsi-SATA_WDC_WD40EZRX-00_WD-WCCXXXXXXX   ONLINE       0     0     4
            scsi-SATA_WDC_WD40EZRX-00_WD-WCCXXXXXXX   ONLINE       0     0     0
            scsi-SATA_WDC_WD40EZRX-00_WD-WCCXXXXXXX   ONLINE       0     0     0
            scsi-SATA_WDC_WD40EZRX-00_WD-WCCXXXXXXX   ONLINE       0     0     0
            scsi-SATA_WDC_WD40EZRX-00_WD-WCCXXXXXXX   ONLINE       0     0     1
            scsi-SATA_WDC_WD40EZRX-00_WD-WCCXXXXXXX   ONLINE       0     0     0
        logs
          scsi-SATA_Crucial_CT240M5_XXXXXXXXXX-part5  ONLINE       0     0     0
        cache
          scsi-SATA_Crucial_CT240M5_XXXXXXXXXX-part4  ONLINE       0     0     0

errors: No known data errors

Na een 'zpool clear' en een scrub zie ik weer enkele checksum errors.
De pool is gemaakt met ashift=12 en bevat ondertussen een redelijk aantal datasets en snapshots.
Het aantal checksum fouten varieert tussen 1 en 7 ongeveer en het gebeurt bij willekeurige disks, al is de bovenste in de lijst wel vaker getroffen dan de anderen zo lijkt het.

De hardware:

#	Product	Prijs	Subtotaal
1	ASRock C2750D4I	€ 339,50	€ 339,50
6	WD Green WD40EZRX, 4TB	€ 132,94	€ 797,64
1	Kingston KVR1333D3E9SK2/16G	€ 142,45	€ 142,45
1	Seasonic G-Serie 360Watt	€ 51,-	€ 51,-
1	Crucial M500 2,5" 240GB	€ 89,55	€ 89,55
Bekijk collectie Importeer producten		Totaal	€ 1.420,14

Het maakt voor de fouten niet uit of ik de cache en SLOG disable, dan komen ze nog steeds.
De SMART-waarden van de disks geven geen fouten weer, ook niet na een lange selftest.
Ik heb het geheugen al uren getest via memtest86+, ook zonder fouten.
Binnenkort ga ik de SATA-kabels vervangen, hopelijk lost dat het op. Helpt dat ook niet, dan zou ik niet weten waar ik het verder zou moeten zoeken.

Heeft iemand enig idee wat er hier aan de hand zou kunnen zijn en hoe ik dit op zou kunnen lossen?

[Kortfragje]

Ik zou het allereerst ook in de kabels zoeken, ik zou ook aandacht schenken aan de voeding en voedingskabels voor je harde schijven.

Daarnaast, heb je al eens een lange memtest gedraaid? nvmind

[ Voor 4% gewijzigd door Kortfragje op 17-04-2014 10:01 ]

[]Byte[]

- Gebruik je spindown?
- Zijn het telkens dezelfde disken die de checksum-errors geven?
- Wat zegt S.M.A.R.T over de status van je disken?

[]Byte[]

Heeft iemand al AppleShare werkend op 10.0-002?
Bij mij wil ie niet starten omdat avahi-daemon niet wil starten.

[root@zfsguru ~]# service avahi-daemon start
Starting avahi-daemon.
Segmentation fault
[root@zfsguru ~]# 

Nu had ik in 9.2 daar ook al problemen mee, maar de fix die ik daar gebruikte (via de portstree) lukt in deze versie (10.0-002) niet.

[Dr_Hell]

]Byte\[ schreef op donderdag 17 april 2014 @ 10:04:
- Gebruik je spindown?
- Zijn het telkens dezelfde disken die de checksum-errors geven?
- Wat zegt S.M.A.R.T over de status van je disken?

Spindown: Ja, een spindown_time van 120 in /etc/hdparm.conf (10 minuten)
Steeds dezelfde disks? Nee, maar de eerste is wel vaker getroffen dan de rest heb ik het idee
SMART:

SMART Attributes Data Structure revision number: 16
Vendor Specific SMART Attributes with Thresholds:
ID# ATTRIBUTE_NAME          FLAG     VALUE WORST THRESH TYPE      UPDATED  WHEN_FAILED RAW_VALUE
  1 Raw_Read_Error_Rate     0x002f   200   200   051    Pre-fail  Always       -       0
  3 Spin_Up_Time            0x0027   183   179   021    Pre-fail  Always       -       7816
  4 Start_Stop_Count        0x0032   100   100   000    Old_age   Always       -       307
  5 Reallocated_Sector_Ct   0x0033   200   200   140    Pre-fail  Always       -       0
  7 Seek_Error_Rate         0x002e   200   200   000    Old_age   Always       -       0
  9 Power_On_Hours          0x0032   099   099   000    Old_age   Always       -       861
 10 Spin_Retry_Count        0x0032   100   100   000    Old_age   Always       -       0
 11 Calibration_Retry_Count 0x0032   100   253   000    Old_age   Always       -       0
 12 Power_Cycle_Count       0x0032   100   100   000    Old_age   Always       -       23
192 Power-Off_Retract_Count 0x0032   200   200   000    Old_age   Always       -       17
193 Load_Cycle_Count        0x0032   200   200   000    Old_age   Always       -       620
194 Temperature_Celsius     0x0022   124   114   000    Old_age   Always       -       28
196 Reallocated_Event_Count 0x0032   200   200   000    Old_age   Always       -       0
197 Current_Pending_Sector  0x0032   200   200   000    Old_age   Always       -       0
198 Offline_Uncorrectable   0x0030   200   200   000    Old_age   Offline      -       0
199 UDMA_CRC_Error_Count    0x0032   200   200   000    Old_age   Always       -       0
200 Multi_Zone_Error_Rate   0x0008   200   200   000    Old_age   Offline      -       0

De andere disks hebben vergelijkbare waarden.

Nieuwe SATA-kabeltjes zijn in bestelling, hopelijk lossen die het probleem op.

[]Byte[]

Zet je spindown eens een tijdje uit....
En dan kijken of je checkum-errors er ook mee weggaan.

[Verwijderd]

Checksum errors komen niet door kabelfouten. Kabelfouten betekent dat dat de I/O opnieuw verzonden wordt, of de I/O zal falen. Er zal geen corrupte data binnenkomen; althans dat is duidelijk in de ATA-standaard geregeld. Een storageapparaat mag nooit corrupte data terugsturen, alleen een I/O error.

Checksumfouten kunnen komen door... corruptie (allerlei oorzaken) of door RAM-bitfouten. Dat laatste komt het meeste voor. Recente versies draaien van MemTest86 en 86+ voor langere duur is het beste wat je kunt doen. En het in de gaten houden. Als na een verse scrub een vervolg scrub nog steeds checksum fouten detecteert, is je systeem niet stabiel en waarschijnlijk ondervind je geheugencorruptie.

[]Byte[]

CiPHER: En als het een combinatie is van de spindown en crappy flush / reset?
Of is dat 'niet mogelijk'?

[Verwijderd]

Een timeout is geen checksum error. Een timeout wordt als read of write error aangegeven. Checksum error betekent dat er data is teruggestuurd die niet kan kloppen gezien de checksum. Dat betekent on-disk corruptie, een disk die niet volledig gesynced was na een power outage of RAM geheugencorruptie. In een heel zelfzaam geval ligt het echt aan de disk waarbij de DRAM chip in de hardeschijf of SSD stuk is en er geen End-to-End Data Integrity protection wordt gebruikt.

Kortom, RAM fouten ligt het meest voor de hand, vooral als de checksum errors zich willekeurig distriibueren over de disks. In elk geval fijn dat je ZFS hebt anders had je dus silent corruption.

[Dr_Hell]

Het is wel ECC geheugen en het mobo+CPU ondersteunen ECC ook. Het staat ook aan in de BIOS.
dmidecode -t memory geeft aan dat ECC ook echt aan staat.
Memtest86+ heb ik al uren gedraaid zonder fouten.
Dan is het geheugen toch niet een waarschijnlijke oorzaak? Of kunnen er ondanks ECC toch nog ongemerkt fouten in het geheugen zitten?

De spindown staat nu weer uit, baat het niet dan schaadt het niet behalve voor de stroomrekening dan

[Nielson]

Heb je de schijven aan de Intel controller of aan één van de Marvell controllers hangen?

[matty___]

ZFSGuru wordt vermeld in de FreeBSD Quarterly Update http://www.freebsd.org/ne...port-2014-01-2014-03.html

[ikkeenjij36]

Hallo updaten naar versie 11.0-001 geeft bij mij problemen met sickbeard en sabnzbd die allebei crashen op een cherrypy process.
Daarom is het voor mij niet mogelijk om te updaten naar versie 11.
Zijn er hier misschien mensen die ook hier last van hebben?
Ook de vraag al gesteld op de forums vd progs maar tot nu toe geen reactie erop gehad,ik hoop dat er hier iemand is die mij verder wil/kan helpen?
Ook geeft sabnzbd aan dat pyopenssl niet geinstaleerd is en daarom kan ik geen gebruik maken van ssl op mijn usenet servers.

code:

500 Internal Server Error

The server encountered an unexpected condition which prevented it from fulfilling the request.

Traceback (most recent call last):
  File "/start/zfsguru/services/11.0-001/sabnzbdplus/data/sickbeard/cherrypy/_cprequest.py", line 660, in respond
    response.body = self.handler()
  File "/start/zfsguru/services/11.0-001/sabnzbdplus/data/sickbeard/cherrypy/lib/encoding.py", line 193, in __call__
    self.body = self.oldhandler(*args, **kwargs)
  File "/start/zfsguru/services/11.0-001/sabnzbdplus/data/sickbeard/cherrypy/_cpdispatch.py", line 25, in __call__
    return self.callable(*self.args, **self.kwargs)
  File "/start/zfsguru/services/11.0-001/sabnzbdplus/data/sickbeard/sickbeard/webserve.py", line 1380, in index
    return _munge(t)
  File "/start/zfsguru/services/11.0-001/sabnzbdplus/data/sickbeard/sickbeard/webserve.py", line 122, in _munge
    return unicode(string).encode('utf-8', 'xmlcharrefreplace')
  File "/usr/local/lib/python2.7/site-packages/Cheetah/Template.py", line 1010, in __unicode__
    return getattr(self, mainMethName)()
  File "_services_sabnzbdplus_data_sickbeard_data_interfaces_default_home_addShows_tmpl.py", line 102, in respond
  File "/usr/local/lib/python2.7/site-packages/Cheetah/Template.py", line 1615, in _handleCheetahInclude
    self._CHEETAH__cheetahIncludes[_includeID].respond(trans)
  File "_services_sabnzbdplus_data_sickbeard_data_interfaces_default_inc_top_tmpl.py", line 707, in respond
  File "/usr/local/lib/python2.7/site-packages/Cheetah/Template.py", line 1377, in varExists
    valueFromSearchList(self.searchList(), varName.replace('$', ''), autoCall)
NotFound: cannot find 'header'

Ook nog even een klein vraagje wat deze meldingen kunnen beteken in het systeem log?

code:

Apr 18 22:58:05 zfsguru mountd[727]: -mask and /masklen are mutually exclusive
Apr 18 22:58:05 zfsguru mountd[727]: bad exports list line /DATA/films  -network
Apr 18 22:58:05 zfsguru mountd[727]: -mask and /masklen are mutually exclusive
Apr 18 22:58:05 zfsguru mountd[727]: bad exports list line /DATA/fotos  -alldirs -mapall
Apr 18 22:58:05 zfsguru mountd[727]: -mask and /masklen are mutually exclusive
Apr 18 22:58:05 zfsguru mountd[727]: bad exports list line /DATA/muziek -alldirs -mapall
Apr 18 22:58:05 zfsguru mountd[727]: -mask and /masklen are mutually exclusive
Apr 18 22:58:05 zfsguru mountd[727]: bad exports list line /DATA/tvseries   -network
Apr 18 22:58:05 zfsguru mountd[727]: network/host conflict
Apr 18 22:58:05 zfsguru mountd[727]: bad exports list line /DATA/virtueel   -network

Ik kan/vindt nog steeds geen nfs shares zowel niet op mijn rpi(xbmc12) als ook niet op mijn laptop(xbmc12)
Alle hulp en tips en advies zijn welkom.

[ Voor 19% gewijzigd door ikkeenjij36 op 19-04-2014 15:03 ]

[matty___]

ikkeenjij36 schreef op zaterdag 19 april 2014 @ 14:44:

Ik kan/vindt nog steeds geen nfs shares zowel niet op mijn rpi(xbmc12) als ook niet op mijn laptop(xbmc12)
Alle hulp en tips en advies zijn welkom.

Server en client gebruiken dezelfde NFS versie?

[Verwijderd]

Je vraag over SABnzbd+ hoort hier niet echt thuis; maar ik heb je met een DM inmiddels een reactie gegeven.

Over je NFS probleem: stel al je shares eens in op gebruik van 'private' share-profiel. Het lijkt erop dat er opties door elkaar gebruikt worden (masklen en mask).

[ikkeenjij36]

matty___ schreef op zaterdag 19 april 2014 @ 18:30:
[...]


Server en client gebruiken dezelfde NFS versie?

Geen idee of ze idd wel dezelfde nfs versie draaien.
Draai op zfsguru op versie 10 en op de rpi raspbmc weet niet waar ik moet kijken of het dezelfde versies zijn?

[]Byte[]

De rpi draait met wheezy standaard volgens mij op een client met v.3
Ik heb daar zelf ook al eens problemen mee gehad dat ik op mijn rpi (xbmc) geen verbinding kon krijgen met de NFS-shares op mijn QNAP's die met v.4 draaien.
Kreeg met geen mogelijkheid een verbinding tot stand tussen die twee.
Vanaf mijn Mac kon ik de NFS-shares op de QNAP wel mounten, en daar zat het probleem dus niet.
Heb het toen maar vanwege tijdgebrek even op een laag pitje gezet.

[ikkeenjij36]

]Byte\[ schreef op zaterdag 19 april 2014 @ 22:02:
De rpi draait met wheezy standaard volgens mij op een client met v.3
Ik heb daar zelf ook al eens problemen mee gehad dat ik op mijn rpi (xbmc) geen verbinding kon krijgen met de NFS-shares op mijn QNAP's die met v.4 draaien.
Kreeg met geen mogelijkheid een verbinding tot stand tussen die twee.
Vanaf mijn Mac kon ik de NFS-shares op de QNAP wel mounten, en daar zat het probleem dus niet.
Heb het toen maar vanwege tijdgebrek even op een laag pitje gezet.

Ok jammer dat het nergens te vinden is hoe ik dit op kan lossen.zal eens op het raspbmc forum kijken.

[]Byte[]

Datzelfde probleem had ik ook.
Heb het toen maar ff op een zijspoor geparkeerd omdat ik mijn tijd harder nodig had op ZFSguru.
Mocht je toevallig een oplossing gevonden hebben... dan hoor ik 'm ook graag!

[nwagenaar]

nwagenaar schreef op woensdag 05 maart 2014 @ 14:25:
Oh, ik weet dat maar al te goed. Maar ik weet nagenoeg zeker dat ik onder FreeBSD/ZFSGuru waardes had van rond de 180MB/s write. Dus deze waardes vallen gewoon tegen.

Daarbij ervaar ik geen enkel probleem bij normaal gebruik. Maar ik ben nu eenmaal een tweaker, dus ik wil gewoon die missende MB/s terug!

Overigens begin ik nu het vermoeden te krijgen dat het probleem aan (de ashift van?*) mijn schijven ligt.

Good news everyone! I solved the problem.

Nou ja, het ging eigenlijk per ongeluk. Ik heb voor de zekerheid een zfsguru installatie op een USB-stick gezet en getest of ik hetzelfde probleem had; en verdomd dit bleek het geval te zijn. Naderhand heb ik de boel maar hersteld en is het een klein beetje in de vergetelheid geraakt en gedacht om in de loop van de maanden mijn schijven te vervangen met 3TB's. Helaas hielden bepaalde verplichtingen mij tegen om dit daadwerkelijk te doen.

Tot afgelopen week: ik kreeg een mail met de mededeling dat één van mijn schijven was uitgevallen en deze heb ik afgelopen weekend vervangen voor een 3TB WD RED. resultaat na de vervanging: 80MB/S read en write via Samba.

Klaarblijkelijk was één van de schijven zo rot dat ie de prestaties van de zfs-pool naar beneden sleurde. Maar hij was nog zodanig goed dat ie geen read/write errors of timeouts in de dmesg of zpool status output gaf. Apart, maar waar.

* nwagenaar is blij

[Verwijderd]

Ik heb net het onderstaande systeem samengesteld:

#	Product	Prijs	Subtotaal
1	Intel Xeon E3-1220 V3 Boxed	€ 178,33	€ 178,33
1	ASRock E3C226D2I	€ 188,51	€ 188,51
3	WD Green WD40EZRX, 4TB	€ 131,95	€ 395,85
1	Fractal Design Node 304 Zwart	€ 62,95	€ 62,95
1	Kingston ValueRAM KVR16LE11L/8	€ 72,40	€ 72,40
1	Seasonic G-Serie 360Watt	€ 51,-	€ 51,-
1	Intel Postville X25-M SSDSA2MH080G2C1 80GB	€ 0,-	€ 0,-
Bekijk collectie Importeer producten		Totaal	€ 949,04

Ik draai hier Ubuntu Server 14.04 LTS op met zfsonlinux. De 3 wd schijven staan in een raidz1. Ik krijg de volgende resultaten met een snelle dd benchmark:

code:

sudo dd if=/dev/zero of=/zordon/test/zerofile.dat bs=1M count=64000
64000+0 records in
64000+0 records out
67108864000 bytes (67 GB) copied, 294.44 s, 228 MB/s

code:

dd if=/zordon/test/zerofile.dat of=/dev/null bs=1M
64000+0 records in
64000+0 records out
67108864000 bytes (67 GB) copied, 321.124 s, 209 MB/s

Zijn deze resultaten realistisch voor dit systeem met zfsonlinux of zijn ze wat te laag? Het lijkt aan het geluid van de schijven bij deze benchmark wel dat ze in hele korte bursts beschreven worden. Klopt dit?

Met samba haal ik 79 mb/s bij het over kopiëren van een groot bestand. Ik heb samba nog niet getweakt, enkel socket options = TCP_NODELAY toegevoegd maar dit maakt geen verschil. De connectie loopt momenteel wel over mijn router heen. Ik veronderstel dat een switch hier waarschijnlijk wel verschil kan maken?

[HyperBart]

ZFS heeft wel wat "last" (zo werkt het gewoon) van breathing, dus die bursts die je merkt zijn TXG's die weggeschreven worden naar disk, het zien van je M550 en een conclusie daaruit dat je die als SLOG device hebt staaft die theorie ook.

Die snelheden lijken me OK...


Schrijf eens een terrabyte'je en doe eens een scrub als je wil? Na een tijd gaat die snelheid oplopen en aftoppen, dat vind ik ook altijd een leuke indicator van "oh ja, de schijven gaan hard genoeg".

Hier bv. met 5 x 4TB .15 Seagates in RAIDZ gaat dat op dit moment onder Ubuntu 14.04 met een zeer vergelijkbare CPU als die van jou aan een vrolijke 565 MB/s wat neerkomt op 113 MB/s / disk en voor mij prima is.

http://www.cpubenchmark.n...on+E3-1220+v3+%40+3.10GHz
http://www.cpubenchmark.n...+Xeon+E3-1230+%40+3.20GHz

http://cpuboss.com/cpus/I...-vs-Intel-Xeon-E3-1220-v3

Oh en Samba gaat hier bij mij ook nog niet aan volle gigabit snelheid, maar ik vraag me af of dat aan Samba, mijn client (laptop van het werk met energiebesparing en van die truut allemaal) of mijn server ligt.

[ Voor 63% gewijzigd door HyperBart op 21-04-2014 21:59 ]

[Verwijderd]

Aha, goed om te weten van die txg's. Ik had wel een vergissing gemaakt: die m550 zit in m'n desktop. In de server zit een oude intel x25-m die ik niet als slog gebruik maar waar ik wel een l2arc partitie op heb voorzien die nog niet ingeschakeld staat (dacht te hebben gelezen dat dat transfers van grote bestanden wat kan vertragen). Heb de orginele post aangepast.

De snelheden lijken inderdaad wel te kloppen met ongeveer 113 MB/s per schijf gezien er dan twee van de drie disks gebruikt worden voor data opslag? Of bedoel je dat de snelheid eerder naar ongeveer 340 MB/s zal gaan met verloop van tijd?

Ik zal nu wat data beginnen overplaatsen tot ongeveer een tb en ik post de resultaten dan.

[FireDrunk]

Nee, je snelheid zal nooit boven de 230MB/s uit gaan. ZFS leest altijd de pariteit van disk, en vergelijkt deze on-the-fly met de checksums. Juist daardoor weet je zeker dat ZFS je altijd correcte data zal voorschotelen.

[Kortfragje]

Vandaag mn eerste geval van silent corruption gehad denk ik (fixed by ZFS zo te zien). (ZoL op Ubuntu 12.04)

Een scrub gedraaid en die gaf aan 2.25 MB repaired te hebben (waar er het afgelopen jaar steeds 0 repaired te zien was bij mn maandelijkse scrub).

code:

gertdus_write@gertdus-server:/usr/local/crashplan/bin$ sudo zpool status
  pool: zfspool
 state: ONLINE
  scan: scrub repaired 0 in 10h10m with 0 errors on Thu Mar 27 03:37:59 2014
config:

    NAME        STATE     READ WRITE CKSUM
    zfspool     ONLINE       0     0     0
      raidz2-0  ONLINE       0     0     0
        2tb1    ONLINE       0     0     0
        2tb2    ONLINE       0     0     0
        2tb3    ONLINE       0     0     0
        2tb4    ONLINE       0     0     0
        2tb5    ONLINE       0     0     0
        2tb6    ONLINE       0     0     0


gertdus_write@gertdus-server:/usr/local/crashplan/bin$ sudo zpool status
  pool: zfspool
 state: ONLINE
  scan: scrub repaired 2.25M in 10h51m with 0 errors on Tue Apr 22 07:07:10 2014
config:

    NAME        STATE     READ WRITE CKSUM
    zfspool     ONLINE       0     0     0
      raidz2-0  ONLINE       0     0     0
        2tb1    ONLINE       0     0     0
        2tb2    ONLINE       0     0     0
        2tb3    ONLINE       0     0     0
        2tb4    ONLINE       0     0     0
        2tb5    ONLINE       0     0     0
        2tb6    ONLINE       0     0     0

Klopt deze interpretatie van het geheel?

Is er nu ook een manier om te kijken welke files repaired zijn (is er zoiets als een scrublog)?

[FireDrunk]

2.25MB is wel veel voor silent corruption. Bitrot is vaak niet meer dan een enkele byte. Logs al doorgespit?

Ik verdenk eerder een disk die bokt, misschien even goed naar SMART kijken?

[Kortfragje]

Hmm jah inderdaad raw read error rate is naar '1' gegaan voor disk '2tb6'. Even in de gaten houden (lijkt me nog niet nodig te vervangen...). tweede scrub loopt en die geeft weer braaf 0 fixed aan..

Bagger, raw read error op 807, 815 883 en wederom errors gevonden... disk maar snel vervangen ..

Iig happy met ZFS!

update:
en de disk is verdwenen..

Nu zou dit een disk of kabel probleem kunnen zijn denk ik. Maar iig maar een vervangende disk halen. Heb ik nog de vraag, ik wil graag nog een backup trekken voordat ik de disk replace (naar mn andere ZFS systeem). Zou ik de scrub af moeten laten lopen voor ik de backup aanzet of kan dat tegelijk maar levert het disk stress op?

[ Voor 60% gewijzigd door Kortfragje op 22-04-2014 14:40 ]

[]Byte[]

* ]Byte[ snakt naar een werkende AFP....

* ]Byte[ krijg echt last van alz..... dinges.
Wat was de regel ook alweer om vanuit het bootmenu een andere kernel te booten?

[ Voor 60% gewijzigd door ]Byte[ op 22-04-2014 15:50 ]

[Verwijderd]

Hierbij de resultaten:

Ik heb ongeveer 1tb aan data overgezet:

code:

NAME          USED  AVAIL  REFER  MOUNTPOINT
zordon       1.14T  5.99T   213K  /zordon
zordon/data   181K  5.99T   181K  /zordon/data
zordon/test  62.5G  5.99T  62.5G  /zordon/test
zordon/work  1.07T  5.99T  1.07T  /zordon/work

Daarna een scrub uitgevoerd. Hier haalt hij wel een hogere snelheid precies:

code:

  pool: zordon
  state: ONLINE
  scan: scrub in progress since Tue Apr 22 13:34:44 2014
    1.61T scanned out of 1.71T at 279M/s, 0h6m to go
    0 repaired, 94.12% done
config:

        NAME            STATE     READ WRITE CKSUM
        zordon          ONLINE       0     0     0
          raidz1-0      ONLINE       0     0     0
            WD40EZRX-A  ONLINE       0     0     0
            WD40EZRX-B  ONLINE       0     0     0
            WD40EZRX-C  ONLINE       0     0     0

errors: No known data errors

Nieuwe dd tests: vooral de lees snelheid is omhoog gegaan blijkbaar.

code:

sudo dd if=/dev/zero of=/zordon/test/zerofile.dat bs=1M count=64000
64000+0 records in
64000+0 records out
67108864000 bytes (67 GB) copied, 286.126 s, 235 MB/s

code:

dd if=/zordon/test/zerofile.dat of=/dev/null bs=1M
^C32592+0 records in
32591+0 records out
34174140416 bytes (34 GB) copied, 124.554 s, 274 MB/s

ik zie dat list aangeeft dat ik ongeveer 1.14 tb in beslag heb genomen en dat mijn pool een capaciteit van 6 tb heeft terwijl elke disk ongeveer 3.6 tb bruikbare capaciteit heeft wat dus eerder op een totale capaciteit van 7.2 tb uit zou moeten komen. Ik zie ook in de scrub dat er 1.71 tb data gescand wordt i.p.v. de 1.14 tb. die list aangeeft. Er wordt dus iets van 600 gb door zfs gebruikt veronderstel ik.

Klopt dit ongeveer met wat ik zou moeten zien en waar gebruikt zfs deze data precies voor (ik veronderstel checksums en andere beschermingsfuncties)?

[FireDrunk]

Scrub rekent volgens mij je pariteit mee.

[Verwijderd]

Aha, en ik zie ook dat er staat available bij list dus dan klopt het wel natuurlijk met:

7.2 tb - 1.14 tb = ongeveer 6 tb

Te snel conclusies getrokken

BasilFX Heeft hier ook wat energie besparende instellingen gepost voor ubuntu. Zijn deze instellingen, zoals de schijven in laptop modus plaatsen, compatibel met zfs of gaat dat problemen opleveren denken jullie?

[ Voor 45% gewijzigd door Verwijderd op 22-04-2014 18:15 ]

[Kortfragje]

Well let's see, all should be well soon...

Disk is compleet verdwenen en werd niet meer gedetecteerd. In SMART was geen error of aankomende fout te zien... Wel vlak voor de disk verdween raw read error rate wat heel erg snel opliep (screenie hier : http://tinypic.com/view.php?pic=zy7upz&s=8 )

Nu vervangen:

code:

root@gertdus-server:~# zpool replace -f zfspool 2tb6 2tb6a
root@gertdus-server:~# zpool status
  pool: zfspool
 state: DEGRADED
status: One or more devices is currently being resilvered.  The pool will
    continue to function, possibly in a degraded state.
action: Wait for the resilver to complete.
  scan: resilver in progress since Tue Apr 22 20:38:10 2014
    13.6G scanned out of 7.27T at 210M/s, 10h3m to go
    2.25G resilvered, 0.18% done
config:

    NAME             STATE     READ WRITE CKSUM
    zfspool          DEGRADED     0     0     0
      raidz2-0       DEGRADED     0     0     0
        2tb1         ONLINE       0     0     0
        2tb2         ONLINE       0     0     0
        2tb3         ONLINE       0     0     0
        2tb4         ONLINE       0     0     0
        2tb5         ONLINE       0     0     0
        replacing-5  UNAVAIL      0     0     0
          2tb6       UNAVAIL      0     0     0
          2tb6a      ONLINE       0     0     0  (resilvering)

errors: No known data errors

ff kijken hoe het gaat....

van t weekend de disk ook maar in een andere PC proberen..

[ Voor 4% gewijzigd door Kortfragje op 22-04-2014 21:43 ]

[C0rnelis]

Ik heb weer een kapotte harde schijf en heb nu boot problemen. Blijkbaar wil FreeBSD niet doorstarten met maar 5/6 schijven ? Op het moment dat ik hier tegenaanliep, bedacht ik me dat dit scenario zich de vorige keer ook heeft voorgedaan, maar toen heb ik de kapotte schijf weer aangesloten en 'm via de webinterface uit de pool gehaald. Dit keer is de schijf al onderweg voor RMA en heb ik deze mogelijkheid niet.
Ik kwam erachter tijdens het vervangen van het moederbord waarbij ik tegen ongerelateerde opstartproblemen aan liep en mijn gedachten waren overduidelijk niet bij deze ontbrekende schijf - die heb ik op de post gedaan terwijl mijn computer uit stond en ik diverse fora aan het afstruinen was naar een oplossing voor mijn moederbordproblemen, maar nu dus wat ? Moet ik wachten tot mijn vervangende schijf binnen is voordat ik (hopelijk) weer kan opstarten ? Of heb ik nu een serieus probleem ?

• Ik heb een RAID-Z2 pool van 6 schijven waarvan 1 RMA en niet voor handen is, deze ontbrekende schijf is niet mbv ZFSGuru uit de pool offline gehaald
• Ik heb ZFSGuru geinstalleerd op de pool en boot dus in FreeBSD (10-RELEASE)
• Het bootproces blijft haken op het "draaiende" asterisk (voordat je normaal gesproken de lijst van schijven ziet die worden herkend door FreeBSD volgens mij).

Ik heb in dit topic op een paar steekwoorden gezocht maar kon niet een antwoord vinden, heeft iemand een antwoord ?

[Verwijderd]

Je draait dus ZFSguru? Beta9? Welke systeemversie?

Heb je de bootcode geupdate van je disks? Dit is het eerste waar ik aan denk. Je kunt met een LiveCD booten en daarmee de bootcode van al je vijf resterende disks updaten. Je behoort volgens mij prima te kunnen booten van een degraded RAID-Z1/2/3.

[C0rnelis]

Ik durf mijn hand niet in het vuur te steken maar naar het changelog kijkende weet ik bijna zeker dat ik beta9 heb icm systeemversie 10.0-001. De eerste versie die op de pool installeerde was een 9.0 of 9.1 variant, waarna ik updates heb gehad naar 9.2 en uiteindelijk naar 10.

Maakt het nog uit welke LiveCD wordt gebruikt ? Gewoon de recommended pakken ?

[Verwijderd]

10.0-001 is erg oud; 10.0-002 is pas de final. Dat is een belangrijk verschil! De recommended LiveCD is prima, maar ik hoor dat Jason bezig is met de servers.... Ik zal kijken of even een mirror kan maken.
Edit: oke dan hoor ik het ik het wel als je hulp nodig hebt. Moet ook weer vroeg op.

[ Voor 17% gewijzigd door Verwijderd op 23-04-2014 00:47 ]

[C0rnelis]

Bedankt! Die moeite hoef je op dit moment voor mij niet te doen Ik heb mijn externe dvd-lezer nog op 't werk liggen, dus dat cd-tje ga ik morgen pas branden.

[Verwijderd]

Nieuwe ZFSguru LiveCD met 10.1-001 systeemversie (10-STABLE met alle moderne grafische infrastructuur) is beschikbaar. Directe link naar ISO image

Is er iemand die ook problemen had met SABnzbd+ service in de vorige systeemversie? Zo ja, probeer deze dan eens en laat weten of het werkt. Deze versie heeft vrijwel alle services, behalve XBMC.

[]Byte[]

Tnx CiPHER.
Ben 'm gelijk aan het installeren.
Ik zal van deze versie vanavond AFP met TimeMachine gaan testen en ook hier even laten weten.
(ben de Segmentation Fault's nu wel 'zat' van 10.0 en 11.0)

[Verwijderd]

Waarmee had je ook alweer segfaults? Heeft dat met Java te maken? Daar is mogelijk wel een fix voor in de nieuwe image, maar is een upstream probleem (van BSD).

[C0rnelis]

Thanks voor de livecd-versie-10! Succesvol geboot en pool kunnen importeren (herkend als DEGRADED). Ik heb, blijkt nu, toch al versie 10.0-002 en daarvoor 9.2-001 en 9.1-005 (die zijn inactief). Nu ik deze webinterface beta9 zie weet ik 100% zeker dat ik nog met beta8 draaide dus ik zat er tweemaal naast .

Ik zat alleen nog even met de vraag hoe ik de bootcode moest updaten. Ik zag verschillende mensen die het aanhalen, maar die verwijzen naar de Disks pagina en naar de System pagina en ik zie het niet staan op die pagina's en subpagina's, maar gelukkig stond het helder beschreven op https://zfsguru.com/forum/zfsgurusupport/766

De melding was een beetje verborgen, maar na het selecteren van Disks > Formatting > ada0 > rode partitie kiezen stond er ook vermeldt:
This partition may contain outdated bootcode! The currently installed bootcode does not conform to the bootcode provided by ZFSguru.

Na een klik op de knop stond er vervolgens:
The boot code on this partition is up to date with the ZFSguru provided bootcode.

Ik neem aan dat ook dit wordt mee-geresilvered straks ?

Ik heb in ieder geval weer een draaiende NAS

Met een ander IP tot mijn schrik, maar dat komt vanwege het nieuwe moederbord de interface heet geen re0 meer, maar igb0

[ Voor 5% gewijzigd door C0rnelis op 23-04-2014 19:19 ]

[]Byte[]

Verwijderd schreef op woensdag 23 april 2014 @ 15:33:
Waarmee had je ook alweer segfaults? Heeft dat met Java te maken? Daar is mogelijk wel een fix voor in de nieuwe image, maar is een upstream probleem (van BSD).

Nope, geen Java. Allemaal AFP-meuk
netatalk, avahi-daemon en dbus gaven allemaal Segmentation Faults bij het starten.
netatalk en dbus kon ik zelf herstellen door een recompile uit de portstree.
avahi-daemon bleef een drama. Daar bleef ik op dependecy's hangen (py-...nogwat) die kreeg ik met geen mogelijkheid werkend. (error 70 zo ff snel uit mijn hoofd)
Maar wacht nog heel even.
Ik heb 'm net geboot met de nieuwe versie, maar moet nu eerst mijn lagg ff in orde maken voor ik er bij kan.

[webbier]

Vandaag eindelijk eens geupdate naar system image 10.1-001. Alles ging goed, alleen samba werkt niet.
Op de services pagina staat de status van Samba op "stopped", maar wanneer ik op de start button druk krijg ik een warning in beeld "could not start Samba service!".

Heeft iemand een idee waarom samba niet automatisch start?

ps. het gaat hier om zfsguru

[ Voor 4% gewijzigd door webbier op 23-04-2014 19:43 ]

[]Byte[]

]Byte\[ schreef op woensdag 23 april 2014 @ 19:37:
[...]
Ik heb 'm net geboot met de nieuwe versie, maar moet nu eerst mijn lagg ff in orde maken voor ik er bij kan.

Eerst even mijn lagg0-interface weer in orde gemaakt.
- dep-common geïnstalleerd
- AppleShare geïnstalleerd.
- mijn TMbackup-share gekoppeld
- reboot....
En: YESSSSSS. Hij start nu eindelijk!
En dat in 1 keer.

Nu de rest (Samba, SABnzbd, Owncloud, iSCSI, NFS en nog wat andere meuk) nog even in de lucht hijsen en ben ik weer helemaal blij!

webbier schreef op woensdag 23 april 2014 @ 19:41:
Heeft iemand een idee waarom samba niet automatisch start?

Ik zal zo even kijken hoe ie bij mij reageert en het je ook laten weten.

CiPHERRRR:
Wat heb je met Samba gedaan?
Hij staat zelfs niet (meer) in /etc/rc.d/

Ohja.... trouwens mooi dat Zabbix er in gesleuteld zit!
Maar ik heb al een zabbix-server!
Het zou heel mooi zijn als je ook alleen de zabbix-agent in een module prop. (iets voor 10.1-002?)

[ Voor 30% gewijzigd door ]Byte[ op 23-04-2014 22:06 ]

[C0rnelis]

Ik heb 10.0-0002 en Samba draait hier zonder problemen. De daemon: /usr/local/sbin/smbd

Heb je wel gegevens in een log ? (/var/log/samba/log.smbd)

$ tail -n3 /var/log/samba/log.smbd
[2014/04/23 21:57:08,  0] smbd/server.c:1072(main)
  smbd version 3.6.22 started.
  Copyright Andrew Tridgell and the Samba Team 1992-2011

[]Byte[]

C0rnelis schreef op woensdag 23 april 2014 @ 22:03:
Ik heb 10.0-0002 en Samba draait hier zonder problemen. De daemon: /usr/local/sbin/smbd

Heb je wel gegevens in een log ? (/var/log/samba/log.smbd)

$ tail -n3 /var/log/samba/log.smbd
[2014/04/23 21:57:08,  0] smbd/server.c:1072(main)
  smbd version 3.6.22 started.
  Copyright Andrew Tridgell and the Samba Team 1992-2011

We hebben het hier ook over 10.1-001.
En nee, de hele /var/log/samba/... is er niet!

[ Voor 4% gewijzigd door ]Byte[ op 23-04-2014 22:09 ]

[C0rnelis]

Ah oops, te veel focus op de minor versie

[EnerQi]

C0rnelis schreef op woensdag 23 april 2014 @ 22:10:
Ah oops, te veel focus op de minor versie

Troost je met de gedachte dat ik hetzelfde dacht. Ik vond het al vreemd de commotie wegens FreeBSD 10, ik heb 'm al draaien met ZFSguru (maar dat is dus 10.0.002)

[Verwijderd]

Het verschil is dat de nieuwe image 10-STABLE is, dat is wat 10.1 gaat worden. In deze versie zit alle nieuwe grafische zooi van 11-CURRENT ook, terwijl alle zeer experimentele dingen alleen in 11 zitten. Kortom, prima als nieuwe default/recommended system image.

Maar ik zie inderdaad dat Samba niet werkt; heb ik het dan toch verkloot door buiten Jason om te releasen.

[]Byte[]

Verwijderd schreef op woensdag 23 april 2014 @ 22:55:
Maar ik zie inderdaad dat Samba niet werkt; heb ik het dan toch verkloot door buiten Jason om te releasen.

Moet ik eerlijk zijn of alleen aardig?
Maarja.... AFP werkt in ieder geval wel!

[ Voor 7% gewijzigd door ]Byte[ op 23-04-2014 23:27 ]

[Verwijderd]

Maar de nieuwe systeemversie is al geupload; LiveCDs komen nog. Voor mensen die 10.1-001 al voor deze datum hebben geprobeerd, zullen geen 10.1-001 meer zien maar een lang getal; dan herkent hij hem niet in de database en krijg je een deel van de checksum te zien. Dus controleer op de Status page of je de recente 10.1-001 image hebt. Als hij vanaf nu 10.1-001 zegt, dan draai je de goede.

[ikkeenjij36]

En samba werkt ook weer goed zoals het hoort?
Ik kan niet zonder samba.

[Verwijderd]

Die werkt ja. LiveCDs zijn nu ook geupload. Zie deze ZFSguru forum thread voor download links.

[]Byte[]

CiPHER...
Ik zie nog altijd de oude directory's (10.0-001, 10.0-002_nieuw, 11.0-001, 9.2-001 en 9.2-001-clean) staan van de oude installaties in /boot_mirror/zfsguru/services/
Nu wilde ik die gaan schonen, maar krijg ik de melding:
rmdir: /boot_mirror/zfsguru/services/9.2-001: Device busy
En de map is helemaal leeg... (ook geen hidden files/maps)
Hoe kan ik die weggooien?

[Verwijderd]

Het is geen map maar een filesystem; je dient zfs destroy te gebruiken. Je kunt op de System->Booting pagina je oude ZFSguru installaties verwijderen, sinds beta9.

[]Byte[]

Daar zijn ze juist al weg....
De 9.2 waren al lang weg.
De rest heb ik vanochtend ff verkloot door een 'rm -fR' in een verkeerde map te doen en ik daarmee in 1 klap alles in /boot_mirror/zfsguru/services/... naar de eeuwige jachtvelden had geholpen.

[FireDrunk]

Snapshotje?

[webbier]

Dan ga ik 10.1-001 nog maar eens installeren dan

[]Byte[]

FireDrunk schreef op donderdag 24 april 2014 @ 13:56:
Snapshotje?

Don't ask....
Die had ik net vorige week weggegooid onder het motto... Werkt leuk, maar heb ze niet meer nodig....

Nu weet ik ook gelijk weer wanneer ik ze WEL nodig heb!
(JA, ik heb ze nu weer gemaakt)
Maar goed. Alles werkt nu verder weer goed volgens mij.
Ik zit nu op afstand over een IPSec-tunnel op die doos te porren, vanavond ga ik maar weer eens een backup maken op m'n TimeMachine.
(niet handig om dat over m'n IPSec-tunnel te testen)

[FireDrunk]

V&A aangeboden: MZ7WD120HAFV Samsung SM843T 120GB SATA III Enterprise SSD 24/7

Voor de mensen die nog een L2ARC of ZIL SSD zoeken

(niet mijn ad btw )

[]Byte[]

CiPHER, waarom krijg ik nu deze melding:
Running an unofficial system image featuring FreeBSD 10.0-STABLE with ZFS v5000.
Voordat ik 'm 4:45 uur geleden heb ge-reboot voor het laatst was alles nog 'groen'

[pimlie]

HyperBart schreef op woensdag 16 april 2014 @ 15:06:
[...]

Ok, ik begrijp wel dat mijn server zonder memory is te komen zitten, maar met een ARC die limited op 20G staat in een server met 32GB geheugen vraag ik me toch af waarom een OS daar zo op begint te bokken... Geheugenmanagement niks?

Ik heb exact dezelfde problemen als jij onder Ubuntu 12.04, met regelmaat hangt mijn hele server, is onbereikbaar voor alles en werkt alleen een reset nog terwijl de machine niet gecrasht is volgens de console. Op het moment werk ik met miljoenen kleine bestanden die ik bewerk en vervolgens rsync, maar heb ook mysql logs op de zfs pool staan. De 'hangs' vinden in ieder geval geheel willekeurig plaats.

De enige referentie die ik heb kunnen vinden is deze (niet onderbouwde) verwijzing naar runaway memory usage dat door metadata intensieve workloads zou komen. In mijn geval zou dat zeer zeker de oorzaak kunnen zijn. Als ik geen mogelijke oplossingen vind dan stap ik binnenkort toch maar weer over naar ext4 voor mijn werkmappen want elke keer resetten is ook niet fijn

[Verwijderd]

]Byte\[ schreef op donderdag 24 april 2014 @ 19:47:
CiPHER, waarom krijg ik nu deze melding:
Running an unofficial system image featuring FreeBSD 10.0-STABLE with ZFS v5000.
Voordat ik 'm 4:45 uur geleden heb ge-reboot voor het laatst was alles nog 'groen'

Omdat ik een fout heb gemaakt met het releasen van systeemversie 10.1-001. De 'verkeerde' release had geen Samba in deze image; dat was natuurlijk niet de bedoeling. Nu een nieuwe versie geupload en in de database gezet. Dat betekent wel dat als je gister de 10.1-001 hebt gebruikt, je opnieuw moet installeren. Althans als je Samba support wilt.

Je kunt goed zien dat hij gister dus als 10.1-001 werd herkend en dus als officiële systeemimage, maar nu vandaag opeens niet meer. Als dat voor jou geldt, dan heb je de 'foute' image waarin Samba niet aanwezig is. Als je geen Samba gebruikt, hoef je opzich niet te updaten maar ik ga er vanuit dat je dat wel wilt doen. De oude 10.1-001 wordt nu niet meer herkend en wordt als 'unofficial' image gedetecteerd. Zo weet je dus of je de goede versie draait of niet.

[C0rnelis]

]Byte\[ schreef op woensdag 23 april 2014 @ 20:42:
[...]

Ohja.... trouwens mooi dat Zabbix er in gesleuteld zit!
Maar ik heb al een zabbix-server!
Het zou heel mooi zijn als je ook alleen de zabbix-agent in een module prop. (iets voor 10.1-002?)

Zabbix ga ik ook zeker gebruiken, als het even kan zet ik direct triggers op bad sectors!

De seagate schijven die ik heb blijken achteraf geen goede keuze geweest. Zes stuks gekocht in sep '12, verspreid over drie winkels om wat "batch-diversiteit" te krijgen. Eerste schijf ging stuk (4000+ passive bad sectors) in de laatste week van '13, tweede stuk (dood) in de laatste week van februari '14 en voor deze disk kreeg ik een refurbished disk terug die ik zojuist heb vervangen (50+ actieve bad sectors) en nu is de nieuwe schijf aan het resilveren.

[Verwijderd]

De Zabbix service in ZFSguru heeft momenteel alle diensten: Server, Agent, Proxy en nog wat..

Zouden er eigenlijk aparte services moeten komen voor server/agent/proxy?

[jacovn]

Wat voor voordeel heeft een nieuwere versie van zfsguru als alles verder goed lijkt te werken ?
Ik gebruik weinig extras, alleen spindown en midnight Commander

En de nieuwere versies van de pool, heeft het voordeel een 5000 versie te gebruiken ?
Ik neem aan dat je een pool opnieuw moet aanmaken om dit te krijgen ? Ik zou het kunnen doen door alles te copieren vnaf de minst gevulde pool naar de anderen, opnieuw aanmaken en dan weer een andere pool overcopieren etc. Redelijk time consuming vrees ik.

[EnerQi]

jacovn schreef op vrijdag 25 april 2014 @ 06:29:
En de nieuwere versies van de pool, heeft het voordeel een 5000 versie te gebruiken ?
Ik neem aan dat je een pool opnieuw moet aanmaken om dit te krijgen ? Ik zou het kunnen doen door alles te copieren vnaf de minst gevulde pool naar de anderen, opnieuw aanmaken en dan weer een andere pool overcopieren etc. Redelijk time consuming vrees ik.

Je kunt je pool upgraden naar versie 5000 zonder zorgen. Bij versie 5000 zou je een andere compressie kunnen gebruiken en nog wat kleine ZFS verbeteringen. Voor de grootste compatibiliteit zou ik gewoon op versie 28 blijven (zoals ik). De voordelen om je pool te upgraden zie ik ook nog niet, zeker niet als je zo weinig gebruikt qua functionaliteit.

p.s. filesystem ZFS upgraden is iets anders als ZFSguru upgraden

[]Byte[]

Verwijderd schreef op donderdag 24 april 2014 @ 23:44:
De Zabbix service in ZFSguru heeft momenteel alle diensten: Server, Agent, Proxy en nog wat..

Zouden er eigenlijk aparte services moeten komen voor server/agent/proxy?

Ik heb het gezien.
Netjes trouwens dat je er wel gelijk 2.2 ingezet heb!
Het zou wel handig zijn om er individuele packages van te maken.
Ik heb de agent nu los geïnstalleerd met een: pkg install zabbix_agentd
Even het ipadres van de zabbix-server er ingezet en hobbelen maar!

[]Byte[]

Verwijderd schreef op donderdag 24 april 2014 @ 22:15:
[...]

Omdat ik een fout heb gemaakt met het releasen van systeemversie 10.1-001. De 'verkeerde' release had geen Samba in deze image; dat was natuurlijk niet de bedoeling. Nu een nieuwe versie geupload en in de database gezet. Dat betekent wel dat als je gister de 10.1-001 hebt gebruikt, je opnieuw moet installeren. Althans als je Samba support wilt.

Je kunt goed zien dat hij gister dus als 10.1-001 werd herkend en dus als officiële systeemimage, maar nu vandaag opeens niet meer. Als dat voor jou geldt, dan heb je de 'foute' image waarin Samba niet aanwezig is. Als je geen Samba gebruikt, hoef je opzich niet te updaten maar ik ga er vanuit dat je dat wel wilt doen. De oude 10.1-001 wordt nu niet meer herkend en wordt als 'unofficial' image gedetecteerd. Zo weet je dus of je de goede versie draait of niet.

Dat was idd bekend.
Maar toen de release met het 'rare versienummer' (deel van de hash) opeens weg was, heb ik daarop 10.1-001 geïnstalleerd in de veronderstelling dat ie renamed was.
Als ik nu kijk, is alles opeens weer groen en staat de versie met het deel van de hash als versienummer er niet meer tussen en zegt mijn ZFSguru weer dat alles WEL goed is.
Ergo: de 10.1-001 die ik nu draai wordt nu opeens wel gezien als officiële systemimage!

Wat klopt er nu wel / wat niet?

(in mijn huidige "10.1-001" lijkt samba wel te werken - ik kan in ieder geval nu op de Public-share. De rest heb ik nog niet gedaan)

[svennd]

Ik heb 34, 4TB schijven, welke is de "beste" raidz2 opstelling hierbij ? Ik dacht 2*8+3*6 Maar dan krijg ik de error : vdev specification
use '-f' to override the following errors:
mismatched replication level: pool uses 8-way raidz and new vdev uses 6-way raidz

Wat zou afdoen van mijn snelheid ... (volgens g00gle)

Iemand een idee?

[tweedebas]

In een andere post is dit ook al eens voorbij gekomen.
Het is een waarschuwing dat je ongelijke vdev redundancy aanmaakt, als je er over hebt nagedacht kan je het wel gewoon gebruiken.

Dus -f gebruiken


Ik ga er nu even vanuit dan 8 en 6 binnen de "ideale" hoeveelheid schijven per vdev valt, weet dat lijstje niet uit me hoofd.
Anders is een leuke optie is misschien 5*6 aan te maken, en 4 als hot spare inzetten, of andere combinaties.

[ Voor 38% gewijzigd door tweedebas op 25-04-2014 12:01 ]

[Extera]

Het lijstje is niet zo moeilijk, namelijk altijd een macht van 2 aan data schijven (2,4,8,16)

[tweedebas]

Ja dat lijkt niet al te moeilijk inderdaad.

Daarbij moet je nog wel je Z1, Z2, Z3 schijven tellen dan.
Dus is een vdev Z2 met 8 disks niet ideaal (6 +2)en een vdev van 6 (4 +2) dus wel.

[]Byte[]

Extera schreef op vrijdag 25 april 2014 @ 12:30:
Het lijstje is niet zo moeilijk, namelijk altijd een macht van 2 aan data schijven (2,4,8,16)

+ je parity....
Bij 8 disken in RAIDZ1 heb je dus eigenlijk 9 disken nodig. (of 10 bij RAIDZ2)

tweedebas was mij net voor.

Wat dat betreft heeft svennd een wat ongelukkig aantal disken.
Die 6*3TB zou je in RAIDZ2 kunnen zetten.
Die 8*2TB.... Maak er ook een 6*2 in RAIDZ2 van. En hou die andere 2 voor spare.

[ Voor 27% gewijzigd door ]Byte[ op 25-04-2014 12:43 ]

[svennd]

tweedebas schreef op vrijdag 25 april 2014 @ 12:36:
Dus is een vdev Z2 met 8 disks niet ideaal (6 +2)en een vdev van 6 (4 +2) dus wel.

Wat is er niet ideaal aan 6+2? (dit is wat ik niet compleet snap)

@]Byte[ , tweedebas
Idd, hot spares kwamen ook in me op, maar dat is nogal duur (storage) en we hebben next-day replacement dus eigenlijk zijn hot spares niet zo heel interessant.

Ik vraag me ook af wat ik verlies... opzich heb ik eigenlijk 4 schijven "over" met een raidZ2 opstelling. 34-(6*5)=4 Hoe gebruik ik die dus best zonder al te veel te moeten opgeven. 4*7 + 1*6 of 2*8 + 3*6, of is het gewoon beter om 5*6 en de 4 er eigenlijk gewoon uit knallen :-D.

M'n OS staat op een mirror. Mss moet ik die gewoon eruit gooien ...dan heb ik een eenvoudige 6*6. (36) En m'n OS ook op een ZFS zetten ...

Allemaal niet eenvoudig voor een n00bje, bedankt!

[ Voor 4% gewijzigd door svennd op 25-04-2014 13:08 ]

[tweedebas]

svennd schreef op vrijdag 25 april 2014 @ 13:06:
[...]

Wat is er niet ideaal aan 6+2? (dit is wat ik niet compleet snap)

6 is geen macht van 2

2^2 = 4
2^3 = 8

geen 6 dus

Heeft te maken met hoe de datablocks verdeeld worden, dit gaat efficienter hence sneller als het verdeeld kan worden over een macht van 2 schijven. Bij 4k blocks:
4k/4 =1024b en 4k/8 = 512b dat is gunstiger verdelen dan 4/6 = 682.666.b

[ Voor 5% gewijzigd door tweedebas op 25-04-2014 13:14 ]

[Verwijderd]

Net iets anders...

Je hebt een recordsize van 128KiB bij ZFS. Een RAID-Z met 5 disks verdeelt die 128K + pariteit over de disks. In dit voorbeeld dus 128/4=32KiB per disk. 32+32+32+32 aan data en 32K aan pariteit, samen 160K.

Met zes data disks (plus parity disks) is je berekening geen schone breuk: 128K / 6 = 21845,33 bytes. Dat wordt dan of 21,5K of 22K gezien de sectorsize van 512 bytes. Het probleem is dat beide geen veelvoud zijn van 4K en derhalve dus misaligned zijn.

128K / 2 = 64K = goed
128K / 3 = 42,6K = fout
128K / 4 = 32K = goed
128K / 5 = 25,6K = fout
128K / 6 = 21,3K = fout
128K / 7 = 18,29K = fout
128K / 8 = 16K = goed

Dit hele probleem geldt alleen voor Advanced Format hardeschijven die in feite een verkeerde sectorsize aangeven; 512 bytes terwijl ze 4096 fysieke sectoren hebben. Als dat zou veranderen dan is het hele probleem direct ook opgelost. Tot die tijd: sectorsize override gebruiken. Dan forceer je je schijven naar 4K sectors.

[ikkeenjij36]

Hallo zfsguru staat bij mij op ssd van 60gb.
Nu ga ik morgen een compleet frisse install maken met het nwe image.
Wat is nu de beste manier om die ssd helemaal schoon te maken?
Zodat ik met een complete schone install kan beginnen.
Omdat t koningsdag is de computerwinkel dicht en kan ik geen nwe ssd crucial kopen.

[FireDrunk]

Afkoppelen en met tooltje van de fabrikant op een andere machine een secure erase doen.

[ Voor 14% gewijzigd door FireDrunk op 25-04-2014 18:02 ]

[Ultraman]

Inderdaad een Secure Erase doen
Kan op meerdere manieren. Met software van de fabrikant is vaak het makkelijkst, maar het kan ook met een willekeurige Linux installatie en/of LiveCD/DVD.

[ Voor 69% gewijzigd door Ultraman op 25-04-2014 18:15 ]

[]Byte[]

Ultraman schreef op vrijdag 25 april 2014 @ 18:15:
Inderdaad een Secure Erase doen
Kan op meerdere manieren. Met software van de fabrikant is vaak het makkelijkst, maar het kan ook met een willekeurige Linux installatie en/of LiveCD/DVD.

Yup.... DBAN

[HyperBart]

svennd schreef op vrijdag 25 april 2014 @ 11:46:
Ik heb 34, 4TB schijven, welke is de "beste" raidz2 opstelling hierbij ? Ik dacht 2*8+3*6 Maar dan krijg ik de error : vdev specification
use '-f' to override the following errors:
mismatched replication level: pool uses 8-way raidz and new vdev uses 6-way raidz

Wat zou afdoen van mijn snelheid ... (volgens g00gle)

Iemand een idee?

Holy crap... Post je evt in de kroeg wat foto's aub van je build?

[]Byte[]

---

[ Voor 105% gewijzigd door ]Byte[ op 26-04-2014 00:06 ]

[FireDrunk]

Bij 34 schijven zou ik denk ik toch gaan voor 3*(10 disks in RAIDZ2), en die 4 overige schijven in een losse pool zetten. 3*10 is een goede opzet, en mismatchende VDEV's kosten je performance (omdat de ene VDEV meer writes gaat krijgen dan de andere, omdat ZFS wil dat alle VDEV's op hetzelfde moment vol raken.

Bij 3*10 heb je een optimale verdeling onder vdev's. 3 VDEV's an sich is weer niet zo super efficient, maar ik denk niet dat je daar veel van merkt.

(bovendien kan je bijvoorbeeld downloads binnen laten komen op de 4 disk pool, en later migreren naar je grote pool, dan kan 's nachts je grote pool in standby/sleep en dat scheelt je nogal wat stroom)

[Nielson]

]Byte\[ schreef op vrijdag 25 april 2014 @ 19:18:
[...]

Yup.... DBAN

Nope, dat zou ik juist niet doen op een SSD. In plaats van je geheugencellen leeg te maken schijf je ze juist helemaal vol met random data, kost je alleen maar extra writes. Beter stuur je de SSD een ATA Secure Erase commando (bv met hdparm), dan doet de firmware het werk.

[ikkeenjij36]

Nou eerst ssd secure erase gedaan,daarna de nwe image geinstaleerd en opnieuw gestart en nu heb ik ineens na het opstarten missing bootloader?
Wat is hier mis gegaan en hoe kan ik het oplossen?(zfsguru 10.1-001)

edit:Na het opnieuw beginnen met de livecd is de pool niet aangemaakt op 1 of andere manier?
Beetje vreemd weer?

[ Voor 22% gewijzigd door ikkeenjij36 op 26-04-2014 15:00 ]

[FireDrunk]

Je pool gaat ook weg met een secure erase? Die zul je natuurlijk ook opnieu moeten aanmaken (als je de pool op je SSD bedoeld)

[ikkeenjij36]

FireDrunk schreef op zaterdag 26 april 2014 @ 15:31:
Je pool gaat ook weg met een secure erase? Die zul je natuurlijk ook opnieu moeten aanmaken (als je de pool op je SSD bedoeld)

Ja uiteraard lol
Dat heb ik dus gedaan.
Eerst secure erase gedaan daarna met de nwe live cd nwe pool gemaakt en daarna gerebbot en dan komt de melding bootloader missing,als ik daarna de live cd er weer in stop is er geen pool aangemaakt?

[FireDrunk]

Klinkt alsof je een pool aangemaakt hebt op een USB stickje (of een verkeerde disk ofzo)?

[ Voor 19% gewijzigd door FireDrunk op 26-04-2014 16:28 ]

[ikkeenjij36]

Nee ik zie nu dat er dus geen stukje boot zfs op de ssd staat.
Dat staat er wel op mijn disks van mijn data pool?

[FireDrunk]

oh, dan heb je een rare constructie gemaakt

Ik zou even al je data disks loskoppen en opnieuw beginnen. Je root pool heb je dus zonder boot sector / boot loader aangemaakt, maar je data pool wel, terwijl dat neem ik aan andersom moet.

[ikkeenjij36]

Eeeh ik denk dat dat gebeurd is ja,mar op mijn data pool staat nog de boot sector/loader op van de vorige versie 10.0-001.
Wordt dit een probleem?
Ik heb weinig zin om mijn data pool ook opnieuw aan te maken.

[]Byte[]

Nielson schreef op zaterdag 26 april 2014 @ 11:59:
[...]
Nope, dat zou ik juist niet doen op een SSD. In plaats van je geheugencellen leeg te maken schijf je ze juist helemaal vol met random data, kost je alleen maar extra writes. Beter stuur je de SSD een ATA Secure Erase commando (bv met hdparm), dan doet de firmware het werk.

Je kan ook een zero-write doen met dban. (je hebt gelijk, het blijven hoe dan ook writes!)
Maar ik ben nooit te beroerd om bij te leren.
Wat doet de secure-erase dan precies? Of doet ie dan alleen een clear van alle cellen zonder de writes?
In dat geval ben ik wel benieuwd hoe secure die secure-erase dan echt is...

Hoe kan je dat eigenlijk op ZFSguru (BSD) doen?

[ Voor 6% gewijzigd door ]Byte[ op 26-04-2014 18:38 ]

[ikkeenjij36]

O nee op het allerlaatst vergeten pool up te graden.(startpool)
Kan ik dat doen via live cd/inloggen via ssh en dan commando zpool upgrade
Of moet er nog /startpool achter?

[nero355]

]Byte\[ schreef op zaterdag 26 april 2014 @ 16:54:
Wat doet de secure-erase dan precies? Of doet ie dan alleen een clear van alle cellen zonder de writes?
In dat geval ben ik wel benieuwd hoe secure die secure-erase dan echt is...

Hoe kan je dat eigenlijk op ZFSguru (BSD) doen?

Ik kwam via https://www.google.com/se...reeBSD&rls=Palemoon:en-US hier terecht : http://blog.multiplay.co....a-devices-via-camcontrol/

Snap alleen niet dat password gedeelte Is dat een Sandforce iets wat bij andere controllers niet nodig is ?
Bij een andere link staat weer dat het bij een 100% succesvolle ERASE het password verdwijnt : Klopt dat ?!

[ Voor 24% gewijzigd door nero355 op 26-04-2014 19:59 ]