Het grote ZFS topic

[Verwijderd]

ppl schreef op woensdag 17 december 2014 @ 13:57:
In Linux is het inderdaad --apparent-size. In BSD-wereld bestaat deze optie niet.

Ik zei toch dat BSD de -A parameter heeft? Bij linux is het --apparent-size; vervelend want -A typt natuurlijk veel makkelijker. Voorbeeldje:

code:

# dd if=/dev/zero of=/zerofile bs=1m count=10
10+0 records in
10+0 records out
10485760 bytes transferred in 0.035627 secs (294319553 bytes/sec)

# du -h /zerofile
512B    /zerofile

# du -Ah /zerofile
 10M    /zerofile

Door de compressie is de disk space usage een halve kilobyte, terwijl het bestand daadwerkelijk 10MiB groot is.

[ Voor 4% gewijzigd door Verwijderd op 17-12-2014 14:17 ]

[FireDrunk]

Ik vraag me af of de "du" utility echt met ZFS kan communiceren om die compressie te achterhalen... Doet die utility niet gewoon zelf een gooi?

GNU du:

‘--apparent-size’
Print apparent sizes, rather than disk usage. The apparent size of a file is the number of bytes reported by wc -c on regular files, or more generally, ls -l --block-size=1 or stat --format=%s. For example, a file containing the word ‘zoo’ with no newline would, of course, have an apparent size of 3. Such a small file may require anywhere from 0 to 16 KiB or more of disk space, depending on the type and configuration of the file system on which the file resides. However, a sparse file created with this command:
dd bs=1 seek=2GiB if=/dev/null of=big
has an apparent size of 2 GiB, yet on most modern systems, it actually uses almost no disk space.

Als ik de fora zo lees, lijkt het een POSIX optie te zijn om aan een filesystem te vragen hoe groot de actual size is van een file, en zal dit dus ook correct zijn onder ZFS.

[ Voor 81% gewijzigd door FireDrunk op 17-12-2014 14:26 ]

[Verwijderd]

du is per definitie gebonden aan het filesystem; alleen de du -A optie is filesystem-agnostisch.

[ppl]

Verwijderd schreef op woensdag 17 december 2014 @ 14:16:
[...]



Ik zei toch dat BSD de -A parameter heeft? Bij linux is het --apparent-size; vervelend want -A typt natuurlijk veel makkelijker.

Mijn BSD man page vertelt me wat anders, de foutcode die ik krijg met -A ook. Waarschijnlijk is het specifiek voor FreeBSD (daar vind ik het wel in de man page). Vandaar ook de melding dat je eerst je man page moet checken.

[Gonadan]

Even wat geprobeerd.

Commando voor benchmark: rsync --progress -av <source> <dest>
Gebruikt: een bestand van 707598148 bytes (tar.gz) gebruikt om te testen.
A: S-ATA OS disk, 2,5" EXT4 partitie
B: S-ATA data disk, 3,5" EXT4 partitie
Z: S-ATA RAIDZ array
Alles op dezelfde onboard controller.

code:

A->A: sent 707,771,017 bytes  received 35 bytes  26,708,341.58 bytes/sec
A->B: sent 707,771,017 bytes  received 35 bytes  48,811,796.69 bytes/sec
A->Z: sent 707,771,017 bytes  received 35 bytes  45,662,648.52 bytes/sec
B->B: sent 707,771,018 bytes  received 35 bytes  52,427,485.41 bytes/sec
B->A: sent 707,771,018 bytes  received 35 bytes  61,545,308.96 bytes/sec
B->Z: sent 707,771,018 bytes  received 35 bytes  74,502,216.11 bytes/sec
Z->Z: sent 707,771,018 bytes  received 35 bytes  42,895,215.33 bytes/sec
Z->A: sent 707,771,018 bytes  received 35 bytes  61,545,308.96 bytes/sec
Z->B: sent 707,771,018 bytes  received 35 bytes  108,887,854.31 bytes/sec

Het was met kopieren en opruimen baggertraag, max 5MB/s. Nu doe ik een (amateur) benchmark en presteert dat array gewoon naar behoren. Het lijkt wel alsof alles na de reboot ineens weer vlot is, malligheid.

[FREAKJAM]

Heb je ZFS al getuned? (/etc/modprobe.d/zfs.conf)

Ik gebruik de volgende waardes: (Ik heb 8GB RAM toegekend aan mijn VM).

#minimal zfs arc (1/2 of zfs_arc_meta_limit)
options zfs zfs_arc_min=939524096

#maximum zfs arc (all RAM less 1 GB)
options zfs zfs_arc_max=7516192768

#arc meta lmit size (1/4 of zfs_arc_max)
options zfs zfs_arc_meta_limit=1879048192

#disable zfs high level prefetch cache
options zfs zfs_prefetch_disable=1

#decrease zfs txg timeout value from 30 (default) to 5 seconds
options zfs zfs_txg_timeout=5

[FireDrunk]

Het is in mijn ervaring ontzettend belangrijk om onder ZFSonLinux (zoals FREAKJAM al aangeeft) je ARC te limiteren. Linux' Page cache wil nog wel eens in de weg zitten met de ARC (daar werken ze nog aan).

Geheugen management is onder BSD een stuk beter, maar als je ARC netjes limiteert, is het probleem goed te behappen.

[Gonadan]

Nope, nog niets getuned. Bij Linux werkt ook niets out of the box hè?

Betere benchmark gevonden (dd), schrijven vijf runs:

code:

1073741824 bytes (1.1 GB) copied, 19.1091 s, 56.2 MB/s
1073741824 bytes (1.1 GB) copied, 16.0401 s, 66.9 MB/s
1073741824 bytes (1.1 GB) copied, 19.296 s, 55.6 MB/s
1073741824 bytes (1.1 GB) copied, 15.8002 s, 68.0 MB/s
1073741824 bytes (1.1 GB) copied, 13.9435 s, 77.0 MB/s

Lezen vijf runs:

code:

1073741824 bytes (1.1 GB) copied, 3.15895 s, 340 MB/s
1073741824 bytes (1.1 GB) copied, 5.31049 s, 202 MB/s
1073741824 bytes (1.1 GB) copied, 3.51602 s, 305 MB/s
1073741824 bytes (1.1 GB) copied, 3.69388 s, 291 MB/s
1073741824 bytes (1.1 GB) copied, 4.04451 s, 265 MB/s

Op zich niet slecht, maar ik zal mij eens verdiepen in de tuning, ben wel benieuwd. Op zich is mijn RAM nu nog wat krap, dus wellicht bestel ik wat bij.

[FireDrunk]

Ik kan nergens een duidelijke post vinden met je setup, kan je die even plaatsen?

[Gonadan]

Specifieke hardware of gewoon specs?

In ieder geval:
• MSI H55M-E33
• Intel i3 530
• 2G KVR
• Samsung Spinpoint 160GB 2,5" voor Ubuntu Server
• 4x WD Green 3T in RAIDZ (ashift=9)

FREAKJAM schreef op donderdag 18 december 2014 @ 00:28:
Heb je ZFS al getuned? (/etc/modprobe.d/zfs.conf)

Dat bestand heb ik (nog) niet.

[ Voor 102% gewijzigd door Gonadan op 18-12-2014 11:37 ]

[FireDrunk]

Vooral storage gerelateerde zaken, maar een full spec post is altijd goed.

Ik wilde graag een beoordeling kunnen maken van die snelheid, maar dat kan niet zonder specs.

[Gonadan]

Intel® H55 chipset met S-ATA II poorten.

OS-schijf, EXT4: pricewatch: Samsung Spinpoint M5S HM160HI, 160GB

code:

   Device Boot      Start         End      Blocks   Id  System
/dev/sda1   *        2048    29296639    14647296   83  Linux
/dev/sda2        29298686   312580095   141640705    5  Extended
/dev/sda5       308674560   312580095     1952768   82  Linux swap / Solaris
/dev/sda6        29298688   308674559   139687936   83  Linux

RAIDZ pool (ashift=9)
• 4x pricewatch: WD Green WD30EZRX

[FireDrunk]

Dan is 60MB/s veel te langzaam...

[FREAKJAM]

/etc/modprobe.d/zfs.conf moet je gewoon zelf aanmaken. Je moet je ZFS bak ook rebooten nadat je de boel hebt getuned. Had je je pool trouwens niet met ashift=12 moeten aanmaken?

[ Voor 24% gewijzigd door FREAKJAM op 18-12-2014 12:34 ]

[Gonadan]

FireDrunk schreef op donderdag 18 december 2014 @ 12:15:
Dan is 60MB/s veel te langzaam...

Tunen dan maar.

FREAKJAM schreef op donderdag 18 december 2014 @ 12:32:
/etc/modprobe.d/zfs.conf moet je gewoon zelf aanmaken. Je moet je ZFS bak ook rebooten nadat je de boel hebt getuned. Had je je pool trouwens niet met ashift=12 moeten aanmaken?

Zoals ik het begrepen heb moest ik kiezen tussen 9 of 12 vanwege het feit dat ik geen macht van twee heb aan dataschijven. 9 voor ruimte, 12 voor performance. Ik koos voor 9 omdat de performance toch al hoger zou moeten liggen dan van een enkele schijf en het netwerk is verder meestal toch de bottleneck.

[FireDrunk]

Correct gezegd.

60MB/s is al langzaam zonder tuning... Ik zou al snelheden van dik 200-300MB/s verwachten...

[Gonadan]

Ook voor schrijven?

[FireDrunk]

Op een lege pool? Ja hoor. Zo'n 4TB schijf doet alleen al ~150MB/s. Bij RAIDZ1 heb je 3 schijven van de 4 die werk kunnen verzetten. Dus je theoretische max is 450MB/s... Dat haal je niet vanwege diverse factoren, maar meer dan 200MB/s zou ik toch zeker verwachten.

[Gonadan]

Nou, zo leeg is hij onderhand niet meer.

Overigens was hij niet compleet in ruste tijdens de benchmark, wellicht vertekent dat het beeld nog wat, maar dan nog zou het veel harder moeten kunnen als ik jou mag geloven.
Dat is op te lossen door die zfs.conf tuning?

[ph0t0nix]

Op mijn servertje krijg ik de volgende getallen:

• FS met compressie, schrijven:
  
  code:
  

  $ dd if=/dev/zero of=/home/ph0t0nix/tmp/tmpie bs=1M count=5000
  5000+0 records in
  5000+0 records out
  5242880000 bytes (5,2 GB) copied, 1,6113 s, 3,3 GB/s

• FS zonder compressie, schrijven:
  
  code:
  

  $ dd if=/dev/zero of=/storage/video/tmpie bs=1M count=5000
  5000+0 records in
  5000+0 records out
  5242880000 bytes (5,2 GB) copied, 16,911 s, 310 MB/s

• FS met compressie, lezen:
  
  code:
  

  $ dd if=/home/ph0t0nix/tmp/tmpie of=/dev/null bs=1M count=5000
  5000+0 records in
  5000+0 records out
  5242880000 bytes (5,2 GB) copied, 0,679457 s, 7,7 GB/s

• FS zonder compressie, lezen:
  
  code:
  

  $ dd if=/storage/video/tmpie of=/dev/null bs=1M count=5000
  5000+0 records in
  5000+0 records out
  5242880000 bytes (5,2 GB) copied, 15,4264 s, 340 MB/s

Hardware:

• OS: Ubuntu 14.04, ZoL
• CPU: Core i3-2100
• RAM: 12 GB
• OS disks: 2× 256GB Crucial M500 in MDRAID 1
• RAIDZ: 3× 2TB Seagate ST2000DM001
• De 2 Crucial SSDs worden ook gebruikt voor SLOG (4GB, mirror) en L2ARC (2× 47GB)

Dit alles zonder tuning in /etc/modprobe.d/zfs.conf, met ashift=12.

[ Voor 4% gewijzigd door ph0t0nix op 18-12-2014 16:34 . Reden: ashift=12, SLOG en L2ARC info toegevoegd ]

[CurlyMo]

Nu even de kanttekeningen in acht nemen die CiPHER al vaker heeft geplaatst in dit topic aangaande lezen uit /dev/zero

[Verwijderd]

/dev/zero is prima. Het probleem is RAM caching. Je read test is deels een RAM test. Je write test is ook deels een RAM test vanwege buffering.

Kortom, gebruik 8x je RAM ipv 5GB als test grootte.

[ph0t0nix]

Daar was ik al bang voor . Ik zal eens met 100GB proberen:

• FS met compressie, schrijven:
  
  code:
  

  $ dd if=/dev/zero of=/home/ph0t0nix/tmp/tmpie bs=1M count=100000 
  100000+0 records in
  100000+0 records out
  104857600000 bytes (105 GB) copied, 34,5351 s, 3,0 GB/s

• FS zonder compressie, schrijven:
  
  code:
  

  $ dd if=/dev/zero of=/storage/video/tmpie bs=1M count=100000
  100000+0 records in
  100000+0 records out
  104857600000 bytes (105 GB) copied, 469,551 s, 223 MB/s

• FS met compressie, lezen:
  
  code:
  

  $ dd if=/home/ph0t0nix/tmp/tmpie of=/dev/null bs=1M count=100000
  100000+0 records in
  100000+0 records out
  104857600000 bytes (105 GB) copied, 13,4444 s, 7,8 GB/s

• FS zonder compressie, lezen:
  
  code:
  

  $ dd if=/storage/video/tmpie of=/dev/null bs=1M count=100000
  100000+0 records in
  100000+0 records out
  104857600000 bytes (105 GB) copied, 397,151 s, 264 MB/s

Voor het gecomprimeerde deel van m'n pool maakt 't niet zoveel uit. Voor het niet-gecomprimeerde deel weldegelijk.

[ Voor 89% gewijzigd door ph0t0nix op 18-12-2014 16:34 . Reden: testresultaten toegevoegd. ]

[IceTeaGX]

Mja compression met data uit /dev/zero...
Dat zou meer uit /dev/rand (ofzo) moeten komen, maar ik weet niet hoe snel die data kan leveren.

[ph0t0nix]

Klopt, maar lezen uit /dev/random is volgens mij entropy-bound. Misschien dat /dev/urandom werkt... Maar ja, dat zou dan het andere uiterste zijn: een totaal oncomprimeerbare set bytes. Ook niet helemaal fair voor real data.

Dus misschien de hele test met de LZ4 compressie maar vergeten. Het ging immers om een beetje vergelijkingsmaterial voor de schrijfsnelheid van Gonadan's 4× 3TB.

[Verwijderd]

/dev/urandom is ook niet snel genoeg. Je kunt wel een supersnelle SSD bouwen of RAMdisk en daar eerst een grote randomfile naartoe schrijven.

Maar waarom doe je dan een compressie test? Als het LZ4-compressie is, zul je netto je uncompressed performance testen.

Het is juist leuk om je compressie performance ook te zien; zie dat meer als een CPU/RAM benchmark dan een disk benchmark. Merk ook op dat lezen van compressie veel sneller is. Want: je leest 10MB van disk en netto betekent dat bijvoorbeeld 1GB/s+ datarate. Uiteindelijk is niet je disk bottleneck, maar je CPU/RAM-subsystem.

ZFSguru heeft ook dergelijke compressie tests, maar dan nog met LZJB/GZIP-compressie. In tegenstelling tot LZ4 compressen die ook keihard random data, terwijl LZ4 een detectiemechanisme heeft die voortijdig afbreekt als het uncompressible data detecteert. Daarom is LZ4 ook zo snel en breed inzetbaar.

[Phyt_]

hmm wilde eens kijken voor nieuwe versie van zfsguru, ik draai nu op 10.0-002
dus was wel eens tijd.
Maar nu heb ik meldingen in de webinterface dat zfsguru geen internet access zou hebben.
terwijl ik wel een ping kan doen vanaf de shell naar google dns..
is er onderhoud aan de zfsguru kant?

failed fetching remote file zfsguru_services.txt from any master server - check your internet connection!
failed fetching remote file zfsguru_system.txt from any master server - check your internet connection!

using an outdated local copy of the service database.
using an outdated offline copy for system images.

[ Voor 35% gewijzigd door Phyt_ op 18-12-2014 22:58 ]

[FREAKJAM]

Verwijderd in "Het grote ZFS topic"

Dat al geprobeerd?

[ Voor 83% gewijzigd door FREAKJAM op 18-12-2014 23:46 ]

[Phyt_]

FREAKJAM schreef op donderdag 18 december 2014 @ 23:45:
Verwijderd in "Het grote ZFS topic"

Dat al geprobeerd?

Thx vanaaf ff proberen.

[abusimbal]

Ik wil een ZFS server bouwen, twijfel over de CPU.
Hoe groot zijn de verschillen tussen deze CPU's i.v.m. snelheid e.d. met ZFS ?
Celeron G1840
Pentium G3240
Xeon E3-1220V3

[VorCha]

abusimbal schreef op vrijdag 19 december 2014 @ 14:00:
Ik wil een ZFS server bouwen, twijfel over de CPU.
Hoe groot zijn de verschillen tussen deze CPU's i.v.m. snelheid e.d. met ZFS ?
Celeron G1840
Pentium G3240
Xeon E3-1220V3

Celeron G1840 zal in 99% van alle gewone huis-tuin-en-keuken toepassingen van ZFS storage voldoende zijn.
Memory en HDD zijn veel meer van invloed op de snelheid. Los van het netwerk natuurlijk.

[FireDrunk]

Enige leuke verschil zou AES-NI kunnen zijn in het geval van BSD en Encryptie. Dat kunnen CPU's met de nieuwe AES-NI instructieset iets beter.
Maar of je het echt merkt, geen idee... Ligt 100% aan je gebruikscenario.

[Phyt_]

Helaas timeout op 30 sec gezet> reboot maakt geen verschil.
jammer , kan ik ook makkelijk overschakelen naar ander ZFS distro, las dat hier wat mensen ZFS on Linux gebruiken? met data behoud uiteraard.
Kijken naar een makkelijker en wat moderner ogende distro indien deze niet te update is.

[ Voor 8% gewijzigd door Phyt_ op 19-12-2014 23:14 ]

[FREAKJAM]

Heb je write rechten op de config folder? Er staat een post van Jason op het zfsguru forum bij iemand die hetzelfde probleem had.

[ Voor 18% gewijzigd door FREAKJAM op 19-12-2014 23:26 ]

[Phyt_]

heb dit commando uitgevoerd, chmod -R 777 /usr/local/www.
onduidelijk of Jason dat de config dir noemt, geen idee welke dir dat moet zijn.

heb hem werkend, !
/etc/resolv.conf was leeg? ! toegevoegd: defaultrouter="192.168.1.1"
/etc/rc.d/routing restart

en werkt nu downloading 10.1-002

thx voor hulp Freak.

[ Voor 40% gewijzigd door Phyt_ op 20-12-2014 00:17 ]

[jacovn]

abusimbal schreef op vrijdag 19 december 2014 @ 14:00:
Ik wil een ZFS server bouwen, twijfel over de CPU.
Hoe groot zijn de verschillen tussen deze CPU's i.v.m. snelheid e.d. met ZFS ?
Celeron G1840
Pentium G3240
Xeon E3-1220V3

Ik heb 3 zfs servers draaien en heb alleen xeons gekocht voor de paar extra PCI-E lanes zodat alle kaarten er 'genoeg' hebben. (1265L-v2, 1220v2 en een 1220)
Maar CPU load heb ik nog nooit meer dan paar procent gezien. Meestal loopt de CPU ook maar op halve clock snelheid of minder, tenzij ik er data naar toe kopieer over 10GE.

Dus of een dikke CPU voor een storage server die alleen wat files naar een afspeler streamed wel zin heeft ben ik niet over uit..

[Joenuh]

Hallo mensen,

helaas heb ik opnieuw een probleem met m'n Freenas (volgens mij 9.2.1.8). Deze heeft een tijdje netjes gedraait maar na een tijd krijg ik een melding dat iets met m'n ZFS-pool aan de hand was, helaas is het al een tijd geleden en weet ik niet meer precies wat de melding was. Dit probleem heb ik gegoogled en advies was om alle foutmeldingen te clearen in de kernel en dan te rebooten. Dat eerste gedeelte lukte prima, het rebooten niet. De NAS ging gewoon niet meer aan.

De NAS wil nu alleen nog booten zonder HDDs aangesloten. Ik heb om de beurt 2 van de 4 HDDs aangesloten, ook met verschillende voedingstrengen maar hij gaat gewoon niet meer.

Heeft iemand enig idee wat het probleem kan zijn?

Bij voorbaat dank,

Joenuh

Edit: Met niet meer aan bedoel ik dat FreeNAS niet boot, er branden wel gewoon lampjes op de NAS zelf..

[ Voor 6% gewijzigd door Joenuh op 20-12-2014 16:35 ]

[A1AD]

En wat voor meldingen krijg je op je console te zien met de HD's aangesloten? Tot waar boot FreeNAS?

Al eens een nieuwe install gedaan en je pool geïmporteerd?

Neem alvast een backup van je NAS config!

[Joenuh]

Ik heb niks op m'n nas aangesloten anders dan voeding, netwerkkabel en de USB-stick waar FreeNAS op staat. Dus ik weet eigenlijk niet zo goed tot hoever FreeNAS wel boot.

Ik heb inderdaad al wel een verse installatie gedaan maar dat mocht niet helpen.

Helaas heb ik geen backup van m'n NAS config.

[FireDrunk]

Enige optie om daarachter te komen, is gewoon ouderwets een monitor aan je NAS hangen en kijken wat je op het scherm ziet...

[Joenuh]

Dat dacht ik al, gaan we dat morgen eens proberen.

[jacovn]

Ik zit aan mijn volgende nas te denken.
Nu heb ik norco 4220 behuizingen, en 2 x 10 disk raidz2
Dat werkt prima.
Echter moet ik nu uit een 16 of 24 slots behuizing kiezen.
In een 24 zou ik een 18 disk raidz2 kunnen maken, en dan desnoods nog een 6 disk raidz2 erbij.
Die laatste is dan niet zo efficiënt, maar vrijlaten is ook weer zoiets.. (2x 10 disk raidz2 past er ook in uiteraard)

Zijn er nadelen aan een 18 disk raidz2 ?
Kan ook 19 disk raidz3 doen.

Er komen films op te staan, dus niks wat niet vervangen kan worden, en absoluut veel snelheid heb ik ook niet nodig.. Dus van raidz2 naar raidz3 levert mij weinig op denk ik..

[ Voor 7% gewijzigd door jacovn op 21-12-2014 12:54 ]

[Joenuh]

Ik heb hem net opgestart met 1 en met 4 HDDs en ik krijg beide keren de melding: ''this is a freenas data disk and cannot boot system. system halted''.

Moet ik al zenuwachtig/bang worden?

[FireDrunk]

jacovn schreef op zondag 21 december 2014 @ 12:08:
Ik zit aan mijn volgende nas te denken.
Nu heb ik norco 4220 behuizingen, en 2 x 10 disk raidz2
Dat werkt prima.
Echter moet ik nu uit een 16 of 24 slots behuizing kiezen.
In een 24 zou ik een 18 disk raidz2 kunnen maken, en dan desnoods nog een 6 disk raidz2 erbij.
Die laatste is dan niet zo efficiënt, maar vrijlaten is ook weer zoiets.. (2x 10 disk raidz2 past er ook in uiteraard)

Zijn er nadelen aan een 18 disk raidz2 ?
Kan ook 19 disk raidz3 doen.

Er komen films op te staan, dus niks wat niet vervangen kan worden, en absoluut veel snelheid heb ik ook niet nodig.. Dus van raidz2 naar raidz3 levert mij weinig op denk ik..

Ik zou 2 * 10 disk RAIDZ2 doen, en een losse mirror voor je OS. Dan heb je 2 plaatsen over die je bijvoorbeeld kan gebruiken op het moment dat je een schijf kapot hebt, en de schijf in ZFS gaat replacen.

Joenuh schreef op zondag 21 december 2014 @ 13:48:
Ik heb hem net opgestart met 1 en met 4 HDDs en ik krijg beide keren de melding: ''this is a freenas data disk and cannot boot system. system halted''.

Moet ik al zenuwachtig/bang worden?

Nee, gewoon even de bootvolgorde in je BIOS aanpassen.

[jacovn]

FireDrunk schreef op zondag 21 december 2014 @ 13:49:
[...]


Ik zou 2 * 10 disk RAIDZ2 doen, en een losse mirror voor je OS. Dan heb je 2 plaatsen over die je bijvoorbeeld kan gebruiken op het moment dat je een schijf kapot hebt, en de schijf in ZFS gaat replacen.

Hmm, stof tot nadenken inderdaad, thx.
Mirror voor OS is wellicht niet nodig voor mijn toepassing..

reparatie positie is wel handig..

met 2 x 10 kan ik ook uit met een controller minder..

[Joenuh]

Firedrunk, het lijkt er op dat je suggestie werkt. Voel me nu wel een enorme kluns .
Hoe kan dit eigenlijk veranderen? Ik doe m'n USB-stick namelijk altijd in dezelfde USB-poort..

[FireDrunk]

Voordeel is dat je array in rustige momenten in spindown kan. Bij zoveel disks toch een substantiële besparing...

[ikkeenjij36]

Hallo ik ga zfsguru weer proberen.
Na wat geexperimenteerd te hebben met andere distros en een kapotte schijf was ik alles kwijt(geen zfs).
Ik heb nu 11x2tb disks en 1 ssd waar ik het os op wil zetten.
Hoe kan ik het beste nu mijn pool indelen met deze schijven?
Raidz of Raidz2/3?
Graag jullie advies zodat het allemaal goed ingedeeld staat voor dat ik er dingen op ga zetten.

[FREAKJAM]

Lees anders eens het kopje pool design rules eens door op de volgende site. Je kunt ook twee pools maken trouwens (5 schijven in raidz + 6 schijven in raidz2).

Je had ZFSGuru toch al eerder draaien? Wat ging er mis?

[ Voor 11% gewijzigd door FREAKJAM op 21-12-2014 17:30 ]

[ikkeenjij36]

Ja klopt had het eerst draaien maar de services zoals sabnzbd gooiden roet in het eten.
Toch wil ik het nog eens proberen omdat ik alle data kwijt was door een kapotte disk.
Ik wil dat niet nog eens meemaken en kom daarom weer terug op zfsguru.
Bv freenas duurt het erg lang om de disks te initialeseren of hoe dat ook heet.

[FREAKJAM]

Wellicht nu een kans om de boel te scheiden wat CiPHER je al eerder heeft geadviseerd. SabNZBd op een apart systeem en ZFSGuru puur voor ZFS.

[ikkeenjij36]

Mm ja maar hoe precies te werk gaan zodat alle content wel op de nas komt te staan?

[jacovn]

Aparte pc, downloaden, uitzoeken wat je houden wilt, en dan af en toe een copy slag naar de nas.
Ik wil films met nl subs, als er geen origineel is dan een remux, laat ik op de pc staan, en als er dan alsnog een origineel komt download ik die, indien niet, komt de remux na een tijd op de nas te staan,

[ikkeenjij36]

Mm zoveel ruimte heb ik niet op de laptop.
ssd van256 gb en doordeweeks ben ik er niet en moet alles automatisch draaien.
Enigste wat ik er nog graag bij zou willen zien is een sleep/wake programmaatje zodat ik m bijvoorbeeld snachts kan laten draaien en overdags laten slapen.
Dit kan wel op omv maar die heeft weer geen zfs en geen autosub.

[RudolfR]

Ik zou SabNZBd dan in een VM onder ZFSGuru installeren.

[ikkeenjij36]

En kan ik dan gewoon laten opslaan op dezelfde machine?

[FREAKJAM]

OpenMediaVault heeft wel degelijk ZFS, maar is nog wel volop in ontwikkeling. Wellicht is het een idee om een apart topic aan te maken waarin je je wensen/eisen stelt. Nu wordt het eerder een discussie hoe je SabNZBd moet gaan inrichten.

[ Voor 16% gewijzigd door FREAKJAM op 21-12-2014 19:11 ]

[ikkeenjij36]

Ok en kunne jullie mij ook dan adviseren?

[ikkeenjij36]

FREAKJAM schreef op zondag 21 december 2014 @ 19:10:
OpenMediaVault heeft wel degelijk ZFS, maar is nog wel volop in ontwikkeling. Wellicht is het een idee om een apart topic aan te maken waarin je je wensen/eisen stelt. Nu wordt het eerder een discussie hoe je SabNZBd moet gaan inrichten.

Hier aan gemaakt

code:

http://gathering.tweakers.net/forum/list_messages/1617856

[A1AD]

ikkeenjij36 schreef op zondag 21 december 2014 @ 17:42:
Bv freenas duurt het erg lang om de disks te initialeseren of hoe dat ook heet.

Kan je dit even verduidelijken aub?

[ikkeenjij36]

Nou als ik bij freenas mijn hdd's laat samenvoegen tot 1 pool kan het wel tot meer als 24 uur duren voor de schijven/pool/volume klaar is voor gebruik,ik praat dan over 20tb+

[FREAKJAM]

Volgens mij ben je in de war met OpenMediaVault. Toen ik een EXT4 raid setup maakte duurde het ook uren om de boel te builden.

[ikkeenjij36]

Ook omv heeft daar idd last van maar freenas ook hoor duurt echt te lang voor mijn idee

[vanaalten]

Nou ben ik hier al een tijdje aan het lurken, ga binnenkort waarschijnlijk ook een zelfbouw-NAS op basis van ZFS in elkaar zetten, maar nou vraag ik mij toch af: de openingspost heeft het nogal over self-healing eigenschappen van ZFS. Krijg je hier nou ook statistieken van uit het systeem? Hoe vaak komt dat nou in de praktijk voor, dat je hardware het laat afweten en het ZFS systeem de boel hersteld?

[FireDrunk]

Dat is 100% afhankelijk van de hardware die je gebruikt, en de intensiteit waarmee je deze gebruikt.

Failure rates van harddisks zitten volgens mij op 10^14 of 10^15, dat is ergens tussen de 2TB en 10TB.
Statistisch gezien zou bij een RAID array van 4 van die schijven dus elke 8 TB een leesfout voorkomen, die door middel van ZFS checksums opgevangen kan worden, en als je redundantie hebt, ook hersteld.

Maar 8TB lezen doe je niet zomaar... Als jij dat dagelijks doet, ga je meldingen waarschijnlijk ietwat vaker zien dan als je 8TB in 10 jaar doet...

Met zpool status, zie je of er checksum fouten zijn langsgekomen, en ZFS spuugt een event uit.
Er zijn ook kernel counters volgens mij om dit eventueel in de gaten te houden, maar die heb ik zelf nog nooit gebruikt.

[FREAKJAM]

Uiteindelijk kun je de boel periodiek scrubben. Voor Ubuntu is er eventueel een mooi script die je pool monitored en je waarschuwt via mail als er iets niet in orde is.

[ Voor 53% gewijzigd door FREAKJAM op 22-12-2014 15:01 ]

[vanaalten]

Dat het systeem van checken er is geloof ik zonder meer; goed om te zien dat er met 'zpool status' wat statistiek in te zien is, maar nog steeds: zijn er hier mensen die al zo'n event gehad hebben - een losse leesfout, dan wel een reparatie tijdens een scrub?

[CurlyMo]

@FREAKJAM, Een health check van iemand die zpool status -x niet kent is niet zomaar hoopgevend Daarnaast doet hij allemaal véél te moeilijk. Een zpool health script hoeft echt niet complexer te zijn dan dit.

code:

#!/usr/bin/env bash

MAILTO="[e-mail]";
MAILFROM="[e-mail]";
COMMAND=$(/sbin/zpool status -x);

if [[ $COMMAND =~ "all pools are healthy" ]]; then
        exit;
else
        echo -e "Subject: ZFS Alert\n$COMMAND" | /usr/sbin/sendmail -f $MAILFROM $MAILTO;
fi

Als je je pool dagelijks gebruik, dan weet je ook wel hoeveel schijfruimte er vrij is. Als je je pool niet dagelijks "ziet" zoals bij een offsite backup, dan is het handig om vast een poging te doen het probleem op te lossen. Als in snapshots verwijderen totdat je er minimaal X over houdt. Die logica zit ingebakken in mijn backup script die ik laatste heb geplaatst.

@vanaalten, staar je niet alleen blind op de "live repairs", maar lees ook eens over hoe ZFS allerlei andere handigheden in zich heeft. En ja, ik heb het wel eens gehad dat er wat gerepareerd werd. Dat lag toen uiteindelijk aan corruptie door een kapotte SATA kabel.

[FREAKJAM]

@CurlyMo

Ik ben zelf geen scripter (hoewel ik je script snap, want scripts lezen kan ik dan weer wel ) en voor mij werkt het script goed genoeg. Hij monitored zelf of ik periodiek wel de boel scrub en ik heb zelf via cron een simpel scrub-scrippie in gebruik die ook niet zo bizar veel voorstelt.

code:

#!/bin/bash
HOSTNAME=`hostname -s`
POOL="tank"
EMAIL="[e-mail]"

STATUS=`/usr/sbin/zpool status $POOL`

echo "About to scrub pool $POOL, current status is: $STATUS "| mailx -s "$HOSTNAME: zpool scrub started on pool $POOL" -r $EMAIL $EMAIL
/usr/sbin/zpool scrub $POOL

Voor mij werkt het in ieder geval. Ik trigger daarnaast zelf regelmatig zpool status en zpool list om de boel een beetje in de gaten te houden.

[ Voor 5% gewijzigd door FREAKJAM op 22-12-2014 16:40 ]

[CurlyMo]

Wat ik probeer te zeggen is dat bijna 90% van de logica die hij is bash uitvoert ook al gedaan wordt door zpool status -x. Wanneer een van je pools problemen geeft, dan is de output hetzelfde als wanneer je zpool status [poolnaam] had gedaan.

code:

         -x      Only display status for pools that are exhibiting errors or
                 are otherwise unavailable.  Warnings about pools not using
                 the latest on-disk format will not be included.

Daarbij vertrouw ik dus meer op zpool zelf dan op zo'n bash script.

[FREAKJAM]

Goed punt. Vanavond even aan de hobby.

[A1AD]

vanaalten schreef op maandag 22 december 2014 @ 15:40:
Dat het systeem van checken er is geloof ik zonder meer; goed om te zien dat er met 'zpool status' wat statistiek in te zien is, maar nog steeds: zijn er hier mensen die al zo'n event gehad hebben - een losse leesfout, dan wel een reparatie tijdens een scrub?

Ik heb eens een melding gekregen dat er data hersteld werd ja.

Home nas met 3*4TB schijven in RaidZ1

[ Voor 4% gewijzigd door A1AD op 22-12-2014 20:36 ]

[vanaalten]

Ah, toch leuk om te horen!
Firedrunk noemde de statistiek al, ik zat mij af te vragen of de hardware inderdaad zo 'slecht' is om een reparatiesysteem nodig te maken. Goed om te weten dat dat inderdaad het geval is.

[CurlyMo]

Heb je je verder al verdiept in ZFS. Zoals ik al aangaf lijk je me teveel te focussen op het "reparatiesysteem" terwijl dat maar een van de vele mogelijkheden van ZFS is.

[ikkeenjij36]

Even nog een hele snelle vraag:welke versie van zfsguru is nu de juiste om te proberen?

Version Availability Compat Branch BSD version SPA Size (legacy) Size (binary) Hash Info
9.2-001 stable 9.2-RELEASE 5000 273.5 MB 260.9 MiB MD5 notes
11.0-003 experimental 11.0-CURRENT 5000 295.6 MB 281.9 MiB MD5 notes
11.0-002 experimental 11.0-CURRENT 5000 280.3 MB 267.3 MiB MD5 notes
11.0-001 experimental 11.0-CURRENT 5000 267.6 MB 255.2 MiB MD5 notes
10.1-002 stable 10.1-RC1 5000 292.8 MB 279.3 MiB MD5 notes
10.1-001 Available stable 10-STABLE 5000 316.3 MB 301.6 MiB MD5 notes
10.0-002
Graag jullie advies voor de stabiele versie die het gewoon goed doet?
Alvast bedankt weer

[CurlyMo]

Een stabiele versie die het gewoon doet heet in de volksmond gewoon stable.

[ikkeenjij36]

[DaCoTa]

Ik vond het ook niet duidelijk, de enige stable / release is 9.2. De volgende stable is 10.1-001 10-stable, maar op het forum staat dat je 10.1-002 stable 10.1-RC1 moet nemen. Een stable release candidate?

Nu ik hier aan het posten ben, ik ben geupgrade van 9.1-005 naar 10.1-002, en nu kan ik nergens meer de gedownloade files van transmission terugvinden. Zijn die er nog, of is dat verloren gegaan? Op zich niet een heel groot probleem, maar was wel een verrassinkje.

Verder ging de upgrade soepel, op de verwarring met de noodzaak van 0.2.0-beta10 webgui na (zfs list error), maar dat was op het forum wel te vinden.

[ Voor 76% gewijzigd door DaCoTa op 22-12-2014 21:54 ]

[ikkeenjij36]

Nu aan het instaleren en daarna eens even niks denk ik?
Alhoewel mijn dochter nu al begint te zeuren waar alle series en films gebleven zijn.

[vanaalten]

CurlyMo schreef op maandag 22 december 2014 @ 18:12:
Heb je je verder al verdiept in ZFS. Zoals ik al aangaf lijk je me teveel te focussen op het "reparatiesysteem" terwijl dat maar een van de vele mogelijkheden van ZFS is.

Enigzins in verdiept - met name snapshots vind ik een leuke bonus - maar het gaat mij voor m'n aankomende systeem toch vooral om een betrouwbaar opslagsysteem dat ergens in een hoekje komt te staan zonder er verder naar om te hoeven kijken.

Mijn vraag over dat reparatiesysteem was eigenlijk enigzins losstaand van ZFS: ik was eerst en vooral benieuwd naar of die harde schijven in de praktijk inderdaad die mankementen vertonen die de statistiek voorspelt. En wat het antwoord ook zou zijn, ik had geen plannen om ZFS dan wel of niet af te kraken, daar was m'n vraag gewoon niet voor bedoeld. Puur interesse in hoe betrouwbaar harde schijven tegenwoordig zijn.

[FireDrunk]

Dat is ongelofelijk subjectief... Ik zou me er niet aan wagen om de meningen/ervaringen die hier gegeven worden (hoe waardevol ook) ter harte te nemen.

YMMV (Your Mileage May Vary) is hier wel de meest toepasselijke term...

[ikkeenjij36]

Goedemorgen,ik weet niet of het hier echt thuis hoort maar ik probeer het toch maar.
Na gisteren zfsguru er weer opgezet te hebben draait het nu eindelijk eens een keer goed.
Nu heb ik wel even een vraagje erover,zfsguru heeft alle folders/files die ik aangemaakt heb op owner en group op share gezet,klopt dit of is er tijdens de install toch wat mis gegaan?
Dit namenlijk ommdat sabnzbd problemen heeft om permission te krijgen in/op de map scripts.

[FireDrunk]

Dat klopt, ZFSguru werkt met de share user, en zet (bijna) alle directories/rechten op deze user.
SabNZBd draait (als je deze via ZFSguru hebt geinstalleerd) als het goed is onder de share user dacht ik?

Heb je deze zelf geinstalleerd of via het Packages systeem van ZFSguru?

[ikkeenjij36]

Ja klopt via t package systeem van zfsguru en dan zal sab daar ook onder draaien.
Toch is het vreemd dat er erno13 permission denied op het postprocess script staat?

[FireDrunk]

Je kan even in de settings van SabNZBd de rechten override op 0777 zetten. Misschien dat dat helpt.

Om het te fixen kan je even op de commandline in de directory kijken waar SabNZBd zijn files in zet, als je daar file ownership ziet op iets anders dan share, gaat er iets mis. Om die foutjes te fixen kan je doen:

chown -R share:share [pad_naar_incoming_folder]

[ikkeenjij36]

FireDrunk schreef op dinsdag 23 december 2014 @ 08:55:
Je kan even in de settings van SabNZBd de rechten override op 0777 zetten. Misschien dat dat helpt.

Om het te fixen kan je even op de commandline in de directory kijken waar SabNZBd zijn files in zet, als je daar file ownership ziet op iets anders dan share, gaat er iets mis. Om die foutjes te fixen kan je doen:

chown -R share:share [pad_naar_incoming_folder]

De rechten in sab staan al op 0777
De 2e suggestie snap ik maar het commando daarvoor weet ik niet
Daarom wacht ik nog even om je 3e suggestie uit te proberen.
Wel bedankt voor het meedenken firedrunk

[FireDrunk]

cd [directory_van_sab]
ls -lah

[ikkeenjij36]

Mmm ik denk toch dat er iets niet goed gaat/staat.
Wil jij je gedachten er eens over laten gaan firedrunk?

code:

[root@zfsguru /services/sabnzbdplus/data/sabnzbd]# ls -lah
total 60
drwxr-xr-x   5 _sabnzbd  _sabnzbd     7B Dec 22 22:07 .
drwxrwxr-x  13 _sabnzbd  _sabnzbd    14B Dec 22 22:11 ..
drwxr-xr-x   3 _sabnzbd  _sabnzbd     3B Dec 22 22:07 Downloads
drwxr-xr-x   3 _sabnzbd  _sabnzbd    10B Dec 23 09:15 admin
drwxr-xr-x   2 _sabnzbd  _sabnzbd     7B Dec 23 05:48 logs
-rw-------   1 _sabnzbd  _sabnzbd   4.9K Dec 23 09:15 sabnzbd.ini
-rw-r--r--   1 _sabnzbd  _sabnzbd   4.9K Dec 23 09:15 sabnzbd.ini.bak

Hier ook de output van de scripts folder.

code:

[root@zfsguru /DATA/scripts]# ls -lah
total 717
drwxrwxrwx   3 share  share    38B Dec 23 01:05 .
drwxr-xr-x  14 share  share    14B Dec 22 22:15 ..
-rw-rw-rw-   1 share  share   4.1K Dec 23 00:00 Autosub Renamer.py
-rw-rw-rw-   1 share  share   4.5K Dec 22 23:02 DeleteSamples.py
-rw-rw-rw-   1 share  share   4.3K Dec 22 23:02 README.md
-rw-rw-rw-   1 share  share   3.1K Dec 22 23:02 ResetDateTime.py
-rw-rw-rw-   1 share  share    14K Dec 22 23:02 TorrentToMedia.py
-rw-rw-rw-   1 share  share    31K Dec 22 23:02 __init__.py
-rw-rw-rw-   1 share  share   3.4K Dec 22 23:02 autoProcessComics.py
-rw-rw-rw-   1 share  share   3.5K Dec 22 23:02 autoProcessGames.py
-rw-rw-rw-   1 share  share    16K Dec 22 23:02 autoProcessMedia.cfg.spec
-rw-rw-rw-   1 share  share    16K Dec 22 23:02 autoProcessMovie.py
-rw-rw-rw-   1 share  share   6.5K Dec 22 23:02 autoProcessMusic.py
-rw-rw-rw-   1 share  share   866B Nov 16 22:49 autoProcessTV.cfg.sample
-rw-rw-rw-   1 share  share   4.6K Nov 16 22:49 autoProcessTV.py
-rw-rw-rw-   1 share  share    17K Dec 22 23:02 changelog.txt
-rw-rw-rw-   1 share  share   504B Dec 22 23:02 getffmpeg.sh
-rw-rw-rw-   1 share  share   2.2K Dec 22 23:02 gh_api.py
-rw-rw-rw-   1 share  share   1.1K Nov 16 22:49 hellaToSickBeard.py
-rw-rw-rw-   1 share  share    34K Dec 22 23:02 license.txt
-rw-rw-rw-   1 share  share   8.9K Dec 22 23:02 logger.py
-rw-rw-rw-   1 share  share   6.5K Dec 22 23:02 nzbToCouchPotato.py
-rw-rw-rw-   1 share  share   2.5K Dec 22 23:02 nzbToGamez.py
-rw-rw-rw-   1 share  share   3.0K Dec 22 23:02 nzbToHeadPhones.py
drwxrwxrwx   6 share  share    23B Dec 22 23:02 nzbToMedia
-rw-rw-rw-   1 share  share    25K Dec 22 23:02 nzbToMedia.py
-rw-rw-rw-   1 share  share   8.5K Dec 23 01:05 nzbToMedia.pyc
-rw-rw-rw-   1 share  share   3.5K Dec 22 23:02 nzbToMediaAutoFork.py
-rw-rw-rw-   1 share  share    22K Dec 22 23:02 nzbToMediaConfig.py
-rw-rw-rw-   1 share  share   9.5K Dec 22 23:02 nzbToMediaDB.py
-rw-rw-rw-   1 share  share   5.6K Dec 22 23:02 nzbToMediaSceneExceptions.py
-rw-rw-rw-   1 share  share   5.6K Dec 22 23:02 nzbToMediaUserScript.py
-rw-rw-rw-   1 share  share    41K Dec 22 23:02 nzbToMediaUtil.py
-rw-rw-rw-   1 share  share   2.9K Dec 22 23:02 nzbToMylar.py
-rw-rw-rw-   1 share  share   6.1K Dec 22 23:02 nzbToNzbDrone.py
-rw-rw-rw-   1 share  share   6.6K Dec 22 23:02 nzbToSickBeard.py
-rwxrwxrwx   1 share  share   2.0K Nov 16 22:49 sabToSickBeard.py
-rw-rw-rw-   1 share  share    19K Dec 22 23:02 versionCheck.py

[FireDrunk]

Waar krijg je de foutmelding precies?

[ikkeenjij36]

Als sabnzbd aan het postprocess moet beginnen.
Daarom staat nu alles wat binnen is gekomen in de map complete en wordt het niet verplaatst naar de map tvseries.
Ook staat alles in complete nog als rar bestanden en is/wordt er niks uitgepakt.
De scripts komen uit nzbtomedia van clintonhall op github

[FireDrunk]

Post eens de rechten van je tvseries map.

[ikkeenjij36]

FireDrunk schreef op dinsdag 23 december 2014 @ 10:08:
Post eens de rechten van je tvseries map.

code:

[root@zfsguru /DATA/tvseries]# ls -lah
\total 38
drwxr-xr-x   2 root   share     2B Dec 22 22:14 .
drwxr-xr-x  14 share  share    14B Dec 22 22:15 ..

[GorgeousMetal]

Een erg goede uitleg over diverse zaken rondom ZFS kun je vinden op:
http://www.tumfatig.net/2...ained-and-demoed-briefly/.
De meeste weten dit waarschijnlijk allemaal al, maar wellicht dat het iemand kan helpen.

[FireDrunk]

@ikkeenjij36.

chown -R share:share /DATA/

Zou je probleem op moeten lossen.

[CurlyMo]

@FireDrunk, als we ikkeenjij36 weer even doorverwijzen naar zijn eigen topic. Ipv van diverse cross-posts aan te moedigen:

ikkeenjij36 schreef op dinsdag 23 december 2014 @ 08:00:
Hallo na het opnieuw instaleren van mijn nas en alles draaiende te krijgenheb ik een klein probleempje.
Ik weet dat het met de rechten te maken heeft maar hoe precies op te lossen?
Als sabnzbd iets binnen gehaald heeft wat van sickbeard afkomt krijg ik deze fout voor het postprocess script.

code:

python: can't open file '/DATA/scripts/sabToSickBeard.py': [Errno 13] Permission denied

Ik heb al chmod gedaan op de map scripts en sabtosickbeard maar helaas dat heeft niet geholpen.

Iemand een idee om dit opgelost te krijgen?
Nu moet ik wel zeggen dat ik de pp scripts heb gehaald uit nzbtomedia.
Als er iemand een beter oplossing weet dan graag.

Dit topic dus (Het goeie OS voor mijn NAS):

ikkeenjij36 schreef op zondag 21 december 2014 @ 19:37:
Hallo ben al enige tijd bezig om het goede/beste os voor mijn zelfbouw nas te vinden.
Wat ik al geprobeerd heb aan distro's zijn xpenology,heeft wat hickups bij mij en geen zfs waardoor ik al een keer al mijn data kwijt was.
Zfsguru liep verschillende keren vast op de sabnzbd service.
Omv leuk maar had eerst geen zfs nu wel maar duurt lang voordat mijn hdd's er in te zien en te gebruiken te waren.
Freenas zelfde als omv en ik vindt het zelf niet fijn werken gewoon.
Mijn favoriete os blijft zfsguru maar is ook nog volop in ontwikkeling.
Mijn eisen/wensen zijn goede bescherming voor mijn data,sabnzbd cp sb autosub erop kunnen draaien.
En mettertijd ook als backup voor mijn laptop en vanmijn dochter te kunnen maken.
Ook wil ik eigenlijk niet meer mijn kast open moeten maken om omv op een enkele schijf te instaleren.
Ik heb verder 9x2tb-1x4tb-1x3tb hdd's erin zetten en een ssd om het os van te laten booten.
Alle tips zijn welkom.

[FireDrunk]

Scuze me, ik wist niets van een eigen topic

[ikkeenjij36]

@CurlyMo Ok misschien is het idd handiger om dat te doen ipv verschillende topics te bezetten met mijn specifieke vragen,maar dat heb ik gedaan ivm ik niet weet of jullie ook zulke topics wel lezen en kunnen/willen adviseren,dus sorry voor het eventueel vervuilen van het zfs topic en ik zal verdere vragen stellen in dat topic.

[CurlyMo]

Zie deze post:

ikkeenjij36 schreef op zondag 21 december 2014 @ 19:38:
[...]

Hier aan gemaakt

code:

http://gathering.tweakers.net/forum/list_messages/1617856

[CurlyMo]

ikkeenjij36 schreef op dinsdag 23 december 2014 @ 11:09:
@CurlyMo Ok misschien is het idd handiger om dat te doen ipv verschillende topics te bezetten met mijn specifieke vragen, maar dat heb ik gedaan ivm ik niet weet of jullie ook zulke topics wel lezen en kunnen/willen adviseren, dus sorry voor het eventueel vervuilen van het zfs topic en ik zal verdere vragen stellen in dat topic.

@ikkeenjij36, zoals je het nu verwoord lijkt het wel alsof je onze aandacht aan het opeisen bent. We zijn allemaal in te huren om het probleem persoonlijk bij je op te lossen Zo bedoel je het vast niet, maar dan weet je dat je op mij opdringerig overkomt.

[FireDrunk]

Droogkloot

_{maar wel terecht}