Het grote ZFS topic

[Compizfox]

Goed, ik moet binnenkort één van mijn disks vervangen omdat die ondertussen al 1943 bad (reallocated) sectors heeft (and counting)

Het probleem is dat de schijven die ik erin heb (Samsung HD753LJ) niet meer te koop zijn.

Mijn idee was om een 1 TB disk te kopen (die uiteraard minstens zo snel is), waar ik de defecte disk door kan vervangen. Maar maakt het hier uit dat hij groter is? Los van dat ik disk space weggooi, dat snap ik
Ik moet wel 1 TB kopen omdat 750 GB disks al überhaupt niet meer te koop zijn in 7200 rpm.

Ik hoorde ook dat er problemen kunnen optreden als een disk een afwijkende block size heeft. Alle nieuwe disks die je tegenwoordig koopt hebben een block size van 4k. Ik weet echter niet of de twee oudere schijven die ik er nog in heb zitten een block size hebben van 4k of 512 B.
Ze rapporteren 512 B, maar ik weet dat veel disks dat rapporteren terwijl ze eigenlijk 4k hebben.

[HyperBart]

Die van 1TB (tot zelfs 2TB) hebben nog geen problemen met die 4K sectoren die 512B's emuleren... Gewoon een 1TB er bij steken als vervanger en een replace doen in ZFS. Je kan om lekker snel te gaan volgens mij ergens wel nog een mirror maken van die defecte disk en die dan in de pool hangen als replacement van de defecte, als je dan een resilver er over gooit ben je op een paar uur gesteld.

Details: ask the guru's

[Compizfox]

Nou, het probleem is meer dat ik nu 3 schijven heb die waarschijnlijk echt 512B sectoren hebben, waarvan ik nu 1 schijf wil vervangen door een schijf die 4k sectoren heeft.

[FireDrunk]

Dat maakt niet uit. 512B random writes zijn dan alleen wat trager omdat je disk 4k moet wissen, dan 512b veranderd, en weer 4k schrijft. Andersom (als je 4k schrijft op een 512b disk) is ook niet zo erg, dat is sequentieel net zo snel, alleen worden random writes intern in meerdere IO's opgedeeld, dus weer: Random writes en reads zijn iets trager. Bij een 4k optimized pool, stuurt je OS gewoon 4k opdrachten.

Je kan ook prima een grotere schijf kopen, en die gewoon partitioneren in 2 stukken, en het eerste stuk aan ZFS geven. Mocht je later nog zo'n schijf vervangen, doe je hetzelfde, en kan je een mirror maken van de overgebleven partities.

[B2]

Hm ik ga denk ik toch maar een FreeBSD of ZFSGuru gebruiken, ZFS on Linux (Fedora 17) werkt op zich prima, maar het automatisch mounten van de filesystems bij booten is echt een draak.

Systemd support zit nog steeds niet in de main branch, een jaar geleden is er een pull request gedaan, maar nog steeds zit het er niet in.

Moet ik voor de router functie alleen nog even naar PF kijken, heb alleen ervaring met iptables.

[FireDrunk]

SystemD is sowieso kak.... Ik dacht dat Gentoo die functionaliteit al had, misschien kan je daar wat code van jatten.

[B2]

FireDrunk schreef op dinsdag 08 januari 2013 @ 09:53:
SystemD is sowieso kak.... Ik dacht dat Gentoo die functionaliteit al had, misschien kan je daar wat code van jatten.

Nou ja, in theorie is systemd best wel aardig, maar je merkt gewoon dat een hoop applicaties er nog niet klaar voor zijn.

[FireDrunk]

SystemD is veel te groot en log. Als je een paar van die Gentoo Developers er over hoort...

Maar buiten dat, SystemD is leuk bedacht, maar zo groot dat het moeilijk aan te passen is, zowel voor de originele developers als voor derden. Een klein en plugbaar systeem zou makkelijker zijn.

[Xudonax]

ZFS on Linux werkt hier gewoon goed, mount zowel mijn SAS/SATA pool als mijn USB pools gewoon goed bij het opstarten. Wat voor problemen kom je tegen B2?

[FireDrunk]

USB Pool? Dat klinkt leuk

[Compizfox]

FireDrunk schreef op dinsdag 08 januari 2013 @ 07:59:
Dat maakt niet uit. 512B random writes zijn dan alleen wat trager omdat je disk 4k moet wissen, dan 512b veranderd, en weer 4k schrijft. Andersom (als je 4k schrijft op een 512b disk) is ook niet zo erg, dat is sequentieel net zo snel, alleen worden random writes intern in meerdere IO's opgedeeld, dus weer: Random writes en reads zijn iets trager. Bij een 4k optimized pool, stuurt je OS gewoon 4k opdrachten.

OK, dan ga ik gewoon zo'n Advanced Format-schijf bestellen.

Je kan ook prima een grotere schijf kopen, en die gewoon partitioneren in 2 stukken, en het eerste stuk aan ZFS geven. Mocht je later nog zo'n schijf vervangen, doe je hetzelfde, en kan je een mirror maken van de overgebleven partities.

Dat was meteen mijn tweede vraag. Als ik het goed begrijp is het dus niet mogelijk om, als ik de 2 overige schijven ook vervang door schijven van 1 TB, deze extra ruimte dan te gebruiken? Maw dan heb ik nog steeds een pool van 3x 750 GB terwijl ik 3x 1 TB schijven heb?

In dat geval is jouw manier wel slim

B2 schreef op dinsdag 08 januari 2013 @ 09:47:
Hm ik ga denk ik toch maar een FreeBSD of ZFSGuru gebruiken, ZFS on Linux (Fedora 17) werkt op zich prima, maar het automatisch mounten van de filesystems bij booten is echt een draak.

Ik begrijp dat je misschien niet zo heel veel hebt aan dit advies, maar wat ik heb gehoord is dat ZFS on Linux zowel qua stabiliteit als performance slechter is dan native ZFS op FreeBSD of Solaris. Dus ik zou lekker voor ZFSGuru gaan

[ Voor 18% gewijzigd door Compizfox op 08-01-2013 14:11 ]

[onox]

FireDrunk schreef op dinsdag 08 januari 2013 @ 09:53:
SystemD is sowieso kak.... Ik dacht dat Gentoo die functionaliteit al had, misschien kan je daar wat code van jatten.

Welke functionaliteit bedoel je precies? Gentoo gebruikt OpenRC en dat is gewoon een standaard init systeem.

Ik zou systemd niet log noemen, de laatste keer dat ik het testte bootte het mijn systeem meer dan 2x zo snel als OpenRC Maar dat vind ik dan eigenlijk ook het enige voordeel van systemd. Ik vind het voor de rest maar vaag en complex. Het is mij niet duidelijk wat systemd nou precies gestart heeft, wat daarvan nog leeft, en wat het mogelijk in de toekomst gaat starten (wat als een hacker bijv. poort 22 pingt, start systemd dan sshd op? ) Met OpenRC kan je gewoon eenvoudig een lijstje weergeven van welke services het moet starten en de huidige status van die services. Daarnaast vraag ik me af wanneer ze eens stoppen met het constant verzinnen van nieuwe features en het importeren van de hele codebase van udev vind ik ook maar belachelijk

Tot zover offtopic...

[B2]

Compizfox schreef op dinsdag 08 januari 2013 @ 14:08:
Ik begrijp dat je misschien niet zo heel veel hebt aan dit advies, maar wat ik heb gehoord is dat ZFS on Linux zowel qua stabiliteit als performance slechter is dan native ZFS op FreeBSD of Solaris. Dus ik zou lekker voor ZFSGuru gaan

Nou ja, als ik zo de issue's en de status op github ook lees, dan kreeg ik ook al zo'n idee.
De support binnen de Fedora community is minimaal, die zitten qua geloof helemaal op brtfs.

Alleen even uitzoeken of mijn bluetooth stickje wat ik gebruik om mijn SMA omvormer uit te lezen werkt op FreeBSD en of ik ergens een leuke howto voor PF kan vinden. De bak moet namelijk ook mijn router worden.

[ Voor 6% gewijzigd door B2 op 08-01-2013 14:47 ]

[FireDrunk]

Compizfox schreef op dinsdag 08 januari 2013 @ 14:08:

Dat was meteen mijn tweede vraag. Als ik het goed begrijp is het dus niet mogelijk om, als ik de 2 overige schijven ook vervang door schijven van 1 TB, deze extra ruimte dan te gebruiken? Maw dan heb ik nog steeds een pool van 3x 750 GB terwijl ik 3x 1 TB schijven heb?

In dat geval is jouw manier wel slim

Nee je kan een VDEV niet vergroten, je kan wel een nieuwe VDEV van die overige partities maken.
Die zou je in theorie in dezelfde pool kunnen hangen, maar dat is killing voor je performance.
Beter maak je er een losse pool van.

[servies]

B2 schreef op dinsdag 08 januari 2013 @ 14:47:
[...]


Nou ja, als ik zo de issue's en de status op github ook lees, dan kreeg ik ook al zo'n idee.
De support binnen de Fedora community is minimaal, die zitten qua geloof helemaal op brtfs.

Ik weet niet wat voor status jij leest, maar ik zie bij zfsonlinux voor zfs 0 open issues en voor spl zijn het allemaal compiletime issues...

Ik gebruik het ondertussen al bijna een half jaar zonder problemen op een CentOS 6.3 systeem...

[B2]

servies schreef op dinsdag 08 januari 2013 @ 14:56:
[...]

Ik weet niet wat voor status jij leest, maar ik zie bij zfsonlinux voor zfs 0 open issues en voor spl zijn het allemaal compiletime issues...

Ik gebruik het ondertussen al bijna een half jaar zonder problemen op een CentOS 6.3 systeem...

Ahum.... 274 open issues...
En op zich had ik het ook prima draaiend, alleen werkt het niet met systemd samen. CentOS 6.3 is nog geen systemd.

[ Voor 12% gewijzigd door B2 op 08-01-2013 15:09 ]

[Waking_The_Dead]

FireDrunk schreef op dinsdag 08 januari 2013 @ 14:55:
[...]


Nee je kan een VDEV niet vergroten, je kan wel een nieuwe VDEV van die overige partities maken.
Die zou je in theorie in dezelfde pool kunnen hangen, maar dat is killing voor je performance.
Beter maak je er een losse pool van.

Hoezo? Ik heb vorige maand mijn VDEV verdubbeld in capaciteit door alle schijven een voor een te vervangen.
Of heb ik misschien een stuk van de discussie gemist?

[servies]

B2 schreef op dinsdag 08 januari 2013 @ 15:05:
[...]


Ahum.... 274 open issues...
En op zich had ik het ook prima draaiend, alleen werkt het niet met systemd samen. CentOS 6.3 is nog geen systemd.

Ah, ik zat verkeerd te kijken... bij de zfs rc13 zelf... en daar staan 0 issues open.
Overigens zitten er onder die 274 open issues een flinke lading documentatie issues, compiletime issues (ondersteuning van oude compilers etc) en feature requests...
Qua stabiliteit heb ik in het afgelopen half jaar geen enkel probleem ondervonden...
Qua performance ook niet..
Maar ja, 1 meting zegt natuurlijk niets...

[FireDrunk]

Waking_The_Dead schreef op dinsdag 08 januari 2013 @ 17:04:
[...]


Hoezo? Ik heb vorige maand mijn VDEV verdubbeld in capaciteit door alle schijven een voor een te vervangen.
Of heb ik misschien een stuk van de discussie gemist?

Dan is je VDEV misschien groter, maar je filesystem nog niet volgens mij?
OF ik mis iets?

[Compizfox]

Het zou wel mooi zijn als dat kon...

Waarvan ik wel zeker weet dat het niet kan, is je vdev uitbreiden met meer schijven. Dus dat je van een RAID-Z1 van 3 schijven een RAID-Z1 met 4 schijven maakt bijvoorbeeld.

Mijn geval is echter anders, want het aantal schijven blijft gelijk...

[ Voor 77% gewijzigd door Compizfox op 08-01-2013 19:04 ]

[Verwijderd]

Je kunt geen vdevs uitbreiden door meer disken toe te voegen. Je kunt wel bestaande vdevs vervangen door grotere devices.

[Compizfox]

Aha, dat is mooi

[Contagion]

@B2 & @Servies:
> Qua stabiliteit heb ik in het afgelopen half jaar geen enkel probleem ondervonden...
> Qua performance ook niet..
> Maar ja, 1 meting zegt natuurlijk niets...

Ik gebruik inmiddels een aantal weken ZFS On Linux en ben er ook zeer tevreden over. Ben overgestapt van ZFS-Fuse (ook onder Linux) naar dit project omdat ZFS Fuse geen ashift=12 ondersteunt en ik inmiddels 4KB sector schijven heb. Ik heb alle data van de oude pool gekopieerd en een hele stapel resilvers en scrubs uitgevoerd en het werkt allemaal uitstekend.

Ik heb een 13 Drive RAID-Z3 array en haal daarmee tussen den 400-600 MB/sec aan doorvoer (lokaal door een seizein aan blurays naar /dev/null te 'cat'ten bijvoorbeeld). Schrijven kom ik tot zo'n 350 MB/sec maar dat is vooral omdat ik via GBit lan niet meer dan 120MB/sec doorvoer heb (uiteraard) en ik burst writes zie van die getallen.

Ik heb mijn oude array getest door te importeren in ZFSGuru en ZFS-Fuse en daarmee ook files zitten catten naar /dev/null. De performance was onder ZFSGuru nagenoeg gelijk aan ZFS on Linux (beide wel veel sneller dan ZFS-Fuse). Het ging geloof ik om 300 vs 330 MB/sec sequentieel op dezelfde files. Wederom sneller dan GBit LAN. Omdat ik meer bekend ben met Linux heb ik daarvoor gekozen.

De server nu draait Ubuntu Server 12.10 met de ZFS PPA en boot van USB stick zodat de schijven kunnnen slapen. Ook kan de machine wakker worden vian Wake-on-LAN. Werkt allemaal prima.

[ Voor 7% gewijzigd door Contagion op 08-01-2013 22:34 ]

[Borromini]

Kan die ashift optie nog achteraf worden gewijzigd? Ik neem aan dat één keer ingesteld die optie alleen toegepast wordt op nieuwe data, en niet op de al aanwezige?

[Compizfox]

Als ik het goed begrijp, is het puur de grote van de blokken data die het OS wegschrijft.
Dat betekent dus dat het enkel invloed heeft op de performance van het wegschrijven.

Correct me if I'm wrong

[Verwijderd]

@FireDrunk: je kan zfs online -e gebruiken om een device binnen een vdev zijn overtollige ruimte laten gebruiken. Zo kun je 2TB schijven met 3TB schijven vervangen en uiteindelijk de hele RAID-Z vdev met 3TB werkt ipv 2TB. Er is ook een autoexpand eigenschap, maar dat werkt niet echt 'auto' voor zover ik weet.

@Borromini: je kunt achteraf de ashift-waarde van je pool niet veranderen. Dit is dus een permanente instelling. Dat betekent tevens dat je een normale pool met ashift=9 ofwel geoptimaliseerd voor 512B sector schijven, niet kunt uitbreiden met schijven die native 4K sector zijn. Uitbreiden met schijven die Advanced Format zijn dus 4K fysiek maar 512B geëmuleerd, dat gaat wel maar wel met performanceverlies. Je wilt je pool dus heel graag ashift=12 hebben.

[HyperBart]

Zonder SSD:

HyperBart schreef op maandag 07 januari 2013 @ 21:20:

ZFSguru 0.2.0-beta8 (9.1-004) pool benchmark
Pool            : hulk (13.6T, 47% full)
Test size       : 64 GiB
normal read	: 488 MB/s
normal write	: 403 MB/s
I/O bandwidth	: 30 GB/s

Valt dus best wel goed mee

Ik denk dat die belabberde snelheid van gisteren kwam doordat ik een move aan het doen was van verschillende kleine bestandjes...

Nu eens over Samba een dd doen naar de gemounte'de share.

EDIT:

bart@Pyro2:~$ dd if=/dev/zero of=nas_temp/test.file bs=1M count=500
500+0 records in
500+0 records out
524288000 bytes (524 MB) copied, 1.22683 s, 427 MB/s
bart@Pyro2:~$ dd if=/dev/zero of=nas_temp/test.file bs=1M count=1024
1024+0 records in
1024+0 records out
1073741824 bytes (1.1 GB) copied, 3.06679 s, 350 MB/s
bart@Pyro2:~$ dd if=/dev/zero of=nas_temp/test.file bs=1M count=2048
2048+0 records in
2048+0 records out
2147483648 bytes (2.1 GB) copied, 6.52352 s, 329 MB/s
bart@Pyro2:~$ dd if=/dev/zero of=nas_temp/test.file bs=1M count=10240
10240+0 records in
10240+0 records out
10737418240 bytes (11 GB) copied, 32.5321 s, 330 MB/s

Dafuq . Die snelheid ligt hoger dan de throughput van mijn NIC...

Met Crucial M4, op ESXi gemounted, daar 2 x een VMDK op aangemaakt en aan ZFSguru gehangen om als L2ARC en ZIL te dienen:

ZFSguru 0.2.0-beta8 (9.1-004) pool benchmark
Pool            : hulk (13.6T, 46% full)
Test size       : 128 GiB
normal read	: 478 MB/s
normal write	: 297 MB/s
I/O bandwidth	: 29 GB/s

[Waking_The_Dead]

FireDrunk schreef op dinsdag 08 januari 2013 @ 17:48:
[...]

Dan is je VDEV misschien groter, maar je filesystem nog niet volgens mij?
OF ik mis iets?

Ik heb FreeNAS 8.(nogiets). Oorspronkelijk zater er zes 1TB schijven in in RAID-Z2.
2 schijven waren na verloop van tijd stuk en heb ik vervangen door 2TB schijven.
Nieuwe situatie: 4*1TB + 2*2TB (maar effectief slecht 6*1TB uiteraard).
Vorige maand heb ik dan uiteindelijk de resterende 1TB schijven door 3TB exemplaren vervangen.
Nieuwe situatie: 4*3TB + 2*2TB (effectief 6*2TB).
Na het resilveren van de laatste schijf had ik netto 8TB en daar moest ik voor de rest niets voor doen; dit ging gewoon automatisch.
En ik verwacht dat wanneer ik die laatste 2 2TB schijven ook vervang door 3TB exemplaren ik gewoon netto 12TB heb.

[ Voor 7% gewijzigd door Waking_The_Dead op 09-01-2013 09:40 ]

[servies]

Waking_The_Dead schreef op woensdag 09 januari 2013 @ 09:38:
[...]


Ik heb FreeNAS 8.(nogiets). Oorspronkelijk zater er zes 1TB schijven in in RAID-Z2.
2 schijven waren na verloop van tijd stuk en heb ik vervangen door 2TB schijven.
Nieuwe situatie: 4*1TB + 2*2TB (maar effectief slecht 6*1TB uiteraard).
Vorige maand heb ik dan uiteindelijk de resterende 1TB schijven door 3TB exemplaren vervangen.
Nieuwe situatie: 4*3TB + 2*2TB (effectief 6*2TB).
Na het resilveren van de laatste schijf had ik netto 8TB en daar moest ik voor de rest niets voor doen; dit ging gewoon automatisch.
En ik verwacht dat wanneer ik die laatste 2 2TB schijven ook vervang door 3TB exemplaren ik gewoon netto 12TB heb.

En zo zou het ook moeten werken met die autoexpand optie...

[Compizfox]

Verwijderd schreef op woensdag 09 januari 2013 @ 01:26:
@Borromini: je kunt achteraf de ashift-waarde van je pool niet veranderen. Dit is dus een permanente instelling. Dat betekent tevens dat je een normale pool met ashift=9 ofwel geoptimaliseerd voor 512B sector schijven, niet kunt uitbreiden met schijven die native 4K sector zijn. Uitbreiden met schijven die Advanced Format zijn dus 4K fysiek maar 512B geëmuleerd, dat gaat wel maar wel met performanceverlies. Je wilt je pool dus heel graag ashift=12 hebben.

Wat raad je me aan? Zouden de Samsungs (~ 3 jaar geleden op de markt gekomen) Advanced Format hebben? Nergens te vinden helaas...
M'n pool is nu ashift=9.

Nieuwe disks zijn per definitie Advanced Format volgens mij. Veel keus heb ik dus niet als ik daarmee wil uitbreiden.

[fluppie007]

De Samsung F4EG 204UI moet je met 4K sector support installeren.

[FireDrunk]

F3's zijn geen Advanced format, F4's wel volgens mij.

[Compizfox]

Het gaat om de Samsung Spinpoint F1 HD753LJ

[HyperBart]

HyperBart schreef op woensdag 09 januari 2013 @ 09:33:
Zonder SSD:

ZFSguru 0.2.0-beta8 (9.1-004) pool benchmark
Pool            : hulk (13.6T, 47% full)
Test size       : 64 GiB
normal read	: 488 MB/s
normal write	: 403 MB/s
I/O bandwidth	: 30 GB/s

Met Crucial M4, op ESXi gemounted, daar 2 x een VMDK op aangemaakt en aan ZFSguru gehangen om als L2ARC en ZIL te dienen:

ZFSguru 0.2.0-beta8 (9.1-004) pool benchmark
Pool            : hulk (13.6T, 46% full)
Test size       : 128 GiB
normal read	: 478 MB/s
normal write	: 297 MB/s
I/O bandwidth	: 29 GB/s

Heeft er iemand hier nog een verklaring voor?

[ Voor 15% gewijzigd door HyperBart op 09-01-2013 16:56 ]

[Trunksmd]

Nu een weekje mijn zfs server lopen, gaat goed. Ik heb slechts 1 probleem gehad en dat had meer te maken met Samba/CIFS. Ik kopieerde bestanden naar de server en deze verdwenen daarna.
Home Directory van user was zelfde als share-path (kan natuurlijk niet). Dat heb ik nu hersteld. Ik blijf echter in mijn log continu avahi-daemon invalid response packet from host x.x.x.x zien. Weet iemand waarom dit kan?

Mijn client in dit geval is een mountain lion mac (en het is deze, die de foutmelding geeft). Ik gebruik CIFS omdat ik ook windows clienten heb. Mijn samba server is ingesteld met shares (voor elke dataset 1) en authentication is op local user niveau.

[fluppie007]

Je test size is wel anders? Ik geloof dat je test-size 4x je RAM moest zijn?

[Contagion]

@Waking the dead:
Je kan ook je 1 en 2 TB schijven aan elkaar knopen tot een 3 TB RAID-0/JBOD 'disk' en die aanbieden aan ZFS. Zo kan je dus al aan de gang met 6x 3TB (1+2, 1+2, 3, 3, 3, 3 GB disks). Ik doe dit onder Linux ook en (zeker met RAID-Z2) is je data veilig genoeg ook al heb je eigenlijk 8 drives draaien ipv 6. Ik heb het geprobeerd op de command prompt van ZFSGuru (dus BSD) en dat werkte ook (weliswaar een ander 'on disk' formaat dat Linux' MDADM).

@Cipher en Firedrunk:
De controller in lockup heb ik ook met mijn geflashte BR10i (LSI 1068). Het is extreem eenvoudig te reproduceren (Linux). hdparm -y /dev/diskaandehba. Vervolgen hddtemp /dev/diskaandehba. HDParm zet de drive in spindown per direct. Vervolgens vraag je de temp op en hoort hij te zeggen 'drive is sleeping' maar in plaats daarvan valt de hele controller uit . Ik denk overigens dat het over wat anders gaat, er is ook een Seagate (?) drive geweest die data corrupt maakte als je tijdens schrijven de SMART waarden uitleest. Er is toen een firmware upgrade voor geweest.

[Verwijderd]

Dat betreft de Samsung F4EG, die een bug had waarbij de combinatie van SMART en NCQ tot corruptie kon leiden omdat de queued write request simpelweg niet werd uitgevoerd maar wel als completed werd aangeduid. Dit is inderdaad verholpen met een firmware update: http://sourceforge.net/ap...wiki/SamsungF4EGBadBlocks

[Xudonax]

FireDrunk schreef op dinsdag 08 januari 2013 @ 13:28:
USB Pool? Dat klinkt leuk

Tsja, ik had vier Sandisk Cruzer Fit van 8GB liggen waar ik geen ander doel voor had Ach, in plaats van ~8MB per ding schrijven deed ik grofweg 30MB in RAID-Z1. Werd nog veel hoger toen ik GZIP-9 erop zette en het ging gebruiken voor documenten Ieder stickie op z'n eigen USB root hub

[B2]

Xudonax schreef op woensdag 09 januari 2013 @ 19:21:
[...]

Tsja, ik had vier Sandisk Cruzer Fit van 8GB liggen waar ik geen ander doel voor had Ach, in plaats van ~8MB per ding schrijven deed ik grofweg 30MB in RAID-Z1. Werd nog veel hoger toen ik GZIP-9 erop zette en het ging gebruiken voor documenten Ieder stickie op z'n eigen USB root hub

Kan het eerste filmpje een aantal jaar geleden wat ik over ZFS zag nog herinneren met een USB hub met 6 USB sticks. Er in en eruit en alles bleef draaien, whooo

[Waking_The_Dead]

Contagion schreef op woensdag 09 januari 2013 @ 18:46:
@Waking the dead:
Je kan ook je 1 en 2 TB schijven aan elkaar knopen tot een 3 TB RAID-0/JBOD 'disk' en die aanbieden aan ZFS. Zo kan je dus al aan de gang met 6x 3TB (1+2, 1+2, 3, 3, 3, 3 GB disks). Ik doe dit onder Linux ook en (zeker met RAID-Z2) is je data veilig genoeg ook al heb je eigenlijk 8 drives draaien ipv 6. Ik heb het geprobeerd op de command prompt van ZFSGuru (dus BSD) en dat werkte ook (weliswaar een ander 'on disk' formaat dat Linux' MDADM).

Cool, daar had ik nog niet aan gedacht.
Enig probleempje is dat er maar 6 schijven in mijn kast passen en dat ik maar 6 SATA aansluitingen heb ;-)
Die 1TB schijven staan momenteel te koop en eens ik ruimte te kort heb, gaan die 2TB ook in de verkoop en kan ik met dat geld tegen die tijd wel extra 3TB schijven kopen.

[Contagion]

Ik heb juist mijn array uitgebreid door schijven te combineren. Mijn eerste array was RAID-Z1 met 4x 1 TB disk. Mijn vorige array was 6x 2 TB in Raid-Z1 middels 8 schijven als volgt 1+1, 1+1, 2, 2, 2, 2 TB disks. Zo heb ik dus mijn 1 TB disks opnieuw kunnen gebruiken. Nu ben ik op weg naar 13x 3TB met 9 nieuwe schijven want de 4x1 en 4x2 knoop ik weer aan elkaar: 1+2, 1+2, 1+2, 1+2, en rest de 3 TB schijven. Totaal dus 17 disks voor een 13 'disks' array.

Op dezelfde manier heb ik ook mijn array laten groeien in aantal drives (ik weet dat dat niet kan ). Eerst heb ik de 3 TB drives opgedeeld in twee partities van 1 TB, zo kon ik dus een array maken van 12x 1 TB op 6 disks (en nog een 'fake' loopback device). Vervolgens heb ik alles van de oude array gekopieerd naar de nieuwe en de 8 oude drives geresilverd met de 2e partitie van elke 3 TB disk en zo dus toch mijn array kunnen laten 'groeien' in omvang zonder een stapel tijdelijke drives te moeten lenen. Zo zit je dus op 13x 1 TB en zodra ik al mijn 3 TB drives binnen heb, knoop ik de 1+2's weer aan elkaar.

[ Voor 5% gewijzigd door Contagion op 09-01-2013 22:54 ]

[analog_]

Contagion schreef op woensdag 09 januari 2013 @ 22:51:
Ik heb juist mijn array uitgebreid door schijven te combineren. Mijn eerste array was RAID-Z1 met 4x 1 TB disk. Mijn vorige array was 6x 2 TB in Raid-Z1 middels 8 schijven als volgt 1+1, 1+1, 2, 2, 2, 2 TB disks. Zo heb ik dus mijn 1 TB disks opnieuw kunnen gebruiken. Nu ben ik op weg naar 13x 3TB met 9 nieuwe schijven want de 4x1 en 4x2 knoop ik weer aan elkaar: 1+2, 1+2, 1+2, 1+2, en rest de 3 TB schijven. Totaal dus 17 disks voor een 13 'disks' array.

Op dezelfde manier heb ik ook mijn array laten groeien in aantal drives (ik weet dat dat niet kan ). Eerst heb ik de 3 TB drives opgedeeld in twee partities van 1 TB, zo kon ik dus een array maken van 12x 1 TB op 6 disks (en nog een 'fake' loopback device). Vervolgens heb ik alles van de oude array gekopieerd naar de nieuwe en de 8 oude drives geresilverd met de 2e partitie van elke 6 TB disk en zo dus toch mijn array kunnen laten 'groeien' in omvang zonder een stapel tijdelijke drives te moeten lenen.

Ik heb een hele lap tekst over extra harde schijven plaatsen. Het staat enkel op een beetje rare plaats. open wenslijst extra. Dat is een overzicht van alle types producten die meer drives in je kast proppen.

edit op hieronder: dat was mij duidelijk hoor, maar dat gedeelte was al beantwoord. Ik ging specifiek op de fysieke onmogelijkheid in.

[ Voor 4% gewijzigd door analog_ op 09-01-2013 23:05 ]

[Contagion]

Het gaat mij hier niet per se om het uitbreiden van fysieke disks maar om de mogelijkheid dat je meerdere disks van verschillende grootte ook kan aanbieden als 1 onderliggend device aan ZFS. Als je dat een beetje handig aanpakt kan je dus meer met ZFS dan je in eerste instantie zou denken of wat de meeste mensen weten.

Je hebt wel een handig overzicht gemaakt in je 'wensenlijst extra' ik ga er zeker even naar kijken.

[onox]

Contagion schreef op woensdag 09 januari 2013 @ 23:00:
Het gaat mij hier niet per se om het uitbreiden van fysieke disks maar om de mogelijkheid dat je meerdere disks van verschillende grootte ook kan aanbieden als 1 onderliggend device aan ZFS. Als je dat een beetje handig aanpakt kan je dus meer met ZFS dan je in eerste instantie zou denken of wat de meeste mensen weten.

Je hebt wel een handig overzicht gemaakt in je 'wensenlijst extra' ik ga er zeker even naar kijken.

Hoe maak je van 2 disks dan 1 disk?

[analog_]

onox schreef op woensdag 09 januari 2013 @ 23:13:
[...]


Hoe maak je van 2 disks dan 1 disk?

In hardware raid of in linux met mdadm of lvm volume en dan vervolgens gebruiken voor zfs-on-linux. Heb zelf een tijdlang twee volumes van 2x1T in raid0 op een HP P600 gehad die samen werden gevoegd in een virtuele machine met 3x2T tot een groot 5 disk raidz volume.

[ Voor 24% gewijzigd door analog_ op 09-01-2013 23:20 ]

[Contagion]

Jep, zo idnerdaad. Met FreeBSD is het geom. Ik heb het toen gedaan zoals beschreven op http://www.freebsd.org/doc/handbook/geom-striping.html en dat device aangeboden aan de ZFS array.

[FireDrunk]

Waarom dat? Waarom geen ZFS mirror?

[Contagion]

Omdat in mijn array schijven van 2 TB zaten (4) en ik ook nog schijven van 1 TB had (ook 4) en die samen weer twee schijven van 2 TB vormen en uiteindelijk dus 1 RAID-Z1 array van 6x 2 TB.

Zo kan je ook makkelijker capaciteit uitbreiden.

Edit: het is ook geom-striping he geen geom mirror anders had ik inderdaad wel een ZFS mirror gemaakt.

[ Voor 18% gewijzigd door Contagion op 10-01-2013 11:25 ]

[Ravefiend]

De RAIDZ2 rpool van mijn FreeNAS 8.3.0 p1 systeem heeft last van een slechte disk met ondertussen al zo'n 136 reallocated sectors dus die wens ik te vervangen.

code:

Jan 10 09:47:59 storage smartd[2337]: Device: /dev/da5 [SAT], 69 Currently unreadable (pending) sectors
Jan 10 09:47:59 storage smartd[2337]: Device: /dev/da5 [SAT], 10 Offline uncorrectable sectors
Jan 10 10:17:58 storage smartd[2337]: Device: /dev/da5 [SAT], 69 Currently unreadable (pending) sectors
Jan 10 10:17:58 storage smartd[2337]: Device: /dev/da5 [SAT], 10 Offline uncorrectable sectors
Jan 10 10:48:00 storage smartd[2337]: Device: /dev/da5 [SAT], 69 Currently unreadable (pending) sectors
Jan 10 10:48:00 storage smartd[2337]: Device: /dev/da5 [SAT], 10 Offline uncorrectable sectors

code:

SMART Attributes Data Structure revision number: 16
Vendor Specific SMART Attributes with Thresholds:
ID# ATTRIBUTE_NAME          FLAG     VALUE WORST THRESH TYPE      UPDATED  WHEN_FAILED RAW_VALUE
  1 Raw_Read_Error_Rate     0x002f   194   194   051    Pre-fail  Always       -       10097
  4 Start_Stop_Count        0x0032   100   100   000    Old_age   Always       -       38
  5 Reallocated_Sector_Ct   0x0033   193   193   140    Pre-fail  Always       -       136
  9 Power_On_Hours          0x0032   080   080   000    Old_age   Always       -       14815
 12 Power_Cycle_Count       0x0032   100   100   000    Old_age   Always       -       36
192 Power-Off_Retract_Count 0x0032   200   200   000    Old_age   Always       -       35
193 Load_Cycle_Count        0x0032   200   200   000    Old_age   Always       -       2230
194 Temperature_Celsius     0x0022   116   106   000    Old_age   Always       -       34
196 Reallocated_Event_Count 0x0032   130   130   000    Old_age   Always       -       70
197 Current_Pending_Sector  0x0032   200   199   000    Old_age   Always       -       69
198 Offline_Uncorrectable   0x0030   200   200   000    Old_age   Offline      -       10

De pool configuratie is momenteel als volgt:

code:

  pool: rpool
 state: ONLINE
  scan: scrub repaired 4.50K in 14h19m with 0 errors on Sun Dec 30 01:13:00 2012
config:

    NAME                                            STATE     READ WRITE CKSUM
    rpool                                           ONLINE       0     0     0
      raidz2-0                                      ONLINE       0     0     0
        gptid/ac3474a9-804d-11e0-b1a2-0025903071b4  ONLINE       0     0     0
        gptid/ac51b1c0-804d-11e0-b1a2-0025903071b4  ONLINE       0     0     0
        gptid/ac7236c2-804d-11e0-b1a2-0025903071b4  ONLINE       0     0     0
        gptid/ac8d49be-804d-11e0-b1a2-0025903071b4  ONLINE       0     0     0
        gptid/acaa342a-804d-11e0-b1a2-0025903071b4  ONLINE       0     0     0
        gptid/acc76f9b-804d-11e0-b1a2-0025903071b4  ONLINE       0     0     0
    spares
      gpt/rz2_disk7                                 AVAIL

De slechte disk is gptid/acc76f9b-804d-11e0-b1a2-0025903071b4, ook wel gpt/rz2_disk6 aka /dev/da5. Oorspronkelijk had ik deze disk gepartitioneerd / gelabeld door:

code:

gpart create -s GPT /dev/da5
gpart add -b 2048 -s 3906824192 -t freebsd-zfs -l rz2_disk6 /dev/da5

Dit is met andere woorden deze setup:

code:

[root@storage] ~# gpart show /dev/da5
=>        34  3907029101  da5  GPT  (1.8T)
          34        2014       - free -  (1M)
        2048  3906824192    1  freebsd-zfs  (1.8T)
  3906826240      202895       - free -  (99M)

De laatst scrub heeft al wat data hersteld (ref. scrub repaired 4.50K in 14h19m with 0 errors, met dank aan ZFS ) maar nu wordt het wel eens tijd om de disk te verwisselen. Nog onder garantie, dus ik verwacht in de komende dagen een nieuwe WD20EARS.

Rest mijn vraag, welke stappen neem ik best om de disk te vervangen?

[FireDrunk]

Contagion schreef op donderdag 10 januari 2013 @ 11:23:
Omdat in mijn array schijven van 2 TB zaten (4) en ik ook nog schijven van 1 TB had (ook 4) en die samen weer twee schijven van 2 TB vormen en uiteindelijk dus 1 RAID-Z1 array van 6x 2 TB.

Zo kan je ook makkelijker capaciteit uitbreiden.

Edit: het is ook geom-striping he geen geom mirror anders had ik inderdaad wel een ZFS mirror gemaakt.

Nou en? Je kan toch vdev's in vdev's stoppen, of mis ik iets?

[B2]

B2 schreef op dinsdag 08 januari 2013 @ 15:05:
[...]


Ahum.... 274 open issues...
En op zich had ik het ook prima draaiend, alleen werkt het niet met systemd samen. CentOS 6.3 is nog geen systemd.

ZFSGuru is het geworden trouwens. Vooral omdat daar gewoon FreeBSD onder zit en ik zo van de portstree gebruik kan maken. Sabnzbd, sickbeard en couchpotato draaien inmiddels, volgende is pf configuratie.
Nog even de disks van de andere server omhangen en de zfs pool importeren en het energieverbruik is gedaald naar 25W.

Ga hierna nog proberen of ik met het X9SCM-F bord en de Xeon E3-1230 ongeveer dezelfde waardes kan halen, dat is qua nerdheid toch een wat mooier bord dan de Intel DH77EB die er nu in zit

[Contagion]

@fireDrunk: Vdevs in Vdevs kan maar mijn probleem daarmee is dat je ze nooit meer kan weggooien. Ik zou dus van de 4x1 TB in RAID-Z1 bij aankoop ook nog 4x2 TB in RAID-Z1 in de pool kunnen gooien, maar als ik die 1 TB's dan niet meer wil gebruiken (bijvoorbeeld om te veel disks vs te weinig ruimte; een 3 TB disk == lager stroomverbruik en netzoveel data), dan kan dat niet want dan moet de hele zpool op de schop.

Nu maak ik een nieuwe zpool aan van 6x de grootste disk in de array en kan ik bij uitval van een 1 TB disks beide disks offline halen en ze vervangen door een enkele nieuwe 2 TB.

Of bedoel jij wat anders?

[FireDrunk]

Je kan de mirror toch gewoon breken? Dan gebruik je de andere disks weer om een nieuwe pool aan te maken, et voila, je kan zo weer switchen...

[Contagion]

Ik snap eigenlijk niet hoe je dat bedoelt. Hoe zou ik van een bestaande 4 disk RAID-Z1 en door kopen van 4 twee keer zo grote disks naar een 6 disk RAID-Z1 kunnen gaan met mirrors? Ik gebruikt juist de mogelijkheid van een niet-zfs stripe door twee disks als een te zien maar met de capaciteit van de twee samen.

Stel dat ik in ZFS een stripe zou maken, dan kan ik die toch niet toevoegen als een device voor de RAID-Z1 set? Omdat ik dan nooit meer van die stripe afkom?

[FireDrunk]

Ik bedoel meer: Als je dus 2 + 2 + (1+1) hebt, kan je die 1+1 gewoon breken, en iets anders mee doen.
Als je een stripe hebt, gaat dat natuurlijk niet, maar dat is niet anders dan bij GEOM...

Ik snap dus niet waarom je GEOM MIRROR verkiest boven ZFS mirror...

Of je nou doet:

GEOM mirror pietje /dev/disk1 /dev/disk2
of
zfs create vdev pietje /dev/disk1 /dev/disk2

en dan doet
zpool create pietje /dev/disk3 /dev/disk4

[Verwijderd]

Misschien begrijp ik hem verkeerd, maar hij gebruikt toch geom_stripe ipv geom_mirror om van 2x1TB een 1x2TB schijf te maken, en die 'virtuele' schijf in een RAID-Z te proppen? Dat is iets wat ik wel vaker gedaan heb en/of aangeraden heb. Vooral handig als men bestaande disks heeft die men wilt hergebruiken. Je kunt ze later altijd nog vervangen door een enkele 2TB disk.

Je ZFS pool ziet er dan uit als een pool met één vdev (RAID-Z) met de volgende disks:
disk1 t/m disk4: standaard 2TB disk
disk5: geom_stripe van twee maal 1TB disk = virtuele 2TB disk
disk6: geom_stripe van twee maal 1TB disk = virtuele 2TB disk

Zo heeft hij zijn 4x 1TB toch nog bij de RAID-Z kunnen betrekken.

[analog_]

FireDrunk schreef op donderdag 10 januari 2013 @ 18:30:
Ik bedoel meer: Als je dus 2 + 2 + (1+1) hebt, kan je die 1+1 gewoon breken, en iets anders mee doen.
Als je een stripe hebt, gaat dat natuurlijk niet, maar dat is niet anders dan bij GEOM...

Ik snap dus niet waarom je GEOM MIRROR verkiest boven ZFS mirror...

Of je nou doet:

GEOM mirror pietje /dev/disk1 /dev/disk2
of
zfs create vdev pietje /dev/disk1 /dev/disk2

en dan doet
zpool create pietje /dev/disk3 /dev/disk4

Je vraagt waarom niet, ik vraag waarom wel? Is er een voordeel van zfs-on-zfs boven zfs-on-non-zfs-soft-raid ?

[Verwijderd]

In geval wat FireDrunk zegt klopt het wel, want je wilt veel liever een ZFS mirror dan een geom mirror. Voor ZFS is die geom mirror een enkele disk zonder redundantie. Je hebt niet de voordelen van een ZFS mirror zoals op veiligheids en performancegebied. ZFS kan namelijk geen onderscheid maken tussen de onderliggende disks; het ziet één blok data. Als je de losse disks aan ZFS geeft, kan het wel onderscheid maken tussen de disks en dus disk1 en disk2 efficient combineren bij sequential en random I/O. Om die reden zijn ZFS mirrors enorm goed in sequential read terwijl maar weinig implementaties boven een enkele disk uitkomen.

Daarnaast, als je copies=2 gebruikt (en alle metadata sowieso) is het niet gegarandeerd dat deze op een andere disk terecht komt als je geom_mirror gebruikt; voor ZFS is dat één disk. Met een ZFS mirror kan ZFS de kopieën ook verdelen onder de fysieke disks. Kortom, je kunt veel beter ZFS de RAID laten doen. Maar mijn verhaal daarboven kent niet de nadelen die hier worden genoemd en is gewoon een aanvulling voor ZFS zodat je disks met verschillende grootte toch effectief in RAID-Z kunt gebruiken.

[Waking_The_Dead]

Ik heb een probleempje maar weet eigenlijk niet of het aan mijn NAS of netwerk ligt.

Ik draai FreeNAS-8.0.4-RELEASE-p3-x64 (11703) vanop een USB-stick op deze configuratie:

#	Product	Prijs	Subtotaal
1	Asus E35M1-I	€ 0,-	€ 0,-
2	Seagate Barracuda 7200.14 ST2000DM001, 2TB	€ 83,45	€ 166,90
4	Seagate Barracuda 7200.14 ST3000DM001, 3TB	€ 113,99	€ 455,96
1	Lian Li PC-Q08 Zwart	€ 88,90	€ 88,90
2	Kingston ValueRAM KVR1333D3N9/4G	€ 14,70	€ 29,40
1	Huntkey Jumper 300G	€ 62,70	€ 62,70
Bekijk collectie Importeer producten		Totaal	€ 803,86

Hierop draait een ZFS-Z2 vdev die enkel en alleen dient om DVD en Blu-Ray ISO's op te slaan.
Oorspronkelijk zaten er 1TB schijven in en had ik dus 4TB netto. Toen kon ik probleemloos Blu-Ray ISO's mounten en bekijken zonder haperingen. Een paar weken geleden heb ik wat schijven vervangen en nu heb ik 8TB netto. Ik weet niet of dit de reden is,maar nu is het in elk geval zo dat bij BD ISO's het geluid vaak wegvalt en het beeld soms blijft hangen. DVD ISO's werken wel nog perfect. Dit gebeurt zowel bij het mounten via NFS als via CIFS.

Zou dit aan mijn NAS kunnen liggen of is dit uitgesloten volgens jullie?
Als ik een ISO van 40GB over het netwerk naar een schijf in mijn desktop kopieer, haal ik wel gewoon 70-80MB/s. Het streamen van een ISO is slechts een fractie daarvan, dus het netwerk lijkt mij niet het probleem te zijn.
Het probleem doet zich zowel voor als ik kijk via mijn PC of mijn media player,

[onox]

Weet iemand of de Crucial M4 512B of 4K sectors gebruikt? Ik wil deze schijf inzetten als systeem disk voor zfsonlinux.

[Compizfox]

onox schreef op zaterdag 12 januari 2013 @ 17:25:
Weet iemand of de Crucial M4 512B of 4K sectors gebruikt? Ik wil deze schijf inzetten als systeem disk voor zfsonlinux.

Kun je die niet beter als ZIL of L2ARC gebruiken? Denk dat dat nuttiger is.

[onox]

Compizfox schreef op zaterdag 12 januari 2013 @ 17:38:
[...]

Kun je die niet beter als ZIL of L2ARC gebruiken? Denk dat dat nuttiger is.

Nee, het is een mSATA variant in m'n nieuwe Intel NUC Daar passen geen 2.5" of 3.5" schijven in

[Verwijderd]

8K cellen; 34nm NAND SSDs doen typisch 4K cells, terwijl de 25nm generatie 8K doet.

En je kunt toch partitioneren zodat je de SSD voor zowel boot als L2ARC cache gebruikt? Weet dat Crucial M4 geen inherent veilige SSD is als het gaat om unclean shutdown. De M500 weer wel, overigens.

[onox]

Ok, dan ga ik voor ashift=12

[FireDrunk]

Verwijderd schreef op zaterdag 12 januari 2013 @ 17:40:
8K cellen; 34nm NAND SSDs doen typisch 4K cells, terwijl de 25nm generatie 8K doet.

En je kunt toch partitioneren zodat je de SSD voor zowel boot als L2ARC cache gebruikt? Weet dat Crucial M4 geen inherent veilige SSD is als het gaat om unclean shutdown. De M500 weer wel, overigens.

Ja? Is de M500 net als de 320 beveiligd tegen stroomuitval? Dat is wel goed om te weten!

[Xudonax]

Zo, vanmiddag mijn USB ZFS pool vernietigd omdat het toch een klein beetje doelloos is om een stripe/mirror setup te hebben van wel 15GB, en de snelste van de 4 USB sticks toegewezen als caching voor mijn gewone pool. Mooiste is dat het erop lijkt dat ik nu ls kan doen in alle mappen zonder dat de schijven op hoeven te spinnen. Heb de schijven namelijk een spindown timer van 15 minuten gegeven zodat het geheel nog even nét wat stiller word als 'ie niet in gebruik is

[sloth]

Interessante oplossing

Wat voor usb stick heb je hiervoor gebruikt? Heb je verder gewoon 1 grote pool in een raid-z oid?
Ben namelijk benieuwd of dit ook kan als je verschillende hdd's "los" hebt, dus een zpool per hd.

[Xudonax]

Ik heb 6 Hitachi Travelstar 5K1000 van 1TB op een IBM M1015 (geflasht naar IT mode, wat een uitdaging op zich was in mijn geval*). Verder boot ik van een mSATA Crucial m4 SSD van 64GB. Als caching USB gebruik ik een Sandisk Cruzer Fit 8GB.

Met de USB stick viel me iets op. Ik heb er 4 van liggen, maar één was grofweg 2x zo snel als de andere 3. De enige verklaring die ik kan vinden is dat het stiekem toch een iets andere stick is, wat ondersteund word doordat het ding een ander USB ProductID heeft dan de andere 3. Aan de buitenkant zie ik echter geen verschillen. Mogelijk dat ze in Portugal snellere USB sticks verkopen dan hier in Nederland

Ik was nog eventjes bang dat de lees/schrijf prestaties zouden lijden onder het toevoegen van een simpele USB stick als L2ARC, maar ook dat lijkt heel erg mee te vallen. De resultaten van iozone zijn niet/nauwelijks veranderd ten opzichte van wat ik hier enige tijd geleden heb gepost. Nog steeds grofweg 330MByte/s lezen en schrijven.

Ik vraag me wel nog af of het nut zou hebben om gewoon alle 4 de USB sticks als L2ARC in te stellen. Word er dan gestriped (RAID0) over de verschillende devices, of worden ze na elkaar gebruikt?

* = Ik heb uiteindelijk een aantal verschillende machines moeten gebruiken om de flash succesvol te laten verlopen. Mijn PC (AMD Phenom II X4) kon de megarec tool niet draaien, of in ieder geval bleef 'ie hierop hangen. En de uiteindelijke doelserver die megarec wél kon draaien, had geen zin in de sas2flsh commando's, dus mocht de kaart weer terug naar m'n PC die dit kon doen. Heel feest op zich

[FireDrunk]

L2ARC is altijd JBOD volgens mij, dus de data staat altijd maar op 1 van de sticks.
Wel kan er natuurlijk concurrency zijn. Dus als je zelf 2 films opvraagt en de L2ARC gegevens hierover staan op twee verschillende sticks, worden ze allebei angesproken.

Je kan ze wel mirroren, dan zijn ze sneller met lezen maar heb je minder ruimte.

[ Voor 15% gewijzigd door FireDrunk op 13-01-2013 12:07 ]

[terror538]

FireDrunk schreef op zondag 13 januari 2013 @ 12:06:
L2ARC is altijd JBOD volgens mij, dus de data staat altijd maar op 1 van de sticks.
Wel kan er natuurlijk concurrency zijn. Dus als je zelf 2 films opvraagt en de L2ARC gegevens hierover staan op twee verschillende sticks, worden ze allebei angesproken.

Je kan ze wel mirroren, dan zijn ze sneller met lezen maar heb je minder ruimte.

Lijkt me dat je voor je L2ARC prima geom striping zou kunnen toepassen Raid0 op je sticks dus en die dan doorsturen als l2arc

Zou je een kleine performance winst kunnen geven

Even een ander vraagje, is het enigszins realistisch voor elkaar te krijgen met een grote l2arc en zil dat je disks nauwelijks nog opspinnen ? Dus alleen totdat iets in de arc geladen is of totdat de zil de target txg grote heeft bereikt ? Lijkt me erg interessant ivm stroom verbruik


Afgelopen vrijdag begonnen met een flinke upgrade van mijn server trouwens, van 8 naar 32gb ram en ik heb er 3 x 3tb bij gestoken Totaal nu 3x1tb 3x1,5tb en dus 3x3tb. Omdat mijn oude pool eigenlijk niet meer performde omdat ik er in het verleden dedup op heb gedraaid en omdat de pool _vol_ zat (ver boven mijn wenselijke 80% max) heb ik ook zfs send en zfs recv mogen testen Heerlijk Mijn pool draait weer lekker en ik heb weer vele TB aan vrije ruimte

[Waking_The_Dead]

Waking_The_Dead schreef op donderdag 10 januari 2013 @ 22:42:
Ik heb een probleempje maar weet eigenlijk niet of het aan mijn NAS of netwerk ligt.

Ik draai FreeNAS-8.0.4-RELEASE-p3-x64 (11703) vanop een USB-stick op deze configuratie:

#	Product	Prijs	Subtotaal
1	Asus E35M1-I	€ 0,-	€ 0,-
2	Seagate Barracuda 7200.14 ST2000DM001, 2TB	€ 83,45	€ 166,90
4	Seagate Barracuda 7200.14 ST3000DM001, 3TB	€ 113,99	€ 455,96
1	Lian Li PC-Q08 Zwart	€ 88,90	€ 88,90
2	Kingston ValueRAM KVR1333D3N9/4G	€ 14,70	€ 29,40
1	Huntkey Jumper 300G	€ 62,70	€ 62,70
Bekijk collectie Importeer producten		Totaal	€ 803,86

Hierop draait een ZFS-Z2 vdev die enkel en alleen dient om DVD en Blu-Ray ISO's op te slaan.
Oorspronkelijk zaten er 1TB schijven in en had ik dus 4TB netto. Toen kon ik probleemloos Blu-Ray ISO's mounten en bekijken zonder haperingen. Een paar weken geleden heb ik wat schijven vervangen en nu heb ik 8TB netto. Ik weet niet of dit de reden is,maar nu is het in elk geval zo dat bij BD ISO's het geluid vaak wegvalt en het beeld soms blijft hangen. DVD ISO's werken wel nog perfect. Dit gebeurt zowel bij het mounten via NFS als via CIFS.

Zou dit aan mijn NAS kunnen liggen of is dit uitgesloten volgens jullie?
Als ik een ISO van 40GB over het netwerk naar een schijf in mijn desktop kopieer, haal ik wel gewoon 70-80MB/s. Het streamen van een ISO is slechts een fractie daarvan, dus het netwerk lijkt mij niet het probleem te zijn.
Het probleem doet zich zowel voor als ik kijk via mijn PC of mijn media player,

Niemand? Zou het kunnen dat 8GB RAM te weinig is voor 8TB opslag? Officieel ondersteunt mijn moederbord maar 8GB RAM. Heeft er iemand ervaring met 2x8GB latjes op mijn type moederbord?

[FireDrunk]

terror538 schreef op zondag 13 januari 2013 @ 15:06:
[...]

Lijkt me dat je voor je L2ARC prima geom striping zou kunnen toepassen Raid0 op je sticks dus en die dan doorsturen als l2arc

Zou je een kleine performance winst kunnen geven

Even een ander vraagje, is het enigszins realistisch voor elkaar te krijgen met een grote l2arc en zil dat je disks nauwelijks nog opspinnen ? Dus alleen totdat iets in de arc geladen is of totdat de zil de target txg grote heeft bereikt ? Lijkt me erg interessant ivm stroom verbruik


Afgelopen vrijdag begonnen met een flinke upgrade van mijn server trouwens, van 8 naar 32gb ram en ik heb er 3 x 3tb bij gestoken Totaal nu 3x1tb 3x1,5tb en dus 3x3tb. Omdat mijn oude pool eigenlijk niet meer performde omdat ik er in het verleden dedup op heb gedraaid en omdat de pool _vol_ zat (ver boven mijn wenselijke 80% max) heb ik ook zfs send en zfs recv mogen testen Heerlijk Mijn pool draait weer lekker en ik heb weer vele TB aan vrije ruimte

Als je dat dan toch doet, pak dan een ZFS stripe...

Over je vraag: Voor L2ARC geld dat wel, voor ZIL niet. Als je txg timeout op is, gaan je disks sowieso aan, omdat als het KAN zil zo snel mogelijk naar disk gecommit word.

Waking_The_Dead schreef op zondag 13 januari 2013 @ 15:12:
[...]


Niemand? Zou het kunnen dat 8GB RAM te weinig is voor 8TB opslag? Officieel ondersteunt mijn moederbord maar 8GB RAM. Heeft er iemand ervaring met 2x8GB latjes op mijn type moederbord?

Post eens wat meer benchmarks en zfs informatie. (sysctl waardes enzo).

[ Voor 104% gewijzigd door FireDrunk op 13-01-2013 15:15 ]

[Contagion]

@Waking_The_Dead:

Het lijkt me niet aannemelijk dat dit aan je NAS ligt, zeker niet als je wel full speed kan kopieren, hoewel ik niet weet hoeveel ZFS aan prefetching doet als je juist traag je media benadert dwz streaming. 8 GB RAM is echt meer dan zat. Ik heb mijn ZoL een tijd gedraaid met 1 GB RAM en dat was 12 TB aan data. Echter; dedup niet gaan proberen . Die bordjes kunnen volgens mij ook met 8 GB RAM omgaan, ook al staat nergens dat dat ook inderdaad werkt.

Ik zou het eerder in je afspeelsetup zoeken, kan je niet proberen of afspelen van dezelfde media met een andere computer/ander programma wel werkt?

[krijn1985]

Ik heb deze met 16 GB draaien.

[HyperBart]

FireDrunk schreef op zaterdag 12 januari 2013 @ 18:46:
[...]


Ja? Is de M500 net als de 320 beveiligd tegen stroomuitval? Dat is wel goed om te weten!

Ik denk dat CiPHER bedoelde dat de M4 redelijk raar doet als je die knal van de stroom afhaalt (als in: hij moet dan een paar keer gereboot worden eer ie terug mee gaat doen, soort van beveiligingsfeature dat je geen data gaat schrijven tot alles wat in orde was ofzoiets, iemand?).

Toch eerst maar eens ff gaan opzoeken voor ik ging submitten:

http://www.anandtech.com/...ces-m500-ssd-line-of-ssds

There are a few key points worthy of note. One is that the M500 posts lower transfer rates and IOPS than the M5 Pro, though of course these are all paper specs so take them with a grain of salt. The other interesting item is that Micron is now going with more overprovisioning than on their previous model SSDs. We’ve seen the effect of spare area in our recent testing, so the move from 7% spare area (the difference between GiB and GB) to 14.5% spare area will improve the worst-case performance. Another item to note is that the 2.5” enclosures are now all 7mm thick, and they ship with a free 9.5mm adapter. All of the M500 line includes hardware AES 256-bit encryption, and Micron showed us an array of small capacitors on one of the M.2 form factor drives that supported flushing of all data to the NAND in the event of a power loss--not a super capacitor as seen in enterprise class SSDs, but there's no RAM cache to flush so it's just an extra precaution to ensure all of the data writes complete.

[B2]

Aangezien ik mijn virtualisatie machine wegens te hoog energieverbruik aan het ombouwen ben naar een op ZFSGuru gebaseerde totaalserver heb ik nu 3 SSD's over. 2x een Crucial M4 welke voorheen in raid 1 als boot en storage voor de vm's dienden en een Intel 64 X-25E SSD, dus met slc chips ipv mlc (welke voorheen als l2arc diende)

Wat is de aan te raden configuratie, de x25-e als boot disk voor zfsguru en een van de M4's als l2arc of andersom?

[Waking_The_Dead]

FireDrunk schreef op zondag 13 januari 2013 @ 15:12:
[...]

Post eens wat meer benchmarks en zfs informatie. (sysctl waardes enzo).

sysctl -a levert 1787 lijntjes op, welke informatie is relevant?
En wat voor benchmarks kan ik draaien? En draai ik die dan op het moment dat er een ISO gestreamed wordt? Wat ik wel al kan zeggen, is dat bij het streamen van Blu Ray ISO's alle geheugen in gebruik is volgens de Freenas Reporting info. Bij DVD ISO's wordt er zo'n 6GB opgesoupeerd.

Contagion schreef op zondag 13 januari 2013 @ 15:38:
@Waking_The_Dead:

Het lijkt me niet aannemelijk dat dit aan je NAS ligt, zeker niet als je wel full speed kan kopieren, hoewel ik niet weet hoeveel ZFS aan prefetching doet als je juist traag je media benadert dwz streaming. 8 GB RAM is echt meer dan zat. Ik heb mijn ZoL een tijd gedraaid met 1 GB RAM en dat was 12 TB aan data. Echter; dedup niet gaan proberen . Die bordjes kunnen volgens mij ook met 8 GB RAM omgaan, ook al staat nergens dat dat ook inderdaad werkt.

Ik zou het eerder in je afspeelsetup zoeken, kan je niet proberen of afspelen van dezelfde media met een andere computer/ander programma wel werkt?

Het haperen gebeurt zowel op mijn mediaplayer als PC. Dezelfde ISO's via externe schijf spelen wel perfect af op beide toestellen.

krijn1985 schreef op zondag 13 januari 2013 @ 18:34:
Ik heb deze met 16 GB draaien.

OK, bedankt voor de info. Als het nodig zou zijn, kan ik tenminste nog mijn RAM upgraden.

[Xudonax]

terror538 schreef op zondag 13 januari 2013 @ 15:06:
[...]

Lijkt me dat je voor je L2ARC prima geom striping zou kunnen toepassen Raid0 op je sticks dus en die dan doorsturen als l2arc

Zou je een kleine performance winst kunnen geven

Maar dan zou ik wel eerst FreeBSD moeten installeren Ik draai heel vrolijk met ZFS on Linux, en ben er heel erg tevreden mee op Fedora 18 alpha/beta/release (waar ze nu dan ook zitten ). Ik kan natuurlijk wél naar Linux software RAID gaan kijken...

[B2]

Xudonax schreef op zondag 13 januari 2013 @ 23:00:
[...]


Maar dan zou ik wel eerst FreeBSD moeten installeren Ik draai heel vrolijk met ZFS on Linux, en ben er heel erg tevreden mee op Fedora 18 alpha/beta/release (waar ze nu dan ook zitten ). Ik kan natuurlijk wél naar Linux software RAID gaan kijken...

Werkt ZFS bij jou ook goed samen met SystemD? Dus mounten van de pool bij het booten e.d?

[FireDrunk]

B2 schreef op zondag 13 januari 2013 @ 19:57:
Aangezien ik mijn virtualisatie machine wegens te hoog energieverbruik aan het ombouwen ben naar een op ZFSGuru gebaseerde totaalserver heb ik nu 3 SSD's over. 2x een Crucial M4 welke voorheen in raid 1 als boot en storage voor de vm's dienden en een Intel 64 X-25E SSD, dus met slc chips ipv mlc (welke voorheen als l2arc diende)

Wat is de aan te raden configuratie, de x25-e als boot disk voor zfsguru en een van de M4's als l2arc of andersom?

Waarom wil je ze persé allebei gebruiken? Want je kan ook gewoon 1 SSD partitioneren en voor alles gebruiken. Een M4 heeft een prima garbage collector dus onderpartitioneren is niet heel hard nodig. (het helpt wel...)

Waking_The_Dead schreef op zondag 13 januari 2013 @ 21:40:
[...]
sysctl -a levert 1787 lijntjes op, welke informatie is relevant?
En wat voor benchmarks kan ik draaien? En draai ik die dan op het moment dat er een ISO gestreamed wordt? Wat ik wel al kan zeggen, is dat bij het streamen van Blu Ray ISO's alle geheugen in gebruik is volgens de Freenas Reporting info. Bij DVD ISO's wordt er zo'n 6GB opgesoupeerd.

vfs.zfs.arc_min Minimum ARC (Adaptive Replacement Cache) memory allocated
vfs.zfs.arc_max Maximum ARC (Adaptive Replacement Cache) memory allocated
vfs.zfs.arc_meta_limit ARC memory allocated for metadata such as directory index
vfs.zfs.vdev.min_pending Minimum queue depth on virtual devices
vfs.zfs.vdev.max_pending Maximum queue depth on virtual devices

Heb je een ZIL, L2ARC?

Benchmarks is eigenlijk wat je zelf denkt nodig te hebben. Je vertelde dat je alleen blu-ray's op je array bewaard. Dan is het het beste om dat gedrag na te bootsen.

Probeer het anders eens met dd:

dd if=/dev/zero of=[arraynaam/filesystem]/temp/data.000 bs=1M count=102400

Dit schrijft 100GB naar de file [array]/temp/data.000

dd of=/dev/null if=[arraynaam/filesystem]/temp/data.000 bs=16M

Dit leest de file weer in.

[B2]

FireDrunk schreef op maandag 14 januari 2013 @ 09:27:
[...]


Waarom wil je ze persé allebei gebruiken? Want je kan ook gewoon 1 SSD partitioneren en voor alles gebruiken. Een M4 heeft een prima garbage collector dus onderpartitioneren is niet heel hard nodig. (het helpt wel...)

Nou het hoeft niet persé, maar ik heb er toch geen andere toepassing voor.

[FireDrunk]

Verkopen... Als je zuinig wil doen, is terugverdienen door te verkopen soms een van de meest redabele oplossingen...

[Midas.e]

Net een ZFS machine opgezet als backup systeempje, zitten 5x1TB laptop hdd's in en qua read gaat het goed. Alleen schrijven is niet zo denderend. Iemand die hierop wat kan zeggen:
sudo dd if=/dev/zero of=/tank/zerofile.000 bs=1M count=10000
10000+0 records in
10000+0 records out
10485760000 bytes (10 GB) copied, 157.539 s, 66.6 MB/s

dd if=/tank/zerofile.000 of=/dev/null bs=1M
10000+0 records in
10000+0 records out
10485760000 bytes (10 GB) copied, 21.7752 s, 482 MB/s

Systeem draait ubuntu 12.10 x64, zfs on linux, AMD E-350 Processor (brazos denk ik?) 4GB ram
ZFS is aangemaakt met zpool create tank raidz2 sdb sdc sdd sde sdf -f
Tevens heb ik dedup aangezet aangezien deze veel van dezelfde data gaat verwerken.

Hoe maak ik em dus wat sneller?

[FireDrunk]

Dedup uitzetten...

[Midas.e]

FireDrunk schreef op maandag 14 januari 2013 @ 10:08:
Dedup uitzetten...

Heeft dedup zon impact?! 10485760000 bytes (10 GB) copied, 68.1573 s, 154 MB/s
Nu is dit gewoon een intern test servertje, maar we willen in de toekomst met zfs + dedup ook onze fileserver gaan draaien. Daar zou het helemaal schelen maar dan moet de performace wel een stuk hoger liggen. Is dat bij freebsd + ZFS ook zo of is dit CPU gebonden.

[FireDrunk]

Ja, dedup heeft zo'n impact. Al helemaal met maar 4GB RAM... Wil je een beetje performance overhouden moet je denk ik echt naar 16GB of zelfs 32GB geheugen.

[Waking_The_Dead]

FireDrunk schreef op maandag 14 januari 2013 @ 09:27:

Heb je een ZIL, L2ARC?

Neen. Is dit nuttig in mijn geval?

De overige zaken kan ik nu niet op antwoorden aangezien ik op het werk zit en mijn server uit staat nu.

[FireDrunk]

Geen idee, maar als het verkeerd afgesteld staat, kan het misschien impact op je performance hebben.

[B2]

Xudonax schreef op zondag 13 januari 2013 @ 23:00:
[...]


Maar dan zou ik wel eerst FreeBSD moeten installeren Ik draai heel vrolijk met ZFS on Linux, en ben er heel erg tevreden mee op Fedora 18 alpha/beta/release (waar ze nu dan ook zitten ). Ik kan natuurlijk wél naar Linux software RAID gaan kijken...

Lees net op github dat systemd support voor zfsonlinux waarschijnlijk pas rond de release van RHEL7 gaat komen.

[Midas.e]

FireDrunk schreef op maandag 14 januari 2013 @ 10:14:
Ja, dedup heeft zo'n impact. Al helemaal met maar 4GB RAM... Wil je een beetje performance overhouden moet je denk ik echt naar 16GB of zelfs 32GB geheugen.

Zou een ZIL cache hierbij ook nog helpen? Brazos systemen kunnen 16GB aan zover mij bekend is, 32GB wordt lastiger :-)

[FireDrunk]

16GB helpt al wel. Je komt nu duidelijk tegen het limiet van Brazos aan. Zowel qua geheugen als qua performance. Het zou me niets verbazen als je CPU, Memory Controller en je SATA controller 100% belast worden dmv Dedup...

Zil helpt niet veel, omdat ZIL ook in memory opgeslagen word. Het enige wat het doet, is een out-of-order execution van TXG groups toelaten. Daar heeft dedup niet zoveel mee te maken, want het hele dedup process ligt daar voor.

[ Voor 34% gewijzigd door FireDrunk op 14-01-2013 12:25 ]

[Compizfox]

Met dedup aan zou de SATA-controller toch juist minder belast worden doordat er minder geschreven moet worden?

De CPU en memory controller worden logischerwijs wel zodanig hoger belast dat het alsnog negatief uitkomt voor de prestaties in de meeste gevallen.

[FireDrunk]

Je hebt een punt, maar ik weet niet of zijn geheugen misschien zo vol zit, dat zijn disks aangesproken moeten worden om data opnieuw in te lezen, om te deduppen. Als je veel geheugen hebt, word de dedup zelf in memory gedaan, maar ik verwacht dat als je maar 4GB geheugen hebt, dat er soms wel eens wat van disk gelezen moet worden. Als je dus leest en schrijft tegelijkertijd, is dat niet zo goed voor je controller belasting

Maar, zeker weten doe ik het niet, misschien dedupped ZFS alleen het L1 wat in memory staat, en anders niet.

[Compizfox]

Ik weet het ook niet hoor, het was maar een simpele redenering.

Ongeveer hetzelfde met compressie: Ten eerste houdt je meer ruimte over omdat je data minder ruimte inneemt, maar de throughput wordt ook hoger mits je CPU de boel niet bottleneckt.

---

Ik wilde eens kijken wat de beste manier is om de schijven in spindown te zetten met ZFS. ZFSGuru draait bij mij als guest op ESXi en ik geef de schijven door met een physical RDM.
camcontrol identify werkt echt niet, net als camcontrol sleep, standby of idle.
camcontrol stop werkt wel. Wat is het juiste commando om te gebruiken?

Ik heb het volgende script gevonden:

code:

#!/usr/local/bin/bash

#
# zpool-spindown.sh
#

ZPOOL="$1"

if [ -z "$ZPOOL" ]
then
echo "zpool name required"
exit 2
fi

PATH=/usr/local/bin:/bin:/usr/bin:/usr/sbin:/usr/local/sbin:/bin:/sbin
export PATH

# Cleanup any tmp file if present
if [ -f /tmp/zpool.iostat ]
then
rm -f /tmp/zpool.iostat
fi

# Name of samba share to check if mounted
SMBSHARE="media"

# Get drives for pool
drives=`zpool status $ZPOOL | egrep "da[0123456789]" | awk '{print $1}' | tr '\n' ' '`
firstdrive=`echo "$drives" | awk '{print $1}'`

# Activity checks
smbactive=`smbstatus -S | grep -A 6 "Connected at" | grep $SMBSHARE | wc -l | awk '{print $NF}'`
scrubrunning=`zpool status $ZPOOL | egrep "scrub in progress|resilver in progress" | wc -l | awk '{print $NF}'`
spundown=`smartctl -n standby -H /dev/$firstdrive | tail -1 | grep "STANDBY" | wc -l | awk '{print $NF}'`

if [ -f /tmp/locate.running ]
then
echo "Locate running...Aborting spindown!"
exit 3
elif [ $smbactive -gt 0 ]
then
echo "Samba share is mounted...Aborting spindown"
exit 3
elif [ $scrubrunning -eq 1 ]
then
echo "Scrub/resilver is running...Aborting spindown"
exit 3
elif [ $spundown -eq 1 ]
then
echo "Spundown already...Aborting spindown"
exit 3
fi

# Longer IO Activity check - only perform if got past above
zpool iostat $ZPOOL 30 2 | tail -1 > /tmp/zpool.iostat
reading=`cat /tmp/zpool.iostat | awk '{print $(NF-1)}' | awk -F\. '{print $1}' | sed -e 's/K//g' | sed -e 's/M//g'`
writing=`cat /tmp/zpool.iostat | awk '{print $NF}' | awk -F\. '{print $1}' | sed -e 's/K//g' | sed -e 's/M//g'`
rm -f /tmp/zpool.iostat

if [ $reading -gt 0 ]
then
echo "Pool shows IO activity...Aborting spindown"
exit 3
elif [ $writing -gt 0 ]
then
echo "Pool shows IO activity...Aborting spindown"
exit 3
fi

drives=($drives)
type=""

driveop () {
drive=$1
# Need to issue differnt command to ada vs da devices!!!
type=`echo $drive | cut -c 1`
if [ $type = "d" ]
then
camcontrol stop $drive
elif [ $type = "a" ]
then
camcontrol standby $drive
fi
return
}

drives_count=${#drives[@]}
index=0

while [ "$index" -lt "$drives_count" ]
do
driveop ${drives[$index]}
printf "Spindown Drive %s\n" ${drives[$index]}
let "index = $index + 1"
done

Dit heb ik nu als cronjob ingesteld om elk uur te draaien.
Maar ik vraag me af of dit de beste manier is om dit te doen.

Het scheelt trouwens wel 30 watt (€60 per jaar)

[FireDrunk]

Ik vraag me af wat het script nou eigenlijk doet? Want het kijkt naar SMB om te kijken of er nog iemand ingelogd is? Vreemd script als je het mij vraagt...

[Waking_The_Dead]

FireDrunk schreef op maandag 14 januari 2013 @ 15:07:
Ik vraag me af wat het script nou eigenlijk doet? Want het kijkt naar SMB om te kijken of er nog iemand ingelogd is? Vreemd script als je het mij vraagt...

Dat lijkt me net een heel nuttig script. Ik was al een tijdje op zoek naar de mogelijkheid dat mijn NAS zichzelf uitschakelt na x tijd inactiviteit. Concreet: als ik een film gekeken heb en mijn mediaplayer uitzet, dan is er dus niemand meer aangelogd en mag de NAS uit. Nu moet ik ofwel naar de berging gaan (waar mijn NAS staat) en op een knopje drukken waar ik moeilijk bij kan ofwel via de webinterface het ding uitzetten.

[Compizfox]

Ik heb nog iets beter gevonden:
http://www.noresult.net/freebsd/spindown/

[FireDrunk]

En die draai ik dus

[Compizfox]

Alleen moet ik nu nog iets vinden wat ook de datastores kan downspinnen onder ESXi...

Huidige verbruik van de server:
Onder load: 140 watt (160 watt max)
Idle (disks spinning): 100 watt
Idle (disks idle): 80 watt

Maar goed, m'n ouders zijn 'not amused' zeg maar. En ik denk dat het nog wel lager moet kunnen, want ik zie setups die maar 50 watt gebruiken. Dan vind ik dit relatief veel.

Ik ga nog een extra NIC eruit halen die ik niet gebruik, maar ik verwacht niet dat dat veel zal schelen. Misschien dat ik de enkele WD Raptor die erin zit nog eruit haal en alles op de 500 GB datastore zet.

Tooltje werkt goed trouwens:

code:

spindown -D -d da1 -d da2 -d da3
device: da1, max_idle_time: 600, rd: 253429, wr: 121926, frees: 0, other: 16, idle time: 0, state: Spinning
device: da2, max_idle_time: 600, rd: 255682, wr: 121820, frees: 0, other: 16, idle time: 0, state: Spinning
device: da3, max_idle_time: 600, rd: 252919, wr: 121484, frees: 0, other: 16, idle time: 0, state: Spinning

(na tien minuten)

code:

Stopping device da1
Unit stopped successfully
device: da1, max_idle_time: 600, rd: 253429, wr: 121926, frees: 0, other: 16, idle time: 600, state: Not spinning
Stopping device da2
Unit stopped successfully
device: da2, max_idle_time: 600, rd: 255682, wr: 121820, frees: 0, other: 16, idle time: 600, state: Not spinning
Stopping device da3
Unit stopped successfully
device: da3, max_idle_time: 600, rd: 252919, wr: 121484, frees: 0, other: 16, idle time: 600, state: Not spinning

[ Voor 43% gewijzigd door Compizfox op 14-01-2013 15:44 ]