Het grote ZFS topic

[syl765]

@nero355

http://www.synology.com/en-us/support/faq/579

Note: Please make sure the file system running on the hard drives of your Synology DiskStation is EXT4, which is the native file system for DSM 3.0 and onward

[ikkeenjij36]

Hallo nou het heeft even wat werk gekost maar alles is ge upgrade en draait.
Enige waar ik nog tegen aan loop is plex werkt niet:ik krijg de web interface maar kan geen dingen/mappen toevoegen hij doet gewooon niks.
owncloud:die zegt dat mysql niet geinstaleerd is en nog verschillende modules van php niet aanwezig zijn.
mysql:als ik erop klik moet ik naar site van php my admin en als ik daar op klik krijg ik een blanco pagina met geen mededeling of wat dan ook.
pureftd:wil gewoon niet starten.
Misschien zijn er mensen die mij de goeie richting op kunnen wijzen?

[ Voor 3% gewijzigd door ikkeenjij36 op 26-01-2014 12:11 ]

[CurlyMo]

php error reporting aanzetten. Waarschijnlijk mis je de mysqli php module.

[EnerQi]

Verwijderd schreef op zondag 26 januari 2014 @ 10:11:
Je gaat er denk ik onterecht vanuit dat het updaten van de web-interface iets te maken heeft met het booten. Het enige wat dat zou kunnen beïnvloeden, is de bootcode. Als je handmatig de bootcode update met beta8 krijg je oudere bootcode dan dat je zou updaten met beta9. Maar afgezien daarvan zijn het een paar bestanden op je ZFS NAS; niets om het booten te kunnen verhinderen.

Het enige wat niet werkt in jouw overzicht is USB3 met outdated bootcode. Dus als je up-to-date bootcode draait, werkt alles?

Volgens mij praten we langs elkaar heen .

Edit: nu werkt het wel Beta 9, USB 3.0 updated bootcode en 9.2.001
Edit2: freeBSD 10 werkt dus niet, niet in beta 8 (updated bootcode) en niet in beta 9 (updated bootcode) via USB 3.0.
Edit3: nogmaals getest, beta 8 en 9 in combinatie met FreeBSD 10.0-002 werken niet samen met USB 3.0 op mijn moederbord.

We gaan dus maar door op usb 2.0 (met tegenzin )

[ Voor 9% gewijzigd door EnerQi op 26-01-2014 13:02 ]

[ikkeenjij36]

Ok na weer eens reboot werken ze nu wel.
Alleen moet ik bij beide inloggen met user en ww.
Voor beide nergens wat aangemaakt?
Plex werkt echter niet kan wel inloggen maar hij slaat niks op dus kan er ook niks gedeeld worden.
Minidlna is nergens te zien op tv of media apparaten.
Proftd krijg ik nog steeds niet gestart en spotweb wwil ik nog eens proberen maar lukt me niet alleen

[joslohuis]

Ik heb ook mijn zfsguru implementatie geüpgraded naar beta9 en bsd10.-002, alles gaat goed behalve netatalk: AppleShare 7 10.9 MiB 10.0-002 (current) stable 10.0-RELEASE amd64

Ik krijg netatalk niet gestart: status stopped
In logs staat: zfsguru kernel: pid 45520 (afpd), uid 0: exited on signal 11

Weet iemand wat er fout gaat
Jos

[ikkeenjij36]

Nu na user en ww gemaakt in own cloud krijg ik dit:Uw webserver is nog niet goed ingesteld voor bestandssynchronisatie omdat de WebDAV interface verbroken lijkt.
Controleer de installatiehandleiding goed.
Hoe krijg ik dit opgelost?
En hoe moet ik voor het eerst inloggen in phpmyadmin/mysql??

[ikkeenjij36]

ikkeenjij36 schreef op zondag 26 januari 2014 @ 13:10:
Nu na user en ww gemaakt in own cloud krijg ik dit:Uw webserver is nog niet goed ingesteld voor bestandssynchronisatie omdat de WebDAV interface verbroken lijkt.
Controleer de installatiehandleiding goed.
Hoe krijg ik dit opgelost?
En hoe moet ik voor het eerst inloggen in phpmyadmin/mysql??

Nou ken in php via admin zonder ww
Alleen heb geen rechten om maar iets te doen.
Het wordt mij toch wat te ingewikkeld zo zonder hulp dus ga maar wachten op hulp van experts om me verder te helpen.
Nu weg voor werk voor 2 weken even naar sicillie toe.
Fijn weekend verder allemaal

[Verwijderd]

@ikkeenjij
Je moet rebooten voordat je sommige services kunt gebruiken. Dat kun je onthouden van de vorige keren want daarbij had je hetzelfde. Je probeert de services zonder te rebooten, terwijl je - als het goed is - die melding wel krijgt na de installatie.

MySQL service kun je out of the box mee inloggen met root gebruiker zonder wachtwoord. Wit beeld betekent ook hier weer dat je niet opnieuw hebt opgestart maar direct na het installeren op de panel interface hebt geklikt. Dat gaat natuurlijk niet werken. Maar ik gok zo dat MySQL iets te hoog gegrepen is voor je.

Veel services komen zonder makkelijke frontend dus dat betekent dat jij ze zelf moet configureren. MiniDLNA, ProFTPd en een boel andere services vallen hieronder. Volg de instructies van deze softwarepakketten om ze werkend te krijgen. Als dat te hoog gegrepen is, dan kun je alleen de services gebruiken die helemaal af zijn, zoals SAB, owncloud, Transmission, etc. Die hebben een panel interface die out of the box werkt dus hoef je vrijwel niets aan te configureren. Voor de overige services geldt dat je nog steeds zelf een deel van het werk moet doen.

[duiveltje666]

Update :
Zfsguru 10.0-002 werkend met php5.5 , php 5.4 compleet manual deinstallen ( ipv portmaster -o te doen) en daarna php 5.5 via ports installen deed het em

[joslohuis]

joslohuis schreef op zondag 26 januari 2014 @ 13:08:
Ik heb ook mijn zfsguru implementatie geüpgraded naar beta9 en bsd10.-002, alles gaat goed behalve netatalk: AppleShare 7 10.9 MiB 10.0-002 (current) stable 10.0-RELEASE amd64

Ik krijg netatalk niet gestart: status stopped
In logs staat: zfsguru kernel: pid 45520 (afpd), uid 0: exited on signal 11

Weet iemand wat er fout gaat
Jos

?
Ik zie geen avahi daemons in rc.d staan, is dat het issue?

Jos

[]Byte[]

Verwijderd schreef op zondag 26 januari 2014 @ 15:31:
@ikkeenjij
Je moet rebooten voordat je sommige services kunt gebruiken.

Is dit toevallig een BSD-kwaaltje?
Ik zie dit vaker gebeuren met BSD.
Als ik bijv in pfSense er een VLAN bij maak of een wijziging aan m'n LAGG's, geheid dat ik moet rebooten.
Dit is overigens niet alleen bij deze dingen maar met meerdere configuratie-meuk in mijn BSD-doosjes.
Sommige zaken werken gewoon gelijk goed, maar veel waarbij ik toch moet rebooten.

[Verwijderd]

Nee hoor. Dat rebooten na services is een ZFSguru iets. Eigenlijk hoef je niet te rebooten maar de webserver opnieuw te starten (Services->System->Webserver restart). Pas dan worden de PHP modules actief. Dit geldt voor alle webservers en alle platforms.

Wijzigingen in /etc/rc.conf worden ook niet automatisch geactiveerd. Dat zou wat zijn zeg, je maakt een fout met editen en opeens is je netwerkinterface down. Nee natuurlijk werkt het zo niet; kan me niet voorstellen dat het op Linux anders werkt? Als je /etc/fstab aanpast dan wordt dat toch ook niet gelijk geactiveerd? Dat zou pas enorme problemen opleveren....

Alles wat je in /etc/rc.conf doet, kun je ook op de command line. Is het bij Linux en consorten anders dan?

[]Byte[]

Dat niet. Bij linux zit alles in je /etc/init.d/ en ook daar moet je wel de services (her)starten.
Maar als ik een package installeer, zoals ik nu met sabnzb aan het doen ben, is het soms wat vervelend telkens te moeten rebooten.
Een start-button zou dan wel handig zijn na de installatie van een package.

[CurlyMo]

Kan makkelijk in de shell. Bijv.

code:

service apache22 start

Bij linux is het niet anders

[Verwijderd]

Dat werkt nog niet voordat de webserver opnieuw is gestart; anders worden de PHP modules niet actief en zie je allerlei foutmeldingen. Voor de meeste gebruikers is opnieuw starten het makkelijkst. Maar het alternatief heb ik al gegeven: ga naar Services->System en klik op het herstart-icoontje bij de webserver. Daarna kun je de service starten.

[]Byte[]

CiPHER, Ik wil mijn oude 9.2-omgevingen weggooien omdat ik nu toch 10.0-002 draai.
Ik dacht het ooit eens ergens gezien te hebben dat ik dit via de webinterface kon doen, maar kan het nergens meer vinden.
Of is het gewoon met een botte bijl rm -fR /boot_mirror/zfsguru/services/9.2* plat hakken?

[ikkeenjij36]

@cipher ok dus pureftd spotweb owncloud en mysql moet dus aangepast worden via cli,prima snap ik maar zoals jij al zegt is t voor mij en misschien wel meer beginners wel te hoog gegrepen das dan wel jammer.
Ik ben wel iemand die het toch graag draaiend wil hebben en daar misschien hulp bij nodig heb zodat ik andere gebruikers ook verder kan/wil helpen zodat er voor jullie devs meer tijd over blijft voor andere dingen.
Maar ik heb natuurlijk ook op google gezocht om t werkend te krijgen maar kwam daar alleen beschrijvingen tegen hoe het te instaleren compleet via cli/ports.
Daar ben ik dus een beetje bang voor om dan misschien het os kapot te maken vandaar mijn vraag voor jullie hulp om het draaiend te krijgen.
Snap je?

[Verwijderd]

@]byte[: je kunt oude installaties verwijderen in beta8 via de Files pagina. Maar makkelijker is het in beta9 op de System->Booting pagina met een speciale knop voor verwijderen van oude installaties.

@cipher ok dus pureftd spotweb owncloud en mysql moet dus aangepast worden via cli,prima snap ik maar zoals jij al zegt is t voor mij en misschien wel meer beginners wel te hoog gegrepen das dan wel jammer.

Owncloud en MySQL zijn makkelijk werkend te krijgen. Gewoon installeren, rebooten en gebruiken.

De rest is inderdaad lastiger en ZFSguru helpt je ongeveer de helft op weg door de packages te installeren, de andere helft bestaat uit configureren en dat moet je zelf nog doen.

Ik ben helemaal met je eens dat het vereiste niveau om dit te bewerkstelligen hoger is dan gewenst. De ZFSguru services zijn er juist voor om 'newbies' met een paar klikken een werkend stuk software te geven. Maar besef dat ZFSguru nog een lange weg te gaan heeft en nu al best wat addon software levert. Sommige services zijn al 'newbie-friendly' andere nog lang niet. Het zou ook teveel werk zijn als twee mensen die allemaal zouden moeten doen. Het idee is dat de community uiteindelijk kan helpen om de services werkend te krijgen. Dan kun je jezelf als 'maintainer' opgeven. Maar dat is allemaal toekomstmuziek, voor nu is het zo dat ZFSguru services levert die vrijwel helemaal 'af' zijn, maar ook services waar je zelf nog een hoop werk aan hebt.

[EnerQi]

CiPHER, na zoveel testen denk ik toch dat het een combinatie geweest is van user error en foute bootcode op enig moment . Overigens vind ik het wel vervelend dat ik pas na zoeken erachter kwam dat de upgrade van ZFSguru ook de bootcode moet updaten. Volgens mij staat dat nergens.

[Verwijderd]

In de release notes, maar ik heb al een bericht naar Jason gestuurd of hij dit prominent op de homepage kan zetten in rode tekst.

Daarnaast krijg je met beta10 bij het installeren een melding als je bootcode verouderd is.

Bovendien krijgt beta10 'bulletins' dus berichten van ZFSguru die je in de web-interface ziet. Zo kunnen we gebruikers informeren over belangrijke wijzigingen, en kun je geïnformeerd blijven over de voortgang van het project zoals nieuwe releases e.d.

[]Byte[]

CiPHER,
Iets voor op het wensenlijstje onder de Security category: zabbix en/of zabbix-agent

[DXaroth]

]Byte\[ schreef op zondag 26 januari 2014 @ 21:21:
CiPHER,
Iets voor op het wensenlijstje onder de Security category: zabbix en/of zabbix-agent

Als je zabbix wilt gebruiken voor grafieken, dan is het wellicht handig om te kijken naar collectd en graphite; heb dit paar maanden geleden uitgerold op ons cluster (ter vervanging van zabbix),en merken dat collectd een stuk rustiger (en liever) is voor het systeem dan zabbix... enige nadeel is dat het wat lastiger op te zetten is (maar het schaalt gelukkig horizontaal enorm veel beter)

[]Byte[]

Zabbix is meer dan alleen grafieken maken.
Ik heb een dedicated zabbix draaien en monitor hier mijn eigen omgeving mee, als ook een paar klanten.
Maar ik zal er ook eens naar kijken.

[krijn1985]

Even een vraagje waar ik zo snel het antwoord niet op kan vinden. Ik draai op dit moment nog 9.1-004 met beta9 webinterface. (al 375 dagen uptime;)) Nu kan ik updaten naar 10.0-002 vanuit System Install echter kan ik nergens eventuele changelogs vinden. Nu zie ik hierboven problemen met de bootcode, maar ik weet eigenlijk niet of ik daar dus iets mee moet doen. Mijn pool is nog v28.
Mijn vraag is dus of Installeren vanuit System -> Install en dan rebooten genoeg is. Of kan ik eigenlijk beter mijn hele pool opnieuw aanmaken met gebruik van v5000 ipv van v28?

[Verwijderd]

Pool opnieuw aanmaken hoeft vrijwel nooit. Alleen als je de 'ashift' waarde wilt veranderen bijvoorbeeld.

Je moet wel weten dat 10.0-002 nog niet alle services goed werken; grotendeels is dat gewoon een BSD 10.0 issue waar nog niet alle software goed mee werkt of überhaupt wilt compileren. Dus als alles goed werkt nu kun je prima het zo houden voorlopig.

Wil je toch naar 10.0, dan kun je inderdaad gewoon installeren. Alleen als je LZ4-compressie gaat gebruiken dan wordt je pool geupgrade naar v5000, en dan kun je niet meer booten omdat je oude bootcode hebt op je disks. Om dat probleem te vermelden, kun je met beta9 op de Disks pagina je disks selecteren en de rode boot partitie aanklikken, daar op de update knop drukken. Dat doen voor al je disks. De nieuwe bootcode werkt ook voor v28 pools.

[krijn1985]

Verwijderd schreef op zondag 26 januari 2014 @ 22:03:
Pool opnieuw aanmaken hoeft vrijwel nooit. Alleen als je de 'ashift' waarde wilt veranderen bijvoorbeeld.

Je moet wel weten dat 10.0-002 nog niet alle services goed werken; grotendeels is dat gewoon een BSD 10.0 issue waar nog niet alle software goed mee werkt of überhaupt wilt compileren. Dus als alles goed werkt nu kun je prima het zo houden voorlopig.

Wil je toch naar 10.0, dan kun je inderdaad gewoon installeren. Alleen als je LZ4-compressie gaat gebruiken dan wordt je pool geupgrade naar v5000, en dan kun je niet meer booten omdat je oude bootcode hebt op je disks. Om dat probleem te vermelden, kun je met beta9 op de Disks pagina je disks selecteren en de rode boot partitie aanklikken, daar op de update knop drukken. Dat doen voor al je disks. De nieuwe bootcode werkt ook voor v28 pools.

Bedankt voor het snelle antwoord. Het probleem wat ik nu eigenlijk heb (ik weet niet hoe ik het voor elkaar heb gekregen) maar de ssh user krijgt sorry als ik su typ. Ik heb ooit gekeken of ik het probleem "snel" kon oplossen echter daarna nooi meer aan toegekomen.
Verder heb ik ooit met veel moeite mijn UPS ingesteld, echter de daemon kon opeens niet meer verbinden.
Een reden voor mij om te upgraden is omdat ik dan weer met "clean" zfsguru install begin.

Is er ergens een lijst met services die niet werken?

[Verwijderd]

Jason moet 10.0-002 nog aankondigen. Maar uit mijn hoofd ontbreken:

jabber
nagios
squid
X-directconnect
X-handbrake
X-wine

En een paar werken mogelijk niet goed, zoals Plex en ook iemand die Netatalk crashes krijgt.

FreeBSD10 is overgestapt op eigen C/C++ libraries en dat zorgt soms voor problemen. Nu 10.0 uit is, verwacht ik dat veel ports gefixed zullen worden. De volgende ZFSguru build zou dan van betere kwaliteit moeten zijn, qua addon services in elk geval. 9.2-001 kun je ook gebruiken, die heeft de meeste services. Er komt ook een nieuwe 9.2 systeemversie met up to date services omdat 9.x op dit moment beter compatible is dan 10.x.

[ Voor 4% gewijzigd door Verwijderd op 26-01-2014 23:00 ]

[ikkeenjij36]

Ik kan bevestigen dat de plex service nog niet werkt als zou moeten

[FireDrunk]

Oh and I forgot to say. PMS runs perfectly fine in a 9.2 jail on a 10.0/11.0 host. That's what I've been running for almost 4 months.

Het kan dus wel

[]Byte[]

Het valt mij op dat 10.0-002 wel een redelijk hoge standaard load heeft (op een idle bak)

code:

last pid:  6031;  load averages:  0.94,  0.93,  0.89                                                                                                                                up 0+10:26:41  07:07:44
52 processes:  1 running, 51 sleeping
CPU:  0.0% user,  0.0% nice,  7.4% system,  0.0% interrupt, 92.6% idle
Mem: 55M Active, 603M Inact, 1741M Wired, 896K Cache, 29G Free
ARC: 859M Total, 192M MFU, 248M MRU, 48K Anon, 8706K Header, 411M Other
Swap: 2048M Total, 2048M Free

Het enige running process voor nu is top.

Of kan het een vertekend beeld zijn door het [idle] "process"?

code:

USER      PID   %CPU %MEM    VSZ    RSS TT  STAT STARTED       TIME COMMAND
root       11 1135.1  0.0      0    192  -  RL    8:41PM 7051:21.05 [idle]

[FireDrunk]

Hmm, nou je het zegt...

last pid:  8248;  load averages:  0.59,  0.57,  0.51                                                                                                                         up 1+20:02:13  12:07:03
30 processes:  1 running, 28 sleeping, 1 zombie
CPU:  0.0% user,  0.0% nice,  0.1% system, 10.5% interrupt, 89.4% idle
Mem: 7592K Active, 56M Inact, 6872M Wired, 918M Free
ARC: 5901M Total, 684M MFU, 4511M MRU, 688K Anon, 83M Header, 622M Other
Swap: 32G Total, 32G Free

  PID USERNAME    THR PRI NICE   SIZE    RES STATE   C   TIME    WCPU COMMAND
 2271 root          4  20    0 12272K  1232K rpcsvc  2   0:06   0.00% nfsd
 2311 root          1  20    0 14400K  1192K select  0   0:04   0.00% powerd
 2308 root          1  20    0 25328K  1980K select  3   0:02   0.00% ntpd
 8127 root          1  20    0 19768K  2528K CPU0    0   0:02   0.00% top
 2335 root          1  20    0 65212K  2724K select  2   0:01   0.00% nmbd
 2394 root          1  20    0 23980K  2764K select  0   0:01   0.00% sendmail
 2200 root          1  20    0 14424K  1336K select  0   0:00   0.00% syslogd
 2402 root          1  20    0 16520K   580K nanslp  3   0:00   0.00% cron
 2349 root          1  20    0 77564K  3184K select  0   0:00   0.00% smbd
 7808 root          1  20    0 86084K  6324K select  3   0:00   0.00% sshd
 2204 root          1  20    0 16512K  1384K select  1   0:00   0.00% rpcbind
 7787 root          1  20    0 86084K  6104K select  1   0:00   0.00% sshd
 1993 root          1  20    0 13584K  4068K select  0   0:00   0.00% devd
 7811 root          1  20    0 23492K  3500K pause   1   0:00   0.00% csh
 2398 smmsp         1  20    0 23980K   820K pause   0   0:00   0.00% sendmail
 2268 root          1  20    0 14432K  2304K select  1   0:00   0.00% mountd
 2234 root          1  20    0 27408K  1612K select  3   0:00   0.00% ctld
 2270 root          1  20    0 12272K  2240K select  1   0:00   0.00% nfsd
 2338 root          1  20    0 77040K  3304K select  2   0:00   0.00% smbd
 2391 root          1  20    0 60816K  2504K select  0   0:00   0.00% sshd
 2441 root          1  52    0 14420K  1196K ttyin   2   0:00   0.00% getty
 2445 root          1  52    0 14420K  1196K ttyin   0   0:00   0.00% getty
 2444 root          1  52    0 14420K  1196K ttyin   2   0:00   0.00% getty
 2446 root          1  52    0 14420K  1196K ttyin   1   0:00   0.00% getty
 2447 root          1  52    0 14420K  1196K ttyin   2   0:00   0.00% getty
 2442 root          1  52    0 14420K  1196K ttyin   1   0:00   0.00% getty
 2443 root          1  52    0 14420K  1196K ttyin   0   0:00   0.00% getty
 2448 root          1  52    0 14420K  1196K ttyin   0   0:00   0.00% getty
  135 root          1  52    0 12264K     0K pause   1   0:00   0.00% <adjkerntz>

Alleen zijn het bij mij interrupts...

vmstat -i

interrupt                          total       rate
irq16: ehci0                 37059992382     233619
irq23: ehci1                      447348          2
cpu0:timer                      19082939        120
irq264: mps0                     9730195         61
irq265: xhci0                         62          0
irq266: em0                     55471963        349
irq267: igb0:que 0                335898          2
irq268: igb0:que 1                528917          3
irq269: igb0:que 2                291907          1
irq270: igb0:que 3                346112          2
irq271: igb0:link                      3          0
irq272: igb1:que 0                549706          3
irq273: igb1:que 1                169435          1
irq274: igb1:que 2                650443          4
irq275: igb1:que 3                178009          1
irq276: igb1:link                      3          0
irq277: igb2:que 0                313946          1
irq278: igb2:que 1                292968          1
irq279: igb2:que 2                763515          4
irq280: igb2:que 3                160064          1
irq281: igb2:link                      3          0
irq282: igb3:que 0                384750          2
irq283: igb3:que 1                483109          3
irq284: igb3:que 2                291164          1
irq285: igb3:que 3                370790          2
irq286: igb3:link                      3          0
irq290: ahci0                    5339493         33
cpu2:timer                     177718139       1120
cpu1:timer                      15927827        100
cpu3:timer                      15666041         98
Total                        37365487134     235545

Verklaard weer wat, even verdiepen in polling

[ Voor 23% gewijzigd door FireDrunk op 27-01-2014 12:09 ]

[Quindor]

Heb je toevallig de monitor stekker lesgetrokken van je server? Ik ben ook tijden aan het vechten geweest met FreeBSD omdat ik spontaan 10% interrupt load kreeg soms. Conclusie? Stekker van de monitor in de poort laten zitten, ook al staat de monitor uit anders komt het hoe dan ook terug.

Is een bug/probleem met de Intel drivers voor FreeBSD zoals ik het begrepen heb. Helaas geen linkjes, etc. bij de hand maar wellicht kun je dan wat beter zoeken!

[FireDrunk]

Hmm, dat kan zeker kloppen ja... Wat dan wel raar is, is dat al die interrupts van de ehci controller afkomen

[Quindor]

FireDrunk schreef op maandag 27 januari 2014 @ 15:35:
Hmm, dat kan zeker kloppen ja... Wat dan wel raar is, is dat al die interrupts van de ehci controller afkomen

Yes, dat vond ik ook, maar dat bleek het bij mij toch echt te zijn en als je goed genoeg rond zoekt dan vind je het ook wel ergens als bug.

Hier kun je iemand vinden die hetzelfde ondervind, maar het is maar vrij sporadisch te vinden helaas. Het is iig wel echt heel erg irritant!

[]Byte[]

Bij mij zit de monitorkabel wel vast. (aan KVM-switch)

[root@zfsguru ~]# vmstat -i
interrupt                          total       rate
irq1: atkbd0                           6          0
irq9: acpi0                   2334033963      16765
irq16: ehci0                      257096          1
irq23: ehci1                      383839          2
cpu0:timer                     156868445       1126
irq264: mps0                       11719          0
irq265: mps1                       21064          0
irq266: em0                      2467389         17
irq267: em1                        20127          0
irq268: isci0                          1          0
irq270: em2:rx 0                 2582661         18
irq271: em2:tx 0                    3860          0
irq272: em2:link                       4          0
irq273: em3:rx 0                   19427          0
irq274: em3:tx 0                      21          0
irq276: ahci0                    2908036         20
cpu1:timer                      21429587        153
cpu6:timer                      49174295        353
cpu7:timer                      48466560        348
cpu3:timer                      44556562        320
cpu4:timer                     156866065       1126
cpu2:timer                      45234065        324
cpu10:timer                     45387594        326
cpu9:timer                      47956912        344
cpu5:timer                      35626548        255
cpu8:timer                      47914672        344
cpu11:timer                     44550747        320
irq280: mlx4_core0                 45853          0
irq281: mlx4_core0                 29298          0
Total                         3086816416      22172

Maar zo te zien heeft mijn acpi het er maar druk mee t.o.v. de rest.

[ Voor 11% gewijzigd door ]Byte[ op 28-01-2014 12:23 ]

[krijn1985]

Verwijderd schreef op zondag 26 januari 2014 @ 22:19:
Jason moet 10.0-002 nog aankondigen. Maar uit mijn hoofd ontbreken:

jabber
nagios
squid
X-directconnect
X-handbrake
X-wine

En een paar werken mogelijk niet goed, zoals Plex en ook iemand die Netatalk crashes krijgt.

FreeBSD10 is overgestapt op eigen C/C++ libraries en dat zorgt soms voor problemen. Nu 10.0 uit is, verwacht ik dat veel ports gefixed zullen worden. De volgende ZFSguru build zou dan van betere kwaliteit moeten zijn, qua addon services in elk geval. 9.2-001 kun je ook gebruiken, die heeft de meeste services. Er komt ook een nieuwe 9.2 systeemversie met up to date services omdat 9.x op dit moment beter compatible is dan 10.x.

Dat zijn in ieder geval allemaal services die ik op dit moment niet gebruik. Ik zal even kijken wat ik doe. Misschien upgrade ik voorlopig wel even naar 9.2-001 en wacht ik nog even op een nieuwere versie van 10.

[FireDrunk]

Gister even gekeken met monitor kabel los en vast, maar dat is het bij mij niet.

[]Byte[]

FireDrunk, ben jij al wat verder gekomen met de idle-load?
Ik dacht even dat het DHCP-pollen was van de IB-kaart.
Maar nu ik de ifconfig_DEFAULT="DHCP" heb uitgezet in de /etc/rc.conf blijf ik het probleem houden.

last pid:  3192;  load averages:  0.88,  0.91,  0.85                                           up 0+01:01:27  10:07:48
64 processes:  2 running, 61 sleeping, 1 waiting
CPU 0:   0.0% user,  0.0% nice,  1.6% system,  0.0% interrupt, 98.4% idle
CPU 1:   0.4% user,  0.0% nice,  1.2% system,  0.0% interrupt, 98.4% idle
CPU 2:   0.0% user,  0.0% nice,  6.9% system,  0.0% interrupt, 93.1% idle
CPU 3:   0.0% user,  0.0% nice,  8.2% system,  0.0% interrupt, 91.8% idle
CPU 4:   0.0% user,  0.0% nice,  9.4% system,  0.0% interrupt, 90.6% idle
CPU 5:   0.0% user,  0.0% nice, 18.5% system,  0.0% interrupt, 81.5% idle
CPU 6:   0.0% user,  0.0% nice,  0.8% system,  0.0% interrupt, 99.2% idle
CPU 7:   0.4% user,  0.0% nice,  1.1% system,  0.0% interrupt, 98.5% idle
CPU 8:   0.0% user,  0.0% nice, 11.9% system,  0.0% interrupt, 88.1% idle
CPU 9:   0.0% user,  0.0% nice,  9.6% system,  0.0% interrupt, 90.4% idle
CPU 10:  0.0% user,  0.0% nice, 14.3% system,  0.0% interrupt, 85.7% idle
CPU 11:  0.0% user,  0.0% nice,  5.9% system,  0.0% interrupt, 94.1% idle
Mem: 435M Active, 191M Inact, 788M Wired, 30G Free
ARC: 263M Total, 124M MFU, 127M MRU, 48K Anon, 1981K Header, 10M Other
Swap: 2048M Total, 2048M Free

  PID USERNAME    THR PRI NICE   SIZE    RES STATE   C   TIME    WCPU COMMAND
   11 root         12 155 ki31     0K   192K RUN    11 682:14 1150.24% idle
[b]    0 root        609  -8    0     0K  9744K -       0  53:36  84.42% kernel[/b]
 2353 clamav        2  25    0   307M   255M select  0   0:09   0.00% clamd
 2334 _sabnzbd      3  20    0   236M 58852K select  2   0:06   0.00% python2.7
   12 root         55 -92    -     0K   880K WAIT    0   0:05   0.00% intr
 2356 clamav        1  52    0 50568K 12024K pause  11   0:03   0.00% freshclam
 2083 _sabnzbd     54  24    0   315M 39160K usem    0   0:03   0.00% python2.7
    2 root         14  -8    -     0K   272K zvol:i  9   0:02   0.00% zfskern
 2090 _sabnzbd     20  20    0   215M 42864K select  0   0:02   0.00% python2.7

Het lijkt er op dat het de kernel zelf is die de boosdoener is.

Kan ik ergens de LiveCD downloaden van 10.0-002?
Op http://zfsguru.com/download staat ie (nog) niet.

* ]Byte[ wil vanavond maar eens testen op een ML110 met de live CD van 10.0-002

[ Voor 5% gewijzigd door ]Byte[ op 29-01-2014 10:19 ]

[FireDrunk]

Heb je vmstat -i al bekeken?

[]Byte[]

yup....
Lijkt niet veel bijzonders te melden als alleen dat de acpi0 wat 'druk' is.

[root@zfsguru ~]# vmstat -i
interrupt                          total       rate
irq1: atkbd0                           6          0
irq9: acpi0                     89821563      16782
irq16: ehci0                        9977          1
irq23: ehci1                       14794          2
cpu0:timer                       6029943       1126
irq264: mps0                       11088          2
irq265: mps1                        7688          1
irq266: em0                         3002          0
irq267: em1                         4507          0
irq268: isci0                          1          0
irq270: em2:rx 0                    1119          0
irq271: em2:tx 0                    1382          0
irq272: em2:link                       1          0
irq273: em3:rx 0                   90937         16
irq274: em3:tx 0                    1286          0
irq275: em3:link                       1          0
irq276: ahci0                      22555          4
cpu1:timer                        778039        145
cpu10:timer                      1881145        351
cpu7:timer                       1731125        323
cpu5:timer                       1295630        242
cpu6:timer                       1727270        322
cpu3:timer                       1794973        335
cpu8:timer                       1854117        346
cpu11:timer                      1841145        344
cpu2:timer                       1852194        346
cpu9:timer                       1847856        345
cpu4:timer                       6027302       1126
irq280: mlx4_core0                  1888          0
Total                          118652534      22169
[root@zfsguru ~]# 

[FireDrunk]

Heb je powerd wel aan staan? (service)

[]Byte[]

Ja... die draait ook.
Maar ook al zou ik 'm uit zetten blijft de load gelijk.
Hier had iemand wel een heel bijzondere oplossing...
Een BIOS-upgrade...

My problem has been resolved with a BIOS firmware upgrade on my Dell Precision 490. Load average has gone down from 0.93-1.00 to 0.00, [...]

Alleen wat nu echt de 'oorzaak' was bleef onduidelijk.

[ Voor 95% gewijzigd door ]Byte[ op 29-01-2014 11:05 ]

[FireDrunk]

Raar... Ik heb toch een vrij recente BIOS (December ofzo) op mijn Q77...

[]Byte[]

Ik heb ook de laatste versie in mijn Supermicro-board zitten.
Ellendig is het dat je niet kan zien waar ie exact zo druk mee is.
Ik zal nog eens kijken in de BIOS en alles wat niet gebruikt wordt gewoonweg keihard uit zetten. (zoals onboard USB, Firewire, RS232 etc.)
Kijken of dat helpt.

[FireDrunk]

Pas op met USB uitzetten. Je IPMI besturing gaat ook via USB

[]Byte[]

lol... Dan ga ik dit wel even doen via lokaal console en niet via IPMI
Tnx!

[Pakjebakmeel]

Even een tussendoor vraagje voor de kenners hier; ik heb 2 bijna identieke builds gemaakt:

code:

D2700MUD intel atom
4GB DDR3 SO-DIMMs
WD20EARS 2TB

code:

D510MO intel atom
2GB DDR2 DIMMs
WD10EFRX 1TB

OS disk is een seperate schijf met Ubuntu 13.10, de WD's zijn storage-only. ZFS geinstalleerd vanuit de stable PPA en beide allebei de machines een ZFS volume gemaakt zonder redundantie met ashift=12. Volgens hdparm (en het etiket) zijn beide WD's 4K.

De performance is tot dusver prima, een grote film dd'en (niet uit cache) gaat zoals verwacht met 100MiB/s. De RED gaat iets harder dan de GREEN maar ook dat is in de lijn van verwachting. Een HDParm -tT laat ook netjes 100MiB/s+ snelheden zien.

Het verschil is zichtbaar bij een scrub; de D510MO doet rustig 120MiB/s scrubben terwijl de D2700MUD blijft steken op een schamele 45 a 50 MiB/s. Iemand een idee wat dit zou kunnen veroorzaken? Lezen van bestanden gaat dus snel zat, alleen de scrub is langzaam op een van de twee terwijl ze praktisch identiek zijn ingericht..

Op beide machines op deze manier het ZFS volume gemaakt:

code:

zpool create storage -o ashift=12 -m /mnt/storage /dev/disk/by-id/blablablabla

[ Voor 9% gewijzigd door Pakjebakmeel op 29-01-2014 20:09 ]

[Verwijderd]

Check de 'top' output voor interrupt usage en algemeen CPU gebruik.

De RED gaat iets harder dan de GREEN maar ook dat is in de lijn van verwachting.

Red en Green zijn fysiek hetzelfde. Je vergelijkt een nieuwere Red (EFRX) met een oudere Green (EARS) dus je vergelijkt 1000GB platter versus 666GB platter. De TLER-enabled firmware van de Red en het jaar extra garantie veranderen niets aan performance of zuinigheid van de schijf. Red heeft volgens mij ook uitgeschakelde headparking, terwijl bij oudere Greens dat snel kan oplopen. Check je LCC - Load Cycle Count in de SMART output van je schijven.

[FireDrunk]

Van load cycles en headparking word een schijf toch niet langzamer?
Draaien beide de disk controlers van beide bordjes wel in AHCI? En zo ja, hebben ze beide wel een fatsoenlijke controller?

[ Voor 48% gewijzigd door FireDrunk op 29-01-2014 20:36 ]

[Pakjebakmeel]

Verwijderd schreef op woensdag 29 januari 2014 @ 20:14:
Check de 'top' output voor interrupt usage en algemeen CPU gebruik.


[...]

Red en Green zijn fysiek hetzelfde. Je vergelijkt een nieuwere Red (EFRX) met een oudere Green (EARS) dus je vergelijkt 1000GB platter versus 666GB platter. De TLER-enabled firmware van de Red en het jaar extra garantie veranderen niets aan performance of zuinigheid van de schijf. Red heeft volgens mij ook uitgeschakelde headparking, terwijl bij oudere Greens dat snel kan oplopen. Check je LCC - Load Cycle Count in de SMART output van je schijven.

Klopt, vrij identieke schijven. Echter die vervelende headparking had ik al opgehoogd omdat die na een maand of wat bij mijn eerste greenline al op 180.000 stond. Deze is vrij laag als het goed is. Misschien door de hogere datadichtheid gaat de redline net ff sneller. Maar dat is hier niet het probleem.

Na lekker veel data lezen om de cache te met andere data te vullen en een bestand te pakken wat zeker niet in cache zit:

code:

dd bs=4M if=en_windows_8_x64_dvd_915440.iso of=/dev/zero
853+1 records in
853+1 records out
3581853696 bytes (3.6 GB) copied, 34.7749 s, 103 MB/s

Oke, ZFS kan dus wel snel op deze simpele Atom. Dit zijn ook ongeveer de snelheden die ik van een Greenline verwacht. Prima geen probleem, dan even scrubben. Ik verwacht ongeveer dezelfde snelheden maar helaas:

code:

  pool: storage
 state: ONLINE
  scan: scrub in progress since Wed Jan 29 20:29:46 2014
    13.4M scanned out of 344G at 1.34M/s, 72h54m to go
    0 repaired, 0.00% done
config:

        NAME                      STATE     READ WRITE CKSUM
        storage                   ONLINE       0     0     0
          wwn-0x50014ee25b8b4ae8  ONLINE       0     0     0

errors: No known data errors

even later wel sneller maar niet harder dan 50MiB/s:

code:

  pool: storage
 state: ONLINE
  scan: scrub in progress since Wed Jan 29 20:29:46 2014
    14.4G scanned out of 344G at 41.2M/s, 2h16m to go
    0 repaired, 4.18% done
config:

        NAME                      STATE     READ WRITE CKSUM
        storage                   ONLINE       0     0     0
          wwn-0x50014ee25b8b4ae8  ONLINE       0     0     0

errors: No known data errors

Gebeurt niet veel hier tijdens de scrub..

code:

Tasks: 222 total,   4 running, 218 sleeping,   0 stopped,   0 zombie
%Cpu(s):  0.2 us,  2.3 sy,  0.0 ni, 96.5 id,  1.1 wa,  0.0 hi,  0.0 si,  0.0 st
KiB Mem:   4031104 total,  3625916 used,   405188 free,    89468 buffers
KiB Swap:  4174844 total,      332 used,  4174512 free,   193120 cached

  PID USER      PR  NI  VIRT  RES  SHR S  %CPU %MEM    TIME+  COMMAND
  363 root      39  19     0    0    0 R   1.7  0.0   5:01.90 z_rd_int/0
  364 root      39  19     0    0    0 S   1.7  0.0   5:00.58 z_rd_int/1
  365 root      39  19     0    0    0 S   1.7  0.0   5:04.01 z_rd_int/2
  366 root      39  19     0    0    0 S   1.7  0.0   5:08.14 z_rd_int/3
  437 root       0 -20     0    0    0 D   1.3  0.0   7:30.97 txg_sync
16697 -snip-   20   0 20640 1656 1116 R   0.7  0.0   0:00.06 top
  356 root      39  19     0    0    0 S   0.3  0.0   0:20.45 z_rd_iss/1
  359 root      39  19     0    0    0 R   0.3  0.0   0:20.48 z_rd_iss/4
  362 root      39  19     0    0    0 S   0.3  0.0   0:21.18 z_rd_iss/7

De interrupt waardes zeggen mij niet zoveel:

code:

           CPU0       CPU1       CPU2       CPU3
  0:         46          0          0          0   IO-APIC-edge      timer
  8:          1          0          0          0   IO-APIC-edge      rtc0
  9:          0          0          0          0   IO-APIC-fasteoi   acpi
 16:          0          0          0          0   IO-APIC-fasteoi   uhci_hcd:usb5
 18:          0          0          0          0   IO-APIC-fasteoi   uhci_hcd:usb4, sata_sil24
 19:          0          0          0          0   IO-APIC-fasteoi   uhci_hcd:usb3
 23:         26         11         20         15   IO-APIC-fasteoi   ehci_hcd:usb1, uhci_hcd:usb2
 42:         34       2019  267657065         29   PCI-MSI-edge      em0-rx-0
 43:         50         52        149  204450416   PCI-MSI-edge      em0-tx-0
 44:          1          0          1          0   PCI-MSI-edge      em0
 45:   15801520       1208     945389       1277   PCI-MSI-edge      ahci
 46:          0          0          0          0   PCI-MSI-edge      gma500
NMI:       3163       2452      50983      24952   Non-maskable interrupts
LOC:    3825965    4375883   23523620   17359962   Local timer interrupts
SPU:          0          0          0          0   Spurious interrupts
PMI:       3163       2452      50983      24952   Performance monitoring interrupts
IWI:     224297     219479     735090     629143   IRQ work interrupts
RTR:          0          0          0          0   APIC ICR read retries
RES:   16566854   14955284   34252496  233053448   Rescheduling interrupts
CAL:     239368     236745    3568872    3656619   Function call interrupts
TLB:      16461      41529      12487      10515   TLB shootdowns
TRM:          0          0          0          0   Thermal event interrupts
THR:          0          0          0          0   Threshold APIC interrupts
MCE:          0          0          0          0   Machine check exceptions
MCP:       2022       2022       2022       2022   Machine check polls
ERR:          0
MIS:          0

LLC is niet dramatisch in mijn ogen..

code:

193 Load_Cycle_Count        0x0032   192   192   000    Old_age   Always       -       25176

[FireDrunk]

Scrubs zijn in het begin altijd traag. Bij een echt grote array kan het wel minuten duren voor die op snelheid is. Bij mij duurt het minimaal een half uur voor het ding echt op snelheid is (>200MB/s) en ik heb 4*4TB in RAIDZ.

[ Voor 6% gewijzigd door FireDrunk op 29-01-2014 20:39 ]

[Pakjebakmeel]

FireDrunk schreef op woensdag 29 januari 2014 @ 20:35:
Van load cycles en headparking word een schijf toch niet langzamer?
Draaien beide de disk controlers van beide bordjes wel in AHCI? En zo ja, hebben ze beide wel een fatsoenlijke controller?

Nah, als je er teveel hebt (300.000+) kapt ie er gewoon mee zou je denken. Controller is gewoon het flut onboard crappy ICHR dingetje. Echter is het punt bewezen dat ie prima de gewenste snelheid haalt aangezien lezen van ZFS 100+ gaat, een HDParm -tT doet ook prima zijn werk (dus zonder de load van ZFS checksumming ertussen).

De trage:

code:

[    2.154526] ahci 0000:00:1f.2: version 3.0
[    2.154770] ahci 0000:00:1f.2: irq 45 for MSI/MSI-X
[    2.154844] ahci: SSS flag set, parallel bus scan disabled
[    2.154891] ahci 0000:00:1f.2: AHCI 0001.0100 32 slots 4 ports 3 Gbps 0x3 impl SATA mode
[    2.154901] ahci 0000:00:1f.2: flags: 64bit ncq stag pm led clo pio slum part
[    2.154912] ahci 0000:00:1f.2: setting latency timer to 64

code:

[    6.641296] scsi 3:0:0:0: Direct-Access     ATA      WDC WD20EARS-00M 51.0 PQ: 0 ANSI: 5
[    6.641736] sd 3:0:0:0: Attached scsi generic sg1 type 0
[    6.641794] sd 3:0:0:0: [sdb] 3907029168 512-byte logical blocks: (2.00 TB/1.81 TiB)
[    6.641801] sd 3:0:0:0: [sdb] 4096-byte physical blocks
[    6.642044] sd 3:0:0:0: [sdb] Write Protect is off
[    6.642054] sd 3:0:0:0: [sdb] Mode Sense: 00 3a 00 00
[    6.642166] sd 3:0:0:0: [sdb] Write cache: enabled, read cache: enabled, doesn't support DPO or FUA

Zonder overhead van ZFS doet de disk 120MiB/s:

code:

/dev/sdb:
 Timing cached reads:   1908 MB in  2.00 seconds = 954.17 MB/sec
 Timing buffered disk reads: 362 MB in  3.00 seconds = 120.52 MB/sec

Controller lijkt het prima aan te kunnen, het is alleen die verdammte scrub die traag is. Lijkt wel iets met prioriteiten ofzo.

FireDrunk schreef op woensdag 29 januari 2014 @ 20:39:
Scrubs zijn in het begin altijd traag. Bij een echt grote array kan het wel minuten duren voor die op snelheid is. Bij mij duurt het minimaal een half uur voor het ding echt op snelheid is (>200MB/s) en ik heb 4*4TB in RAIDZ.

Mee eens; maar...

Hij wordt niet echt sneller dan dit, ook als ik hem een uur laat lopen. Daarnaast gaat de redline in het andere doosje vrijwel meteen naar 100MiB/s. De builds zijn bijna identiek en toch zie ik hele verschillende waardes tijdens de scrub. Ik zou ongeveer hetzelfde gedrag verwachten.

Gek genoeg is dat niet mijn ervaring met een scrub, op mijn 6 disk (greenline) RAIDZ2 is ie inderdaad even een minuut wat langzamer en dan gaat ie al vrij snel harder. Binnen een minuut of 2 op de max van 330 a 350 MiB/s..

Tis geen ramp, een scrub is klaar als ie klaar is maar het punt is dat ik denk dat ie zeer zeker sneller kan en hij om de een of andere duistere reden zo traag is. De normale performance is namelijk prima, alleen die wekelijkse scrub

[ Voor 61% gewijzigd door Pakjebakmeel op 29-01-2014 21:00 ]

[FireDrunk]

sysctl -a | grep zfs

Vergelijken tussen de twee hosts?

[Pakjebakmeel]

FireDrunk schreef op woensdag 29 januari 2014 @ 21:08:
sysctl -a | grep zfs

Vergelijken tussen de twee hosts?

Ik zal wel iets missen maar zowel op de d2700 geeft sysctl geen ZFS tuneables terug.

code:

pakjebakmeel@d2700:/$ sudo sysctl -a | grep zfs
pakjebakmeel@d2700:/$

Ook op mijn gentoo doos niet trouwens..

[ Voor 6% gewijzigd door Pakjebakmeel op 29-01-2014 21:15 ]

[FireDrunk]

Oh sorry, ik zit met BSD in mijn hoofd
Er is geloof ik een optie van ZFSonLinux om al die runtime configs te bekijken.

* FireDrunk trekt google open.

[Pakjebakmeel]

Got it.. /sys/module/zfs/parameters

http://pastebin.com/GEH7cR7F <-- D2700

Die andere kan ik morgen pas op, echter is het volledig standaard installatie uit dezelfde PPA met de zelfde config dus ik verwacht geen verschillen..

Het is echt geen ramp die scrub en ik stoorde me er totaal niet aan maar toen zag ik de scrub op een langzamere D510MO de vloer aanvegen met mijn snellere D2700MUD.

And I was like wuuuuuuuutttt???

Ik ga wel even morgen verder prutsen, dank voor de hulp zover.

[ Voor 77% gewijzigd door Pakjebakmeel op 29-01-2014 21:29 ]

[FireDrunk]

Aan alleen die lijst hebben we niet zoveel. Het gaat juist over de verschillen tussen de twee hosts...

Te snel

[ Voor 9% gewijzigd door FireDrunk op 29-01-2014 21:28 ]

[Pakjebakmeel]

Maar een pastebinnetje gemaakt, ik ben lekker aan het spammen met die grote blokken code. Morgen even kijken maar ik verwacht er niet zo veel van aangezien het idd standaard config is.

Ik hoopte dat iemand hiet het wel eens bij de hand had gehad en de gouden tip had. Ik ga wel even prutsen.

Overigens is mijn andere 'probleem' op de gentoo bak waar ik een tijdje geleden over postte ook nog niet opgelost. Toen wist niemand een antwoord, wellicht is iemand dit ondertussen tegen gekomen..

code:

  pool: storage
 state: ONLINE
   see: http://zfsonlinux.org/msg/ZFS-8000-EY
  scan: scrub in progress since Wed Jan 29 21:33:30 2014
    299G scanned out of 5.20T at 325M/s, 4h23m to go
    0 repaired, 5.62% done
config:

        NAME                                          STATE     READ WRITE CKSUM
        storage                                       ONLINE       0     0     0
          raidz2-0                                    ONLINE       0     0     0
            ata-WDC_WD30EZRX-00DC0B0_WD-WMC1T1429505  ONLINE       0     0     0
            ata-WDC_WD30EZRX-00DC0B0_WD-WMC1T1248064  ONLINE       0     0     0
            ata-WDC_WD30EZRX-00DC0B0_WD-WMC1T1035352  ONLINE       0     0     0
            ata-WDC_WD30EZRX-00DC0B0_WD-WMC1T0999727  ONLINE       0     0     0
            ata-WDC_WD30EZRX-00DC0B0_WD-WMC1T1625883  ONLINE       0     0     0
            ata-WDC_WD30EZRX-00DC0B0_WD-WMC1T1157517  ONLINE       0     0     0

errors: No known data errors

De ZFS-8000-EY melding staat bij allebei mijn ZFS pools en gaat niet weg. Ondertussen is mijn RAIDZ array destroyed en heb ik daar voor in de plaats een splinternieuw RAIDZ2 array gemaakt die ook al vanaf de eerste seconde deze ZFS-8000-EY melding heeft.

HostID mismatch, gek genoeg ook op het nieuwe RAIDZ2 terwijl mijn hostid niet is veranderd. Anders zou je hem met -f moeten forcen maar dat is ook niet het geval, hij mount prima. Export import mag ook niet baten. Melding staat er al tijden, werkt voor de rest prima. Lijkt wel een glitch ofzo dat ie niet weggaat.

[ Voor 81% gewijzigd door Pakjebakmeel op 29-01-2014 21:49 ]

[FireDrunk]

Heb je je vraag al eens bij het ZFSonLinux team gesteld?

[Pakjebakmeel]

Nee misschien maar eens doen.. Kon er in ieder geval niet zo veel over vinden, lijkt het gevolg te zijn van een HostID mismatch of inconsistent HostID maar die van mij is static in /etc/hostid en na iedere reboot hetzelfde. Dus dat lijkt me het probleem niet. Bovendien zou hij als dit echt het geval was weigeren te mounten zonder '-f' flag en dat doet ie dus prima. Al een export/import gedaan, zpool clear en laatst dus een heel nieuw array gemaakt. Apart.

[FireDrunk]

Word ZFS niet al gemount voordat je hostid door een service gezet wordt?

[Goderic]

Wat die scrub betreft, al eens geprobeerd om de pools om te wisselen en/of om ze te importeren op FreeBSD? Dan kan je makkelijk zien of het aan je schijven, ZoL of iets anders ligt.

[A1AD]

FireDrunk schreef op woensdag 29 januari 2014 @ 20:39:
ik heb 4*4TB in RAIDZ.

Ik ben benieuwd waarom je voor 4*x in RAIDZ gegaan bent, dit is toch tegen de recommended specs?

[FireDrunk]

Omdat ik niet meer nodig had, en je verliest inderdaad een paar procent performance, en een paar procent ruimte. Zelf nooit last van (performance) en die paar procent ruimte... ach...

[]Byte[]

FireDrunk... Ik heb een "oplossing" voor/tegen de idle-load....

Ik heb er zojuist 32 GB bij geprikt. (nu dus totaal 64 GB (4 * 16 GB))
En mijn idle-load is nu opeens nog maar 18%....

* ]Byte[ gaat het een beetje te ver om de overige 4 banken ook vol te prikken...

Trap mij maar om.
Iemand een idee?

[update]
na 20 min. nog maar 11%

[ Voor 7% gewijzigd door ]Byte[ op 30-01-2014 18:31 ]

[Eagleman7]

Ik begrijp er niks meer van

Ik probeer in mijn eigen directory "Robin" de permissie zo neer te zetten dat andere gebruikers er niet bij kunnen, dus ook niet lezen.

Nu werkt het alleen als ik de groep "Domain Users" de rechten rx geef. Als ik dus niet deze groep rechten geef kan ik de folder helemaal niet in. Maar als ik het wel doe dan kunnen alle andere users dus ook in de folder kijken omdat ze allemaal in de "Domain Users" groep zitten.

Normaal heb je natuurlijk de user en group "robin" maar omdat ik mijn users en groups uit active directory haal heb ik dit niet.



Heeft iemand een idee hoe ik dit wel zou moeten doen ?

[ Voor 10% gewijzigd door Eagleman7 op 30-01-2014 20:59 ]

[Pakjebakmeel]

Eagleman7 schreef op donderdag 30 januari 2014 @ 20:47:

Ik probeer in mijn eigen directory "Robin" de permissie zo neer te zetten dat andere gebruikers er niet bij kunnen, dus ook niet lezen.

Verkeerde topic? Dit gaat over ZFS?

FireDrunk schreef op woensdag 29 januari 2014 @ 22:57:
Word ZFS niet al gemount voordat je hostid door een service gezet wordt?

Denk dat ik iets op het spoor ben

code:

gentoo zfs # zdb | grep hostid
    hostid: 199798425
    hostid: 199798425

code:

gentoo ~ # dmesg | grep hostid
[    3.556193] SPL: using hostid 0x0be8ae99

code:

gentoo zfs # hostid
ebe8ae99

Wel vreemd want het hostid is volgens de gentoo manpage gezet in /etc/hostid alvorens ZFS te installeren.

Ik denk inderdaad dat er iets mis gaat met de volgorde van het booten ofzo want het HEX hostid dat SPL ziet aldus het dmesg is gelijk aan het DEC hostid van ZDB, echter matched de output van hostid niet. Waar SPL het hostid dan wel vandaan haal weet ik niet maar deze logica hielp me converteren van het gewenste hostid --> /etc/hostid:

Convert hostid

Ik heb het scrippie 0be8ae99 laten converteren en schijven in /etc/hostid. Nu doet ie:

code:

gentoo ~ # hostid
0be8ae99

et voila:

code:

gentoo ~ # zpool status
  pool: raid1
 state: ONLINE
  scan: scrub repaired 0 in 0h21m with 0 errors on Wed Jan 29 12:27:19 2014
config:

        NAME                              STATE     READ WRITE CKSUM
        raid1                             ONLINE       0     0     0
          mirror-0                        ONLINE       0     0     0
            wwn-0x50014ee65950cba7-part4  ONLINE       0     0     0
            wwn-0x50014ee003af595f-part4  ONLINE       0     0     0

errors: No known data errors

  pool: storage
 state: ONLINE
  scan: scrub canceled on Thu Jan 30 11:03:37 2014
config:

        NAME                                          STATE     READ WRITE CKSUM
        storage                                       ONLINE       0     0     0
          raidz2-0                                    ONLINE       0     0     0
            ata-WDC_WD30EZRX-00DC0B0_WD-WMC1T1429505  ONLINE       0     0     0
            ata-WDC_WD30EZRX-00DC0B0_WD-WMC1T1248064  ONLINE       0     0     0
            ata-WDC_WD30EZRX-00DC0B0_WD-WMC1T1035352  ONLINE       0     0     0
            ata-WDC_WD30EZRX-00DC0B0_WD-WMC1T0999727  ONLINE       0     0     0
            ata-WDC_WD30EZRX-00DC0B0_WD-WMC1T1625883  ONLINE       0     0     0
            ata-WDC_WD30EZRX-00DC0B0_WD-WMC1T1157517  ONLINE       0     0     0

errors: No known data errors

Alleen jammer dat ZFS dus schijnbaar te vroeg start ofzo, ik heb nu dus mijn hostid aangepast naar gelang wat ZFS vind bij het booten in plaats van andersom zoals het zou moeten.. Naja, melding is weg iig.

[ Voor 92% gewijzigd door Pakjebakmeel op 30-01-2014 22:11 ]

[]Byte[]

Ik had nog 1 top draaien. Die zorgde voor een load van 8%.
Nadat ik die gestopt had was de load 0%.

En dat alleen omdat ik nu 4 banken bezet heb ipv 2.
Ik heb er geen verklaring voor. Ik kan jullie alleen het resultaat laten zien.


De acpi0 is nu ook rustig geworden:

[root@zfsguru ~]# vmstat -i
interrupt                          total       rate
irq1: atkbd0                           6          0
irq9: acpi0                        15379          0
irq16: ehci0                       30173          1
irq23: ehci1                       41194          2
cpu0:timer                      21844829       1107
irq264: mps0                     1098691         55
irq265: mps1                        4905          0
irq266: em0                        16105          0
irq267: em1                        13452          0
irq268: isci0                          1          0
irq270: em2:rx 0                    3814          0
irq271: em2:tx 0                   10506          0
irq272: em2:link                       1          0
irq273: em3:rx 0                   53893          2
irq274: em3:tx 0                    4742          0
irq275: em3:link                       1          0
irq276: ahci0                      54710          2
cpu1:timer                        330690         16
cpu9:timer                        396173         20
cpu2:timer                        392079         19
cpu6:timer                        400592         20
cpu10:timer                       396008         20
cpu7:timer                        403076         20
cpu8:timer                        398523         20
cpu3:timer                        377449         19
cpu11:timer                       399786         20
cpu4:timer                        401757         20
cpu5:timer                        391820         19
irq280: mlx4_core0                  1891          0
Total                           27482246       1392
[root@zfsguru ~]# 

[ Voor 74% gewijzigd door ]Byte[ op 30-01-2014 23:40 ]

[Verwijderd]

Hoe zit het met hot-swapping en ZFS? Wat ik er zo van lees, kan dat niet, of?

[FireDrunk]

Waarom zou dat niet kunnen?

[matty___]

Verwijderd schreef op vrijdag 31 januari 2014 @ 16:48:
Hoe zit het met hot-swapping en ZFS? Wat ik er zo van lees, kan dat niet, of?

Kwestie van eerst de disk offline te halen, disk verwisselen en dan volgens mij online brengen of een replace doen. (laatste weet ik niet zeker, nog nooit hoeven doen)

[FireDrunk]

Als je disk nog online is (en dus niet stuk) moet je voor een replace juist de disk laten zitten bij ZFS. Dat is beter voor de resilver.

Hotswap werkt hetzelfde als op alle andere platforms. Wil je dat disks herkend worden na een hot swap actie, moet je handmatig een scan doen (en in het geval van ZFS dus een zpool import).

[Frank...]

Na een hele poos op dit forum te hebben meegelezen heb ik sinds enige tijd heb ik op mijn ESXi servertje ook een ZFS machine draaien, deze draait op Centos 6.4 met ZFSonLinux.
In de server zit een LSI9211-8i kaart met daarop de IT firmware welke via passthrough aan de ZFS machine is gekoppeld, Nu loop ik alleen tegen het volgende probleem aan:
Mijn reads zijn verschrikkelijk traag, met Samba en NFS kom ik niet boven de 20MB/s uit, terwijl ik wel kan schrijven met 100 MB/s.
Ik heb hiervoor al zitten spelen met de instellingen voor prefetch en arc sizes maar krijg de snelheid niet hoger.. Ook de disks heb ik individueel getest en op alle 4 krijg ik netjes ~150MB/s read, is er iets wat ik hier over het hoofd zie?

[DXaroth]

Frank... schreef op vrijdag 31 januari 2014 @ 22:35:
Na een hele poos op dit forum te hebben meegelezen heb ik sinds enige tijd heb ik op mijn ESXi servertje ook een ZFS machine draaien, deze draait op Centos 6.4 met ZFSonLinux.
In de server zit een LSI9211-8i kaart met daarop de IT firmware welke via passthrough aan de ZFS machine is gekoppeld, Nu loop ik alleen tegen het volgende probleem aan:
Mijn reads zijn verschrikkelijk traag, met Samba en NFS kom ik niet boven de 20MB/s uit, terwijl ik wel kan schrijven met 100 MB/s.
Ik heb hiervoor al zitten spelen met de instellingen voor prefetch en arc sizes maar krijg de snelheid niet hoger.. Ook de disks heb ik individueel getest en op alle 4 krijg ik netjes ~150MB/s read, is er iets wat ik hier over het hoofd zie?

Is het enkel samba die loopt te irriteren, of is reads over het algemeen langzaam?

[Q]

Frank... schreef op vrijdag 31 januari 2014 @ 22:35:
Nu loop ik alleen tegen het volgende probleem aan:
Mijn reads zijn verschrikkelijk traag, met Samba en NFS kom ik niet boven de 20MB/s uit, terwijl ik wel kan schrijven met 100 MB/s.
Ik heb hiervoor al zitten spelen met de instellingen voor prefetch en arc sizes maar krijg de snelheid niet hoger.. Ook de disks heb ik individueel getest en op alle 4 krijg ik netjes ~150MB/s read, is er iets wat ik hier over het hoofd zie?

ashift=12 ? Weet niet hoe groot de disks zijn. Toevallig net nog tegenaan gelopen: ashift=9 (standaard) gaf belabberde performance.

[FireDrunk]

Ashift zou wel wat verschil moeten geven, maar niet tot aan 20MB/s.

[Frank...]

DXaroth schreef op vrijdag 31 januari 2014 @ 23:10:
[...]


Is het enkel samba die loopt te irriteren, of is reads over het algemeen langzaam?

Zowel Samba als NFS komen op ongeveer 20 MB/s. Met een dd kom ik wel iets hoger, dan zit ik op 40MB/s.

Q schreef op zaterdag 01 februari 2014 @ 02:06:
[...]

ashift=12 ? Weet niet hoe groot de disks zijn. Toevallig net nog tegenaan gelopen: ashift=9 (standaard) gaf belabberde performance.

ashift=12, heb er 2TB barracuda's in zitten.

Het verbaast mij vooral dat de schrijf snelheid gewoon super is maar dat de lees snelheid echt verschrikkelijk is, het lijkt dus echt een instelling die alleen van toepassing is op de reads.

[FireDrunk]

Installeer eens zfs-stats en start zfs-mon -a.

[Frank...]

zfs-stats is voor FreeBSD, de versie van frankuit (github) is helaas voor debian en geeft dan ook een foutmelding op CentOS..
Kan ik de gegevens die zfs-mon -a uitleest ook ergens handmatig vandaan halen?

[Quindor]

Zo, ik heb gisteren eens besteed om mijn ZFSguru (FreeBSD) server om te bouwen naar Ubuntu 13.10 Server, en dat is allemaal gelukt!

Er was niets mis met ZFSguru (of FreeBSD), uiteindelijk had ik alles ook werkend gekregen, maar ik ben toch echt 10x meer thuis in Linux/Debian/Ubuntu. Waar ik met ZFSguru en FreeBSD een week of 2 over gedaan heb,heb ik in enkele uurtjes weer terug gebouwd onder Ubuntu.

Ik heb er voor gekozen om met MDADM een RAID1 partities op mijn SSD's te maken voor het systeem en vervolgens verdere partities voor ZIL/SLOG en L2ARC zoals ik in FreeBSD ook had. De reden voor MDADM is dat ik dan nooit kom te zitten met een systeem dat niet meer boot omdat er wat mis is gegaan met de dependancies van ubuntu-zfs en mainstream ubuntu.

De ZFS pools zijn zonder problemen meegekomen en doen het perfect. LZ4 compressie en alles. Ik heb wel nog het probleem dat zpool status meld dat mijn oude L2ARC devices nog bestaan maar unavailable zijn. Dat blijkt een bekend probleem te zijn. (https://github.com/zfsonlinux/zfs/issues/1530) Dus mocht je ooit willen migreren, eerst je L2ARC en SLOG/ZIL devices verwijderen! Het zit verder niet dwars, maar cosmetisch is het net niet.

Ook makkelijk was dat ik de configs van sickbeard, etc. bewaard had en deze na het installeren met LaSi (tweakers script om gemakkelijk sickbeard, sabnzbd, etc. te installeren) gewoon kon vervangen en tada het werkt!

Al met al blijf ik heel blij met ZFS. Performance verschil kan ik nog niet heel veel over zeggen hoewel mijn initiele gedachte is dat het onder Ubuntu net wat trager is dan onder FreeBSD maar daar moet ik nog wat meer voor testen.

[DXaroth]

Quindor schreef op zaterdag 01 februari 2014 @ 17:37:
Zo, ik heb gisteren eens besteed om mijn ZFSguru (FreeBSD) server om te bouwen naar Ubuntu 13.10 Server, en dat is allemaal gelukt!

Er was niets mis met ZFSguru (of FreeBSD), uiteindelijk had ik alles ook werkend gekregen, maar ik ben toch echt 10x meer thuis in Linux/Debian/Ubuntu. Waar ik met ZFSguru en FreeBSD een week of 2 over gedaan heb,heb ik in enkele uurtjes weer terug gebouwd onder Ubuntu.

Ik heb er voor gekozen om met MDADM een RAID1 partities op mijn SSD's te maken voor het systeem en vervolgens verdere partities voor ZIL/SLOG en L2ARC zoals ik in FreeBSD ook had. De reden voor MDADM is dat ik dan nooit kom te zitten met een systeem dat niet meer boot omdat er wat mis is gegaan met de dependancies van ubuntu-zfs en mainstream ubuntu.

De ZFS pools zijn zonder problemen meegekomen en doen het perfect. LZ4 compressie en alles. Ik heb wel nog het probleem dat zpool status meld dat mijn oude L2ARC devices nog bestaan maar unavailable zijn. Dat blijkt een bekend probleem te zijn. (https://github.com/zfsonlinux/zfs/issues/1530) Dus mocht je ooit willen migreren, eerst je L2ARC en SLOG/ZIL devices verwijderen! Het zit verder niet dwars, maar cosmetisch is het net niet.

Ook makkelijk was dat ik de configs van sickbeard, etc. bewaard had en deze na het installeren met LaSi (tweakers script om gemakkelijk sickbeard, sabnzbd, etc. te installeren) gewoon kon vervangen en tada het werkt!

Al met al blijf ik heel blij met ZFS. Performance verschil kan ik nog niet heel veel over zeggen hoewel mijn initiele gedachte is dat het onder Ubuntu net wat trager is dan onder FreeBSD maar daar moet ik nog wat meer voor testen.

wat stats zou wel leuk zijn, aangezien ik ook aan het mikken ben voor ZoL

[Q]

Frank... schreef op zaterdag 01 februari 2014 @ 16:15:
[...]

Zowel Samba als NFS komen op ongeveer 20 MB/s. Met een dd kom ik wel iets hoger, dan zit ik op 40MB/s.


[...]

ashift=12, heb er 2TB barracuda's in zitten.

Het verbaast mij vooral dat de schrijf snelheid gewoon super is maar dat de lees snelheid echt verschrikkelijk is, het lijkt dus echt een instelling die alleen van toepassing is op de reads.

Ik ging door de ashift van 200 mb/s naar 400 mb/s reads, maar het was dus niet 20 om 40 mb/s.

Quindor schreef op zaterdag 01 februari 2014 @ 17:37:
Zo, ik heb gisteren eens besteed om mijn ZFSguru (FreeBSD) server om te bouwen naar Ubuntu 13.10 Server, en dat is allemaal gelukt!

Er was niets mis met ZFSguru (of FreeBSD), uiteindelijk had ik alles ook werkend gekregen, maar ik ben toch echt 10x meer thuis in Linux/Debian/Ubuntu. Waar ik met ZFSguru en FreeBSD een week of 2 over gedaan heb,heb ik in enkele uurtjes weer terug gebouwd onder Ubuntu.

Herkenbaar, vind het moeilijk om te zeggen of dit komt door te weinig ervaring met BSD of dat het ook allemaal een stuk eenvoudiger is onder Linux.

Ik heb er voor gekozen om met MDADM een RAID1 partities op mijn SSD's te maken voor het systeem en vervolgens verdere partities voor ZIL/SLOG en L2ARC zoals ik in FreeBSD ook had. De reden voor MDADM is dat ik dan nooit kom te zitten met een systeem dat niet meer boot omdat er wat mis is gegaan met de dependancies van ubuntu-zfs en mainstream ubuntu.

Keep it simple. MDADM is niet dood.

Dat is precies hoe ik mijn nieuwe server zal opbouwen en nu al in de test fase heb draaien. ZFS bescherming voor het OS hoeft niet voor mij, de data set en het risico is veel te klein daarvoor.

Het gaat om de grote storage die ZFS bescherming moet krijgen.

[ Voor 53% gewijzigd door Q op 01-02-2014 19:20 ]

[FireDrunk]

Je kan zelfs nog periodiek een backup maken van je MD volume op ZFS...
Mocht je MD array overlijden kan je vrij makkelijk een backup terugzetten

[mkroes]

DXaroth schreef op zaterdag 01 februari 2014 @ 18:55:
[...]


wat stats zou wel leuk zijn, aangezien ik ook aan het mikken ben voor ZoL

Zeg maar wat voor testjes ik moet draaien. Mijn gigabit verbinding trek ik met een mkv-bestand vol.
dd heb ik in het verleden wel getest maar zou de resultaten zo niet meer weten. Van ssd naar mijn pool zat over de 200mb/s. Dit was met 3x 2tb wd green en ik draai dit alles ook nog eens virtueel op hyper-v.
Ben momenteel mijn storage-vm aan het omzetten van ubuntu naar debian. Pools zijn volledig mee te nemen naar een ander OS.

[DXaroth]

dat is goed om te horen; persoonlijk mik ik op 2x 1gbit vol te kunnen trekken (er van uitgaande dat bonding netjes gaat werken), of iig zo dicht mogelijk bij die hoeveelheid

[Quindor]

True, dat is wel een goeie want daar zat ik nog een beetje mee. Mocht er toch ooit iets met mijn systeem partitie gebeuren kan ik altijd eventjes een ubuntu stick met ZFS support maken en een backupje terug gooien zodat alles weer draait. Top idee!

Ik wil mijn SSD's toch maar eens gaan vervangen binnenkort. Ik had eerst 2x vertex2 32nm (180GB en 240GB) maar die 180GB deed al langer wat maf (werd soms niet gezien tijdens het opstarten). Inmiddels doet hij het 9 van de 10 keer niet, dan wel (Zoals het daarvoor was), en toen ik er nog FreeBSD op draaide vond een scrub wat fouten erop. Die vertrouw ik dus niet meer. Daarom heb ik nu een RAID1 met de 240GB Vertex2 en een 120GB Vertex1, in ieder geval nog een mirror, maar verre van ideaal.

Wat zijn op dit moment de beste SSD's voor een SLOG/ZIL | L2ARC combo (met systeem mirror erop)? Ik dat nog steeds een 840pro? Die heb ik nog 2 in mijn werkstation zitten die ik dan door zou kunnen schuiven. Maar die hebben geen power failure spul erin zitten volgens mij?

Dan kom je geloof ik bij de Seagate 600 Pro uit? Die zijn dan wel weer redelijk aan de prijs. 2x zo duur als een 840EVO bijvoorbeeld, die QD=1 ook heel goed is, totdat zijn SLC geheugen op is, maar hoe vaak gebeurt dat? Zeker als ik er 2 gebruik. Of misschien kopen voor werkstation en dan 840pro naar server?

Keuzes keuzes....

[Quindor]

DXaroth schreef op zaterdag 01 februari 2014 @ 21:15:
dat is goed om te horen; persoonlijk mik ik op 2x 1gbit vol te kunnen trekken (er van uitgaande dat bonding netjes gaat werken), of iig zo dicht mogelijk bij die hoeveelheid

Euhm, hebben we het dan over 1 client of meerdere clients? Meerdere clients kan dat prima werken maar in principe met 'nette' bonding is 1 naar 1 altijd 1. Ook al hebben ze beiden een full-duplex 4Gbit trunk. LACP/802.3ad werkt op basis van je MAC. Inkomende en uitgaande connecties worden verdeelt over de beschikbare kaarten aan de hand van een hash. Om die reden is trunking ook nooit een 100% verhoging van je bandbreedte, totdat je genoeg clients hebt en die 'toevallig' ook netjes verdeelt zijn.

Je kunt met linux en bonding wel wat rommelen dat het stiekem round-robin gebeurt maar dat is zeker niet RFC compliant en als de andere kant dat niet snapt gaat er van alles mis, dus pas daar mee op!

[ Voor 17% gewijzigd door Quindor op 01-02-2014 21:27 ]

[FireDrunk]

Nog steeds een 840 Pro? Die is nooit de beste geweest...

Enige echt valide SSD's zijn SSD's met Powercaps (Intel 320, Nieuwere Intel DC series 3500/3700, Crucial M500 en de Seagate 600 Pro).

[Quindor]

FireDrunk schreef op zaterdag 01 februari 2014 @ 21:25:
Nog steeds een 840 Pro? Die is nooit de beste geweest...

Enige echt valide SSD's zijn SSD's met Powercaps (Intel 320, Nieuwere Intel DC series 3500/3700, Crucial M500 en de Seagate 600 Pro).

Nee, ok, maar die zijn volgens mij wel vrij goed in QD=1 reads en writes. Helaas is alles met een powercap echt factor 2 of meer duurder.

[FireDrunk]

Mwoh, de DC3500 80GB is goed betaalbaar, en voor ZIL zou zelfs een SSD van een paar GB voldoen...

[DXaroth]

Quindor schreef op zaterdag 01 februari 2014 @ 21:24:
[...]

Euhm, hebben we het dan over 1 client of meerdere clients? Meerdere clients kan dat prima werken maar in principe met 'nette' bonding is 1 naar 1 altijd 1. Ook al hebben ze beiden een full-duplex 4Gbit trunk. LACP/802.3ad werkt op basis van je MAC. Inkomende en uitgaande connecties worden verdeelt over de beschikbare kaarten aan de hand van een hash. Om die reden is trunking ook nooit een 100% verhoging van je bandbreedte, totdat je genoeg clients hebt en die 'toevallig' ook netjes verdeelt zijn.

Je kunt met linux en bonding wel wat rommelen dat het stiekem round-robin gebeurt maar dat is zeker niet RFC compliant en als de andere kant dat niet snapt gaat er van alles mis, dus pas daar mee op!

Met een enkele client gaat sowieso niet lukken want dan moet al het apparatuur hier een dubbele NIC hebben, maar het idee was idd om met LACP te gaan trunken tussen switch en server.. het moet ook een theoretische 2gbit worden, ben al lang blij als ik de 150mbit haal (wat dus een 50% verbetering gaat zijn over gbit), als ZFS dan meer aan kan is dat alleen maar beter, dan betekent dat dat er ook nog andere schrijf taken bezig kunnen zijn (video conversie etc) terwijl er gestreamed wordt naar de TV/PC.

[Q]

DXaroth schreef op zaterdag 01 februari 2014 @ 18:55:

wat stats zou wel leuk zijn, aangezien ik ook aan het mikken ben voor ZoL

Ubuntu 12.04 met ZoL RAIDZ1 met 6 x 2 TB:

code:

root@server:/server# dd if=/dev/zero of=test.bin bs=1M count=50000
50000+0 records in
50000+0 records out
52428800000 bytes (52 GB) copied, 100.96 s, 519 MB/s
root@server:/server# dd if=test.bin of=/dev/null bs=1M 
50000+0 records in
50000+0 records out
52428800000 bytes (52 GB) copied, 79.1994 s, 662 MB/s
root@server:/server# dd if=test.bin of=/dev/null bs=1M 
50000+0 records in
50000+0 records out
52428800000 bytes (52 GB) copied, 80.682 s, 650 MB/s

2 x read test met en zonder SSD cache. Maakt in deze test geen verschil. Lijken mij uitstekende waarden. En dat met een niet-optimaal aantal disks in de VDEV (zou 2^x+1 moeten zijn voor RAIDZ1).

Ik ben de laatste tijd wat meer aan het oefenen met ZFS en het ziet er allemaal uitstekend uit op Linux.

ZFSonLinux ondersteunt niet de optie om 'shareiscsi' te doen, dus ik vreesde even het ergste, maar je krijgt netjes een /dev/zvol/poolnaam/xxxxx block device voor ieder volume wat je aanmaakt dus die kun je gewoon via iSCSI delen en via ZFS lekker snapshotten. Gaaf hoor.

[ Voor 17% gewijzigd door Q op 01-02-2014 21:55 ]

[FireDrunk]

Jup, werkt prima, heb ik hier ook.
Welliswaar met de nieuwe FreeBSD iSCSI Kernel daemon, maar evengoed op ZVOL's

[DXaroth]

Q schreef op zaterdag 01 februari 2014 @ 21:49:
[...]


Ubuntu 12.04 met ZoL RAIDZ1 met 6 x 2 TB:

code:

root@server:/server# dd if=/dev/zero of=test.bin bs=1M count=50000
50000+0 records in
50000+0 records out
52428800000 bytes (52 GB) copied, 100.96 s, 519 MB/s
root@server:/server# dd if=test.bin of=/dev/null bs=1M 
50000+0 records in
50000+0 records out
52428800000 bytes (52 GB) copied, 79.1994 s, 662 MB/s
root@server:/server# dd if=test.bin of=/dev/null bs=1M 
50000+0 records in
50000+0 records out
52428800000 bytes (52 GB) copied, 80.682 s, 650 MB/s

2 x read test met en zonder SSD cache. Maakt in deze test geen verschil. Lijken mij uitstekende waarden. En dat met een niet-optimaal aantal disks in de VDEV (zou 2^x+1 moeten zijn voor RAIDZ1).

Ik ben de laatste tijd wat meer aan het oefenen met ZFS en het ziet er allemaal uitstekend uit op Linux.

ZFSonLinux ondersteunt niet de optie om 'shareiscsi' te doen, dus ik vreesde even het ergste, maar je krijgt netjes een /dev/zvol/poolnaam/xxxxx block device voor ieder volume wat je aanmaakt dus die kun je gewoon via iSCSI delen en via ZFS lekker snapshotten. Gaaf hoor.

An sich leuke tests, dat is precies het soort performance wat ik verwacht te gaan zien op mn nieuwe bak Heb je toevallig ook tests gedaan met bonnie++ ?

[Q]

DXaroth schreef op zaterdag 01 februari 2014 @ 22:03:
[...]


An sich leuke tests, dat is precies het soort performance wat ik verwacht te gaan zien op mn nieuwe bak Heb je toevallig ook tests gedaan met bonnie++ ?

code:

Version  1.96       ------Sequential Output------ --Sequential Input- --Random-
Concurrency   1     -Per Chr- --Block-- -Rewrite- -Per Chr- --Block-- --Seeks--
Machine        Size K/sec %CP K/sec %CP K/sec %CP K/sec %CP K/sec %CP  /sec %CP
server          16G   200  99 530694  59 264426  46   432  99 659283  62 278.5   9
Latency             52577us   16586us    1014ms   41912us   94928us     131ms
Version  1.96       ------Sequential Create------ --------Random Create--------
server              -Create-- --Read--- -Delete-- -Create-- --Read--- -Delete--
              files  /sec %CP  /sec %CP  /sec %CP  /sec %CP  /sec %CP  /sec %CP
                 16 17834  81 +++++ +++ 28355  87 16144  89 +++++ +++ 16454  85
Latency             23823us     492us     288us   44081us      33us    2861us
1.96,1.96,server,1,1391287788,16G,,200,99,530694,59,264426,46,432,99,659283,62,278.5,9,16,,,,,17834,81,+++++,+++,28355,87,16144,89,+++++,+++,16454,85,52577us,16586us,1014ms,41912us,94928us,131ms,23823us,492us,288us,44081us,33us,2861us

[DXaroth]

Q schreef op zaterdag 01 februari 2014 @ 22:21:
[...]

code:

Version  1.96       ------Sequential Output------ --Sequential Input- --Random-
Concurrency   1     -Per Chr- --Block-- -Rewrite- -Per Chr- --Block-- --Seeks--
Machine        Size K/sec %CP K/sec %CP K/sec %CP K/sec %CP K/sec %CP  /sec %CP
server          16G   200  99 530694  59 264426  46   432  99 659283  62 278.5   9
Latency             52577us   16586us    1014ms   41912us   94928us     131ms
Version  1.96       ------Sequential Create------ --------Random Create--------
server              -Create-- --Read--- -Delete-- -Create-- --Read--- -Delete--
              files  /sec %CP  /sec %CP  /sec %CP  /sec %CP  /sec %CP  /sec %CP
                 16 17834  81 +++++ +++ 28355  87 16144  89 +++++ +++ 16454  85
Latency             23823us     492us     288us   44081us      33us    2861us
1.96,1.96,server,1,1391287788,16G,,200,99,530694,59,264426,46,432,99,659283,62,278.5,9,16,,,,,17834,81,+++++,+++,28355,87,16144,89,+++++,+++,16454,85,52577us,16586us,1014ms,41912us,94928us,131ms,23823us,492us,288us,44081us,33us,2861us

Oeh, dat zijn leuke stats (bon_csv2html maakt er trouwens wat leesbaarders van dan hun vage textuele output) ..

[mkroes]

Debian geeft me iets lagere resultaten als ubuntu met ZoL. 125mb/s schrijven. 165mb/s lezen.. (met 3x2tb)
Vraag:
Wat geeft meer performance: 1 pool met 2x een raidz1 vdev met 3x2tb of 1 raidz2 vdev met 6x2tb.
Google geeft wat wisselende antwoorden.

[Q]

DXaroth schreef op zaterdag 01 februari 2014 @ 22:30:
[...]


Oeh, dat zijn leuke stats (bon_csv2html maakt er trouwens wat leesbaarders van dan hun vage textuele output) ..

Tja ik weet het niet zo (vind bonnie++ niet zo interessant), random I/O is belabberd:

code:

root@server:/mnt/fio# fio random-read-template.fio 
random-read: (g=0): rw=randread, bs=4K-4K/4K-4K/4K-4K, ioengine=libaio, iodepth=1
fio-2.1.4-34-gbfca
Starting 1 process
random-read: Laying out IO file(s) (1 file(s) / 40960MB)
Jobs: 1 (f=1): [r] [100.0% done] [376KB/0KB/0KB /s] [94/0/0 iops] [eta 00m:00s]
random-read: (groupid=0, jobs=1): err= 0: pid=16880: Sat Feb  1 22:35:57 2014
  read : io=20512KB, bw=350013B/s, iops=85, runt= 60010msec
    slat (usec): min=5, max=47, avg=20.08, stdev= 4.26
    clat (usec): min=16, max=829863, avg=11673.79, stdev=13362.96
     lat (usec): min=25, max=829885, avg=11694.59, stdev=13363.00
    clat percentiles (usec):
     |  1.00th=[   72],  5.00th=[  868], 10.00th=[ 5472], 20.00th=[ 7456],
     | 30.00th=[ 8640], 40.00th=[ 9664], 50.00th=[10432], 60.00th=[11200],
     | 70.00th=[12352], 80.00th=[16192], 90.00th=[19328], 95.00th=[21632],
     | 99.00th=[31360], 99.50th=[44800], 99.90th=[73216], 99.95th=[119296],
     | 99.99th=[831488]
    bw (KB  /s): min=   95, max=  423, per=100.00%, avg=344.26, stdev=48.90
    lat (usec) : 20=0.02%, 50=0.41%, 100=1.62%, 250=0.51%, 500=0.43%
    lat (usec) : 750=0.53%, 1000=2.89%
    lat (msec) : 2=0.16%, 4=0.33%, 10=38.32%, 20=46.47%, 50=8.01%
    lat (msec) : 100=0.25%, 250=0.04%, 1000=0.02%
  cpu          : usr=0.11%, sys=0.23%, ctx=5130, majf=0, minf=35
  IO depths    : 1=100.0%, 2=0.0%, 4=0.0%, 8=0.0%, 16=0.0%, 32=0.0%, >=64=0.0%
     submit    : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.0%, >=64=0.0%
     complete  : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.0%, >=64=0.0%
     issued    : total=r=5128/w=0/d=0, short=r=0/w=0/d=0
     latency   : target=0, window=0, percentile=100.00%, depth=1

Run status group 0 (all jobs):
   READ: io=20512KB, aggrb=341KB/s, minb=341KB/s, maxb=341KB/s, mint=60010msec, maxt=60010msec

Disk stats (read/write):
  zd16: ios=5124/9, merge=0/2, ticks=59708/72, in_queue=59776, util=99.28%

Ik heb een 50 GB volume gemaakt en als XFS geformatteerd en daar FIO op losgelaten.

Dit is met een queue depth van 1: 85 IOPs random bij 20 miliseconden latency. Dit is exact wat je mag verwachten van een enkele vdev (random io performance van een vdev is die van 1 disk). Maar dat is best slecht

Omdat ik een l2arc cache heb zie ik bij reruns andere waarden, maar dat maakt niet zoveel uit.

De brute random I/O performance van een MDADM RAID5 of RAID6 kun je vergeten met ZFS. ZFS is gemaakt voor dataintegriteit en performance komt op de 2e plek. Performance probeert ZFS eigenlijk vooral op te lappen door flink RAM in te zetten en/of SSDs voor l2arc / ZIL.

mkroes schreef op zaterdag 01 februari 2014 @ 22:31:
Debian geeft me iets lagere resultaten als ubuntu met ZoL. 125mb/s schrijven. 165mb/s lezen.. (met 3x2tb)
Vraag:
Wat geeft meer performance: 1 pool met 2x een raidz1 vdev met 3x2tb of 1 raidz2 vdev met 6x2tb.
Google geeft wat wisselende antwoorden.

Wil je meer random I/O performance? Meer losse VDEVs. Dus RAID50 aka 2xRAIDZ1 is sneller dan 1 RAIDZ2 vdev. Of afhankelijk van wat je er mee doet: meer RAM, SSD voor l2arc en/of SLOG (of ZIL uitzetten).

Quindor schreef op zaterdag 01 februari 2014 @ 21:18:
True, dat is wel een goeie want daar zat ik nog een beetje mee. Mocht er toch ooit iets met mijn systeem partitie gebeuren kan ik altijd eventjes een ubuntu stick met ZFS support maken en een backupje terug gooien zodat alles weer draait. Top idee!

Ik wil mijn SSD's toch maar eens gaan vervangen binnenkort. Ik had eerst 2x vertex2 32nm (180GB en 240GB) maar die 180GB deed al langer wat maf (werd soms niet gezien tijdens het opstarten). Inmiddels doet hij het 9 van de 10 keer niet, dan wel (Zoals het daarvoor was), en toen ik er nog FreeBSD op draaide vond een scrub wat fouten erop. Die vertrouw ik dus niet meer. Daarom heb ik nu een RAID1 met de 240GB Vertex2 en een 120GB Vertex1, in ieder geval nog een mirror, maar verre van ideaal.

Wat zijn op dit moment de beste SSD's voor een SLOG/ZIL | L2ARC combo (met systeem mirror erop)? Ik dat nog steeds een 840pro? Die heb ik nog 2 in mijn werkstation zitten die ik dan door zou kunnen schuiven. Maar die hebben geen power failure spul erin zitten volgens mij?

Dan kom je geloof ik bij de Seagate 600 Pro uit? Die zijn dan wel weer redelijk aan de prijs. 2x zo duur als een 840EVO bijvoorbeeld, die QD=1 ook heel goed is, totdat zijn SLC geheugen op is, maar hoe vaak gebeurt dat? Zeker als ik er 2 gebruik. Of misschien kopen voor werkstation en dan 840pro naar server?

Keuzes keuzes....

Mening: afhankelijk van wat je met je ZFS platform doet: gewoon ZIL/SLOG uitzetten. Hangt je machine aan een UPS, risico's zijn beperkt of je moet per ongeluk de stroom er af trekken of in je server pissen.
ZIL/SLOG vind ik zelf vooral spannend voor professioneel gebruik met mission-critical data.

Dus dat scheelt al wear/tear op een SSD. Gebruik lekker een enkele SSD voor l2arc, lijkt mij dat je weinig geld hoeft uit te geven, je zou de 'goede' vertex (vertex is per definitie slecht, maar nu dwaal ik af) als l2arc kunnen behouden.

[ Voor 37% gewijzigd door Q op 01-02-2014 23:03 ]

[Q]

Showtools

Als ik een eigen open source tooltje mag promoten (Linux only):

https://github.com/louwrentius/showtools

Dit is een voorbeeld van de output van 'showdisks', een python scriptje dat alle
block devices laat zien van je machine en ook wat extra info.

code:

root@server:/server# showdisks -h
usage: showdisks [-h] [-m] [-S] [-s] [-f] [-c] [-p] [-w] [-o]

Show detailed storage device information in ASCII table format

optional arguments:
  -h, --help        show this help message and exit
  -m, --model       Device model
  -S, --serial      Device serial number
  -s, --size        Device size in Gigabytes
  -f, --firmware    Device firmware version
  -c, --controller  Controller to which device is connected
  -p, --pcipath     /dev/disk/by-path/ (PCI PATH)
  -w, --wwn         Device World Wide Name
  -o, --scsi        /by-id/scsi

Ik gebruik de PCI path output omdat je met ZOL de /disk/by-id of /disk/by-path device-id's moet gebruiken, absoluut niet devices als /dev/sda /dev/sdb etc. Dat gaat mis.

De andere tools moeten nog wat rework hebben maar dit is misschien wel aardig.

Dit is de output van 'showsmart' op mijn 18 TB NAS:



Doe een:

code:

git clone https://github.com/louwrentius/showtools.git

En je hebt de tools binnen.

[ Voor 52% gewijzigd door Q op 01-02-2014 23:07 ]