Ubuntu ZFS Server traag

[PyBo]

Beste Tweakers,

Ik ben nu al eventjes bezig met het opzetten van een Ubuntu ZFS fileserver voor mijn thuisopslag. Ondertussen alles netjes geïnstalleerd, nog heel veel nagekeken zoals onder andere het netwerk, bekabeling etc maar de snelheid komt er niet bepaald in. Het is een Ubuntu server gevirtualiseerd op een ESXI server, de HDD's zijn direct doorgegeven aan de Ubuntu server waar ze aan de zool gehangen zijn. Op dezelfde ESXI server heb ik een Windows 8 werkstation staan waar ik een share aangemaakt heb om de performance te testen.

Om een voorbeeld te geven, als test 1,3GB overplaatsen naar de Ubuntu server duurt gemiddeld 3 uur. 2GB verplaatsen naar de Windows 8 share kost me minder dan 1 minuut.

Ik was benieuwd of iemand een idee had wat dit nu kan zijn. Ik zit op het moment even met mijn handen in het haar.

Ik ben in staat heel simpel windows server er op te gooien eigenlijk...

Mvg,

PBoertje

[ Voor 4% gewijzigd door PyBo op 05-05-2014 16:27 ]

[mkroes]

Wat heb je al getest met wat voor resultaten... kan overal in zitten natuurlijk.
Wat voor resultaten (lezen en schrijven) krijg je lokaal?
Wat voor snelheden krijg je over het netwerk (iperf?)?
Enz.

[ Voor 18% gewijzigd door mkroes op 05-05-2014 15:22 . Reden: iets te snel op versturen geklikt..... ]

[PyBo]

Ik zit zojuist nog even wat getest.

Als ik een share op de ubuntu server zelf plaats ipv op de zpool dan is hij gewoon snel (nog sneller dan naar Windows toe).

Ik heb al eens geprobeerd de pool opnieuw aan te maken, memory test (voor de zekerheid), en verschillende protocollen. Maar doordat ik over samba wel de snelheid krijg naar de hdd van de server zelf zal dit het bij nader inzien toch niet zijn.

Wanneer ik lokaal van de server hdd naar de zpool een bestandje van 700mb verplaats is hij er langer dan een minuut mee bezig. Met "zpool iostat 5" kom ik op het volgende uit:

code:

               capacity     operations    bandwidth
pool        alloc   free   read  write   read  write
----------  -----  -----  -----  -----  -----  -----
storage     11.8G  7.27T      0     11  1.01K   126K
storage     11.8G  7.27T      0     34      0   403K
storage     11.8G  7.27T      0     38      0   408K
storage     11.8G  7.27T      0     20      0   338K
storage     11.8G  7.27T      0     34      0   419K

Tevens het doorzetten van de hardeschijven is geen probleem heb ik nog getest. Op de ubuntu en op de windows vm heb ik een HDD doorgezet en direct er aangehangen, en hier heb ik ook geen problemen met het doorzetten. Het lijkt (als ik het zo inschat) iets te zijn met de hardeschijven icm zfs.

Heeft iemand enige tips om naar te kijken

[ Voor 60% gewijzigd door PyBo op 05-05-2014 15:46 ]

[mkroes]

Kopieer nog eens wat naar je pool en post even de uitslag van

code:

zpool iostat -v 5

Dan zie je wat elke disc individueel doet. Geeft iets meer info.

tevens kun je ook even rechtstreeks op je pool lezen en schrijven (met dd) maar maak dan even een filesystem aan met compressie uitgeschakeld.

[PyBo]

Ik heb nu een copy van de server hdd naar de zpool uitgevoerd, bestandje van 700mb.

code:

                                                       capacity     operations    bandwidth
pool                                                alloc   free   read  write   read  write
--------------------------------------------------  -----  -----  -----  -----  -----  -----
storage                                             11.8G  7.27T      0      7      0   195K
  raidz1                                            11.8G  7.27T      0      7      0   195K
    scsi-1ATA_WDC_WD20EZRX-00D8PB0_WD-WMC4M2695954      -      -      0      2      0  60.6K
    scsi-1ATA_WDC_WD20EARX-008FB0_WD-WCAZAF639468       -      -      2      4  80.4K  68.0K
    scsi-1ATA_WDC_WD20EARX-00PASB0_WD-WCAZAH525544      -      -      0      2      0  61.2K
    scsi-1ATA_WDC_WD20EZRX-00D8PB0_WD-WMC4M2663835      -      -      0      2      0  58.7K
--------------------------------------------------  -----  -----  -----  -----  -----  -----

Tevens staat de compressie al uit, dat had ik bij voorbaat uitgezet toen ik het probleem zag.

[mkroes]

En als je rechtstreeks op je pool even met dd test?

een file van 50gb schrijven:

code:

dd if=/dev/zero of=test.bin bs=1M count=50000

de file van hierboven teruglezen:

code:

dd if=test.bin of=/dev/null bs=1M

[PyBo]

Hierbij krijg ik afwisselende resultaten, van laag naar niet veel beter... Af en toe een uitschieter, zie 2e stuk code.

code:

                                                       capacity     operations    bandwidth
pool                                                alloc   free   read  write   read  write
--------------------------------------------------  -----  -----  -----  -----  -----  -----
storage                                             13.5G  7.26T      0     10      0  1.37M
  raidz1                                            13.5G  7.26T      0     10      0  1.37M
    scsi-1ATA_WDC_WD20EZRX-00D8PB0_WD-WMC4M2695954      -      -      0      0      0      0
    scsi-1ATA_WDC_WD20EARX-008FB0_WD-WCAZAF639468       -      -      0      4      0   484K
    scsi-1ATA_WDC_WD20EARX-00PASB0_WD-WCAZAH525544      -      -      0      0      0      0
    scsi-1ATA_WDC_WD20EZRX-00D8PB0_WD-WMC4M2663835      -      -      0      0      0      0
--------------------------------------------------  -----  -----  -----  -----  -----  -----

code:

                                                       capacity     operations    bandwidth
pool                                                alloc   free   read  write   read  write
--------------------------------------------------  -----  -----  -----  -----  -----  -----
storage                                             12.4G  7.27T      0     42      0  1.98M
  raidz1                                            12.4G  7.27T      0     42      0  1.98M
    scsi-1ATA_WDC_WD20EZRX-00D8PB0_WD-WMC4M2695954      -      -      0     32      0  2.05M
    scsi-1ATA_WDC_WD20EARX-008FB0_WD-WCAZAF639468       -      -      1     13  99.2K   322K
    scsi-1ATA_WDC_WD20EARX-00PASB0_WD-WCAZAH525544      -      -      0     33      0  2.05M
    scsi-1ATA_WDC_WD20EZRX-00D8PB0_WD-WMC4M2663835      -      -      0     31      0  2.04M
--------------------------------------------------  -----  -----  -----  -----  -----  -----

Het lezen krijg ik niet eens te zien in de resultaten dat gaat beter, het resultaat

code:

241172480 bytes (241 MB) copied, 0.144949 s, 1.7 GB/s

[ Voor 3% gewijzigd door PyBo op 05-05-2014 16:26 ]

[mkroes]

En wat was de uitkomst van de lees en schrijf actie?
Ik verwacht iets van dit:

code:

52428800000 bytes (52 GB) copied, 232.932 s, 225 MB/s

Het lezen krijg ik niet eens te zien in de resultaten dat gaat beter, het resultaat

code:

241172480 bytes (241 MB) copied, 0.144949 s, 1.7 GB/s

Dit gaat wat te snel, tenminste... wel als compressie uit staat.
Tevens is een file van 241mb niet echt een test. Dit zal grotendeels vanuit het geheugen gebeuren.
Pak even een grotere file...

[ Voor 56% gewijzigd door mkroes op 05-05-2014 16:30 ]

[Verwijderd]

Ik zou een ZFSguru livecd pakken en daar testen met gstat. Werkt het onder ZFSguru wel goed, dan ligt het niet aan je hardware, maar aan een softwarematig issue op Ubuntu.

Het mooie is dat je onder BSD platform de beschikking hebt over GEOM en daarmee kun je disk issues veel beter lokaliseren. Als je interesse hebt in het bewandelen van deze weg, roep maar. Enige wat je nodig hebt is een manier om een .iso te booten; zoals een CDROM station of een behuizing die een CD/DVD kan emuleren, zoals de Zalman VE-300.

[PyBo]

mkroes schreef op maandag 05 mei 2014 @ 16:27:
En wat was de uitkomst van de lees en schrijf actie?
Ik verwacht iets van dit:

code:

52428800000 bytes (52 GB) copied, 232.932 s, 225 MB/s

[...]

Dit gaat wat te snel, tenminste... wel als compressie uit staat.
Tevens is een file van 241mb niet echt een test. Dit zal grotendeels vanuit het geheugen gebeuren.
Pak even een grotere file...

Hij is nu al 15 minuten bezig met een bestand van 1GB aan te maken...

Verwijderd schreef op maandag 05 mei 2014 @ 16:30:
Ik zou een ZFSguru livecd pakken en daar testen met gstat. Werkt het onder ZFSguru wel goed, dan ligt het niet aan je hardware, maar aan een softwarematig issue op Ubuntu.

Het mooie is dat je onder BSD platform de beschikking hebt over GEOM en daarmee kun je disk issues veel beter lokaliseren. Als je interesse hebt in het bewandelen van deze weg, roep maar. Enige wat je nodig hebt is een manier om een .iso te booten; zoals een CDROM station of een behuizing die een CD/DVD kan emuleren, zoals de Zalman VE-300.

Mijn gedachten gingen ook uit naar iets omtrent software omtrent Ubuntu.

Ik ben gelijk de iso van ZFSguru aan het downloaden om te kijken of dat wel werkt. Denk je dat dit direct zal lukken of is een howto wel makkelijk om te gebruiken?

[ Voor 44% gewijzigd door PyBo op 05-05-2014 16:39 ]

[mkroes]

ZFSguru spreekt eigenlijk voor zich. volg de instructies en er kan eigenlijk niets mis gaan.

Maar dan blijf ik toch nieuwsgierig naar het probleem. Er zijn genoeg mensen die Ubuntu met ZoL draaien..
(Waaronder ik ook).

[PyBo]

mkroes schreef op maandag 05 mei 2014 @ 16:43:
ZFSguru spreekt eigenlijk voor zich. volg de instructies en er kan eigenlijk niets mis gaan.

Maar dan blijf ik toch nieuwsgierig naar het probleem. Er zijn genoeg mensen die Ubuntu met ZoL draaien..
(Waaronder ik ook).

Daar ben ik ook zeer benieuwd naar. De VM staat nu even stil zodat ik met ZFS Guru kan kijken of de snelheid ook zo laag ligt of niet.

Mochten er nog mensen zijn met ideeën om naar te kijken hoor ik het graag verder.

[mkroes]

Blijven nog genoeg vragen over:
- wat voor hardware / vm (cpu, geheugen)
- passtrough je de schijven of een controller met de schijven hierop
- wat voor vdev/pool heb je (raidz1/2/3 enz)
- hoe heb je je pool aangemaakt

om nog maar even door te gaan.

[Verwijderd]

Uitsluiten of het hardware of software is, lijkt mij de beste eerste stap. Dat kun je uitstekend met ZFSguru LiveCD doen. Als die wel goede scores geeft, of in elk geval veel beter, dan lijkt je hardware in orde te zijn. Indien ZFSguru ook lage snelheden geeft, is de hardware het meest verdacht en kunnen we kijken of er misschien één schijf is die de rest naar beneden trekt, dat gebeurt nogal eens.

Ik wil je met alle stappen helpen; zeg maar wat je nodig hebt. Als je ZFSguru geboot hebt, kun je naar de web-interface gaan en daar kun je de welcome wizard overslaan door voor Skip te kiezen (bij de eerste stap). Daarna kun je naar de Pools pagina gaan en je pool importeren. Als je dat gedaan hebt, kun je op de Pools -> Benchmark pagina eens een test laten draaien.

Het is wel zo dat de ZFSguru LiveCD veel lagere snelheden heeft omdat ZFS tot 64MB RAM is beperkt. Maar je zou alsnog hogere snelheden moeten krijgen dan nu onder Ubuntu. Of dat wel of niet lukt is een belangrijke indicatie en een eerste stap om je probleem te diagnosticeren.

[PyBo]

Zojuist de live disk geboot, ik zit netjes in de webinterface, alles doet het (zotezien oké) maar mijn schijven worden niet herkent hier.

2x Western Digital Green ezrx en 2x Western Digital Green earx

Kunnen het dan de schijven zijn?

[ Voor 70% gewijzigd door PyBo op 05-05-2014 16:58 ]

[mkroes]

Je hebt de pool al wel geimporteerd? (zoals CiPHER ook al aan gaf)

[PyBo]

mkroes schreef op maandag 05 mei 2014 @ 16:59:
Je hebt de pool al wel geimporteerd? (zoals CiPHER ook al aan gaf)

Nee, de schijven worden niet herkend. Het overzicht van ZFSguru ziet helemaal geen schijven, dit terwijl ze wel gekoppeld zijn...

[PyBo]

mkroes schreef op maandag 05 mei 2014 @ 16:49:
Blijven nog genoeg vragen over:
- wat voor hardware / vm (cpu, geheugen)
- passtrough je de schijven of een controller met de schijven hierop
- wat voor vdev/pool heb je (raidz1/2/3 enz)
- hoe heb je je pool aangemaakt

om nog maar even door te gaan.

Mijn moederbord draait op een Asrock a75m-hvs moederbord met een AMD A8-3870 APU with Radeon(tm) HD Graphics processor, dit met Corsair XMS3 8GB DDR3 geheugen.

De schijven passtrough ik direct, ik heb hier geen extra controller bij, volgens onderstaande URL heb ik het gedaan. Echter wanneer ik één schijf naar Windows passtrough heb ik geen problemen. http://blog.davidwarburto...al-sata-storage-for-esxi/

Ik heb een raidz1 pool aangemaakt.

De pool heb ik aangemaakt door middel van het standaard commando, dit met het disk id van de hardeschijven (zodat hij automatisch gemount zou worden wanneer sdb sdc zou worden etc...

[Verwijderd]

Ah ESXi...

Kun je ZFSguru booten direct op de server; ipv virtualized?

Toch vreemd dat je passthrough disks niet worden gezien; maar dat kan een heel ander issue zijn. Ik wil graag eerst hardware uitsluiten als probleem. Dus als je ZFSguru kunt booten zonder virtualisatie onder ESXi zou dat geweldig zijn.

[PyBo]

-slik-

[ Voor 95% gewijzigd door PyBo op 05-05-2014 18:22 ]

[PyBo]

De pool is geïmporteerd en hierbij kom ik bij de HDD's twee errors tegen na een smart test:

code:

Disk    Status  Temperature Power cycles    Load cycles Cable errors    Bad sectors Lifetime
ada1    Warning 35°C 95°F   1944    2608    48013    0 active  0 passive    1.1 years
ada3    Warning 34°C 93°F   2088    27892   130392   0 active  0 passive    1.3 years

code:

Problem detected!
A significant number of cable errors have been detected on at least one disk. Pay attention to the number of cable errors. If it rises within a couple of weeks, your cabling is faulty. If it stays the same for a decent amount of time, then you had problems with cabling in the past but not anymore.

Tevens kom ik deze melding tegen:

code:

Danger: conflicting disk labels have been detected!
This happens when two or more disks share the same label name. You should rename your disks so each have a label name that is unique.

Wanneer ik nu 2GB naar de pool plaats is er niets aan de hand, tevens na het starten van Ubuntu en de kleine config is de snelheid zoals het hoort. Dan zal het probleem toch bij Ubuntu zitten. Misschien iemand met een idee nog wat het zou kunnen zijn?

Ik zit er zelf over te denken Ubuntu te draaien direct, en daar met VM's te gaan werken (of iets dergelijks), ideeën zijn ook altijd welkom.

[ Voor 75% gewijzigd door PyBo op 05-05-2014 19:04 ]

[Verwijderd]

Nou 130.000 kabelfouten is wel erg significant en het geldt ook voor de overige disk. Dus de twee disks die ik zie hebben beide ontzettend veel kabelfouten gehad. Hoeveel schijven heb je er nu totaal in zitten?

Kun je wat meer vertellen over je bekabeling nu? Foto zou ook mooi zijn maar als dat lastig is hoor ik graag of je de kabels gebogen hebt of dichtbij andere kabels/spanningsbronnen. Of heel lange kabels, of slechte dunne kabels. Vaak kun je een beetje zien of een kabel van goede kwaliteit is; die zijn niet makkelijk te buigen en stugger. Die flutkabeltjes die je zo ombuigt kunnen natuurlijk ook veel sneller problemen geven.

[PyBo]

Verwijderd schreef op maandag 05 mei 2014 @ 19:13:
Nou 130.000 kabelfouten is wel erg significant en het geldt ook voor de overige disk. Dus de twee disks die ik zie hebben beide ontzettend veel kabelfouten gehad. Hoeveel schijven heb je er nu totaal in zitten?

Kun je wat meer vertellen over je bekabeling nu? Foto zou ook mooi zijn maar als dat lastig is hoor ik graag of je de kabels gebogen hebt of dichtbij andere kabels/spanningsbronnen. Of heel lange kabels, of slechte dunne kabels. Vaak kun je een beetje zien of een kabel van goede kwaliteit is; die zijn niet makkelijk te buigen en stugger. Die flutkabeltjes die je zo ombuigt kunnen natuurlijk ook veel sneller problemen geven.

Er zitten nu4x een WD green 2TB schijf in en nog een WD Black 500GB schijf. Daarnaast heb ik nu dan tijdelijk voor Ubuntu te starten, een Samsung SSD er tussen gelegd.

De voedingskabels naar het moederbord lopen achter de metalen plaat van mijn kast langs z odat deze uit het zicht zijn, voedingskabels van de HDD's die komen van onder en de sata kabels die hangen van het moederbord in een kleine lus door naar de HDD's.

Ik zal nog even proberen een foto te plaatsen.

[Verwijderd]

Het gaat niet om de stroomkabels, enkel om de datakabels. Wat je daar over zegt:

de sata kabels die hangen van het moederbord in een kleine lus door naar de HDD's.

Je kunt/mag SATA kabels en veel andere kabels niet zomaar in een lus hangen! Gebruik ty-raps om het zaakje netjes te monteren, maar zorg dat de kabels nooit gebogen zijn onder een redelijke hoek. Een flauwe bocht mag wel.

[PyBo]

Wat versta je onder een redelijke hoek en hoe zou het er bij moeten zitten, dan pas ik het aan en probeer ik ESXI gelijk :x

[analog_]

Kunnen we de ZFS startpost niet updaten met een Als je minder dan 5/10/20MB/sec kan schrijven naar je ZFS, dan is het op de enkele uitzondering na in de wereld een hardware probleem. Altijd.

[Verwijderd]

Iets wat zo flauw is dat je niet van gebogen kunt spreken. Zoals je op de snelweg ook heel mild een bocht kunt hebben, maar zeker geen 'lus' dan kun je er niet zomaar met 120km/h overheen.

@analog_: dat kun je echt niet zo stellen. Interrupt storms en MSI/MSI-X problemen kunnen zeker ook voor heel trage performance zorgen. En vast nog tig meer issues. Je moet gewoon meten en testen om dingen uit te sluiten; en het probleem isoleren tot softwaredomein of hardwaredomein is een logische eerste stap. En SMART bewijst zijn nut maar weer eens als diagnose utility.

[ Voor 50% gewijzigd door Verwijderd op 05-05-2014 19:31 ]

[PyBo]

Het lijkt nu "naar behoren" te reageren. Ik ga het eens een avondje uittesten.

Ik heb nog wel nader gekeken naar de sata kabels bij de hardeschijven die problemen gaven, één daarvan lijkt oké, de andere zit een lelijke knik in.

In iedergeval bedankt CiPHER en mkroes!

[Verwijderd]

Je kunt gewoon je ESXi/Ubuntu opstelling weer in gebruik nemen. Echter, zorg wel dat je de SMART-waarden in de gaten houdt. De raw value van UDMA CRC Error Count (=kabelfouten) moet constant blijven en mag dus niet verder oplopen. Je hebt nu een screenshot van de SMART, maar voor de zekerheid straks weer even controleren en dan de actuele waarden opschrijven voor alle schijven. Dan om de week blijven controleren. Als je na een aantal weken intensief gebruik geen kabelfouten meer hebt - dus de waarde is constant gebleven - dan kun je stellen dat je probleem is verholpen.

Succes

[PyBo]

Voor eventueel geïntereseerde ter afsluiting. De informatie van de volgende URL ga ik maar eens proberen.

https://help.ubuntu.com/community/Smartmontools

[ Voor 78% gewijzigd door PyBo op 05-05-2014 20:16 ]