Linux media server performance verbeteren

Pagina: 1
Acties:
  • 1.044 views sinds 30-01-2008
  • Reageer

  • Pastinakel
  • Registratie: December 2000
  • Laatst online: 24-01 17:07

Pastinakel

Zwammen en kwazoedels

Topicstarter
Ik ben op zoek naar een manier om de performance van mijn mediaservertje te verbeteren. Ik heb een aantal dingen geprobeert en weet nu even niet meer in welke richting ik verder moet.

Probleem
Afspelen op mythtv frontend gaat met onderbrekingen. Alleen als de server eigenlijk volledig idle is gaat dit probleemloos.

Hardware
  • MSI K9N SLI: o.a. nVIDIA nForce 570 SLI chipset, 2x Vitesse VSC8601 GBit LAN, 6 x SATA II nForce 570, 1 x PATA nForce 570, Realtek ALC883
  • AMD Athlon(tm) 64 Processor 3200+
  • 2 x 512 MB ram (dual channel)
  • 1 x Hauppauge PVR 350, 1 x Hauppauge PVR 500
Schijven:
  • 1x Maxtor 6Y080L0 op PATA
  • Maxtor 6Y250M0, Maxtor 6Y250M0, Maxtor 6L200M0, SAMSUNG SP2004C, Maxtor 6Y200M0 op SATA, gebruikt als software RAID5 array binnen linux. Alle schrijven hebben 1 partitie van 200 GB met als FS "fd" (Linux raid autodetect). Deze /dev/md0 van 734 GB bevat alle media en PVR opnames.
Software

Gentoo linux, amd64 smaakje
Kernel: 2.6.18-gentoo-r3 #7 SMP
Relevante (kernel-)drivers:
  • sata_nv
  • forcedeth
  • ivtv 0.8.1 (non-kernel)
  • alsa hda_intel 1.0.15 (non-kernel)
Mythtv 0.20.2_p15332
Lirc 0.8.2-r2

Details
Laat ik voorop stellen dat ik dit eigenlijk een luxe probleem vindt: mythtv werkt naar behoren, ik kan 3 programma's tegelijk opnemen en DVD images kijken via mythvideo werkt ook naar behoren. Alleen: dat wil niet tegelijk. Dat snap ik tot op zekere hoogte ook wel maar voor mij is de vraag: stel dat ik dat wel zou willen, waar moet ik dan in investeren?

Er spelen namelijk een aantal dingen door elkaar: zo'n software RAID5 is natuurlijk prachtig maar die krijg je heel snel op zijn bek door tegelijkertijd te lezen en te schrijven naar de array. De data doorvoer gaat dan heel rap naar beneden. Nou lukt het me nog wel om op deze server zelf tegelijkertijd op te nemen als een DVD image te kijken (dus mythfrontend op de server zelf uitvoeren, dus geen last van CPU gebruik door NIC's of NFS). Als ik dit echter op een remote client doe, waarbij de DVD image via NFS gedeeld wordt, dan krijgt die server de DVD data niet snel genoeg bij de client. Op de server is dan de load praktisch 100 % (maar niet voortdurend). Op de client wordt het afspelen met variabele tussenpozen (plusminus 5 tot 60 seconden) steeds 1 seconde onderbroken.

Stel dat ik naar een situatie heen wil waarin ik tegelijkertijd wil kunnen opnemen via die PVR's en via NFS een DVD image kunnen afspelen, waar moet ik dan in investeren?
  • Hardware RAID5? Ik denk dat ook hardware RAID5 het moeilijk krijgt als je tegelijkertijd gaat schrijven als lezen naar dezelfde array.
  • Betere netwerkkaarten? De netwerk snelheid van rond de 50000 KByte/s op dit moment lijkt mij goed genoeg. Ik kan me wel voorstellen dat als je een goede NIC neemt die de CPU niet zo belast dat je snelheid omhooggaat. Bovendien heeft de CPU dan meer cycles over voor software raid.
  • Meer geheugen of snellere CPU? Alle beetjes helpen. Maar is het genoeg?
  • Ander moederbord? Zou je in deze situatie tegen de limiet van de bus aanlopen?
Naast bovengenoemde reeds geprobeerd:
  • NFS tweaks? Volgens mij niet zinvol: of je nou FTP of NFS gebruikt: als je twee dingen tegelijk doet op die raid array dan keldert de throughput. Bovendien heb ik zo ongeveer de alle combinaties van de gebruikelijke set mount opties geprobeerd (intr,rsize=8192,wsize=8192,async,nfsvers=3,bg,actimeo=0,tcp)
  • Al het netwerkspul vervangen door gigabit, kabels goed aangeknepen, router 3Com Officenogwat gigabit switch.
  • Wat ik vanmiddag geprobeerd heb: de PVR opnames op een andere schijf zetten dan in een directory op de RAID array. Ik had een aparte SATA schijf aan dezelfde controller gehangen (laatste van 6 SATA connectors). Maakte geen ene moer uit. Volgens mij is die controller meer de bottleneck dan die software RAID. Ik had even geen PATA schijf bij de hand om het daarmee te proberen. Zou het zin hebben om er een aparte SATA controller in te hangen of loop je dan alsnog tegen de bus limiet aan?
Een paar hints in de goede richting zijn meer dan welkom :)

Ik kan je niet helpen. De frutsel is warrig en niet knopig. Bovendien heb ik maar één kant | Scrobblernakel


  • geforce5_guy
  • Registratie: December 2001
  • Niet online
Over stappen op een dual-core cpu. Dat zal denk ik in ieder geval helpen om je doorvoer voor je raid wat sneller te maken.

Hardware raid is iig sneller in jouw geval. Je cpu kan zich dan met andere dingen bezig houden.

  • darkjeric
  • Registratie: April 2006
  • Laatst online: 23:58
Jep, bovenstaande stappen zullen al veel helpen denk ik.
Zeker de dualcore CPU, en aangezien je een AM2-bordje hebt (identiek aan het mijne) kun je er gemakkelijk bv. een X2 3800+ in proppen, die zal dat al heel wat beter doen.

Die hardware-RAID, daar zou ik nog even mee wachten. Doe dat pas als je een ook met een dualcore CPU nog dezelfde problemen hebt. Die hardware-RAID zal je namelijk heel wat meer kosten, en je moet altijd eerst de goedkoopste oplossing uittesten die kan werken ;)

  • microsofty710
  • Registratie: Februari 2004
  • Laatst online: 26-10-2025
Ik zit de andere richting op de denken. Die tuners hebben allemaal hardware encoding, dus vrijwel geen belasting op de processor of geheugen. Ik heb een epia bordje (dat is waaaay trager dan jouw machine) en die heeft per tuner minder 2% cpu nodig voor opname. 3 tuners opnemen en dan nog een DVDtje afspelen moet wat dat betreft gewoon kunnen.

Waar ik het in zou zoeken is je harddisk configuratie. Ik kan me zo voorstellen dat een 5-voudige raid 5 heel snel kan lezen en schrijven, maar als software variant ook een heleboel van je processor vraagt!

Ik denk dat een hardware raid dit wel op zou kunnen lossen, maar goedkoper en waarschijnlijk net zo effectief is de raid gewoon helemaal laten varen... (natuurlijk even aangenomen dat je de raid nergens anders voor nodig heb.)

  • ronny
  • Registratie: Februari 2001
  • Laatst online: 16-02-2024

ronny

Trotse vader

Het beste wat je kan doen is een aantal dingen even testen.
Als ik het zo bekijk is de CPU de grote botleneck.

Dus het is even handig om het volgende te testen:
1 Hoe hoog is de CPU belasting van het kijken van een DVD vanaf de singel disk
2 Hoe hoog is de CPU belasting bij het bekijken van een DVD op de server vanaf de RAID 5
Dus hoeveel CPU load geeft de software raid 5
3 Hoe hoog is de CPU belasting bij het kijken van een DVD vanaf de singel disk over het netwerk
Dus hoeveel CPU load geeft de Gbit netwerk.

Zowel het netwerk als de SATA poorten zitten rechtstreeks aan de chip-set en vormen dus geen bottleneck. Er is dus geen bus die vol loopt.
Maar zoals je zelf al geconstateerd hebt is de CPU 100% dus dat is het probleem.
Er zijn een paar optie's.
Je kan kijken naar een Intel Gbit netwerk kaart. Die kosten niet zo heel veel maar nemen wel een deel van het werk van de CPU over. Of het voldoende is durf ik niet te zeggen.
Je kan eens kijken of de RAID vollume wat kan optimaliseren voor grote bestanden. Hierdoor gebruik je wat minder sectoren en kan de boel wat sneller worden.
Verder zou je kunnen kijken of je het geheugen kan gebruiken als buffer. Evt zou je dit kunnen uitbreiden door nog 1 gieg bij te plaatsen.
Maar het plaatsen van een dual core is natuurlijk het makelijkst.
Dan heb je 1 core voor de RAID5 en 1 voor het netwerk.
Beide zijn behoorlijke CPU gewerkelijke taken.

Verder verwijs ik je naar het volgende toppic.
DIY RAID NAS bouwen
Het gaat niet over de media server maar wel over het werkelijke probleem soft RAID5 met Gbit Daar is heel veel info te vinden.

specs werkpaard Youngtimer Touring Car Campionship


  • deepbass909
  • Registratie: April 2001
  • Laatst online: 11:30

deepbass909

[☼☼] [:::][:::] [☼☼]

Ik vermoed dat je soft-raid de grootste problemen geeft. Dat is een behoorlijk intensieve taak, en je belast hem behoorlijk door 3 opnames te draaien, en tegelijk 1 te willen kijken. Omdat je RAID-opstelling volledig afhankelijk is van je CPU, zal die het behoorlijk druk krijgen. Daarnaast probeer je 1 stroom over je netwerk te halen. Hoe CPU-intensief dit is, is volledig afhankelijk van de optimalisaties die de chipset heeft. Als die net zo geavanceerd zijn als van de oude realtek dingen (totaal niet dus), dan kan je inderdaad een probleem erbij krijgen.
Een dual-core kan je problemen verminderen, maar dat is dan eigenlijk symtoom bestrijding. Een goede netwerkkaart kan net dat beetje extra cpu-belasting schelen, waardoor het wel goed gaat, maar ik vermoed dat de meeste winst te boeken is met een hardware raid opstelling, of als de raid niet persé nodig is, deze achterwege te laten. Voor de extra doorvoersnelheid is het met sATA schijven niet echt meer nodig (die moeten met gemak 4 video stromen aankunnen).

Waarschuwing, opperprutser aan het werk... en als je een opmerking van mij niet snapt, klik dan hier


  • Olaf van der Spek
  • Registratie: September 2000
  • Niet online
Pastinakel schreef op zondag 20 januari 2008 @ 23:04:
Op de server is dan de load praktisch 100 % (maar niet voortdurend).
Dat is natuurlijk een issue. Heb je al gekeken welke processen die load veroorzaken?

  • Pastinakel
  • Registratie: December 2000
  • Laatst online: 24-01 17:07

Pastinakel

Zwammen en kwazoedels

Topicstarter
Alvast iedereen bedankt voor de reacties. :)

Ik ben al bezig om een nieuwe dual-core en wat extra geheugen te regelen.

De reden waarom ik RAID5 gebruik is dat deze array mijn opslagplek is voor belangrijke data. Echt belangrijke dingen backup ik om de zoveel tijd naar een DVD maar omvangrijke bestanden die ik niet graag kwijt wil (zelf geripte en gedetailleerd getagde flac's van klassieke muziek bijvoorbeeld) staan op die RAID5 array. Als ik het goed begrepen heb is RAID5 een compromis tussen redundantie en lees-snelheid. Het schrijven gaat traag vanwege het (softwarematige) XOR' en. Vandaar ook dat ik eigenlijk die PVR opnames niet op de array wil hebben maar een aparte schijf aan dezelfde controller verbetert de performance niet.
Olaf van der Spek schreef op maandag 21 januari 2008 @ 10:25:
[...]

Dat is natuurlijk een issue. Heb je al gekeken welke processen die load veroorzaken?
Nou... ik heb inderdaad over praktisch 100 % CPU usage gehad maar in de praktijk haal ik dat niet helemaal volgens top. Eerder 70 % gemiddeld. Ik heb vanochtend 2 opnames gestart en tegelijkertijd remote een DVD image gekeken. Dit zijn dan de eerste 15 entries uit top.

code:
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
top - 11:30:22 up 20:18,  3 users,  load average: 8.51, 6.96, 3.71
Tasks: 152 total,   3 running, 149 sleeping,   0 stopped,   0 zombie
Cpu(s):  9.3% us, 27.6% sy,  0.0% ni, 19.9% id, 39.9% wa,  1.0% hi,  2.3% si
Mem:   1025308k total,  1015564k used,     9744k free,     2388k buffers
Swap:  1001980k total,      368k used,  1001612k free,   516792k cached

%CPU %MEM    TIME+  COMMAND

10.0  0.0   0:18.69 ivtv-enc-vbi
 6.6  0.0  13:35.95 ivtv-enc-vbi
 3.3  3.8   5:45.14 mythbackend
 3.0  0.0   3:59.13 ivtv-enc
 3.0  0.2   1:20.33 ksysguardd
 2.3  1.1   0:43.45 Xvnc
 2.3  1.6   1:00.60 ksysguard
 1.3  0.0   2:08.97 ivtv-enc
 1.3  0.0   0:11.16 nfsd
 1.3 10.8   0:13.03 mythfrontend
 1.0  0.0   0:10.97 nfsd
 0.7  0.0   1:40.85 md0_raid5
 0.7  0.0   0:02.77 ivtv-enc
 0.3  0.0   0:13.71 kjournald
 0.3  0.0   0:11.01 nfsd


Wat je hier niet ziet maar wat je wel ziet als je bijvoorbeeld ksysguard gebruikt dat er om de zoveel tijd (5 - 50 seconden) behoorlijke spikes zitten in CPU usage naar 100 % van nog geen seconde. Dat is ook precies het moment dat de DVD weergave hapert op de client. Er zit een Codegen 400 Watt voeding in. Zou het onvoldoende stabiliteit van de voeding te maken kunnen hebben?

Iets anders is die hoge iowait waarde. Is dat normaal bij disk-intensieve bewerkingen? Of zou dat te maken kunnen hebben met een maximale doorgifte van die SATA controller? Volgens het moederbord boekje kan die nForce 570 SATA II controller "up to 300 MB/s" aan. Als je daar 5 schijven aanhangt dan hou je 60 MB/s over. Of bekijk ik het nou verkeerd?

[ Voor 12% gewijzigd door Pastinakel op 21-01-2008 12:06 ]

Ik kan je niet helpen. De frutsel is warrig en niet knopig. Bovendien heb ik maar één kant | Scrobblernakel


  • Olaf van der Spek
  • Registratie: September 2000
  • Niet online
Pastinakel schreef op maandag 21 januari 2008 @ 11:47:
Wat je hier niet ziet maar wat je wel ziet als je bijvoorbeeld ksysguard gebruikt dat er om de zoveel tijd (5 - 50 seconden) behoorlijke spikes zitten in CPU usage naar 100 % van nog geen seconde. Dat is ook precies het moment dat de DVD weergave hapert op de client. Er zit een Codegen 400 Watt voeding in. Zou het onvoldoende stabiliteit van de voeding te maken kunnen hebben?
Nee.
Is het niet mogelijk in de client meer te bufferen zodat je geen last hebt van deze spikes?
Iets anders is die hoge iowait waarde. Is dat normaal bij disk-intensieve bewerkingen? Of zou dat te maken kunnen hebben met een maximale doorgifte van die SATA controller? Volgens het moederbord boekje kan die nForce 570 SATA II controller "up to 300 MB/s" aan. Als je daar 5 schijven aanhangt dan hou je 60 MB/s over. Of bekijk ik het nou verkeerd?
Ja. Elke SATA kanaal is dedicated, dus je deelt geen bandbreedte.
Wat iowait precies betekent weet ik eigenlijk ook niet.

  • igmar
  • Registratie: April 2000
  • Laatst online: 05-01 19:56

igmar

ISO20022

Je iowait is vrij hoog. In de praktijk betekend dit dat je disk(s) te traag zijn. Die RAID5 is ook niet zo fijn : Dat betekend per definitie wachten totdat disk IO klaar is. Ik vermoed dat je de oorzaak daar ergens in moet zoeken.

  • Olaf van der Spek
  • Registratie: September 2000
  • Niet online
igmar schreef op maandag 21 januari 2008 @ 12:07:
Je iowait is vrij hoog. In de praktijk betekend dit dat je disk(s) te traag zijn.
Is iowait niet CPU idle time waarin gewacht wordt op disks? Dat zou betekenen dat een snellere CPU niet zal helpen.
Dat betekend per definitie wachten totdat disk IO klaar is.
Moet dat niet altijd? Wel of geen RAID array.

[ Voor 30% gewijzigd door Olaf van der Spek op 21-01-2008 12:19 ]


  • Pastinakel
  • Registratie: December 2000
  • Laatst online: 24-01 17:07

Pastinakel

Zwammen en kwazoedels

Topicstarter
Dit is trouwens het plaatje als ik 3 opnames pleeg en tgelijkertijd lokaal een DVD kijk (die ook hapert merk ik nu):

code:
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
top - 12:11:02 up 20:59,  3 users,  load average: 2.01, 1.23, 1.91
Tasks: 150 total,   1 running, 149 sleeping,   0 stopped,   0 zombie
Cpu(s): 16.4% us, 18.7% sy, 12.7% ni,  8.4% id, 41.1% wa,  0.7% hi,  2.0% si
Mem:   1025308k total,  1014808k used,    10500k free,     2712k buffers
Swap:  1001980k total,      368k used,  1001612k free,   471152k cached

  PID USER      PR  NI  VIRT  RES  SHR S %CPU %MEM    TIME+  COMMAND
 8747 mythtv    32  17  164m  46m  17m S 13.6  4.6   0:03.12 mythcommflag
 8426 mythtv    15   0  374m 139m  52m S 12.5 13.9   1:03.80 mythfrontend
 2522 root       5 -10     0    0    0 S  8.3  0.0   3:56.81 ivtv-enc-vbi
 6888 mythtv    15   0  427m  39m  19m S  2.8  3.9   7:07.02 mythbackend
 1041 root      10  -5     0    0    0 D  2.1  0.0   2:03.41 md0_raid5
 2450 root       5 -10     0    0    0 S  1.7  0.0   6:31.87 ivtv-enc-vbi
 7187 niep      15   0 14688 1884 1040 S  1.7  0.2   2:23.50 ksysguardd
 7186 niep      15   0 76632  15m  11m S  1.4  1.6   1:47.21 ksysguard
 2521 root       5 -10     0    0    0 S  1.0  0.0   0:35.68 ivtv-enc
 7427 root      15   0  146m  96m  25m S  1.0  9.6   1:42.74 X
 7059 niep      15   0 28256  10m 2932 S  1.0  1.1   1:20.46 Xvnc
 2449 root       5 -10     0    0    0 S  0.7  0.0   4:30.62 ivtv-enc
 2661 root      10  -5     0    0    0 S  0.3  0.0   0:18.12 kjournald
 5656 maradns   15   0 20512  960  632 S  0.3  0.1   0:06.20 maradns
 5806 root      15   0     0    0    0 S  0.3  0.0   0:15.04 nfsd
 5808 root      15   0     0    0    0 S  0.3  0.0   0:14.85 nfsd


Hmm... iowait van 41%. Die CPU zit gewoon grotendeels uit zijn neus te vreten. Maar hoe moet ik die waarde nou beter krijgen? Zijn die schijven zo traag? Is die controller zo traag?

Als ik nou bedenkt dat er 4 bewerkingen gaande zijn op 5 schijven, dan moeten die schijven dat toch gewoon aankunnen? En als dat niet kan dan lijkt me dat dit vast zou moeten lopen op CPU usage (sata_nv, md0_raid5). En dat gebeurt blijkbaar niet: die CPU staat te wachten ipv 0% idle te zijn.

Ik kan je niet helpen. De frutsel is warrig en niet knopig. Bovendien heb ik maar één kant | Scrobblernakel


  • Olaf van der Spek
  • Registratie: September 2000
  • Niet online
Pastinakel schreef op maandag 21 januari 2008 @ 12:22:
Hmm... iowait van 41%. Die CPU zit gewoon grotendeels uit zijn neus te vreten. Maar hoe moet ik die waarde nou beter krijgen? Zijn die schijven zo traag? Is die controller zo traag?
Wat voor bitrate hebben die streams?
Als ik nou bedenkt dat er 4 bewerkingen gaande zijn op 5 schijven, dan moeten die schijven dat toch gewoon aankunnen? En als dat niet kan dan lijkt me dat dit vast zou moeten lopen op CPU usage (sata_nv, md0_raid5). En dat gebeurt blijkbaar niet: die CPU staat te wachten ipv 0% idle te zijn.
Lezen is geen probleem, schrijven is niet zo triviaal voor RAID5. Wat gebeurd er als je de opnames niet naar de array schrijft maar naar een andere schijf?
Is afspelen dan wel vloeiend?

  • junkbuster
  • Registratie: November 2000
  • Laatst online: 16-01 14:06

junkbuster

Try 2 Hack Me...

Kijk ook eens naar de fragmentatie van het file system. Als een file system flink volloopt of langdurig gebruikt wordt voor opnames (en wisacties) loop je kans dat de prestaties van de pc door fragmentatie merkbaar achteruit gaan.

Met het commando 'filefrag *' in een directory met (grote) videofiles kun je zien of er veel fragmentatie optreedt en wat het optimale aantal fragmenten van ieder bestand is.

  • microsofty710
  • Registratie: Februari 2004
  • Laatst online: 26-10-2025
Olaf van der Spek schreef op maandag 21 januari 2008 @ 12:18:
igmar:
Dat betekend per definitie wachten totdat disk IO klaar is.


Moet dat niet altijd? Wel of geen RAID array.
Nee, normaal heb je DMA. Dan zegt de CPU tegen je disk controller: "kopieer dit beetje geheugen naar de schijf, dan ga ik ondertussen wat anders doen, geef me een seintje (interrupt) als je klaar bent".
Bij de software RAID is het anders: "kopieer dit beetje geheugen naar de schijf, ik reken wel ff uit hoe je dat moet doen"

Dus inderdaad wat Olaf hierboven zegt, laat alles eens schrijven en lezen van de schijf die buiten de array staat. Ik durf te wedden dat het dan soepel loopt.

[ Voor 3% gewijzigd door microsofty710 op 21-01-2008 12:42 ]


  • Olaf van der Spek
  • Registratie: September 2000
  • Niet online
junkbuster schreef op maandag 21 januari 2008 @ 12:38:
Met het commando 'filefrag *' in een directory met (grote) videofiles kun je zien of er veel fragmentatie optreedt en wat het optimale aantal fragmenten van ieder bestand is.
Filefrag heeft wel root access nodig.
microsofty710 schreef op maandag 21 januari 2008 @ 12:41:
Nee, normaal heb je DMA. Dan zegt de CPU tegen je disk controller: "kopieer dit beetje geheugen naar de schijf, dan ga ik ondertussen wat anders doen".
Bij de software RAID is het anders: "kopieer dit beetje geheugen naar de schijf, ik reken wel ff uit hoe je dat moet doen"
Er moet inderdaad wel wat gerekend worden ja (bij RAID5). Maar het is niet zo dat de CPU of je proces daarom extra moet wachten.

[ Voor 45% gewijzigd door Olaf van der Spek op 21-01-2008 12:45 ]


  • Pastinakel
  • Registratie: December 2000
  • Laatst online: 24-01 17:07

Pastinakel

Zwammen en kwazoedels

Topicstarter
Olaf van der Spek schreef op maandag 21 januari 2008 @ 12:28:
[...]

Wat voor bitrate hebben die streams?
Volgens mplayer:
code:
1
2
MPEG-PS file format detected.
VIDEO:  MPEG2  480x480  (aspect 2)  25.000 fps  6000.0 kbps (750.0 kbyte/s)
[...]

Lezen is geen probleem, schrijven is niet zo triviaal voor RAID5. Wat gebeurd er als je de opnames niet naar de array schrijft maar naar een andere schijf?
Is afspelen dan wel vloeiend?
Nee, maar dit heb ik alleen getest als je een andere schijf aan dezelfde controller hangt als waar alle RAID5 schijven aan hangen: zelfde stotterende resultaat.

Ik kan je niet helpen. De frutsel is warrig en niet knopig. Bovendien heb ik maar één kant | Scrobblernakel


  • Olaf van der Spek
  • Registratie: September 2000
  • Niet online
Pastinakel schreef op maandag 21 januari 2008 @ 14:19:
[...]

Volgens mplayer:
code:
1
2
MPEG-PS file format detected.
VIDEO:  MPEG2  480x480  (aspect 2)  25.000 fps  6000.0 kbps (750.0 kbyte/s)


[...]

Nee, maar dit heb ik alleen getest als je een andere schijf aan dezelfde controller hangt als waar alle RAID5 schijven aan hangen: zelfde stotterende resultaat.
750 kbyte/s is echt niks, dus dat zou geen probleem mogen geven. Zelfs niet 4 streams.
Die controller is toch de nForce SATA controller?
Dat zou alweer geen probleem mogen geven.
Met iostat of vmstat kun je volgens mij kijken waar die schijven mee bezig zijn, maar daar heb ik geen ervaring mee.

[ Voor 8% gewijzigd door Olaf van der Spek op 21-01-2008 14:49 ]


Verwijderd

METEN is WETEN
ga eerst je syteem analiserren met sar vmstat ed . Vervolgens kun je gefundeerd inschatten waar je probleem ligt.

  • Pastinakel
  • Registratie: December 2000
  • Laatst online: 24-01 17:07

Pastinakel

Zwammen en kwazoedels

Topicstarter
Verwijderd schreef op maandag 21 januari 2008 @ 14:54:
METEN is WETEN
ga eerst je syteem analiserren met sar vmstat ed . Vervolgens kun je gefundeerd inschatten waar je probleem ligt.
Op zich wel een zinvolle suggestie alleen geldt voor mij het door jou genoemde dogma niet. Ga jij mij helpen uit te vinden wat het probleem is als ik hier een lap output van vmstat neerplemp? Het zegt mij wel wat maar het vertelt mij niet waar de bottleneck zit.

Edit 18:09: ik zit nu op mijn werk. Ik zal vannacht of morgen een uitdraai van vmstat hier posten. Ik ben benieuwd of het wat oplevert :)

[ Voor 12% gewijzigd door Pastinakel op 21-01-2008 18:10 ]

Ik kan je niet helpen. De frutsel is warrig en niet knopig. Bovendien heb ik maar één kant | Scrobblernakel


  • Olaf van der Spek
  • Registratie: September 2000
  • Niet online
Pastinakel schreef op maandag 21 januari 2008 @ 15:30:
[...]

Op zich wel een zinvolle suggestie alleen geldt voor mij het door jou genoemde dogma niet. Ga jij mij helpen uit te vinden wat het probleem is als ik hier een lap output van vmstat neerplemp? Het zegt mij wel wat maar het vertelt mij niet waar de bottleneck zit.
Er is vast wel iemand die de output hier wil analyseren voor je.

  • Pastinakel
  • Registratie: December 2000
  • Laatst online: 24-01 17:07

Pastinakel

Zwammen en kwazoedels

Topicstarter
Okee, komtie:
code:
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
alpha ~ # vmstat 10
procs -----------memory---------- ---swap-- -----io---- --system-- ----cpu----
 r  b   swpd   free   buff  cache   si   so    bi    bo   in    cs us sy id wa
 0  0    368  48232   4208 450208    0    0   612   468  136    99  4  5 86  5
 1  0    368  48232   4208 450192    0    0     0     0 1241   334  5  1 94  0
 1  0    368  48240   4216 450192    0    0     0     5 1238   329  4  1 94  0
 1  0    368  48232   4224 450192    0    0     0     2 1234   332  5  1 94  0
 0  0    368  47796   4884 450232    0    0    68     5 1529   795  5  2 80 14
 0  0    368  47804   4892 450232    0    0     0    10 1252   346  4  1 94  0
dvd start
 1  0    368  22472   4944 475092    0    0  2490     2 3252  1101  5  2 88  5
 0  0    368  22464   4944 475092    0    0     0     2 1242   335  5  1 94  0
 1  0    368  16712   4968 480836    0    0   579    11 1556   476  5  1 92  2
 0  0    368  14004   4980 483528    0    0   267     2 1514   480  5  2 93  1
 0  0    368   9560   4984 487928    0    0   440     0 1674   573  5  1 92  2
dvd hoofdfilm
 1  0    368  10196   4988 487188    0    0   707     4 1697   495  5  2 94  0
 0  0    368  10656   5000 486512    0    0   560     6 1726   599  5  2 91  2
 5  0    368  10364   5360 486344    0    0   641    14 1668   762  6  2 84  8
 1  0    368   9620   5468 487012    0    0   856     6 1739   684  8  2 88  2
 1  0    368   9228   5488 487440    0    0   669    16 1729   666  6  2 90  2
 0  0    368   9872   5496 486716    0    0   686     7 1743   595  5  2 91  2
 0  0    368   9340   5496 487316    0    0   683     3 1749   556  5  2 93  1
rec 1
 0  0    368  10368   5732 484292    0    0   656   269 1724   946  9  5 72 13
 0  0    368   9444   5824 485212    0    0   656   690 1726   965  7  5 66 23
 0  0    368   9956   5892 484308    0    0   610   756 1757   965  4 12 78  5
 1  0    368  10280   5976 483632    0    0   860   708 1793   983  5  5 79 12
 0  0    368  10068   6044 483812    0    0   416   653 1690   948  5  4 83  8
 1  0    368  10324   6284 482560    0    0   688  1083 1806  1199 10 12 66 13
rec 2
 2  0    368  10444   6420 481908    0    0   653  1434 1845  1251  7 16 64 13
 1  0    368   9288   6484 482888    0    0   512  1444 1887  1213  6 19 71  5
 1  7    368  10012   6560 481640    0    0   656  1100 1812  1212  5 17 49 30
 0  0    368   9112   6644 482060    0    0   633  1602 1866  1254  5 18 65 12
 0  1    368   9764   6836 480556    0    0   716  1412 1894  1368  7 21 66  6
rec 3
 0  1    368  10212   6952 479740    0    0   618  2100 1946  1795  9 26 58  7
 0  0    368   9176   7036 480304    0    0   754  2150 1983  1599  6 34 46 15
 1  8    368   9580   7100 479232    0    0   611  1850 1950  1551  6 29 59  7
 0  0    368   9556   7164 478588    0    0   756  2274 1973  1503  5 29 42 24
 0  8    368   9192   7228 478408    0    0   554  1751 1878  1550  7 24 53 16
 r  b   swpd   free   buff  cache   si   so    bi    bo   in    cs us sy id wa
procs -----------memory---------- ---swap-- -----io---- --system-- ----cpu----

Update interval was 10 seconden. In het begin geen activiteit.
DVD start: hier begin het remote afspelen van de DVD image, menu's enzo.
DVD hoofdfilm: hoofdfilm start
rec1: start eerste PVR opname, vanaf dit moment begint de DVD weergave te stotteren
rec 2: PVR 2 erbij, naast 1, DVD weergave stottert meer.
rec 3: PVR 3 erbij, naast 1 en 2, DVD weergave stottert nog meer.

Ik zie wel een patroon maar geen oplossing. Wie wel?

Ik kan je niet helpen. De frutsel is warrig en niet knopig. Bovendien heb ik maar één kant | Scrobblernakel


Verwijderd

het systeem heeft problemen met i/o. of dit netwerk, disken, controllers, video, audio, is valt niet uit deze rapportage te halen. daar voor moet je sar mee laten draaien om gedetailleerd te kunnen kijken op welke devices congestie optreed. het is geen cpu probleem.

  • Pastinakel
  • Registratie: December 2000
  • Laatst online: 24-01 17:07

Pastinakel

Zwammen en kwazoedels

Topicstarter
Verwijderd schreef op dinsdag 22 januari 2008 @ 11:20:
het systeem heeft problemen met i/o. of dit netwerk, disken, controllers, video, audio, is valt niet uit deze rapportage te halen. daar voor moet je sar mee laten draaien om gedetailleerd te kunnen kijken op welke devices congestie optreed. het is geen cpu probleem.
Maar wat voor test gaat mij vertellen dat dit geen CPU probleem is als je bedenkt dat zowel de controller, de driver als de software-RAID afhankelijk zijn van de CPU? Zien we hier geen i/o problemen die veroorzaakt worden door de CPU?

Ik kan je niet helpen. De frutsel is warrig en niet knopig. Bovendien heb ik maar één kant | Scrobblernakel


  • Olaf van der Spek
  • Registratie: September 2000
  • Niet online
Pastinakel schreef op dinsdag 22 januari 2008 @ 17:47:
[...]

Maar wat voor test gaat mij vertellen dat dit geen CPU probleem is als je bedenkt dat zowel de controller, de driver als de software-RAID afhankelijk zijn van de CPU? Zien we hier geen i/o problemen die veroorzaakt worden door de CPU?
Veel idle tijd.

  • Pastinakel
  • Registratie: December 2000
  • Laatst online: 24-01 17:07

Pastinakel

Zwammen en kwazoedels

Topicstarter
Dus dan moet je concluderen dat een controller die in theorie in staat is 300 MB/s door te geven (met daarop 5 schijven met een theoretische lees- en snelheid van rond de 50 MB/s) niet in staat zijn 3 streams van 750 kbyte/s te schrijven en tegelijkertijd 1 stream van 1,38 MB/s te lezen.

Da's wel treurig. Ik zal die individuele schijven inderdaad maar eens aan een grondig onderzoek onderwerpen.

Ik kan je niet helpen. De frutsel is warrig en niet knopig. Bovendien heb ik maar één kant | Scrobblernakel


Verwijderd

Pastinakel schreef op dinsdag 22 januari 2008 @ 17:47:
[...]

Maar wat voor test gaat mij vertellen dat dit geen CPU probleem is als je bedenkt dat zowel de controller, de driver als de software-RAID afhankelijk zijn van de CPU? Zien we hier geen i/o problemen die veroorzaakt worden door de CPU?
SAR is een (standaard) unix tool (en nee geen windows interface) waarmee je counters in je os kunt uitlezen waar meer je uitspraken kun doen over evt problemen.

  • Pastinakel
  • Registratie: December 2000
  • Laatst online: 24-01 17:07

Pastinakel

Zwammen en kwazoedels

Topicstarter
Nou het heeft even een tijdje geduurd (geen tijd) maar ik ben weer een stukje verder. Een stukje sar output van een moment van DVD kijken terwijl er een TV-programma opgenomen werd:

Het commando om dit op te nemen was: "/usr/lib/sa/sadc -d -F 1 sadc-output" Het meest interessante staat op het laatst.

code:
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
154
155
156
157
158
159
160
161
162
163
164
165
166
167
168
169
170
171
172
173
174
175
176
177
178
179
180
181
182
183
184
185
186
187
188
189
190
191
192
193
194
195
196
197
198
199
200
201
202
203
204
205
206
207
208
209
210
211
212
213
214
215
216
217
218
219
220
221
222
223
224
225
226
227
228
229
230
231
232
233
234
235
236
237
238
239
240
241
242
243
244
245
246
247
248
249
250
251
252
253
254
255
256
257
258
259
260
261
262
263
264
265
266
267
268
269
270
271
272
273
274
275
276
277
278
279
280
281
282
283
284
285
286
287
288
289
290
291
292
293
294
295
296
297
298
299
300
301
302
303
304
305
306
307
308
309
310
311
312
313
314
315
316
317
318
319
320
321
322
323
324
325
326
327
328
329
330
331
332
333
334
335
336
337
338
339
340
341
342
343
344
345
346
347
348
349
350
351
352
353
354
355
356
357
358
359
360
361
362
363
364
365
366
367
368
369
370
371
372
373
374
375
376
377
378
379
380
381
382
383
384
385
386
387
388
389
390
391
392
393
394
395
396
397
398
399
11:28:00          DEV       tps  rd_sec/s  wr_sec/s  avgrq-sz  avgqu-sz     await     svctm     %util
11:28:01       dev3-0      7.14      0.00    130.61     18.29      0.00      0.57      0.57      0.41
11:28:01       dev8-0     18.37    775.51      0.00     42.22      0.08      4.44      2.67      4.90
11:28:01      dev8-16      4.08    783.67      0.00    192.00      0.02      4.00      4.00      1.63
11:28:01      dev8-32      3.06    522.45      0.00    170.67      0.02      5.33      5.33      1.63
11:28:01      dev8-48      4.08    783.67      0.00    192.00      0.02      6.00      6.00      2.45
11:28:01      dev8-64      3.06    644.90      0.00    210.67      0.02      5.33      5.33      1.63
11:28:01       dev9-0     36.73   3510.20      0.00     95.56      0.00      0.00      0.00      0.00
11:28:02       dev3-0     12.87     31.68     95.05      9.85      0.07      5.54      5.54      7.13
11:28:02       dev8-0      1.98    760.40      0.00    384.00      0.02      8.00      8.00      1.58
11:28:02      dev8-16      2.97    760.40      0.00    256.00      0.01      4.00      2.67      0.79
11:28:02      dev8-32      2.97    887.13      0.00    298.67      0.02      8.00      8.00      2.38
11:28:02      dev8-48      2.97    768.32      0.00    258.67      0.01      4.00      4.00      1.19
11:28:02      dev8-64      2.97    895.05      0.00    301.33      0.02      8.00      8.00      2.38
11:28:02       dev9-0    236.63   4071.29      0.00     17.21      0.00      0.00      0.00      0.00
11:28:03       dev3-0     28.71   3239.60     63.37    115.03      0.15      5.10      3.17      9.11
11:28:03       dev8-0      0.99      7.92      0.00      8.00      0.00      0.00      0.00      0.00
11:28:03      dev8-16      0.00      0.00      0.00      0.00      0.00      0.00      0.00      0.00
11:28:03      dev8-32      0.00      0.00      0.00      0.00      0.00      0.00      0.00      0.00
11:28:03      dev8-48      0.00      0.00      0.00      0.00      0.00      0.00      0.00      0.00
11:28:03      dev8-64      0.00      0.00      0.00      0.00      0.00      0.00      0.00      0.00
11:28:03       dev9-0      0.99      7.92      0.00      8.00      0.00      0.00      0.00      0.00

11:28:03          DEV       tps  rd_sec/s  wr_sec/s  avgrq-sz  avgqu-sz     await     svctm     %util
11:28:04       dev3-0      6.00      0.00     80.00     13.33      0.03      5.33      1.33      0.80
11:28:04       dev8-0      0.00      0.00      0.00      0.00      0.00      0.00      0.00      0.00
11:28:04      dev8-16      0.00      0.00      0.00      0.00      0.00      0.00      0.00      0.00
11:28:04      dev8-32      0.00      0.00      0.00      0.00      0.00      0.00      0.00      0.00
11:28:04      dev8-48      0.00      0.00      0.00      0.00      0.00      0.00      0.00      0.00
11:28:04      dev8-64      0.00      0.00      0.00      0.00      0.00      0.00      0.00      0.00
11:28:04       dev9-0      0.00      0.00      0.00      0.00      0.00      0.00      0.00      0.00
11:28:05       dev3-0      3.96      0.00     63.37     16.00      0.01      3.00      1.00      0.40
11:28:05       dev8-0      9.90    253.47      0.00     25.60      0.01      0.80      0.80      0.79
11:28:05      dev8-16      5.94    253.47      0.00     42.67      0.01      1.33      1.33      0.79
11:28:05      dev8-32     11.88    205.94      0.00     17.33      0.02      1.67      1.00      1.19
11:28:05      dev8-48      7.92    253.47      0.00     32.00      0.00      0.00      0.00      0.00
11:28:05      dev8-64      7.92    253.47      0.00     32.00      0.00      0.00      0.00      0.00
11:28:05       dev9-0     58.42   1219.80      0.00     20.88      0.00      0.00      0.00      0.00
11:28:06       dev3-0      7.00      0.00    128.00     18.29      0.00      0.57      0.57      0.40
11:28:06       dev8-0     12.00    512.00      0.00     42.67      0.03      2.33      2.33      2.80
11:28:06      dev8-16     16.00    464.00      0.00     29.00      0.02      1.50      1.25      2.00
11:28:06      dev8-32     12.00    432.00      0.00     36.00      0.00      0.33      0.33      0.40
11:28:06      dev8-48      7.00    256.00      0.00     36.57      0.04      6.29      3.43      2.40
11:28:06      dev8-64      9.00    256.00      0.00     28.44      0.00      0.00      0.00      0.00
11:28:06       dev9-0     84.00   1920.00      0.00     22.86      0.00      0.00      0.00      0.00

11:28:06          DEV       tps  rd_sec/s  wr_sec/s  avgrq-sz  avgqu-sz     await     svctm     %util
11:28:07       dev3-0      3.00      0.00     32.00     10.67      0.00      0.00      0.00      0.00
11:28:07       dev8-0     11.00    424.00      0.00     38.55      0.04      4.00      4.00      4.40
11:28:07      dev8-16      5.00    104.00      0.00     20.80      0.00      0.00      0.00      0.00
11:28:07      dev8-32     16.00    512.00      0.00     32.00      0.04      2.50      1.25      2.00
11:28:07      dev8-48      6.00    256.00      0.00     42.67      0.00      0.00      0.00      0.00
11:28:07      dev8-64      9.00    384.00      0.00     42.67      0.04      4.44      2.67      2.40
11:28:07       dev9-0     73.00   1680.00      0.00     23.01      0.00      0.00      0.00      0.00
11:28:08       dev3-0     15.15     56.57    129.29     12.27      0.11      7.47      5.33      8.08
11:28:08       dev8-0     10.10    347.47      0.00     34.40      0.03      3.20      2.40      2.42
11:28:08      dev8-16     30.30    727.27      0.00     24.00      0.06      1.87      1.73      5.25
11:28:08      dev8-32     13.13    282.83      0.00     21.54      0.02      1.23      1.23      1.62
11:28:08      dev8-48     21.21    606.06      0.00     28.57      0.02      1.14      0.57      1.21
11:28:08      dev8-64     15.15    371.72      0.00     24.53      0.01      0.53      0.53      0.81
11:28:08       dev9-0    109.09   2335.35      0.00     21.41      0.00      0.00      0.00      0.00
11:28:09       dev3-0      5.94      0.00    158.42     26.67      0.00      0.67      0.67      0.40
11:28:09       dev8-0      1.98    506.93      0.00    256.00      0.02     10.00     10.00      1.98
11:28:09      dev8-16      4.95    506.93      0.00    102.40      0.01      1.60      1.60      0.79
11:28:09      dev8-32      1.98    506.93      0.00    256.00      0.01      4.00      4.00      0.79
11:28:09      dev8-48      3.96    506.93      0.00    128.00      0.03      7.00      7.00      2.77
11:28:09      dev8-64      2.97    483.17      0.00    162.67      0.00      1.33      1.33      0.40
11:28:09       dev9-0     30.69   2510.89      0.00     81.81      0.00      0.00      0.00      0.00

11:28:09          DEV       tps  rd_sec/s  wr_sec/s  avgrq-sz  avgqu-sz     await     svctm     %util
11:28:10       dev3-0      2.94      0.00     62.75     21.33      0.00      0.00      0.00      0.00
11:28:10       dev8-0      2.94    752.94      0.00    256.00      0.02      5.33      4.00      1.18
11:28:10      dev8-16      1.96    752.94      0.00    384.00      0.01      4.00      4.00      0.78
11:28:10      dev8-32      1.96    815.69      0.00    416.00      0.04     18.00     18.00      3.53
11:28:10      dev8-48      1.96    752.94      0.00    384.00      0.02     10.00     10.00      1.96
11:28:10      dev8-64      2.94    941.18      0.00    320.00      0.02      8.00      6.67      1.96
11:28:10       dev9-0     17.65   4015.69      0.00    227.56      0.00      0.00      0.00      0.00
11:28:11       dev3-0      4.00      0.00     64.00     16.00      0.00      0.00      0.00      0.00
11:28:11       dev8-0      0.00      0.00      0.00      0.00      0.00      0.00      0.00      0.00
11:28:11      dev8-16      0.00      0.00      0.00      0.00      0.00      0.00      0.00      0.00
11:28:11      dev8-32      0.00      0.00      0.00      0.00      0.00      0.00      0.00      0.00
11:28:11      dev8-48      0.00      0.00      0.00      0.00      0.00      0.00      0.00      0.00
11:28:11      dev8-64      0.00      0.00      0.00      0.00      0.00      0.00      0.00      0.00
11:28:11       dev9-0      0.00      0.00      0.00      0.00      0.00      0.00      0.00      0.00
11:28:12       dev3-0      2.97      0.00     31.68     10.67      0.00      0.00      0.00      0.00
11:28:12       dev8-0      0.00      0.00      0.00      0.00      0.00      0.00      0.00      0.00
11:28:12      dev8-16      0.00      0.00      0.00      0.00      0.00      0.00      0.00      0.00
11:28:12      dev8-32      0.00      0.00      0.00      0.00      0.00      0.00      0.00      0.00
11:28:12      dev8-48      0.00      0.00      0.00      0.00      0.00      0.00      0.00      0.00
11:28:12      dev8-64      0.00      0.00      0.00      0.00      0.00      0.00      0.00      0.00
11:28:12       dev9-0      0.00      0.00      0.00      0.00      0.00      0.00      0.00      0.00

11:28:12          DEV       tps  rd_sec/s  wr_sec/s  avgrq-sz  avgqu-sz     await     svctm     %util
11:28:13       dev3-0     17.82    158.42    126.73     16.00      0.07      4.00      3.11      5.54
11:28:13       dev8-0      3.96    760.40      0.00    192.00      0.02      5.00      5.00      1.98
11:28:13      dev8-16      6.93    586.14      0.00     84.57      0.04      5.71      5.71      3.96
11:28:13      dev8-32     12.87    720.79      0.00     56.00      0.02      1.54      1.23      1.58
11:28:13      dev8-48      1.98    506.93      0.00    256.00      0.01      4.00      4.00      0.79
11:28:13      dev8-64      4.95    530.69      0.00    107.20      0.02      4.00      4.00      1.98
11:28:13       dev9-0     43.56   3104.95      0.00     71.27      0.00      0.00      0.00      0.00
11:28:14       dev3-0      4.04      0.00    121.21     30.00      0.00      1.00      1.00      0.40
11:28:14       dev8-0      1.01    258.59      0.00    256.00      0.00      4.00      4.00      0.40
11:28:14      dev8-16      1.01    509.09      0.00    504.00      0.00      4.00      4.00      0.40
11:28:14      dev8-32      1.01    266.67      0.00    264.00      0.00      4.00      4.00      0.40
11:28:14      dev8-48      1.01    517.17      0.00    512.00      0.00      4.00      4.00      0.40
11:28:14      dev8-64      2.02    517.17      0.00    256.00      0.04     22.00     12.00      2.42
11:28:14       dev9-0      9.09   2068.69      0.00    227.56      0.00      0.00      0.00      0.00
11:28:15       dev3-0      4.95      0.00     79.21     16.00      0.01      1.60      0.80      0.40
11:28:15       dev8-0      0.00      0.00      0.00      0.00      0.00      0.00      0.00      0.00
11:28:15      dev8-16      0.00      0.00      0.00      0.00      0.00      0.00      0.00      0.00
11:28:15      dev8-32      0.00      0.00      0.00      0.00      0.00      0.00      0.00      0.00
11:28:15      dev8-48      0.00      0.00      0.00      0.00      0.00      0.00      0.00      0.00
11:28:15      dev8-64      0.00      0.00      0.00      0.00      0.00      0.00      0.00      0.00
11:28:15       dev9-0      0.00      0.00      0.00      0.00      0.00      0.00      0.00      0.00

11:28:15          DEV       tps  rd_sec/s  wr_sec/s  avgrq-sz  avgqu-sz     await     svctm     %util
11:28:16       dev3-0      4.95      0.00    110.89     22.40      0.00      0.00      0.00      0.00
11:28:16       dev8-0      7.92    253.47      0.00     32.00      0.02      2.00      2.00      1.58
11:28:16      dev8-16      8.91    253.47      0.00     28.44      0.00      0.00      0.00      0.00
11:28:16      dev8-32      8.91    245.54      0.00     27.56      0.00      0.00      0.00      0.00
11:28:16      dev8-48      4.95    229.70      0.00     46.40      0.03      6.40      4.80      2.38
11:28:16      dev8-64      0.00      0.00      0.00      0.00      0.00      0.00      0.00      0.00
11:28:16       dev9-0     55.45    982.18      0.00     17.71      0.00      0.00      0.00      0.00
11:28:17       dev3-0     60.61    355.56    557.58     15.07      0.28      4.60      3.07     18.59
11:28:17       dev8-0     15.15    517.17      0.00     34.13      0.04      2.93      2.13      3.23
11:28:17      dev8-16     16.16    452.53      0.00     28.00      0.02      1.00      1.00      1.62
11:28:17      dev8-32     11.11    339.39      0.00     30.55      0.05      4.36      3.64      4.04
11:28:17      dev8-48      3.03    153.54      0.00     50.67      0.01      2.67      2.67      0.81
11:28:17      dev8-64      8.08    266.67      0.00     33.00      0.02      2.50      2.50      2.02
11:28:17       dev9-0     77.78   1729.29      0.00     22.23      0.00      0.00      0.00      0.00
11:28:18       dev3-0     23.76     63.37    213.86     11.67      0.09      3.67      2.33      5.54
11:28:18       dev8-0      9.90    253.47      0.00     25.60      0.00      0.00      0.00      0.00
11:28:18      dev8-16     12.87    324.75      0.00     25.23      0.00      0.00      0.00      0.00
11:28:18      dev8-32     11.88    253.47      0.00     21.33      0.01      1.00      1.00      1.19
11:28:18      dev8-48     13.86    506.93      0.00     36.57      0.03      2.00      1.43      1.98
11:28:18      dev8-64     11.88    324.75      0.00     27.33      0.08      6.67      2.67      3.17
11:28:18       dev9-0     74.26   1663.37      0.00     22.40      0.00      0.00      0.00      0.00

11:28:18          DEV       tps  rd_sec/s  wr_sec/s  avgrq-sz  avgqu-sz     await     svctm     %util
11:28:19       dev3-0     10.78     39.22     78.43     10.91      0.04      3.64      3.64      3.92
11:28:19       dev8-0      2.94    250.98     15.69     90.67      0.02      6.67      6.67      1.96
11:28:19      dev8-16      3.92    274.51      0.00     70.00      1.51      8.00    197.00     77.25
11:28:19      dev8-32      6.86    305.88     15.69     46.86      0.04      5.71      5.71      3.92
11:28:19      dev8-48      2.94    250.98     15.69     90.67      0.02      6.67      6.67      1.96
11:28:19      dev8-64      8.82    431.37     15.69     50.67      0.03      3.56      3.56      3.14
11:28:19       dev9-0     55.88   1521.57      0.00     27.23      0.00      0.00      0.00      0.00
11:28:20       dev3-0      5.94      0.00    102.97     17.33      0.03      5.33      1.33      0.79
11:28:20       dev8-0      0.00      0.00      0.00      0.00      0.00      0.00      0.00      0.00
11:28:20      dev8-16      0.00      0.00      0.00      0.00      2.00      0.00      0.00     99.80
11:28:20      dev8-32      0.00      0.00      0.00      0.00      0.00      0.00      0.00      0.00
11:28:20      dev8-48      0.00      0.00      0.00      0.00      0.00      0.00      0.00      0.00
11:28:20      dev8-64      0.00      0.00      0.00      0.00      0.00      0.00      0.00      0.00
11:28:20       dev9-0      0.00      0.00      0.00      0.00      0.00      0.00      0.00      0.00
11:28:21       dev3-0     21.21     32.32    234.34     12.57      0.07      3.24      0.95      2.02
11:28:21       dev8-0      0.00      0.00      0.00      0.00      0.00      0.00      0.00      0.00
11:28:21      dev8-16      0.00      0.00      0.00      0.00      2.03      0.00      0.00    101.41
11:28:21      dev8-32      0.00      0.00      0.00      0.00      0.00      0.00      0.00      0.00
11:28:21      dev8-48      0.00      0.00      0.00      0.00      0.00      0.00      0.00      0.00
11:28:21      dev8-64      0.00      0.00      0.00      0.00      0.00      0.00      0.00      0.00
11:28:21       dev9-0      0.00      0.00      0.00      0.00      0.00      0.00      0.00      0.00

11:28:21          DEV       tps  rd_sec/s  wr_sec/s  avgrq-sz  avgqu-sz     await     svctm     %util
11:28:22       dev3-0      9.00      0.00    112.00     12.44      0.01      0.89      0.89      0.80
11:28:22       dev8-0      0.00      0.00      0.00      0.00      0.00      0.00      0.00      0.00
11:28:22      dev8-16      0.00      0.00      0.00      0.00      2.01      0.00      0.00    100.40
11:28:22      dev8-32      0.00      0.00      0.00      0.00      0.00      0.00      0.00      0.00
11:28:22      dev8-48      0.00      0.00      0.00      0.00      0.00      0.00      0.00      0.00
11:28:22      dev8-64      0.00      0.00      0.00      0.00      0.00      0.00      0.00      0.00
11:28:22       dev9-0      0.00      0.00      0.00      0.00      0.00      0.00      0.00      0.00
11:28:23       dev3-0      2.97      0.00     63.37     21.33      0.00      1.33      1.33      0.40
11:28:23       dev8-0      0.00      0.00      0.00      0.00      0.00      0.00      0.00      0.00
11:28:23      dev8-16      0.00      0.00      0.00      0.00      1.99      0.00      0.00     99.41
11:28:23      dev8-32      0.00      0.00      0.00      0.00      0.00      0.00      0.00      0.00
11:28:23      dev8-48      0.00      0.00      0.00      0.00      0.00      0.00      0.00      0.00
11:28:23      dev8-64      0.00      0.00      0.00      0.00      0.00      0.00      0.00      0.00
11:28:23       dev9-0      0.00      0.00      0.00      0.00      0.00      0.00      0.00      0.00
11:28:24       dev3-0     19.00      8.00    192.00     10.53      0.05      2.74      2.53      4.80
11:28:24       dev8-0     13.00    424.00    424.00     65.23      0.31      6.77      4.31      5.60
11:28:24      dev8-16     33.00    560.00    504.00     32.24      2.36    353.09     29.82     98.40
11:28:24      dev8-32     24.00    552.00    448.00     41.67      0.48     10.17      4.00      9.60
11:28:24      dev8-48     19.00    488.00    424.00     48.00      0.50      9.26      4.21      8.00
11:28:24      dev8-64      6.00    344.00    344.00    114.67      0.40     10.00     12.00      7.20
11:28:24       dev9-0    478.00   1384.00   3680.00     10.59      0.00      0.00      0.00      0.00

11:28:24          DEV       tps  rd_sec/s  wr_sec/s  avgrq-sz  avgqu-sz     await     svctm     %util
11:28:25       dev3-0     11.00      0.00    152.00     13.82      0.04      4.00      1.09      1.20
11:28:25       dev8-0     39.00   1992.00   1240.00     82.87      0.79     26.05      4.10     16.00
11:28:25      dev8-16     44.00   2112.00   1456.00     81.09      2.08     53.00      6.27     27.60
11:28:25      dev8-32     46.00   1968.00   1528.00     76.00      1.57     39.39      4.70     21.60
11:28:25      dev8-48     49.00   1728.00   1648.00     68.90      2.54     58.29      5.39     26.40
11:28:25      dev8-64     51.00   1792.00   1808.00     70.59      2.15     48.78      4.63     23.60
11:28:25       dev9-0    361.00   5696.00   2688.00     23.22      0.00      0.00      0.00      0.00
11:28:26       dev3-0      4.00      8.00     64.00     18.00      0.02      4.00      4.00      1.60
11:28:26       dev8-0     17.00    192.00   1248.00     84.71      0.07      4.00      4.00      6.80
11:28:26      dev8-16     22.00    256.00   1440.00     77.09      0.16      7.09      6.36     14.00
11:28:26      dev8-32     18.00    320.00    808.00     62.67      0.10      5.33      5.33      9.60
11:28:26      dev8-48     15.00     16.00    784.00     53.33      0.07      4.80      4.80      7.20
11:28:26      dev8-64     11.00    424.00    568.00     90.18      0.16     14.91      9.45     10.40
11:28:26       dev9-0    410.00      0.00   3280.00      8.00      0.00      0.00      0.00      0.00
11:28:27       dev3-0      7.92      0.00     87.13     11.00      0.05      6.00      1.00      0.79
11:28:27       dev8-0     14.85      0.00    578.22     38.93      0.04      2.40      2.40      3.56
11:28:27      dev8-16     19.80    150.50    332.67     24.40      0.05      2.60      2.60      5.15
11:28:27      dev8-32     20.79    198.02    776.24     46.86      0.09      4.38      3.05      6.34
11:28:27      dev8-48     14.85    102.97    285.15     26.13      0.06      4.27      4.27      6.34
11:28:27      dev8-64     14.85    198.02    538.61     49.60      0.10      6.67      4.27      6.34
11:28:27       dev9-0    200.99      0.00   1607.92      8.00      0.00      0.00      0.00      0.00

11:28:27          DEV       tps  rd_sec/s  wr_sec/s  avgrq-sz  avgqu-sz     await     svctm     %util
11:28:28       dev3-0      3.96      0.00     63.37     16.00      0.00      0.00      0.00      0.00
11:28:28       dev8-0     18.81    483.17    237.62     38.32      0.14      7.58      4.84      9.11
11:28:28      dev8-16     21.78    372.28    332.67     32.36      0.13      6.00      5.09     11.09
11:28:28      dev8-32      8.91    253.47    261.39     57.78      0.05      5.78      5.78      5.15
11:28:28      dev8-48     16.83    277.23    538.61     48.47      0.04      2.59      2.59      4.36
11:28:28      dev8-64     18.81    277.23    649.50     49.26      0.04      1.89      1.89      3.56
11:28:28       dev9-0    211.88   1061.39   1196.04     10.65      0.00      0.00      0.00      0.00
11:28:29       dev3-0      8.08      0.00     88.89     11.00      0.00      0.00      0.00      0.00
11:28:29       dev8-0     24.24    387.88    630.30     42.00      0.22      9.00      3.33      8.08
11:28:29      dev8-16     28.28    597.98    630.30     43.43      0.09      3.29      2.71      7.68
11:28:29      dev8-32     13.13    258.59    323.23     44.31      0.06      4.62      4.62      6.06
11:28:29      dev8-48     19.19    363.64    783.84     59.79      0.04      2.32      2.32      4.44
11:28:29      dev8-64      9.09    258.59    290.91     60.44      0.05      5.33      5.33      4.85
11:28:29       dev9-0    296.97   1705.05   1664.65     11.35      0.00      0.00      0.00      0.00
11:28:30       dev3-0     18.63      0.00    219.61     11.79      0.00      0.00      0.00      0.00
11:28:30       dev8-0     17.65    298.04    588.24     50.22      0.13      7.11      5.56      9.80
11:28:30      dev8-16     23.53    298.04    541.18     35.67      0.14      0.83      5.83     13.73
11:28:30      dev8-32     11.76    250.98    533.33     66.67      0.10      8.33      6.33      7.45
11:28:30      dev8-48     17.65    509.80    423.53     52.89      0.15      8.44      6.67     11.76
11:28:30      dev8-64     18.63    745.10    282.35     55.16      0.16      8.42      8.42     15.69
11:28:30       dev9-0    285.29   1647.06   1670.59     11.63      0.00      0.00      0.00      0.00

11:28:30          DEV       tps  rd_sec/s  wr_sec/s  avgrq-sz  avgqu-sz     await     svctm     %util
11:28:31       dev3-0      8.08     24.24    113.13     17.00      0.02      2.50      2.50      2.02
11:28:31       dev8-0      0.00      0.00      0.00      0.00      0.00      0.00      0.00      0.00
11:28:31      dev8-16      0.00      0.00      0.00      0.00      1.01      0.00      0.00    101.41
11:28:31      dev8-32      4.04    121.21      0.00     30.00      0.00      0.00      0.00      0.00
11:28:31      dev8-48      0.00      0.00      0.00      0.00      0.00      0.00      0.00      0.00
11:28:31      dev8-64      1.01      8.08      0.00      8.00      0.01      8.00      8.00      0.81
11:28:31       dev9-0      5.05    129.29      0.00     25.60      0.00      0.00      0.00      0.00
11:28:32       dev3-0      9.80      0.00    133.33     13.60      0.06      6.40      0.80      0.78
11:28:32       dev8-0     23.53    439.22    839.22     54.33      0.11      4.33      4.33     10.20
11:28:32      dev8-16     31.37    933.33    611.76     49.25      0.76     59.50     22.62     70.98
11:28:32      dev8-32     15.69    643.14   1278.43    122.50      0.29     18.75      6.75     10.59
11:28:32      dev8-48     24.51    807.84    462.75     51.84      0.22      8.80      4.16     10.20
11:28:32      dev8-64     21.57    580.39   1035.29     74.91      0.12      5.64      4.55      9.80
11:28:32       dev9-0    427.45   2588.24   2745.10     12.48      0.00      0.00      0.00      0.00
11:28:33       dev3-0      3.06      0.00     65.31     21.33      0.00      0.00      0.00      0.00
11:28:33       dev8-0      5.10   1044.90     16.33    208.00      0.04      8.80      7.20      3.67
11:28:33      dev8-16      4.08    742.86      0.00    182.00      0.31      2.00     76.00     31.02
11:28:33      dev8-32      4.08    783.67     16.33    196.00      0.04     10.00     10.00      4.08
11:28:33      dev8-48      5.10    783.67     16.33    156.80      0.02      3.20      3.20      1.63
11:28:33      dev8-64      5.10    783.67     16.33    156.80      0.03      5.60      5.60      2.86
11:28:33       dev9-0     70.41   3877.55      0.00     55.07      0.00      0.00      0.00      0.00

11:28:33          DEV       tps  rd_sec/s  wr_sec/s  avgrq-sz  avgqu-sz     await     svctm     %util
11:28:34       dev3-0      2.91      0.00     31.07     10.67      0.00      0.00      0.00      0.00
11:28:34       dev8-0     12.62    644.66    450.49     86.77      0.18     14.46      9.54     12.04
11:28:34      dev8-16     15.53    419.42    823.30     80.00      0.35     41.25     16.75     26.02
11:28:34      dev8-32      7.77    823.30    264.08    140.00      0.14     18.00     13.50     10.49
11:28:34      dev8-48      9.71    504.85    761.17    130.40      0.07      7.20      7.20      6.99
11:28:34      dev8-64      7.77    497.09    753.40    161.00      0.07      8.50      8.50      6.60
11:28:34       dev9-0    278.64   1864.08   2166.99     14.47      0.00      0.00      0.00      0.00
11:28:35       dev3-0      4.00      0.00     64.00     16.00      0.00      0.00      0.00      0.00
11:28:35       dev8-0     19.00    120.00    664.00     41.26      0.13      6.74      4.42      8.40
11:28:35      dev8-16     21.00     48.00    848.00     42.67      0.35     16.76     16.57     34.80
11:28:35      dev8-32     18.00    248.00    616.00     48.00      0.14      8.00      5.78     10.40
11:28:35      dev8-48      9.00      0.00    288.00     32.00      0.04      4.44      4.44      4.00
11:28:35      dev8-64     11.00      0.00    304.00     27.64      0.04      3.64      3.64      4.00
11:28:35       dev9-0    209.00      0.00   1672.00      8.00      0.00      0.00      0.00      0.00
11:28:36       dev3-0      6.06      0.00     96.97     16.00      0.00      0.00      0.00      0.00
11:28:36       dev8-0     16.16    282.83    525.25     50.00      0.05      2.75      3.25      5.25
11:28:36      dev8-16     10.10    113.13    525.25     63.20      0.02      1.60      2.40      2.42
11:28:36      dev8-32     21.21    169.70    549.49     33.90      0.10      4.38      2.10      4.44
11:28:36      dev8-48      5.05    258.59    282.83    107.20      0.04      6.40      8.00      4.04
11:28:36      dev8-64      6.06    210.10    541.41    124.00      0.06      8.00      9.33      5.66
11:28:36       dev9-0    249.49    404.04   1729.29      8.55      0.00      0.00      0.00      0.00

11:28:36          DEV       tps  rd_sec/s  wr_sec/s  avgrq-sz  avgqu-sz     await     svctm     %util
11:28:37       dev3-0      2.94      0.00     31.37     10.67      0.00      0.00      0.00      0.00
11:28:37       dev8-0     11.76    274.51     23.53     25.33      0.08      7.33      4.00      4.71
11:28:37      dev8-16     14.71    501.96      7.84     34.67      0.25      3.47     17.07     25.10
11:28:37      dev8-32      9.80    250.98     23.53     28.00      0.03      4.00      3.20      3.14
11:28:37      dev8-48     14.71    431.37     23.53     30.93      0.01      1.33      0.80      1.18
11:28:37      dev8-64     10.78    250.98     23.53     25.45      0.08      8.36      5.82      6.27
11:28:37       dev9-0     71.57   1709.80      0.00     23.89      0.00      0.00      0.00      0.00
11:28:38       dev3-0      3.00      0.00     64.00     21.33      0.00      0.00      0.00      0.00
11:28:38       dev8-0     18.00    832.00    424.00     69.78      0.12      6.89      3.78      6.80
11:28:38      dev8-16     20.00    904.00    280.00     59.20      0.78     49.40     24.40     48.80
11:28:38      dev8-32     19.00   1000.00    592.00     83.79      0.22     11.37      4.84      9.20
11:28:38      dev8-48     12.00    672.00    528.00    100.00      0.16     13.00      8.33     10.00
11:28:38      dev8-64     28.00   1000.00    920.00     68.57      0.16      5.86      2.57      7.20
11:28:38       dev9-0    266.00   3496.00   1680.00     19.46      0.00      0.00      0.00      0.00
11:28:39       dev3-0      3.03      0.00     32.32     10.67      0.00      0.00      0.00      0.00
11:28:39       dev8-0      2.02    517.17     16.16    264.00      0.03     14.00     14.00      2.83
11:28:39      dev8-16      0.00      0.00      0.00      0.00      1.49      0.00      0.00     91.31
11:28:39      dev8-32      3.03    517.17     16.16    176.00      0.04     14.67      8.00      2.42
11:28:39      dev8-48      2.02    517.17     16.16    264.00      0.03     16.00     16.00      3.23
11:28:39      dev8-64      3.03    517.17     16.16    176.00      0.06     18.67     12.00      3.64
11:28:39       dev9-0     11.11   2553.54      0.00    229.82      0.00      0.00      0.00      0.00

11:28:39          DEV       tps  rd_sec/s  wr_sec/s  avgrq-sz  avgqu-sz     await     svctm     %util
11:28:40       dev3-0      2.94      0.00     62.75     21.33      0.00      0.00      0.00      0.00
11:28:40       dev8-0     10.78     94.12    486.27     53.82      0.08      7.64      5.82      6.27
11:28:40      dev8-16     16.67    721.57    831.37     93.18      0.39    110.35     12.47     20.78
11:28:40      dev8-32      2.94     47.06    266.67    106.67      0.04     13.33     13.33      3.92
11:28:40      dev8-48     10.78    211.76    768.63     90.91      0.06      5.45      5.45      5.88
11:28:40      dev8-64     10.78    156.86    815.69     90.18      0.04      3.64      3.64      3.92
11:28:40       dev9-0    272.55      0.00   2180.39      8.00      0.00      0.00      0.00      0.00
11:28:41       dev3-0      2.97      0.00     63.37     21.33      0.00      0.00      0.00      0.00
11:28:41       dev8-0     14.85    118.81    641.58     51.20      0.09      6.13      4.53      6.73
11:28:41      dev8-16     32.67    237.62    641.58     26.91      0.06      1.94      1.82      5.94
11:28:41      dev8-32     22.77    380.20    594.06     42.78      0.08      3.48      3.48      7.92
11:28:41      dev8-48     16.83    396.04    285.15     40.47      0.07      4.00      3.53      5.94
11:28:41      dev8-64     16.83    253.47    340.59     35.29      0.06      3.53      3.53      5.94
11:28:41       dev9-0    264.36   1108.91   1679.21     10.55      0.00      0.00      0.00      0.00
11:28:42       dev3-0      3.00      0.00     32.00     10.67      0.00      0.00      0.00      0.00
11:28:42       dev8-0     16.00    312.00    544.00     53.50      0.19     11.75      6.50     10.40
11:28:42      dev8-16     31.00    400.00    408.00     26.06      0.05      1.55      1.55      4.80
11:28:42      dev8-32     16.00    264.00    552.00     51.00      0.08      4.75      3.25      5.20
11:28:42      dev8-48     19.00    608.00    336.00     49.68      0.15      8.00      4.84      9.20
11:28:42      dev8-64     16.00    376.00    544.00     57.50      0.30     18.75      8.00     12.80
11:28:42       dev9-0    270.00   1440.00   1656.00     11.47      0.00      0.00      0.00      0.00

11:28:42          DEV       tps  rd_sec/s  wr_sec/s  avgrq-sz  avgqu-sz     await     svctm     %util
11:28:43       dev3-0      3.00      0.00     64.00     21.33      0.00      0.00      0.00      0.00
11:28:43       dev8-0     22.00    816.00    320.00     51.64      0.16      7.09      3.82      8.40
11:28:43      dev8-16     18.00    608.00    672.00     71.11      0.41     22.89     20.67     37.20
11:28:43      dev8-32     20.00    552.00    488.00     52.00      0.11      5.40      2.80      5.60
11:28:43      dev8-48     22.00    304.00    832.00     51.64      0.04      1.64      1.64      3.60
11:28:43      dev8-64     20.00    400.00    928.00     66.40      0.05      2.40      2.00      4.00
11:28:43       dev9-0    360.00   2184.00   2200.00     12.18      0.00      0.00      0.00      0.00
11:28:44       dev3-0      2.97      0.00     63.37     21.33      0.00      0.00      0.00      0.00
11:28:44       dev8-0     10.89    316.83    506.93     75.64      0.11     10.55      9.45     10.30
11:28:44      dev8-16      7.92    483.17    269.31     95.00      1.48    186.50    106.50     84.36
11:28:44      dev8-32      6.93    253.47    332.67     84.57      0.04      5.71      5.71      3.96
11:28:44      dev8-48     13.86    388.12    411.88     57.71      0.11      8.29      6.86      9.50
11:28:44      dev8-64      8.91    316.83    348.51     74.67      0.08      8.89      8.00      7.13
11:28:44       dev9-0    147.52   1283.17   1124.75     16.32      0.00      0.00      0.00      0.00
11:28:45       dev3-0      3.00      0.00     32.00     10.67      0.00      0.00      0.00      0.00
11:28:45       dev8-0      7.00    256.00    152.00     58.29      0.06      4.00      8.00      5.60
11:28:45      dev8-16      7.00    104.00    384.00     69.71      0.06      8.00      7.43      5.20
11:28:45      dev8-32     11.00    256.00    152.00     37.09      0.13     12.00      8.00      8.80
11:28:45      dev8-48     29.00    248.00    384.00     21.79      0.06      2.21      1.38      4.00
11:28:45      dev8-64     16.00    256.00    152.00     25.50      0.04      2.50      2.25      3.60
11:28:45       dev9-0    255.00   1120.00   1656.00     10.89      0.00      0.00      0.00      0.00

11:28:45          DEV       tps  rd_sec/s  wr_sec/s  avgrq-sz  avgqu-sz     await     svctm     %util
11:28:46       dev3-0     11.11      0.00    177.78     16.00      0.00      0.00      0.00      0.00
11:28:46       dev8-0     12.12    597.98    460.61     87.33      0.12     12.33      5.33      6.46
11:28:46      dev8-16      8.08    694.95    412.12    137.00      0.05      6.50      6.00      4.85
11:28:46      dev8-32      6.06    428.28    153.54     96.00      0.07     12.00     12.00      7.27
11:28:46      dev8-48     10.10    719.19    307.07    101.60      0.06      6.40      6.40      6.46
11:28:46      dev8-64      5.05    622.22    153.54    153.60      0.06     12.80     12.80      6.46
11:28:46       dev9-0     14.14   2311.11      8.08    164.00      0.00      0.00      0.00      0.00
11:28:47       dev3-0      3.00      0.00     32.00     10.67      0.00      0.00      0.00      0.00
11:28:47       dev8-0     17.00    704.00    704.00     82.82      0.15      8.94      5.65      9.60
11:28:47      dev8-16      6.00    440.00    224.00    110.67      0.08     12.67     12.67      7.60
11:28:47      dev8-32     10.00    760.00    544.00    130.40      0.22     21.60     14.00     14.00
11:28:47      dev8-48     11.00    416.00    240.00     59.64      0.09      8.36      7.64      8.40
11:28:47      dev8-64      6.00    520.00    288.00    134.67      0.08     12.67     12.00      7.20
11:28:47       dev9-0    155.00   2048.00   1168.00     20.75      0.00      0.00      0.00      0.00
11:28:48       dev3-0      2.94      0.00     62.75     21.33      0.00      0.00      0.00      0.00
11:28:48       dev8-0      6.86     47.06    329.41     54.86      0.09     12.57      9.14      6.27
11:28:48      dev8-16      6.86    250.98    352.94     88.00      0.04      5.71      5.71      3.92
11:28:48      dev8-32      8.82      0.00    549.02     62.22      0.05      5.33      4.00      3.53
11:28:48      dev8-48      9.80    274.51    556.86     84.80      0.03      3.20      2.80      2.75
11:28:48      dev8-64     10.78     70.59    603.92     62.55      0.14     13.09      8.36      9.02
11:28:48       dev9-0    205.88      0.00   1647.06      8.00      0.00      0.00      0.00      0.00

11:28:48          DEV       tps  rd_sec/s  wr_sec/s  avgrq-sz  avgqu-sz     await     svctm     %util
11:28:49       dev3-0      2.97      0.00     63.37     21.33      0.00      0.00      0.00      0.00
11:28:49       dev8-0     20.79    657.43    332.67     47.62      0.12      5.71      4.38      9.11
11:28:49      dev8-16     20.79    800.00    324.75     54.10      0.09      4.38      4.19      8.71
11:28:49      dev8-32      8.91    522.77    285.15     90.67      0.06      7.11      7.11      6.34
11:28:49      dev8-48     18.81    800.00    332.67     60.21      0.12      6.53      6.11     11.49
11:28:49      dev8-64     17.82    554.46    316.83     48.89      0.13      6.89      4.89      8.71
11:28:49       dev9-0    227.72   3413.86   1085.15     19.76      0.00      0.00      0.00      0.00
11:28:50       dev3-0      3.00      0.00     32.00     10.67      0.00      0.00      0.00      0.00
11:28:50       dev8-0      3.00    512.00     16.00    176.00      0.05     17.33     17.33      5.20
11:28:50      dev8-16      0.00      0.00      0.00      0.00      1.17      0.00      0.00     70.00
11:28:50      dev8-32      3.00    496.00     16.00    170.67      0.06     20.00     20.00      6.00
11:28:50      dev8-48      2.00    512.00     16.00    264.00      0.03     16.00     16.00      3.20
11:28:50      dev8-64      3.00    704.00     16.00    240.00      0.03     13.33     10.67      3.20
11:28:50       dev9-0     12.00   2488.00      0.00    207.33      0.00      0.00      0.00      0.00
11:28:51       dev3-0      4.95      0.00     95.05     19.20      0.00      0.00      0.00      0.00
11:28:51       dev8-0     16.83     71.29    847.52     54.59      0.04      2.59      2.59      4.36
11:28:51      dev8-16     11.88    514.85    800.00    110.67      0.55    143.33     13.67     16.24
11:28:51      dev8-32     13.86     55.45    720.79     56.00      0.09      6.29      4.86      6.73
11:28:51      dev8-48      9.90    229.70    514.85     75.20      0.09      9.20      6.40      6.34
11:28:51      dev8-64     18.81     71.29    847.52     48.84      0.06      2.95      2.95      5.54
11:28:51       dev9-0    349.50      0.00   2796.04      8.00      0.00      0.00      0.00      0.00

Average:          DEV       tps  rd_sec/s  wr_sec/s  avgrq-sz  avgqu-sz     await     svctm     %util
Average:       dev3-0      6.10     38.87     79.07     19.32      0.01      2.45      1.49      0.91
Average:       dev8-0      7.99    348.00    122.96     58.92      0.05      5.63      3.45      2.75
Average:      dev8-16      8.91    360.61    126.65     54.71      0.23     26.12     14.83     13.21
Average:      dev8-32      7.27    348.96    117.87     64.17      0.05      6.93      3.62      2.63
Average:      dev8-48      7.98    356.56    113.81     58.91      0.06      7.04      3.24      2.59
Average:      dev8-64      7.69    350.43    125.02     61.83      0.05      7.02      3.36      2.58
Average:       dev9-0     96.15   1603.98    398.97     20.83      0.00      0.00      0.00      0.00


Als ik het goed begrijp moet ik mijn sdb (dat is device 8:16) eens onder de loep gaan nemen. Die piekt namelijk voortdurend met zijn await tijden.

Ik kan je niet helpen. De frutsel is warrig en niet knopig. Bovendien heb ik maar één kant | Scrobblernakel


  • BoAC
  • Registratie: Februari 2003
  • Laatst online: 30-01 22:31

BoAC

Memento mori

smartctl zal je daar goed bij kunnen helpen. Welke rol speelt sdb trouwens in jouw raid5 configuratie?

  • Pastinakel
  • Registratie: December 2000
  • Laatst online: 24-01 17:07

Pastinakel

Zwammen en kwazoedels

Topicstarter
BoAC schreef op donderdag 31 januari 2008 @ 19:19:
smartctl zal je daar goed bij kunnen helpen. Welke rol speelt sdb trouwens in jouw raid5 configuratie?
Working device, 1 van 5.
code:
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
alpha ~ # mdadm -D /dev/md0
/dev/md0:
        Version : 00.90.03
  Creation Time : Tue Dec 12 11:13:35 2006
     Raid Level : raid5
     Array Size : 781433344 (745.23 GiB 800.19 GB)
    Device Size : 195358336 (186.31 GiB 200.05 GB)
   Raid Devices : 5
  Total Devices : 5
Preferred Minor : 0
    Persistence : Superblock is persistent

    Update Time : Thu Jan 31 19:22:00 2008
          State : clean
 Active Devices : 5
Working Devices : 5
 Failed Devices : 0
  Spare Devices : 0

         Layout : left-symmetric
     Chunk Size : 128K

           UUID : 475e0fd0:ab019f86:4488fdfd:3f0a8f9c
         Events : 0.130476

    Number   Major   Minor   RaidDevice State
       0       8        1        0      active sync   /dev/sda1
       1       8       17        1      active sync   /dev/sdb1
       2       8       49        2      active sync   /dev/sdd1
       3       8       65        3      active sync   /dev/sde1
       4       8       33        4      active sync   /dev/sdc1
alpha ~ #

Als ik uit die SMART-brei wijs wordt zal het er waarschijnlijk op uitlopen dat ik deze schijf ga vervangen. Ik heb al meer dan een week een order staan bij empc (van items die binnen 1-4 werkdagen leverbaar zouden zijn), waaronder een spare disk voor deze array.

Dat er iets mis is, is me duidelijk maar wat er mis is en hoe ernstig is me een raadsel.
code:
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
alpha ~ # smartctl --all /dev/sdb
smartctl version 5.37 [x86_64-pc-linux-gnu] Copyright (C) 2002-6 Bruce Allen
Home page is http://smartmontools.sourceforge.net/

=== START OF INFORMATION SECTION ===
Model Family:     Maxtor DiamondMax 10 family (ATA/133 and SATA/150)
Device Model:     Maxtor 6L200M0
Serial Number:    L404K59H
Firmware Version: BANC1E00
User Capacity:    203,928,109,056 bytes
Device is:        In smartctl database [for details use: -P show]
ATA Version is:   7
ATA Standard is:  ATA/ATAPI-7 T13 1532D revision 0
Local Time is:    Thu Jan 31 19:25:17 2008 CET
SMART support is: Available - device has SMART capability.
SMART support is: Enabled

Warning! SMART Attribute Thresholds Structure error: invalid SMART checksum.
=== START OF READ SMART DATA SECTION ===
SMART overall-health self-assessment test result: PASSED

General SMART Values:
Offline data collection status:  (0x82) Offline data collection activity
                                        was completed without error.
                                        Auto Offline Data Collection: Enabled.
Self-test execution status:      ( 118) The previous self-test completed having
                                        the read element of the test failed.
Total time to complete Offline
data collection:                 (1562) seconds.
Offline data collection
capabilities:                    (0x5b) SMART execute Offline immediate.
                                        Auto Offline data collection on/off support.
                                        Suspend Offline collection upon new
                                        command.
                                        Offline surface scan supported.
                                        Self-test supported.
                                        No Conveyance Self-test supported.
                                        Selective Self-test supported.
SMART capabilities:            (0x0003) Saves SMART data before entering
                                        power-saving mode.
                                        Supports SMART auto save timer.
Error logging capability:        (0x01) Error logging supported.
                                        General Purpose Logging supported.
Short self-test routine
recommended polling time:        (   2) minutes.
Extended self-test routine
recommended polling time:        (  81) minutes.

SMART Attributes Data Structure revision number: 16
Vendor Specific SMART Attributes with Thresholds:
ID# ATTRIBUTE_NAME          FLAG     VALUE WORST THRESH TYPE      UPDATED  WHEN_FAILED RAW_VALUE
  3 Spin_Up_Time            0x0027   199   199   063    Pre-fail  Always       -       13885
  4 Start_Stop_Count        0x0032   253   253   000    Old_age   Always       -       62
  5 Reallocated_Sector_Ct   0x0033   253   253   063    Pre-fail  Always       -       3
  6 Read_Channel_Margin     0x0001   253   253   100    Pre-fail  Offline      -       0
  7 Seek_Error_Rate         0x000a   253   252   000    Old_age   Always       -       0
  8 Seek_Time_Performance   0x0027   241   229   187    Pre-fail  Always       -       36078
  9 Power_On_Minutes        0x0032   189   189   000    Old_age   Always       -       650h+41m
 10 Spin_Retry_Count        0x002b   253   252   157    Pre-fail  Always       -       0
 11 Calibration_Retry_Count 0x002b   253   252   223    Pre-fail  Always       -       0
 12 Power_Cycle_Count       0x0032   253   253   000    Old_age   Always       -       74
192 Power-Off_Retract_Count 0x0032   253   253   000    Old_age   Always       -       0
193 Load_Cycle_Count        0x0032   253   253   000    Old_age   Always       -       0
194 Temperature_Celsius     0x0032   035   253   000    Old_age   Always       -       32
195 Hardware_ECC_Recovered  0x000a   253   226   000    Old_age   Always       -       4195
196 Reallocated_Event_Count 0x0008   248   248   000    Old_age   Offline      -       5
197 Current_Pending_Sector  0x0008   253   253   000    Old_age   Offline      -       3
198 Offline_Uncorrectable   0x0008   253   246   000    Old_age   Offline      -       0
199 UDMA_CRC_Error_Count    0x0008   199   199   000    Old_age   Offline      -       0
200 Multi_Zone_Error_Rate   0x000a   253   252   000    Old_age   Always       -       0
201 Soft_Read_Error_Rate    0x000a   253   252   000    Old_age   Always       -       0
202 TA_Increase_Count       0x000a   253   252   000    Old_age   Always       -       0
203 Run_Out_Cancel          0x000b   253   252   180    Pre-fail  Always       -       0
204 Shock_Count_Write_Opern 0x000a   253   252   000    Old_age   Always       -       0
205 Shock_Rate_Write_Opern  0x000a   253   252   000    Old_age   Always       -       0
207 Spin_High_Current       0x002a   253   252   000    Old_age   Always       -       0
208 Spin_Buzz               0x002a   253   252   000    Old_age   Always       -       0
209 Offline_Seek_Performnce 0x0024   239   239   000    Old_age   Offline      -       170
210 Unknown_Attribute       0x0032   253   252   000    Old_age   Always       -       0
211 Unknown_Attribute       0x0032   253   252   000    Old_age   Always       -       0
212 Unknown_Attribute       0x0032   253   212   000    Old_age   Always       -       0

Warning! SMART ATA Error Log Structure error: invalid SMART checksum.
SMART Error Log Version: 1
No Errors Logged

SMART Self-test log structure revision number 1
Num  Test_Description    Status                  Remaining  LifeTime(hours)  LBA_of_first_error
# 1  Short offline       Completed: read failure       60%     22492         398284971
# 2  Offline             Aborted by host               70%         0         -

SMART Selective self-test log data structure revision number 1
 SPAN  MIN_LBA  MAX_LBA  CURRENT_TEST_STATUS
    1        0        0  Not_testing
    2        0        0  Not_testing
    3        0        0  Not_testing
    4        0        0  Not_testing
    5        0        0  Not_testing
Selective self-test flags (0x0):
  After scanning selected spans, do NOT read-scan remainder of disk.
If Selective self-test is pending on power-up, resume after 0 minute delay.

Ik kan je niet helpen. De frutsel is warrig en niet knopig. Bovendien heb ik maar één kant | Scrobblernakel


  • daft_dutch
  • Registratie: December 2003
  • Laatst online: 02-12-2025

daft_dutch

>.< >.< >.< >.<

misschien is hdparm wel een leuke om wat te zien
ik heb oude rommel dus het zal wel sneller gaan dan dit.
code:
1
2
3
4
5
Vulcano:~# hdparm -Tt /dev/sda

/dev/sda:
 Timing cached reads:   968 MB in  2.00 seconds = 483.38 MB/sec
 Timing buffered disk reads:   74 MB in  3.61 seconds =  20.47 MB/sec


Hoeveel MB is een opname. als dat een gig is kan je een mem reepje kopen en daar een ram disk van maken.

[ Voor 68% gewijzigd door daft_dutch op 01-02-2008 00:46 ]

>.< >.< >.< >.<


  • Pastinakel
  • Registratie: December 2000
  • Laatst online: 24-01 17:07

Pastinakel

Zwammen en kwazoedels

Topicstarter
Iedereen die suggesties heeft aangedragen: heel hartelijk dank!
Het probleem lijkt te zijn opgelost. :*)
Verwijderd schreef op maandag 21 januari 2008 @ 14:54:
METEN is WETEN
ga eerst je syteem analiserren met sar vmstat ed . Vervolgens kun je gefundeerd inschatten waar je probleem ligt.
Ik moet eerlijk zeggen dat ik nogal gepikeerd was toen ik deze reply voor het eerst zag maar je bent wel degene geweest die de oplossing aandroeg. En daar ben ik je erg dankbaar voor.

Op dit moment heb ik 1 schijf in mijn raid5 array vervangen voor een andere en zit ik op dit moment naar een DVD te kijken terwijl er 3 programma's worden opgenomen op dezelfde array. Dat DVD kijken gaat ZONDER SCHOKKEN!! Op dit moment wordt de array ook nog gerebuild doordat ik die rotte schijf als faulty gemarkeerd heb en de nieuwe spare ingericht wordt als active device. De await tijden voor alle actieve raid disks is onder 10.

Straks haal ik maxblast (of hoe heet die tool tegenwoordig) eens over die rotte maxtor heen en ga ik eens kijken of ik de garantie nog voor mei kan claimen: dan loopt' ie af namelijk.

Samengevat: deze media server stond grote delen van de tijd te wachten op data van een schijf die aan het kapotgaan was.

Hieronder is sdb de rotte schijf (die is nu uit de array en inactief vandaar al die lage waarden) en zijn sda, sdc, sdd, sde en sdf de raid5 disks. De array is nog aan het rebuilden.

code:
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
alpha ~ # iostat -x
Linux 2.6.18-gentoo-r3 (alpha)  02/05/08

avg-cpu:  %user   %nice %system %iowait  %steal   %idle
           2.93    0.44    7.71    4.51    0.00   84.41

Device:         rrqm/s   wrqm/s     r/s     w/s   rsec/s   wsec/s avgrq-sz avgqu-sz   await  svctm  %util
hda               0.66     0.93    2.27    1.21   105.12    17.09    35.12     0.03    8.85   3.87   1.35
sda            4120.36    56.20  139.66    5.85 34083.02   507.97   237.71     0.70    4.82   2.30  33.54
sdb               2.36     1.71    0.15    0.27    19.95    16.42    86.01     0.00    8.52   6.29   0.27
sdc            4130.25    56.01  150.57    5.79 34250.43   506.10   222.28     0.77    4.89   2.26  35.32
sdd            4158.07    55.83  101.44    6.08 34079.06   506.75   321.67     0.82    7.61   3.57  38.36
sde            4137.29    55.71  143.01    5.84 34246.31   504.00   233.45     0.76    5.13   2.36  35.09
sdf               0.03  4126.04    0.01  103.85     0.08 33849.45   325.92     0.27    2.65   1.85  19.17
md0               0.00     0.00   37.27  213.38  1821.76  1707.04    14.08     0.00    0.00   0.00   0.00

Ik kan je niet helpen. De frutsel is warrig en niet knopig. Bovendien heb ik maar één kant | Scrobblernakel


  • Olaf van der Spek
  • Registratie: September 2000
  • Niet online
Pastinakel schreef op dinsdag 05 februari 2008 @ 13:24:
Samengevat: deze media server stond grote delen van de tijd te wachten op data van een schijf die aan het kapotgaan was.
Mooi dat het opgelost is. Wel jammer dat het zo lastig is storage performance te onderzoeken.

[ Voor 30% gewijzigd door Olaf van der Spek op 05-02-2008 13:53 ]

Pagina: 1