[Debian] Hoge load bij I/O

[dupondje]

Hallo, Ik heb problemen met mijn server.
Wanneer er bijvoorbeeld 5 uploads & 5 downloads zijn, dan stijgt de load naar '22.26, 14.50, 7.11'.
Server is verbonden met 100mbit.
02:08.0 Ethernet controller: 3Com Corporation 3Com 3C920B-EMB-WNM Integrated Fast Ethernet Controller (rev 40)
Processor is een Intel Celeron 2.2GHZ.
Bij 5up/down begint server echt te laggen, command uitvoeren enzo duurt lang.

Ik heb ook hoge load bij uitvoeren van hdparm -tT /dev/hd*.
Heb zelfde load probleem op sata harddisks, dus denk niet dat het aan controller ligt


# hdparm /dev/hda

/dev/hda:

multcount = 16 (on)
IO_support = 0 (default 16-bit)
unmaskirq = 0 (off)
using_dma = 1 (on)
keepsettings = 0 (off)
readonly = 0 (off)
readahead = 256 (on)
geometry = 24792/255/63, sectors = 398297088, start = 0

dit lijkt me ook OK.

Iemand enig id wat kan fout zijn? ben echt beetje ten einde raad. Heb al verschillende kernel versies enzo geprobeerd ook (zelf compiled, misschien zit daar iets fout).

[zAo]

Welk filesysteem gebruik je? ReiserFS trekt bijvoorbeeld wat meer CPU.

[WHiZZi]

Geef de output eens van hdparm -I /dev/hda ?
(I = hoofletter i )

Dan krijgen we ook info over de DMA/PIO enzo

[dupondje]

Filesystem: ext3

code:

/dev/hda:

ATA device, with non-removable media
        Model Number:       Maxtor 6Y200P0
        Serial Number:      Y624539E
        Firmware Revision:  YAR41BW0
Standards:
        Used: ATA/ATAPI-7 T13 1532D revision 0
        Supported: 7 6 5 4
Configuration:
        Logical         max     current
        cylinders       16383   65535
        heads           16      1
        sectors/track   63      63
        --
        CHS current addressable sectors:    4128705
        LBA    user addressable sectors:  268435455
        LBA48  user addressable sectors:  398297088
        device size with M = 1024*1024:      194481 MBytes
        device size with M = 1000*1000:      203928 MBytes (203 GB)
Capabilities:
        LBA, IORDY(can be disabled)
        Standby timer values: spec'd by Standard, no device specific minimum
        R/W multiple sector transfer: Max = 16  Current = 16
        Advanced power management level: unknown setting (0x0000)
        Recommended acoustic management value: 192, current value: 254
        DMA: mdma0 mdma1 mdma2 udma0 udma1 *udma2 udma3 udma4 udma5 udma6
             Cycle time: min=120ns recommended=120ns
        PIO: pio0 pio1 pio2 pio3 pio4
             Cycle time: no flow control=120ns  IORDY flow control=120ns
Commands/features:
        Enabled Supported:
           *    SMART feature set
                Security Mode feature set
           *    Power Management feature set
           *    Write cache
           *    Look-ahead
           *    Host Protected Area feature set
           *    WRITE_VERIFY command
           *    WRITE_BUFFER command
           *    READ_BUFFER command
           *    NOP cmd
           *    DOWNLOAD_MICROCODE
                Advanced Power Management feature set
                SET_MAX security extension
           *    Automatic Acoustic Management feature set
           *    48-bit Address feature set
           *    Device Configuration Overlay feature set
           *    Mandatory FLUSH_CACHE
           *    FLUSH_CACHE_EXT
           *    SMART error logging
           *    SMART self-test
Security:
        Master password revision code = 65534
                supported
        not     enabled
        not     locked
                frozen
        not     expired: security count
        not     supported: enhanced erase
HW reset results:
        CBLID- above Vih
        Device num = 0 determined by the jumper
Checksum: correct

[WHiZZi]

Je schijf draait dus met udma2 en claimt te kunnen draaien op udma6.

Probeer eens:

hdparm -X70 /dev/hda 

Krijg je nu geen foutmelding, dan weer eens opnieuw testen of het beter gaat. Krijg je wel een foutmelding, zet je de X70 wat lager,

X70=udma6
X69=udma5
X68=udma4
X67=udma3

etc
Kijken of dat een goede oplossing is .

[deadinspace]

dupondje schreef op donderdag 31 mei 2007 @ 15:01:
Heb al verschillende kernel versies enzo geprobeerd ook (zelf compiled, misschien zit daar iets fout).

Mja, dat kun je eigenlijk beter niet doen tenzij je een goede reden hebt

Geef tijdens het up/downloaden (dus als alles zo traag is) eens de output van ongeveer een minuutje

vmstat 2

?

[MrBarBarian]

* Kijk met top welk process zoveel cpu snoept
* zegt dmesg iets over io-time-outs
* check SMART-status
* zegt /var/log/messages (of syslog) iets over read/write errors?
* doe een fsck

[dupondje]

deadinspace schreef op donderdag 31 mei 2007 @ 16:44:
[...]

Mja, dat kun je eigenlijk beter niet doen tenzij je een goede reden hebt

Geef tijdens het up/downloaden (dus als alles zo traag is) eens de output van ongeveer een minuutje

vmstat 2

?

code:

# vmstat 4 100
procs -----------memory---------- ---swap-- -----io---- -system-- ----cpu----
 r  b   swpd   free   buff  cache   si   so    bi    bo   in   cs us sy id wa
 0  0      0   8832  11648 812520    0    0   341   254  440   61  8  2 88  2
 0  0      0   8740  11700 811808    0    0     4   173 5777 1909 23 32 39  6
 2  0      0   8760  11576 809456    0    0     3 14680 9389 2168 28 60  4  8
 1  1      0   9148  11604 808740    0    0     5  6750 11864 2291 35 64  0  0
 3  0      0 100764  11676 716612    0    0     7 11615 12386 2551 34 64  1  1
 0  0      0 112224  11732 704020    0    0    95 10664 9285 2020 38 56  2  3
 1  1      0  65476  11792 749724    0    0     0 10807 11921 2541 39 60  1  0
 3  1      0  18624  11848 795732    0    0     0 13642 11963 2499 36 64  0  0
 3  0      0   8908  11864 805788    0    0     1  3334 15513 3112 35 65  0  0
 3  0      0  46656  11900 768728    0    0     1 13735 10037 1870 36 63  0  1
 2  5      0 188308  11972 626912    0    0     0 21932 17428 3538 32 64  0  4
 7  0      0 148016  12028 667912    0    0     1  2441 10661 2204 36 64  0  0
 3  0      0 114968  12140 699988    0    0     2 24671 20875 4168 31 69  0  0
 0  0      0  74436  12184 740196    0    0     0 10024 10434 2167 40 58  0  2
 0  3      0  34112  12228 778228    0    0     4 12055 10050 2213 27 65  1  7
 0  0      0   9260  12308 804864    0    0     0  5379 10448 2002 36 63  1  0
 0  3      0  16060  12324 796336    0    0     4 13126 10634 2070 34 65  1  1
 0  4      0  76096  12376 735304    0    0    33  9201 10244 2235 34 58  2  6
 1  1      0  37312  12444 775188    0    0     3   889 10254 2062 32 62  1  5
 3  1      0   9116  12460 802868    0    0     0 11703 11260 2033 33 67  0  0
 7  0      0  51884  12616 757676    0    0     6 22982 31129 5110 45 55  0  0
 5  2      0  49748   9540 761304    0    0     0 40549 25161 4605 43 57  0  0
 5  0      0  14432   9596 798308    0    0     0  4134 9930 1831 42 58  0  0
 4  0      0   9240   8472 803816    0    0     1  9489 11178 1739 43 57  0  0
10  2      0   9284   8328 803236    0    0     5 23675 18004 3493 43 57  0  0
 9  1      0   8640   6276 807976    0    0     1 18469 20175 3946 33 67  0  0
14  2      0   8888   6316 806388    0    0     9 13403 12882 2328 30 70  0  0
11  4      0 106188   2972 717172    0    0  1525 14579 17116 3284 37 63  0  0
 5  0      0 167236   3192 660688    0    0   917  8704 9042 2565 39 58  0  3
 6  2      0 122956   3276 704292    0    0    80  8601 11530 2407 35 65  0  0
 1  0      0 153652   3344 675864    0    0    37  4610 5668 2564 27 35 33  5
 1  0      0 136328   3372 693308    0    0     0  5393 5015 2770 20 29 42  9
 0  0      0 199960   3392 629920    0    0     0  3577 4947 2334 20 29 47  5
 0  0      0 185656   3412 644268    0    0    12     0 4162 2145 22 22 56  1
 0  0      0 178524   3428 654956    0    0     0  4895 3173 1747 22 16 52 10
 0  0      0 167380   3448 666220    0    0     0  3402 3341 1646 15 17 59  9
 0  0      0 158220   3464 675500    0    0     0  3568 2827 1968 14 13 64  9
 0  0      0 149180   3512 684576    0    0     2  2957 2701 1915 17 13 59 11

[Gwaihir]

dupondje schreef op donderdag 31 mei 2007 @ 15:54:

code:

Capabilities:
        Recommended acoustic management value: 192, current value: 254

254 is kennelijk niet de standaardwaarde. Staat die al op extra snel, of is dat extra stil? In principe geldt, hoe stiller je 'm zet (acoustic management), hoe langzamer de drive wordt. Hij houdt zich dan letterlijk rustig.

Kun je die vmstat output ook even tussen code tags zetten, voor de leesbaarheid?

[ Voor 9% gewijzigd door Gwaihir op 31-05-2007 17:51 ]

[deadinspace]

Nog wat vraagjes:
Welke kernel (-versie) draai je nu?
Met wat voor protocol/software doe je die up/downloads?
Wat voor chipset heeft je moederbord?
Om welke harddisks gaat het, en aan welke controllers hangen die?

[DrClaw]

wat voor een ftp server gebruik je ?

[GeeMoney]

Wat laat hdparm -tT /dev/hda eigenlijk zien?

[Verwijderd]

Je hebt niet geknepen op intern geheugen? Voor een volle 100mbit lijn is mijn ervaring dat je minstens 256MB RAM nodig hebt voor redelijke prestaties.

[dupondje]

Kernel: Linux 2.6.21.3
ftp: glftpd 2.01
Linux Debian Etch
ATI 9100 Chipset
Geheugen: ~900MB

HDPARM:

/dev/hda:
Timing cached reads: 834 MB in 2.00 seconds = 416.47 MB/sec
Timing buffered disk reads: 90 MB in 3.02 seconds = 29.77 MB/sec

[WHiZZi]

aan de snelheid van je schijf ligt het iig niet.. Dat is gewoon een normaal getal.

Het moet dus gezocht worden in de daemon of wellicht bad sectors?

[dupondje]

Ik denk juist aan iets, die pc doet ook dienst al router (iptables). Misschien zorgt iptables voor hoge load door al het netwerkverkeer ? en dat daarom pc traag wordt ?

[MrBarBarian]

dupondje schreef op vrijdag 01 juni 2007 @ 16:07:
Ik denk juist aan iets, die pc doet ook dienst al router (iptables). Misschien zorgt iptables voor hoge load door al het netwerkverkeer ? en dat daarom pc traag wordt ?

zoals ik al eerder aangaf, kijk eens naar top

[GeeMoney]

Draai anders eens iostat met wat opties en kijk wat daar uit komt voor 15 minuten bijvoorbeeld.

man iostat

Maar voor zover inderdaad kan het bijna niet aan je disk snelheid liggen, nu is je processor ook geen beest natuurlijk.
Filter even met top welke proces zo loopt te harken in je systeem

[ Voor 46% gewijzigd door GeeMoney op 01-06-2007 16:22 ]

[Rainmaker]

Zit je misschien met een 40pins kabel ipv een 80pins op die IDE schijf? Ook al zal dit eerder zorgen voor lage transfers dan hoge CPU load.

Kun je de schijf misschien in een andere PC proberen?

[dupondje]

ALLE processen die veel van HDD vragen geven super veel load!

Zoals dd, hdparm, wget (downloaden), ftp ....

En kheb probleem ook met sata harddisks ... dus

[deadinspace]

dupondje schreef op vrijdag 01 juni 2007 @ 15:53:
/dev/hda:
Timing cached reads: 834 MB in 2.00 seconds = 416.47 MB/sec
Timing buffered disk reads: 90 MB in 3.02 seconds = 29.77 MB/sec

Wat GeeMoney er niet bij zei: je dient een hdparm benchmark uit te voeren op een voor de rest idle systeem. Als andere processen op het moment van de benchmark de harddisk gebruiken, dan haalt de benchmark natuurlijk slechtere resultaten. Zou je die test dus eens willen herhalen met een zo idle mogelijk systeem?

Mochten deze resultaten van een idle systeem zijn, dan zijn de disk reads niet echt geweldig; Ik zou verwachten dat die schijf toch wel 50 a 60 MB/sec haalt.

dupondje schreef op vrijdag 01 juni 2007 @ 16:07:
Ik denk juist aan iets, die pc doet ook dienst al router (iptables). Misschien zorgt iptables voor hoge load door al het netwerkverkeer ? en dat daarom pc traag wordt ?

Dat lijkt me vrij sterk, tenzij je hele wilde iptables rules hebt.

dupondje schreef op vrijdag 01 juni 2007 @ 22:43:
ALLE processen die veel van HDD vragen geven super veel load!

Zoals dd, hdparm, wget (downloaden), ftp ....

Ik verdenk om eerlijk te zijn de chipset, of diens drivers. Ik heb soortgelijke ervaringen met wat oudere Via chipsets (met name die voor Amd CPU's) : supertrage systemen bij disk I/O. File unrarren? Reken er maar niet op dat je nog fatsoenlijk kan typen.

Vergelijkbare systemen met een NForce of Intel chipset gaan uitstekend.

En kheb probleem ook met sata harddisks ... dus

En hoe zijn die sata harddisks aangesloten? Een losse controller? Een losse sata chip op het moederbord? Direct aan sata controllers in de southbridge?

[Rainmaker]

DMA: mdma0 mdma1 mdma2 udma0 udma1 *udma2 udma3 udma4 udma5 udma6
Cycle time: min=120ns recommended=120ns

Sowieso klopt dit al niet. Ik ga mee met de verdenking van de chipsetdrivers. Ik denk dat je een driver hebt geselecteerd die niet specifiek voor jouw controller is bedoeld. Ofwel, welke controller en welke driver? Heb je em in-kernel compileerd of als module?

[dupondje]

http://www.asus.com/produ...4=0&model=169&modelmenu=1

Dit is het moederbord ...
ATA driver is ATI driver in kernel (compiled in kernel, dus NIET als module)


De SATA harddisks zijn aangesloten op een externe Silicon Image controller.


Cpu(s): 40.3%us, 17.8%sy, 0.0%ni, 0.0%id, 0.0%wa, 9.2%hi, 32.7%si, 0.0%st

De si is wat aan de hoge kant niet ?

[ Voor 18% gewijzigd door dupondje op 03-06-2007 14:32 ]