SCSI syteem te traag onder Linux

[deepbass909]

Ik weet dat het al vaak voorbij is gekomen, maar ik moet het toch kwijt...

Ik heb een IBM PC Server 330 met een ServeRAID controller.
De machine is een Dual PPro 200 Mhz met 192MByte EDO/ECC systeem geheugen.
De ServeRAID controller is een PCI SCSI Raid controller op basis van 3 Adaptec AIC-7880U controller chips, aangestuurd door een PowerPC Risc processor. Ik weet alleen niet precies of het nou SCSI Ultra, Ultra Wide of Ultra 2 Wide controllers zijn...

De SCSI-kanalen werken op 20Mhz, welke theoretisch een doorvoersnelheid geven van 20MByte/sec. Daarnaast is write-back Cache ingesteld voor alle schijven.

De schijven zijn vervolgens in de volgende setups ingesteld:

code:

Array A: 2x IBM     DCHS04W 6363 4303MB (Raid 1)
Array B: 3x Seagate ST39173L6218 8683MB (Raid 5)
Array C: 2x IBM     DCHS04W 6363 4303MB (Raid 1)
Array D: 1x Quantum Atlas V 0230 8755MB (Raid 0)

Met hdparm -tT /dev/sdx krijg ik deze resultaten:

code:

/dev/sda:
 Timing buffer-cache reads:   128 MB in  4.08 seconds = 31.37 MB/sec
 Timing buffered disk reads:  64 MB in 11.95 seconds =  5.36 MB/sec

/dev/sdb:
 Timing buffer-cache reads:   128 MB in  3.85 seconds = 33.25 MB/sec
 Timing buffered disk reads:  64 MB in  7.60 seconds =  8.42 MB/sec

/dev/sdc:
 Timing buffer-cache reads:   128 MB in  3.79 seconds = 33.77 MB/sec
 Timing buffered disk reads:  64 MB in 15.52 seconds =  4.12 MB/sec

/dev/sdd:
 Timing buffer-cache reads:   128 MB in  3.88 seconds = 32.99 MB/sec
 Timing buffered disk reads:  64 MB in  7.63 seconds =  8.39 MB/sec

Naar mijn idee zijn de buffered disk reads veelst traag... Daarnaast zit er een beetje rare verdeling in de snelheden... /dev/sdd is maar 1 schijf, maar die haalt bijna de hoogste snelheid, terwijl /dev/sdb in Raid 5 zit, en dus sneller zou moeten zijn...
Ik heb voor de controller speciale drivers geïnstalleerd.

Mijn eerste vraag is, zijn deze waardes echt te laag?
Het is zo jammer namelijk dat mijn SCSI schijven de bottle neck vormen in mijn 100Mbit netwerk.. Hij staat namelijk als File server te draaien hier.

[Wolfboy]

Ik heb exact dezelfde server een tijdje geleden ook onder handen gehad en de performance van 6 schijven in RAID0 was ook om te huilen, ik haalde zo'n 16MB/s max.
Vergeet ook niet dat het oude schijfjes zijn en dus zeer langzaam zijn, ik ben bang dat die schijven gewoon niet veel meer aankunnen.

deepbass909 schreef op zaterdag 25 december 2004 @ 02:35:
Naar mijn idee zijn de buffered disk reads veelst traag... Daarnaast zit er een beetje rare verdeling in de snelheden... /dev/sdd is maar 1 schijf, maar die haalt bijna de hoogste snelheid, terwijl /dev/sdb in Raid 5 zit, en dus sneller zou moeten zijn...

Vergeet niet dat RAID5 lang niet altijd sneller is dan een single schijf, als je met 3 schijven een RAID5 hebt dan heb je grote kans dat een enkele schijf hem inhaalt (wel zeer afhankelijk van de controller natuurlijk)
Ik weet ook niet of deze chips alles hardwarematig doen of ook gedeeltelijk softwarematig want RAID5 kost nog redelijk wat cpu kracht (voor zo'n server best merkbaar iig)

[ Voor 57% gewijzigd door Wolfboy op 25-12-2004 02:42 ]

[deepbass909]

Deze controller heeft een geheel eigen systeem ondergebracht, met een eigen Risc processor die een eigen PCI-bus heeft waar de 3 adaptec chips op zitten. Processor belasting zal in dit geval niet het probleem zijn (daarbij komt mijn systeem belasting zelden boven de 70% uit).

Ik heb nog zitten zoeken naar specs van deze schijven, en die stellen dat ze minimaal 10MByte/sec moeten kunnen halen, zelfs de 4,3 GB schijfjes. Deze halen de helft... Daarnaast zou de Atlas V schijf tegen de 29MByte/sec moeten kunnen...

Kortom, ik heb sterk het idee dat er ergens iets niet helemaal zit zoals het zou moeten zitten...

[joopv]

deepbass909 schreef op zaterdag 25 december 2004 @ 02:55:
Deze controller heeft een geheel eigen systeem ondergebracht, met een eigen Risc processor die een eigen PCI-bus heeft waar de 3 adaptec chips op zitten. Processor belasting zal in dit geval niet het probleem zijn (daarbij komt mijn systeem belasting zelden boven de 70% uit).

Ik heb nog zitten zoeken naar specs van deze schijven, en die stellen dat ze minimaal 10MByte/sec moeten kunnen halen, zelfs de 4,3 GB schijfjes. Deze halen de helft... Daarnaast zou de Atlas V schijf tegen de 29MByte/sec moeten kunnen...

Kortom, ik heb sterk het idee dat er ergens iets niet helemaal zit zoals het zou moeten zitten...

Verwar de interface snelheid niet met de media snelheid. Die 29MByte/sec voor de AtlasV is alleen aan de buitenkant van de schijf bijvoorbeeld, waar de omtreksnelheid het hoogst is.

De 33MB/s dataxfer snelheid die je voor de cache reads ziet, zit aardig tegen de maximumsnelheid van de ultawide scsi bus aan (40MB). Denk er aan dat je ook te maken hebt met overhead op de scsi bus.

Die oude ('97) 4GB ultrastar schijfjes DCHS04W doen ongeveer de helft van die AtlasV (10 tot 15MBytes/sec)

Al met al denk ik dat je aardig aan de limiet zit van dit systeem. In theorie zou het allemaal een factor 2 sneller moeten kunnen, als je de data van de schijven rechtstreeks door zou kunnen streamen naar de ethernet poort. Maar dat is erg lastig te realiseren, je hebt overhead op alle nivo's, van de scsi en ethernet bus tot aan het OS.

Wat haal je aan throughput op de 100Mb ethernet clients? Die 100Mb is ook een aardige bottleneck natuurlijk met maximaal zo'n 5-8 MByte/sec. De schijven veel sneller maken dan dat heeft niet veel zin.

[Verwijderd]

Wat haal je aan throughput op de 100Mb ethernet clients? Die 100Mb is ook een aardige bottleneck natuurlijk met maximaal zo'n 5-8 MByte/sec. De schijven veel sneller maken dan dat heeft niet veel zin.

100Mb/8=12,5MB (bij mij!)
En ja, dat zal je lang niet altijd halen.
Afhankelijk van gebruikte hardware en protocol zal dat een stuk lager zijn.
Doe het met FTP dat blaas je die 100Mbit wel vol!
(Ok, 99,7% dan)
Met SMB kom ik over het algemeen max. ergens rond de 80-82%

[joopv]

Verwijderd schreef op zaterdag 25 december 2004 @ 11:09:
[...]100Mb/8=12,5MB (bij mij!)

Bij mij ook...

En ja, dat zal je lang niet altijd halen.
Afhankelijk van gebruikte hardware en protocol zal dat een stuk lager zijn.
Doe het met FTP dat blaas je die 100Mbit wel vol!
(Ok, 99,7% dan)
Met SMB kom ik over het algemeen max. ergens rond de 80-82%

En in een real-life situatie, met langere kabels, een hubje of goedkope switch ertussen, een paar collisions links en rechts, wat fragmentatie en retransmits hier en daar, enzovoorts? Mijn ervaring is dat je met 6 tot 8Mbyte/sec toch echt aan het praktische plafond zit.

[deepbass909]

Dit zijn mijn netwerk snelheden, gemeten met NetIO

Windows XP als client, Linux als server:

code:

NETIO - Network Throughput Benchmark, Version 1.6
(C) 1997 Kai Uwe Rommel

TCP/IP connection established.
1k packets:     10138 k/sec
2k packets:     9745 k/sec
4k packets:     10753 k/sec
8k packets:     10737 k/sec
16k packets:    11116 k/sec
32k packets:    11266 k/sec

Linux als client, Windows XP als server:

code:

NETIO - Network Throughput Benchmark, Version 1.7
(C) 1997-1999 Kai Uwe Rommel

TCP/IP connection established.
1k packets:     10640 k/sec
2k packets:     10850 k/sec
4k packets:     10931 k/sec
8k packets:     11061 k/sec
16k packets:    11022 k/sec
32k packets:    10982 k/sec

Deze getallen suggeren dat mijn netwerk toch eigenlijk wel optimaal werkt. Daar zal de bottleneck niet liggen. Daarnaast heb ik een package loss van 0% op mijn netwerk.

Daarom richt ik mijn aandacht ook op de scsi schijven, naar mijn idee zit er in mijn netwerk config niets (meer) fout.