Performance Dual PU-DL en 3ware 7506-12

[Verwijderd]

Ik heb een Dual Xeon 2x 2ghz die zitten op een Asus PU-DL.
4 x 512 pc2100 ECC geheugen

Als raid controler heb ik een 3ware Escalade 7506 12 poorts.
Deze 3ware kaart zit in een 64 bits slot.
Als netwerk kaart heb ik een 3com gigabit fiber kaart.
Het OS is Linux RedHat 9.0

Het Os staat op een apparte HD buiten de raid om.
De Raid controler heeft 12 * 120 gig disken. Met de volgende configuratie.

6 x 7200/8MB/120gb - Maxtor als Raid 0 geconfigureerd.
6 x 7200/8MB/120gb - Western Digital als Raid 0 geconfigureerd.

Nu haal ik over het netwerk maar +- max 20 mb/s

Ik heb nog een tweede systeem maar deze verschild alleen dat er een supermicro
mainboard in zit.

Deze twee systemen lezen en schrijven naar elkaar over een 3com CoreBuilder 9000.

Als ik het systeem met de supermicro mainboard op een lanparty neer zet haal ik +- 40 tot 50 mb/s

Ik meet deze snelheden vanaf de interface van de CoreBuilder 9000.

Wat ik wel zie dat verschillend is naast het mainboard is de PCI-X gleuf in mijn
systeem. De supermicro systeem heeft zo'n PCI-X gleuf en de PC-DL niet.

Beiden systeem zijn precies het zelfde qua software instellingen. Deze is namelijk gecloned.

Als beiden naar elkaar kopieren hebben ze ongeveer de zelfde load, deze is niet echt schokken hoog. Zeg maar dat ze ronduit uit hun neus aan het eten zijn.

Wie kan mij in de goede richting sturen met betrekking tot mijn transfer rate.
Ik zou dit graag ook +- rond de 40 a 50 mb/s zien zitten. Ik heb dingen al geprobeerd in het bios. Hij draait nu ook op de laatste bios versie. Ook dit mocht
het probleem niet verhelpen. Controlers hebben ook de zelfde firmware.

[BlackIce]

Eerlijk gezegt lijkt het me meer op een lulverhaal, aangezien je met Gigabit Fiber veeeeel sneller haalt. (ooit naar de betekenis van het woordje gigabit gezocht?), dus ik hoop hier meer op een slotje:P

Modbreak
Zeuren om een slotje in combinatie met een uitermate onvriendelijke en kort door de bocht post wordt hier echt niet op prijs gesteld. Niet alleen door mij maar, belangrijker, ook niet door de mede GoT'ers (getuige de reacties). Dus laat dit soort ongein achterwege alsjeblieft.

[ Voor 45% gewijzigd door Abbadon op 15-06-2004 18:03 ]

[Kippenijzer]

icemancool schreef op 14 juni 2004 @ 18:41:
Eerlijk gezegt lijkt het me meer op een lulverhaal, aangezien je met Gigabit Fiber veeeeel sneller haalt. (ooit naar de betekenis van het woordje gigabit gezocht?), dus ik hoop hier meer op een slotje:P

Zucht, deze reactie meen je ook echt? Hij klaagt over zijn raid, niet over zijn netwerkkaart. De vermelding van het type netwerkkaart is gewoon om aan te geven dat dat niet de bottleneck in het geheel zou moeten zijn.
[edit]En aan de TS natuurlijk ook nog iets Welke snelheden haal je op de pc zelf?

[ Voor 8% gewijzigd door Kippenijzer op 14-06-2004 18:47 ]

[Verwijderd]

Bedankt voor je geweldige reactie. Je hebt me heel erg geholpen.
Ik heb net nieuwe netwerk kaarten binnen gehad van 10Gbit/s en het is op gelost.
Hartelijk dank.

p.s. Als je niks zinnigs kan posten en dus alleen maar je postings counter omhoog wilt helpen doe dat dan in je eigen topic.

icemancool schreef op 14 juni 2004 @ 18:41:
Eerlijk gezegt lijkt het me meer op een lulverhaal, aangezien je met Gigabit Fiber veeeeel sneller haalt. (ooit naar de betekenis van het woordje gigabit gezocht?), dus ik hoop hier meer op een slotje:P

[Verwijderd]

Ik heb op het systeem zelf ook een soort benchmark gedaan en daar kom ik ongeveer op de zelfde waarden uit. Ik heb zelf het vermoeden dat het aan
PCI-X vs PCI ligt.

Ik heb zelf nog verder gezocht over PCI-x en er is iets met 64/32 bit en 64/64 bit.
Mischien dat iemand daar iets meer over weet.

Zucht, deze reactie meen je ook echt? Hij klaagt over zijn raid, niet over zijn netwerkkaart. De vermelding van het type netwerkkaart is gewoon om aan te geven dat dat niet de bottleneck in het geheel zou moeten zijn.
[edit]En aan de TS natuurlijk ook nog iets Welke snelheden haal je op de pc zelf?

[Abbadon]

Ik zie je afwisselend spreken over een Asus PU-DL en een PC-DL, ik volg het even niet precies meer (wel, niet met zekerheid). Zo wordt het lastig om wat over PCI te zeggen.

Als het systeem zelf intern ook op zulke lage waarde's uitkomt kun je dus het netwerk gedeelte schrappen als issue. Ik weet verder weinig van die 3ware af maar heb je met diverse BIOS/array instellingen kunnen spelen?

[DDX]

ik zou toch ff netio draaien om 100% zeker te weten dat het niet netwerk probs zijn
dan zit alles op verschillende pci bussen ?
pci latency kan je daar nog wat aan instellen in bios ?
(doe eens een lspci -vv)

en draai eens bonnie om disk performance te meten

[ Voor 14% gewijzigd door DDX op 15-06-2004 18:25 ]

[BlackIce]

Kej, sorry voor mijn post daarboven ^, aanvaard alsjeblieft mijn nederige excuses!
* BlackIce ligt op zn knieen

Het kwam bij mij een beetje vreemd over ivm de spelling, maar ik had er niet zo op moeten reageren, daarvoor mijn excuses.

Ik weet helaas niet zoveel van zulke hardware af, maar keb weleens dingen gehoord over een verschil in bandbreedte in 32 en 64 bit, misschien verklaart dat het verschil een beetje. Tis maar een gok

Nogmaals mijn excuses!

edit:

In de startpost staat het ietwat onduidelijk, maar in de 2 pc's zitten dus dezelfde raid-controller?

[ Voor 24% gewijzigd door BlackIce op 15-06-2004 20:01 ]

[Verwijderd]

Sorry voor de afwisseling.. het is een PU-DL de 64 bit versie

Abbadon schreef op 15 juni 2004 @ 18:17:
Ik zie je afwisselend spreken over een Asus PU-DL en een PC-DL, ik volg het even niet precies meer (wel, niet met zekerheid). Zo wordt het lastig om wat over PCI te zeggen.

Als het systeem zelf intern ook op zulke lage waarde's uitkomt kun je dus het netwerk gedeelte schrappen als issue. Ik weet verder weinig van die 3ware af maar heb je met diverse BIOS/array instellingen kunnen spelen?

[Verwijderd]

Ik zal bonnie++ eens downloaden om daar een performance test mee te doen.

DDX schreef op 15 juni 2004 @ 18:20:
ik zou toch ff netio draaien om 100% zeker te weten dat het niet netwerk probs zijn
dan zit alles op verschillende pci bussen ?
pci latency kan je daar nog wat aan instellen in bios ?
(doe eens een lspci -vv)

en draai eens bonnie om disk performance te meten

[-DarkShadow-]

40/ 50 MB/s is ook niet schokkend hoog voor een GB verbinding vanaf een raid 0 over 64bit PCI sloten.

Ik zou eens een mailtje sturen naar Asus en 3Ware. Ik denk dat het gewoon een compatibiliteitsprobleem is tussen het mobo en de controller. Als je zo'n mobo koopt krijg je daar toch ook wel degelijke support bij mag ik aannemen?

Om te testen zou je de raid controller of de GB NIC in een 32 bit slot moeten steken. Dan zou je toch ook al 40MB/s moeten halen.

[ Voor 3% gewijzigd door -DarkShadow- op 15-06-2004 21:16 ]

[DDX]

eerst maar eens bonnie en netio results afwachten
dan weet je iig wat meer

[Verwijderd]

Eind deze week heb ik het andere systeem ook weer tot mijn beschikking. Ik zal op beide even een bonnie++ draaien om te kijken wat het resultaat is.

Ik heb ook al contact op genomen met mijn leverancier. Hij vondt het heel aanmerkelijk.
Hij heeft zelfs aan geboden dat ik bij hun langs kan komen om mijn systeem te benchmarken met een ander Xeon mainboard.

Ik heb alleen niet zo veel zin in om de corebuilder 9000 mee te nemen. Weet iemand of je glass ook kan crossen. rx -> tx en tx->rx.

Of dat ik ook gebruik kan maken van de onboard ethernet

Als ik een andere mainboard zou moeten zoeken omdat het mischien aan de pci-X ligt.
Welk mainboard zouden jullie mij dan aanbevelen.
Min 2 PCI-X sloten, dual xeon.
Welk merk, asus/I-Will/Tyan...

[ Voor 6% gewijzigd door Verwijderd op 15-06-2004 21:28 ]

[DDX]

glas kan je heel makkelijk cross connecten
gewoon tx op rx aansluiten

ik heb hier zelf een intel xeon board
0,0 probs

maargoed asus en supermicro zijn prima boarden

trouwens waarmee heb je nu netwerk performance getest ?
(samba is erg langzaam/veel cpu gebruik)

zoiezo heb je voor 3ware ook nog wat linux tweaks
maargoed dat helpt misschien om van 100 -> 110mb/sec te komen...

[Verwijderd]

Ok, dan ga ik de glas koppeling gewoon gecrossed doen.

De performance test die ik heb gedaan is ftp. bestanden +- 80 gb en die kopieren.
over ftp.

Van webconexxion de leverancier van mijn kaarten heb ik een aantal tweaks gekregen. Deze heb ik op beide toe gepast. Dit helpt wel.


Opzich ben ik heel erg te vreden over mijn xeon board op het io performance questie na dan. Als database server doe hij het perfect..

Ik ga eens bij supermicro kijken wat ze voor mainboards hebben.

DDX schreef op 15 juni 2004 @ 21:42:
glas kan je heel makkelijk cross connecten
gewoon tx op rx aansluiten

ik heb hier zelf een intel xeon board
0,0 probs

maargoed asus en supermicro zijn prima boarden

trouwens waarmee heb je nu netwerk performance getest ?
(samba is erg langzaam/veel cpu gebruik)

zoiezo heb je voor 3ware ook nog wat linux tweaks
maargoed dat helpt misschien om van 100 -> 110mb/sec te komen...

[Verwijderd]

Het enige nadeel van de PU-DL is dat de 2 processors op een wat vreemde plaats zitten.
Bij een chieftec kast zitten ze precies op de plek waar de hd zouden moeten zitten.

[Paul]

Ik zal maar niet beginnen over 1.4 TB in raid0, ik neem aan dat je dat goed hebt overwogen

Ik neem overigens aan dat je sequentieële transfer rates bedoelt? Random is 20mb/s namelijk zeker geen verkeerde score maar sequentieel zul je de 100 toch zeker kunnen halen

Je zegt dat je het lokaal ook hebt (met bonnie? Post eens resultaten? ), dus het hele netwerkgedeelte kunnen we overslaan.

Dan blijven er een paar dingen over.
Je schijven: 2 verschillende merken, op beide hetzelfde euvel?
Ik zie zo niet in welke kast het zit, maar aan een eventuele backplane zal het ook niet liggen, die worden goed zat ontworpen.
De kabels: volgens mij worden die bijgeleverd bij de controller? Kan het dus ook niet zijn.
Master/slave probleem: Ik neem niet aan dat je 2 schijven op 1 kabel hebt
Dan de controller: radi instellingen. Er zijn een paar instellingen mbt de cache, maar zelfs zonder cache haal je MAKKELIJK 50mb/s sequentieel, dat lukt een enkele schijf waarschijnlijk nog wel...
Je PCI-bus zal de bottleneck niet zijn, over die bus kan (mits beide kaarten ook 100mhz zijn) bijna 800MB per seconde, dus daar zal het niet in zitten.
De rest van het moederbord: Je zegt dat het softwarematig klonen zijn van elkaar. Nu ben ik niet zo bekend met de hardware ondersteuning van Linux, maar draai je niet toevallig een kernel specifiek voor de Supermicro gecompileerd? Als het gewoon een generieke kernel is zou het niet uit moeten maken.
Ik weet niet met welk subsystem de 3ware aangesproken wordt, IDE of SCSI, maar als het IDE is: staat DMA aan?

Tevens kun je inderdaad zoeken / fabrikanten aanschrijven op known issues met die combinatie

Die supermicro, heeft die een eigen controller en schijven?
Om je controller / kabels / schijven uit te sluiten zou je die 'even' over kunnen zetten naar de supermicro. Is het daar ook sloom dan ligt het daaraan, en anders aan het mobo of de software

[Verwijderd]

Ik heb op beide systemen 2 raid 0 aangemaakt.
Ik heb per systeem 12 disken waar van 2 verschillende disken.

Het enige verschillende is het merk. Alle disken zijn 120gig/7200rpms/8mb.

Dezelfde versie van linux gebruik voor de twee systemen. zelfde kernel zelfde updates versie. Zelfde raid controler en netwerk kaart.

De transfer is sequentieel gemeten.

De raid kaart displayed zich als een scsi kaart in het systeem. Ik benader de hd's als scsi.

De kabels voor de systeemen heb ik gehaald bij mycom het zijn ata 133 kabels.

Ik zal op de systemen een bonnie draaien deze week en dan post ik het restultaat.
De Supermicro is niet van mij zelf die moet ik even ophalen.

De hd's zitten in 5 1/4 beugels direct met de kabels op de kaart.

Ik heb vorige week de controler met disken verwisseld met het andere systeem.
Dit gaf het zelfde resultaat. de PU-DL was langzamer dan de Supermicro.


Dit is het systeem eerst 6 disken nu 12

[ Voor 56% gewijzigd door Verwijderd op 16-06-2004 00:41 ]

[Sir_Killalot]

-gefixed-

[ Voor 96% gewijzigd door Sir_Killalot op 16-06-2004 00:42 ]

[Verwijderd]

Mag ik vragen waa ru deze systemen voor gebruikt ? En die corebuilder al helemaal leuk speelgoed 80kg aan 1gbit poorten

[Verwijderd]

Deze apparatuur gebruiken we op lanparty's. Soms organiseren we zelf een lanparty. En soms helpen we mensen met het organiseren van een lanparty waar wij alleen het netwerk en de servers doen.

[DDX]

3ware tweaks voor linux trouwens :

http://www.3ware.com/KB/article.aspx?id=10036
http://www.3ware.com/KB/article.aspx?id=11050

[FastBunny]

Heb je niet last van master/slave ? Of heeft die 3ware daar geen last van omdat die 12 poorten heeft? Verder 6 x 120GB in raid 0.. Living on the egde

[DDX]

3ware zijn gewoon 12 (of minder afhankelijk van uitvoering) ide kanalen

zijn eigelijk ide-scsi converters (linux ziet iedere poort als scsi kanaal nml)

[Verwijderd]

Thanx, Ik zal deze even uit voeren op de twee systemen.

DDX schreef op 16 juni 2004 @ 09:33:
3ware tweaks voor linux trouwens :

http://www.3ware.com/KB/article.aspx?id=10036
http://www.3ware.com/KB/article.aspx?id=11050

[Verwijderd]

FastBunny schreef op 16 juni 2004 @ 10:16:
Heb je niet last van master/slave ? Of heeft die 3ware daar geen last van omdat die 12 poorten heeft? Verder 6 x 120GB in raid 0.. Living on the egde

Er zitten 12 losse poorten op de kaart. Iedere poort heeft 1 hd. Deze staat op Single Drive/master.

We hebben zelf niet zo zeer gekozen voor de databescherming. Bij ons gaat het puur om de snelheid. Omdat ik twee verschillende type hd's in het systeem heb zitten heb ik gekozen voor 2 raid0 van ieder 6 hd's

[Verwijderd]

Ik zou zeggen probeer de HD's eens met de originele kabels rechtstreeks op de kaart te hangen (uit je post meen ik dat ze nu in removable bays zitten of zo?).

Die kabels zijn in ieder geval te lang om binnen ATA133 specs te vallen, dus daaraan zou het wel eens kunnen liggen.

[Verwijderd]

Verwijderd schreef op 17 juni 2004 @ 09:28:
Ik zou zeggen probeer de HD's eens met de originele kabels rechtstreeks op de kaart te hangen (uit je post meen ik dat ze nu in removable bays zitten of zo?).

Die kabels zijn in ieder geval te lang om binnen ATA133 specs te vallen, dus daaraan zou het wel eens kunnen liggen.

Een mainboard zit in een procase 2u kast. Kabel zijn niet langer dan 90 cm.
Ik kan altijd nog even proberen om ze uit de brackets te halen.

En dat ander zitten gewoon in de behuizing zonder brackets

Morgen gaat ik ook nog een bonnie draaien.

[Verwijderd]

de spcificatie schrijft helaas voor jou 45 cm voor als gegarandeerd maximum. daarboven kan de boel foutlopen.
..en daarom hebben we nu SerialATA, maar deze opmerking helpt jouw kostbare situatie niet.

Supermicro <--> andere systemen levert 40 a 50MB/s op?
Supermicro <--> PU-Dl levert 20MB/s op?
PU-DL <--> andere systemen levert 20MB/s op?
PU-DL <--> Supermicro levert 20MB/s op?

Welke kenmerken heeft jouw RAID controller?
64 bit of 32 bit?
33Mhz of 66Mhz?

en jouw PU-DL moederbord?
64 bit of 32 bit?
33Mhz of 66Mhz?

en jouw SuperMicro moederbord?
64 bit of 32 bit?
33Mhz, 66Mhz, 100Mhz of 133Mhz?

3Ware kennende hebben ze een 64bit 33Mhz controller,
iets wat geen PCI-X is aangezien het geen 66Mhz of hoger aankan.

[DDX]

mja lijkt me slim om eerst ff benches van ts af te wachten...

ps de 7806 is 64bits 66mhz

[Verwijderd]

Dit is de bonnie die ik heb gedraait op de PU-DL.
Volgens de handleiding moet de kaart op 66 mhz draaien. Omdat er geen
andere kaarten in het systeem zitten.

[root@nexus]# /root/bonnie/Bonnie -s 1024
Bonnie: Warning: You have 2028MB RAM, but you test with only 1024MB datasize!
Bonnie: This might yield unrealistically good results,
Bonnie: for reading and seeking and writing.
Bonnie 1.4: File './Bonnie.8710', size: 1073741824, volumes: 1
Writing with putc()... done: 9606 kB/s 70.2 %CPU
Rewriting... done: 24432 kB/s 27.1 %CPU
Writing intelligently... done: 81752 kB/s 60.9 %CPU
Reading with getc()... done: 6272 kB/s 68.2 %CPU
Reading intelligently... done: 74370 kB/s 31.2 %CPU
Seeker 1...Seeker 2...Seeker 3...start 'em...done...done...done...
---Sequential Output (nosync)--- ---Sequential Input-- --Rnd Seek-
-Per Char- --Block--- -Rewrite-- -Per Char- --Block--- --04k (03)-
Machine MB K/sec %CPU K/sec %CPU K/sec %CPU K/sec %CPU K/sec %CPU /sec %CPU
nexus. 1*1024 9606 70.2 81752 60.9 24432 27.1 6272 68.2 74370 31.2 12800.2 60.5

[DDX]

hmms da's volgens mij erg oude versie van bonnie
(nieuwe heet ook bonnie++)

[DDX]

iig als je die output mag geloven is schrijven 80Mb/s en lezen 74Mb/s

[Verwijderd]

En deze is van de Supermicro
[root@emacs ftp]# /root/bonnie/Bonnie
Bonnie: Warning: You have 2028MB RAM, but you test with only 100MB datasize!
Bonnie: This might yield unrealistically good results,
Bonnie: for reading and seeking and writing.
Bonnie 1.4: File './Bonnie.9388', size: 104857600, volumes: 1
Writing with putc()... done: 27422 kB/s 99.8 %CPU
Rewriting... done: 218405 kB/s 99.2 %CPU
Writing intelligently... done: 289237 kB/s 100.0 %CPU
Reading with getc()... done: 28544 kB/s 98.2 %CPU
Reading intelligently... done: 470490 kB/s 100.1 %CPU
Seeker 1...Seeker 2...Seeker 3...start 'em...done...done...done...
---Sequential Output (nosync)--- ---Sequential Input-- --Rnd Seek-
-Per Char- --Block--- -Rewrite-- -Per Char- --Block--- --04k (03)-
Machine MB K/sec %CPU K/sec %CPU K/sec %CPU K/sec %CPU K/sec %CPU /sec %CPU
emacs. 1* 100 27422 99.8289237 100 218405 99.2 28544 98.2470490 100 37419.2 95.4

[Verwijderd]

Ik zal het ook eens doen met bonnie++