SCSI RAID probleem

[Verwijderd]

Dag beste Tweakers,

Ik heb het volgende probleem waar ik al erg lang mee bezig ben...

Ik heb een server die ik wil gebruiken om vliegensvlug via gigabit te backupen vanaf een Apple of PC. Echter krijg ik met geen mogelijkheid een fatsoenlijke snelheid. Het hoogste wat ik haalde was 20 mega byte per sec. Ook intern in de server ligt de snelheid zelfs rond de 15 MB/s.

Dit is mijn configuratie:

HP DL 380 G3
Daarin in het snelste slot de HP 5304/128 SCSI array controller
Op 2 sloten op de 5300 kaart zitten Array's aangesloten.
De 4200 Array en de 4100 array. Beide met een Ultra 3 SCSi aansluiting.
In de Array's zitten: 4200 - 14x 10k 36 Gig HP
4300 - 12x 10k 9,1Gig HP

Intern server 18 gig 15K HP drives in Raid 5

Kan iemand mij uitleggen hoe ik die 160MB/s moet halen???

Alvast bedankt,

Remco Heuvelmans

[ph0t0nix]

Welk OS gebruik je?
Hoe heb je de snelheid gemeten (kijk ook eens in de andere RAID topics voor de meest gebruikte programma's)?
Hoe heb je de RAID arrays ingesteld (met de HP tools?)? Heb je Write Through caching aan (of juist uit??) gezet?

[anglico]

160mb/s??? dat is de THEORETISCHE maximum snelheid van ultra3, niet de gegarandeerde snelheid

maar je zou toch meer dan 20mb/s moeten halen denk ik
op een ml350g3 met een sa641 haal ik met
2 x 72gb schijven van 10krpm in raid 1
hdtach burst 125mb/s read average 55mb/s
atto read 50mb/s write 40mb/s

2 x 36gb schijven van 10krpm in raid 1
hdtach burst 125mb/s read average 57mb/s
atto read 50mb/s write 40mb/s

en kopieren van de ene raidset naar de andere op dezelfde controller via het netwerk gaat ook rond de 30mb/s

heb je alle juiste drivers geinstalleerd?
write cache aangezet in de controller?

[daft_dutch]

Is het niet Mb in plaats van MB?
had je nou maar 320Mb scsi

[ Voor 30% gewijzigd door daft_dutch op 04-07-2007 22:53 ]

[maratropa]

Sequentieel moet je moet zo veel schijven wel over die 160 heen kunnen gaan, (met 2 fujitisu's doe ik 180 mb per sec sequentieel) maar niet alles is zo sequentieel.

Maar 1 array hangt dus op u160 snelheid aan 1 poort?

[ Voor 14% gewijzigd door maratropa op 04-07-2007 23:00 ]

[iceheart]

daft_dutch schreef op woensdag 04 juli 2007 @ 22:52:
Is het niet Mb in plaats van MB?
had je nou maar 320Mb scsi

zeer zeker niet! het is 160MiB (1280 Mb) per seconde, maar da's de complete optimale snelheid, haal je niet

ik heb hier met snelle disken op een 5304/256 fulloptions een read van 70 en write van 60 oid in RAID5, RAID0 grappig genoeg hetzelfde.

[Verwijderd]

Dag Tweakers,

het OS wat ik gebruik is Windows server 2003 R2 (Servicepack 2) en alle updates geinstalleerd.

De array's heb ik samengesteld met de HP Array configuration tool.

En ik weet dat 160 MB theoretish is, maar 20 is wel heeel erg belachelijk, dan kan ik beter een Alberthein Hardeschijf voor een 10tje kopen, die is nl. nog 3 keer sneller.

Ik heb ook een Apple G5 / Pro en als ik die via SCSI op de zelfde disks aansluit haal ik van de Mac pro naar de G5 over dual Gigabit 180 MB/Seconde in Raid 0 (software)

Echter gebeurd dit wel over een ATTO UL4D dual U320 kaart.

Dat cache verhaal heb ik aangevinkt op aan.

Op poort 1 van nde 5304 zit de 4200 Array, en op poort 3 de 4100 Array.

De 15k schijven van de DL380 zitten op de interne 5i plus controller

Als ik via netwerk data overpomp, dan gaat het vliegens vlug naar de kaart toe, en dan hangt de hele zaak even, en dan weer even vol gas, dan weer wachten. Dit gebeurd zo rond de 110 MB.elke keer. Het licht zeker niet aan de kabels of switch of zo, zit een 3com 12 poorts Git switch tussen van 4000 euro. Alle kabels zijn Cat 6e ook de connectoren.

hoop dat jullie hier wat mee kunnen.

De snelheid heb ik gemeten met een compaq tool, een ATTO tool, en zelf met een stopwatch en 25 GB aan data.

[maratropa]

Zet je write back cache policy eens op write through, normal reads en geen cached IO, of vergelijkbare waarden. Dus eigenlijk al je cache even op default zonder gecashde writes.

Klinkt alsof er gecashed wordt in het ram en dat daarna dan de boel geflushed moet worden, wat blijkbaar niet echt snel gaat.

Ik heb dit ook, de eerst 100+ mb gaat heel rap mijn cache in en daarna gaat het trager. Maar ook weer niet latig traag of zo.

Areca's hebben dit ook geloof ik. Daar kun je firmware voor krijgen dit het cache wat anders aanpakt dacht ik.

[ Voor 40% gewijzigd door maratropa op 05-07-2007 14:27 ]

[Femme]

Mijn ervaring is dat transfer rates van meer dan 40MB/s (maar eerder max. 30MB/s) in de prakijk zo goed als onmogelijk zijn me Windows filesharing tussen twee machines. Ik heb thuis een setup met aan de ene kant een Areca ARC-1280 met vier Raptor WD1500ADFD's en aan de andere Areca ARC-1160 met 1GB cache en zeven stuks Caviar RE2 500GB. Dit presteert in netwerktransfers nauwelijks beter dan een enkele schijf, terwijl je er in theorie makkelijk de gigabitverbinding vol zou moeten kunnen pompen.

Mijn conclusie is dat Windows filesharing gewoon flut is.

[maratropa]

Dat zou ook een reden kunnen zijn inderdaad, ook omdat ie met OSX blijkbaar wel meer haalt..

[Verwijderd]

Je moet flink wat tunen aan de TCP/IP bufferinstellingen, in Samba o.a. met:
socket options = TCP_NODELAY SO_RCVBUF=131072 SO_SNDBUF=131072

Dit geeft je een 128KB buffer aan zowel send en receive zijde, en in windows kun je met reghacks ook dit soort buffers instellen dacht ik. Verder jumbo frames gebruiken en je zou toch wel richting de 75-80MB/s moeten kunnen halen.

@TS: test eerst je schijven eens goed met wat benchmarks, zoals sisoftware sandra en post de resultaten hier. Pas dan valt er wat te zeggen over je 'probleem'.

[ Voor 17% gewijzigd door Verwijderd op 06-07-2007 00:25 ]

[Wiebo_Neo]

maratropa schreef op donderdag 05 juli 2007 @ 14:25:
Zet je write back cache policy eens op write through, normal reads en geen cached IO, of vergelijkbare waarden. Dus eigenlijk al je cache even op default zonder gecashde writes.

Klinkt alsof er gecashed wordt in het ram en dat daarna dan de boel geflushed moet worden, wat blijkbaar niet echt snel gaat.

Ik heb dit ook, de eerst 100+ mb gaat heel rap mijn cache in en daarna gaat het trager. Maar ook weer niet latig traag of zo.

Areca's hebben dit ook geloof ik. Daar kun je firmware voor krijgen dit het cache wat anders aanpakt dacht ik.

Ik ben samen met remco007 bezig om dit probleem op te lossen. Wat andere testresultaten die we hebben gedaan bevestigen eigenlijk wat er hierboven gezegd is, het lijkt idd alsof hij alles direct naar het cache kopieert, en vervolgens doorflushed.

Wat wel raar is is hoe groter je de diskarray maakt in raid 0 of 5, hoe langzamer het geheel gaat. Al er 1 SCSI disk wordt gebruikt, voor een directe overdracht, heb je inderdaad die burst snelheden van 118 - 135 MB/s, met een gemiddelde van 50 - 70 MB/s ( Wel erg wisselvallig, geen stabiele overdracht) Ik heb het hier dan over een transfer van 500 MB van de interne 5i controller richting de 5304 controler. Schijven in de 5i controller staan overigens wel in RAID 5 ( OS op geinstalleerd). Maak je de diskarray aan de 5304 kant groter, neemt de snelheid ook af, tot een burstsnelheid van 70 - 95 MB/s en een gemiddelde overdracht van 30-40 MB/s. de Diskarray staat dan in RAID 0 !!!! Klinkt mij erg tegenstrijdig met het princiepe achter RAID 0. Oorzaak hiervan lijkt echter dat aan de recieve kant ( 5304 controller) de Diskussage naar 100% schiet. Op het moment dat dit gebeurd ( Bijna constant) zakt de snelheid in. in RAID 5 hetzelfde probleem. Terwijl het diskussage aan de send kant, de 5i controller, amper boven de 20 - 30 % komt, en nog lager wordt, naarmate de diskussage aan de 5304 naar de 100% schiet.


Nu hebben we alle instellingen al veelvuldig nagelopen, en het enige zwarte gat wat ik nog open heb staan, is de zogenaamde HP Array Accelerator. Deze zet de HP ACU standaard aan bij het maken van een diskarray, maar wat het ding nou precies doet, staat nergens beschreven. Wel wordt in het boekje van de 5304 vermeld dat bij gebruik van een database op een diskarray de HP Array Accelerator uitgeschakeld dient te worden, om de toegangssnelheid en overdracht optimaal te houden. Kan ik hieruit misschien opmaken dat de Array Accelerator het cachegeheugen beheerd, en met het uitschakelen hiervan wel een stabiele en maximale overdrachtssnelheid kan worden gehaald??? De vraag blijft dan echter wel wat de hoge diskusage veroorzaakt aan de recieve kant, en of iemand daar een verklaring / Oplossing voor heeft. Of komt die gewoon door die kl*t* Windows File Sharing???

[ph0t0nix]

Of komt die gewoon door die kl*t* Windows File Sharing??

Dat lijkt me niet, aangezien je hierboven praat over kopieren binnen het systeem (van de ene controller naar de andere), dus daar heeft filesharing niks mee te maken, lijkt me.

[Wiebo_Neo]

ph0t0nix schreef op vrijdag 06 juli 2007 @ 13:11:
[...]

Dat lijkt me niet, aangezien je hierboven praat over kopieren binnen het systeem (van de ene controller naar de andere), dus daar heeft filesharing niks mee te maken, lijkt me.

Oke, mee eens, zou alleen bij netwerkoverdracht van toepassing zijn... Blijft het probleem nogsteeds mee aanwezig...

[ph0t0nix]

Er bijven dan nog drie dingen over, volgens mij:
- Die Array Accelerator uitschakelen
- Heb je al geprobeerd om van de 5304 naar de 5i te kopieren? Hoe ziet de transferrate er dan uit? Heeft de 5i ook hetzelfde (chaching-) probleem?
- Eens proberen om Linux of een BSD op de machine te installeren (evt. LiveCD) om er zeker van te zijn dat het niet aan het OS of de drivers ligt.

[Wiebo_Neo]

ph0t0nix schreef op vrijdag 06 juli 2007 @ 15:18:
Er bijven dan nog drie dingen over, volgens mij:
- Die Array Accelerator uitschakelen
- Heb je al geprobeerd om van de 5304 naar de 5i te kopieren? Hoe ziet de transferrate er dan uit? Heeft de 5i ook hetzelfde (chaching-) probleem?
- Eens proberen om Linux of een BSD op de machine te installeren (evt. LiveCD) om er zeker van te zijn dat het niet aan het OS of de drivers ligt.

Kan er een alvast wegstrepen, van 5304 naar 5i, hierbij hetzelfde resultaat...

[ReyhZhao]

Verwijderd schreef op donderdag 05 juli 2007 @ 13:46:
Dit gebeurd zo rond de 110 MB.elke keer. Het licht zeker niet aan de kabels of switch of zo, zit een 3com 12 poorts Git switch tussen van 4000 euro. Alle kabels zijn Cat 6e ook de connectoren.

offtopic:
LOL 4000 pleuro voor een 12 poorts switch ben jij ff afgezet.. zo'n ding is niet meer dan 200 waard... mijn god man weet je wat voor monster van een switch je voor dat geld kunt krijgen ?.

[Verwijderd]

ReyhZhao schreef op vrijdag 06 juli 2007 @ 16:45:
[...]

offtopic:
LOL 4000 pleuro voor een 12 poorts switch ben jij ff afgezet.. zo'n ding is niet meer dan 200 waard... mijn god man weet je wat voor monster van een switch je voor dat geld kunt krijgen ?.

Je weet niet eens wat voor switch ik heb, hoe kun je daar dan een oordeel over geven???
En idd een Office connect switch kost geen drol, maar wel een stackable layer 3 switch, Met glas aansluiting.

[Wiebo_Neo]

Niemand meer een idee of suggesties voor die probleem???

[ph0t0nix]

Heb je die array accelerator al uitgeschakeld?