[SCSI RAID] Efficientie cache op RAID controller

[Concrete]

Ik heb tweedehands een LSI Logic MegaRAID Express 500 gekocht met 32MB cache in de vorm van een SDRAM module met een BBU [Battery Backup Unit]. Hieraan heb ik twee Fujitsu MAP-jes gehangen in RAID1. Nou heb ik gisteren voor de lol eens een aantal benchmarks gemaakt met ATTO Bench, om te zien wat de meest optimale cache-instellingen zijn. Wat blijkt? Alle cache-intelligentie op mijn LSI Logic werkt alleen maar vertragend!
Ergo: als ik in het BIOS schrijfacties instel op WriteTHRU (dus zonder caching) en de leesacties op ReadNORMAL (dus zonder readahead en data in cache plaatsen), dan presteert het RAID-array het snelst! Kan iemand mij uitleggen waarom dit zo is? Moet ik simpelweg meer cache kopen? Of moet ik alle vormen van caching gewoon uit laten staan?

Machine is een P3-700@700 met 256MB RAM en de LSI Logic deelt z'n IRQ niet met andere kaarten. OS is W2k-AS met SP4. LSI firmware is de nieuwste en de driver is eveneens de laatste van LSI.

Hieronder vinden jullie de screenshots van ATTO. Volgorde is van meest intelligente cache-strategie naar minst intelligente cache-strategie. De cache-instellingen vinden jullie telkens in de titelbalk van ATTO.













Deze laatste screenshot is dus zonder caching whatsoever!

Voor de lol ook een bench gemaakt van m'n IDE schijven in RAID1. Leuke vergelijking met SCSI.....



Fire away!!

[ Voor 4% gewijzigd door Concrete op 18-09-2003 21:51 ]

[Femme]

De MegaRAID Express 500 is een al wat oudere low-end SCSI RAID-controller waar je geen wonderen van moet verwachten. Dat de write transfer rates zo laag zijn is wel opvallend. Een MegaRAID Elite 1600 haalt maximaal zo'n 82MB/s write en 130MB/s read. Tot 8KB blocksize is de Express 500 trouwens wel net zo snel als de Elite 1600.

Je zou ook eens kunnen proberen om wat meer cache op de controller te zetten. 32MB is niet erg veel, ook omdat de I/O processor een deel nodig heeft als werkgeheugen.

Verder moet je je niet blind staren op sequentiële transfer rates. STR's hebben maar een beperkte invloed op de prestaties. Mijn ervaring is dat write-back caching afhankelijk van de situatie aanzienlijk sneller kan zijn dan write-through caching.

[Concrete]

Femme schreef op 18 September 2003 @ 20:56:
[...]

Verder moet je je niet blind staren op sequentiële transfer rates. STR's hebben maar een beperkte invloed op de prestaties. Mijn ervaring is dat write-back caching afhankelijk van de situatie aanzienlijk sneller kan zijn dan write-through caching.

Ik doe verder geen veeleisende dingen met die server. Qua services draaien er applications/file/print/backup/proxy/firewall/FTPserver. Geen databases of exchange of zo.

Oeps, las net in dit artikel dat je ATTO ongeschikt acht voor het testen van dit soort configs . Nou ja, ik zal nog eens wat anders erop loslaten om te testen.

[ Voor 3% gewijzigd door Concrete op 18-09-2003 22:14 ]

[BalusC]

Inderdaad, doe eens een IOMeter benchmark. In de FAQ van dit subforum kun je een linkje vinden naar een groot IOMeter benchmark topic

Uit mijn eigen ervaring met de Mylex AcceleRAID600 met 128MB cache kan ik je ook vertellen dat de ATTO scores ook niet echt met de realiteit overeenkomen. De IOMeter scores des te meer

[Dromer]

Femme schreef op 18 september 2003 @ 20:56:
De MegaRAID Express 500 is een al wat oudere low-end SCSI RAID-controller waar je geen wonderen van moet verwachten. Dat de write transfer rates zo laag zijn is wel opvallend. Een MegaRAID Elite 1600 haalt maximaal zo'n 82MB/s write en 130MB/s read. Tot 8KB blocksize is de Express 500 trouwens wel net zo snel als de Elite 1600.

Waarom haalt die 1600 niet meer ?
Ik neem aan dat je wel per kanaal bedoelt aangezien ik er ook eentje wil kopen en toch wel een leuke performance wil

[Liam]

Dromer schreef op 19 September 2003 @ 13:19:
Waarom haalt die 1600 niet meer ?
Ik neem aan dat je wel per kanaal bedoelt aangezien ik er ook eentje wil kopen en toch wel een leuke performance wil

STR is niet interresant, check de I/O's/sec.

In een review van een tijdje geleden haalt een adapteckaartje met HostRAID0 200mb/sec+ echter, qua i/o's loopt ie achter de intelligente controller aan...
Check de Review..

[Abbadon]

Dromer schreef op 19 September 2003 @ 13:19:
[...]

Waarom haalt die 1600 niet meer ?
Ik neem aan dat je wel per kanaal bedoelt aangezien ik er ook eentje wil kopen en toch wel een leuke performance wil

Da's ook wanneer je beide U160 kanalen tegelijk gebruikt. Ik heb dezelfde kaart en kom ook niet boven de 125~130MB/s READ's uit, zelfs niet met twee Atlas 15K's in een stripe of vier Atlas 10K3's in een stripe. Denk dat 't gewoon een begrenzing is van het hele cache gebeuren en de SCSI RAID chip, zet ik alles op write through, zonder read aheads e.d. dan kom ik wel hoger uit alleen is het in de praktijk dan geen donder sneller, au contrair. Verder is het een leuke kaart hoor, zéker als je RAID5 gaat draaien

[Dromer]

Mja ik wil eigenlijk zo'n snel mogelijk gebeuren hebben
Raid5 is voor me workstation niet super interesant.
Ik dacht juist met deze kaart een snelle te hebben.
Hoe doet BalusC dat dan ( is geen HWraid dat weet ik maar toch ) want die haalt wel supersnelheden.

[Abbadon]

Die doet 't met software RAID. Nogmaals, hoge STR cijfers zeggen lang niet alles, check voor de grap deze review van Femme op T.net: reviews: Firmware en hardware SCSI RAID desktop benchmarks Daar zie je b.v. een hostraid based Adaptec kaart de MegaRAID ver voorbij streven qua STR's, echter, komt het op praktische I/O's aan dan pakt 't geheel anders uit

Ik haalde voorheen ook een hogere STR, want heb vrij lang met software RAID gedraaid. Het is nu echt niet langzamer, integendeel. Wel moet ik eerlijk bekennen dat de verschillen in de praktijk niet wereldschokkend zijn, althans, zo ervaar ik het.

[BalusC]

Hoe doet BalusC dat dan ( is geen HWraid dat weet ik maar toch ) want die haalt wel supersnelheden.

Gewoon met een goeie controller, een handvol snelle disken en een dikke PCI bus

Maargoed, verkijk je inderdaad niet teveel op STR's. Daarnaast mag je ATTO scores van exotische configuraties met veel disken op een controller met een dikke cache wel met een korreltje kilo zout nemen. Vooral de cache kan misleidend zijn. Zo leverde een 6-disk HWRAID0 config met write back cache op een Mylex AcceleRAID 600 met 128MB DDR een ATTO score van ~400MB/s writes en ~690MB/s (!) reads op. Dat zou dus betekenen dat een enkele Maxtor Atlas 15K met méér dan 100MB/s kan lezen De write thru cache instelling leverde daarentegen wel "normale" scores op (~300MB/s writes en ~490MB/s reads)

IOMeter is dan inderdaad een veel beter tooltje om de snelheid van zware SCSI/RAID configuraties te meten. Het kan niet alleen STR's meten, maar ook de prestaties in bijvoorbeeld een gesimuleerde Workstation, Windows XP en Fileserver omgeving (check het IOMeter benchmarktopic ). Ik ben nu nog bezig met het benchen van die Mylex AcceleRAID 600, maar ik kan je vast vertellen dat een 6-disk HWRAID0 met 256KB stripe size en write back cache volgens IOMeter sneller en CPU-efficiënter is dan SWRAID0, al scheelt het slechts enkele procenten

[ Voor 5% gewijzigd door BalusC op 20-09-2003 10:19 ]

[Dromer]

Mja, ook ik verkijk me wel eens op STR dan.
Maar het leek me nogal tegen te vallen wat een 1600 doet, terwijl iedereen zo enthousiast is over die kaart.
Ik kan me geld maar 1 keer uitgeven dus wil ik het wel gelijk goed doen

[Lennieboy83]

Zijn die Fujistu MAPs nou echt zo traag?

Alleen mn Seagate 15K.3 leest al net zoveel als de topicstarter in RAID doet, zelfs in de beste mode nog.

[Abbadon]

Dromer schreef op 20 September 2003 @ 14:13:

Maar het leek me nogal tegen te vallen wat een 1600 doet, terwijl iedereen zo enthousiast is over die kaart.

Enthousiast, enhousiast. Je moet wel goed lezen (zie m'n laatste zin in m'n voorlaatste post )

[Dromer]

Oftewel het is allemaal niet zo schokkend veel sneller..
Hmmz... ik heb ook nog een Smart Array 431 liggen.
32mb Cache, zou ik net zo goed die kunnen gaan gebruiken.
Nadeel van SWraid is dat je er niet mee kan booten.

[maratropa]

Die mapjes zijn prima, heb er 2 in software raid 0, ongeveer 95 mb sequentieel schrijven en lezen, dus het kan wel beter dan bij de topicstarter.

[Concrete]

Lennieboy83 schreef op 20 September 2003 @ 18:07:
Zijn die Fujistu MAPs nou echt zo traag?

Alleen mn Seagate 15K.3 leest al net zoveel als de topicstarter in RAID doet, zelfs in de beste mode nog.

Ben ik ook benieuwd naar. Zijn er nog meer mensen die zelf een bench op één of meer MAP's hebben losgelaten? Heb zelf de indruk dat 1 van mijn 2 MAPjes niet helemaal 100% is......

[Liam]

Concrete schreef op 21 September 2003 @ 22:39:
[...]

Ben ik ook benieuwd naar. Zijn er nog meer mensen die zelf een bench op één of meer MAP's hebben losgelaten? Heb zelf de indruk dat 1 van mijn 2 MAPjes niet helemaal 100% is......

Ik heb ook twee MAP's draaien, nu even niet in RAID0 ofzo, gewoon single, maar ze worden nog een beetje gelimiteerd omdat ze nu met z'n tweeen op een oud U2W controllertje hangen.
Ik haal single met 1 schijf nu iets van 55-60mb/s read, maar er is heel erg weinig (zeg maar bijna geen) verloop, dus ze zijn nu nog gelimiteerd.
Eind oktober krijg ik mijn U320 adaptec kaart binnen, en dan zullen we eens kijken wat ze doen.

edit:

Heb zo 1-2-3 ff geen ruimte over om een screenie te plaatsen, ga het wel ff zoeken en dan gooi ik hem hier wel ff neer.

[ Voor 12% gewijzigd door Liam op 22-09-2003 03:29 ]

[Lennieboy83]

Zie je nou, iets klopt er dus niet, die schijfjes moet toch wel rond de 100MB/s kunnen doen met zn 2en

[The Dolf]

Lennieboy83 schreef op 20 September 2003 @ 18:07:
Zijn die Fujistu MAPs nou echt zo traag?

Alleen mn Seagate 15K.3 leest al net zoveel als de topicstarter in RAID doet, zelfs in de beste mode nog.

Als je goed had gelezen dan zag je dat hij 2 schijven in Raid1 (mirroring) heeft staan.
Je ziet dus eigenlijk de prestatie van 1 schijf en dan is je seagate idd sneller.

[Lennieboy83]

The Dolf schreef op 22 september 2003 @ 17:52:
[...]

Als je goed had gelezen dan zag je dat hij 2 schijven in Raid1 (mirroring) heeft staan.
Je ziet dus eigenlijk de prestatie van 1 schijf en dan is je seagate idd sneller.

Dan presteerd die schijf van de topicstarter toch nog steeds niet ok

'k moet idd beter lezen

[ Voor 9% gewijzigd door Lennieboy83 op 22-09-2003 19:36 ]

[Concrete]

The Dolf schreef op 22 September 2003 @ 17:52:
[...]

Als je goed had gelezen dan zag je dat hij 2 schijven in Raid1 (mirroring) heeft staan.
Je ziet dus eigenlijk de prestatie van 1 schijf en dan is je seagate idd sneller.

Als ik me niet vergis levert RAID1 (vooral op reads) een redelijke prestatiewinst op t.o.v. 1 enkele schijf? Laat onveranderd dat m'n setup ondermaatse getallen oplevert.

[The Dolf]

Concrete schreef op 22 september 2003 @ 21:15:
[...]

Als ik me niet vergis levert RAID1 (vooral op reads) een redelijke prestatiewinst op t.o.v. 1 enkele schijf? Laat onveranderd dat m'n setup ondermaatse getallen oplevert.

Absoluut niet.
Daar heb je andere raid vormen voor waarbij 0, 1+0 en 5 de populairste zijn

[Liam]

Concrete schreef op 22 september 2003 @ 21:15:
[...]

Als ik me niet vergis levert RAID1 (vooral op reads) een redelijke prestatiewinst op t.o.v. 1 enkele schijf? Laat onveranderd dat m'n setup ondermaatse getallen oplevert.

Volgens de review van storagereview, zou de max STR van 1 zo'n schijf om en nabij de 70mb/s liggen.

Ik haal het ook niet met mijn MAP, maar dat komt dus omdat er maar max 80mb/s door me kanaal kan, wat dus niet bereikt kan worden. Op de een of andere manier wil de controller in kwestie ( een tekram (=LSI)) niet aan meer, maar goed dat maakt niet uit, straks lopen ze lekkerder .

Anyway, als je ze in raid0 zou zetten zouden ze 100-120? mb/s moeten kunnen doen met z'n tweeen. raid1 zou ik je niet kunnen vertellen, maar check anders ff storagereview, daar staat in hoe of wat het zit met deze schijf. Het is overigens wel een van de snelste 10k schijven, hij loopt net iets achter de maxtor 10k IV aan. Ik vind het in ieder geval (zoals ik er nu mee werk) een topschijf en kan hem iedereen aanraden die twijfelt.

Maar zoals eerder gezegt, staar je niet blind op STR. Ik heb ook nog een adaptec aaa-133u2 u2w scsi raid controller met 64mb, met wat 10k schijven eraan, en die doet qua STR nou ook niet echt wonderen maar qua IO/s is ie nog altijd mega snel.

[ Voor 11% gewijzigd door Liam op 23-09-2003 01:42 ]