SCSI Software stripe scaling

[Abbadon]

Ik ben geïnteresseerd in jullie ervaringen m.b.t. software RAID schaling en dan met name striping. Ik raak namelijk een barriere

Eerst wat specs:

OS: Win XP Pro
Filesysteem: NTFS Dynamic disk
Controller: Adaptec 39160 (64bits PCI)
Mobo: Tyan TigerMP (met de Adaptec in een 64bits slot)
Disken: Maxtor Atlas 10K3 (vier stuks)
Meettool: ATTO
Gebruikte SCSI kanalen: één v.d. twee (komt verandering in zodra ik m'n 2e LVD kabel heb)

Van de read performance problemen die kunnen optreden met Win XP en SCSI heb ik overigens nooit last gehad:

één 10K3: 52~56MB/s RW
twee 10K3's: 102~105MB/s RW (stripe)

Dit zijn gezonde waardes voor deze disk en het schaalt lekker in een stripe; nagenoeg een dubbele score Met de instellingen lijkt dus totaal niks te mankeren (disk cache is enabled in XP en Domain Validation stelt alles fijn op U160 in)

Echter, gooi ik een derde 10K3 in de stripeset dan win ik maar 5~10MB/s extra, een vierde 10K3 voegt helemaal niks meer toe Dus ik blijf hangen op zo'n 115MB/s. Nu zal je kunnen zeggen: "gebruik dat tweede kanaal dan ook!" (wat ik ook zo snel mogelijk zal doen) maar één U160 kanaal meer moet kunnen bolwerken dan die 115MB/s: theoretisch 160MB/s, in de praktijk wat minder lijkt me maar zéker meer dan 115MB/s. De PCI bus is ook geen beperkende factor, dit is namelijk een 64bits bus welke 266MB/s aan kan. Dus waar zit 'm de kneep Het OS? Of ben ik fout te veronderstellen dat er meer MB/s door één U160 kanaal kunnen?

ATTO is natuurlijk geen wondermiddel maar als ik telkens dezelfde score's krijg ga ik me toch wat afvragen.

[Madrox]

Denk dat je tegen de limiet aanloopt van je 32bit PCI-bus...
Dat zou dus ook betekenen dat je tweede controller weinig zal uitmaken, iig voor de max. transferrate.....

Hoor graag je resultaten

[BalusC]

Madrox schreef op 30 september 2002 @ 09:36:
Denk dat je tegen de limiet aanloopt van je 32bit PCI-bus...
Dat zou dus ook betekenen dat je tweede controller weinig zal uitmaken, iig voor de max. transferrate.....

Hoor graag je resultaten

Waar lees je dat de kaart in een 32bits slot zit

Wat betreft het probleem; vanwege gebrek aan ervaring en kennis omtrent SW RAID met Dynamische schijven tast ik hier ook in het duister

[maratropa]

hey abbadon, ik dacht dat je een LSI kaart uit engeland liet komen? Misschien is het de adaptec wel?

[Abbadon]

Hmm, ik heb deze vraag ook gepost op 2cpu.com (noem me geen overloper maar daar is het gehalte die-hardware geeks nog hoger dan hier) en ik heb een reply van iemand die onder XP vier X15's softwarematig heeft gestriped en dat schaalt wél goed! Dus Win XP moet 't aan kunnen

Ik begin toch mijn PCI bus te verdenken ondanks dat deze 64bits is. Wel, ik wacht mijn 2e kabel af, ga dan weer testen en de controller in nog een ander 64bits slot proberen. Ik laat m'n ervaring wel horen en sta nog steeds voor die van jullie open natuurlijk

gladiool schreef op 30 september 2002 @ 10:42:
hey abbadon, ik dacht dat je een LSI kaart uit engeland liet komen? Misschien is het de adaptec wel?

Ja, maar dat bedrijf liet maar niet van zich horen, bastards En toen kon ik deze voor €125,- krijgen en hoefde ik niet lang na te denken (ondanks dat het een Adaptec is ). Lijkt me overigen sterk dat een Adaptec zó slecht scoort.

[maratropa]

Jaoh. Ik hoop trouwens dat het niet aan de MP licht...

[Abbadon]

Ben zelf even flink bezig geweest en het probleem was inderdaad de kabel. Ik heb nu een 2e kabel, U320 (waarvoor dank Bierkameel ) en het schaalt stukken beter Hier een voorbeeld van een stripe over drie disken:



Wie zij dat Win XP SCSI Write problemen had

Met vier disken kom ik zelfs op max 172MB/s Read uit Alleen zijn m'n write's consistenter als ik de disk waar XP op staat buiten de stripe laat. En dit is snel zat (totdat ik me weer verveel en hoe dan ook het zaakje met 4 disken qua write's 110% voorelkaar wil krijgen)

Ik gebruik nu dus een U320 kabel en een U2W kabel, die laatste is een beetje beschadigd waardoor ik eerst ook nog problemen had (write's van 2MB/s ) ik zit er aan te denken die ook te vervangen, wellicht dat het zaakje dan nóg iets beter performed (een U2W kabel heeft naar ik meen ook iets andere specs/toleranties). In ieder geval is de PCI bus van de MP niet de bottleneck met STR's van 172MB/s.

Conclusie: software striping schaalt (althans in mijn geval) vrij goed, en dan met name de reads. De write's blijven toch achter wanneer er meer dan twee disken worden gebruikt, dit zal wel een beperking zijn van het hele softwarematige principe denk ik, dit bleek met de stroomvoorziening te maken te hebben!!! Twee disken vielen af en toe eens weg bij o.a. een geringe aanraking v.d. molex. Dat er variabele fans aan dezelfde stroomkabel hingen heeft er naar mijn idee ook mee te maken. Nu schalen de write's ook heel goed mee Nu nog eens een 4-disks stripe opnieuw gaan aanmaken en testen.

1 disk (eenvoudig volume) max 52~55MB/s RW
2 disken (stripe) max 99/101MB/s RW
3 disken (stripe) max 145/143MB/s RW
4 disken (stripe) max 125(moet nog opnieuw testen)/172MB/s RW

Ik wou het ff kwijt

[ Voor 0% gewijzigd door Abbadon op 05-10-2002 02:25 . Reden: update ]

[Verwijderd]

Het probleem van af en toe eens wegvallen van sommige disks heb ik ook regematig mee te maken,ik denk niet dat dit te maken heeft met de combinatie van variabele fans op dezelfde stroomkabel,dit is bij mij niet van toepassing,ik ga nu "Load Resistors "bestellen in de US want het blijkt een vrij veel voorkomend euvel te zijn bij gebruik van raid systemen,het regelt voornamelijk de regulatie en perfomance van de + 5 volt voeding,daar schijnt volgens ingewijden ( kenissen in de US) de grote fout te zitten.

[Abbadon]

Interessant Ik verkeerde altijd in de veronderstelling dat disken alleen maar 12v nodig hadden, als ik de moeite had genomen dat even simpel na te gaan had ik kunnen weten dat ze ook 5v tot hun voudingspatroon rekenen. Ik heb een Enermax PSU, en deze jongens zijn berucht om hun 5v wisselvalligheid, dus wie weet. Iig is het probleem vooralsnog opgelost door de variabele case fans aan een andere kabelboom aan te sluiten en de molex mannetje/vrouwtje verlengstukken er zodoende tussenweg te hebben genomen. Ik zal het in ieder geval goed in de gaten houden, thnx voor de tip

[maratropa]

Hmm ja die enermax fan's kunnen af en toe rare dingen met je systeem doen, ik heb er ook 4 inzitten, en ik geloof dat vooral op lage standen ze instabielheid kunnen veroorzaken.

Abbadon, das wel een mooie (understatement) score . Je kunt ook 2 los hangen en dan 2 in raid 0, dan heb je dus 3 schijven waarvan er 1 met een vette doorvoer. Dan kun je je data leuk verdelen. Of ga je voor de "doorvoer king of the week" award?

[Abbadon]

Ik weet nog niet wat ik wil qua indeling, eigenlijk wilde ik sowieso eens de max opzoeken van wat mogelijk is, dus nog voor de grap eens een 4-disk stripe aan te maken gewoon om te experimenteren/spelen (aan een doorvoer van 170~180 MB/s heb ik eigenlijk niet zoveel ) Eerlijk gezegd neig ik naar twee stripe sets van elk twee disken waarvan één set de voorste twee stukken (op elke disk één stuk) twee eenvoudig volumes. Twee cpu's scheelt in dit geval trouwens wel ; het verplaatsen van met name grotere blokken data vraagt door het softwarematige karakter v.d. stripe's wel cpu cycle's. De (tijdrovende) kunst is nu een juiste middenweg zien te vinden.

[Verwijderd]

weet je tenminste zeker dat je gebruik maakt van je 2e CPU , omdat je software striping doet.

[Femme]

Ik zou wel eens willen weten hoe software RAID 5 presteert?

[Abbadon]

Software RAID 5, ben ik ook wel enigszins nieuwsgierig naar. Als ik dat wil testen moet ik echt álles opnieuw inrichten want dan moet ik XP Pro vervangen door een W2K server versie, en daar heb ik voorlopig ff geen zin in . Ik schat zo in dat de write's keihard achteruitgaan i.v.m. checksum en XOR berekeningen.

[wezep]

Waarom vervangen door XPProf?? XPProf kan prima een software RAID5 set aanmaken voor je. XPHome niet.

[Verwijderd]

Wezep, voor zover mij bekend kun je met de Pofessional versies slechts Striping zonder Pariteit uitvoeren, oftewel RAID0.
De server kan ook Raid1 (mirroring) en geavanceerdere vormen van RAID

[wezep]

Je hebt gelijk. Ik las in de help van XPProf het volgende en dacht dat XPProf RAID-5 aankon. Als ik verder op had gelezen staat er dat dit alleen mogleijk is in Win2000 server versies. Jammer krijg van de week nog twee 36lzx schijven binnen en samen met diegene die ik al heb was ik ook van plan een softwarematige raid5 set te maken.


Open Computer Management (Local).
In the console tree, click Disk Management.
Where?

Computer Management (Local)
Storage
Disk Management

Right-click the unallocated space on one of the dynamic disks where you want to create the RAID-5 volume, and then click New Volume.
In the New Volume Wizard, click Next, click RAID-5, and then follow the instructions on your screen.
Notes

To open Computer Management, click Start, and then click Control Panel. Click Performance and Maintenance, click Administrative Tools, and then double-click Computer Management.
You must be logged on as an administrator or a member of the Administrators group in order to complete this procedure. If your computer is connected to a network, network policy settings may also prevent you from completing this procedure.
You can create RAID-5 volumes only on computers running Windows 2000 Server, Windows 2000 Advanced Server, or Windows 2000 Datacenter Server.
You need at least three dynamic disks to create a RAID-5 volume.
RAID-5 volumes provide fault tolerance at a cost of only one additional disk for the volume. This means that if you use three 10-GB disks to create a RAID-5 volume, the volume will have a 20-GB capacity. The remaining 10-GB is used for parity.
RAID-5 volumes cannot be extended or mirrored.

[Femme]

Ik ben ook even wat met software striping gaan spelen met twee ongebruikte partitiesk op m'n Maxtor Atlas 10K III en Barracuda 18XL (7200rpm). Het leek me interessant om te zien in hoeverre striping schaalt op harde schijven met een sterk uiteenlopende performance.

Allereerst de ATTO STR's:

Atlas:



Barracuda:



Stripe:



De STR's zijn onderin wat hoger en bij de grote transfers juist lager.

- IOMeter I/O's per seconde:

Metingen met IOMeter volgens het door Intel gespecificeerde fileserver toegangspatroon geven aan dat de I/O performance wel licht stijgt. Alleen onder erg lage I/O load is de stripe trager:

Atlas 10K III Barracuda 18XL Software stripe 1 outstanding I/O 124,33 77,23 110,36 4 outstanding I/O's 162,00 105,19 182,92 16 outstanding I/O's 236,51 140,53 268,06 64 outstanding I/O's 271,99 160,63 294,37

[Abbadon]

Van Intel's IOMeter snap ik geen snars, zóveel in te stellen Het zal zeer zeker bruikbaardere cijfertjes opleveren dan alleen maar pure STR. Kent IOMeter ook default settings of moet je echt alles zelf instellen want dan wil ik wel eens een vergelijking maken.
Wat me wel opvalt is dat m'n Adaptec 39160 bij de kleinere blokken idd lagere ATTO Read waardes oplevert dan zelfs m'n Tekram 390U2W en dat terwijl ik nu dualchannel U160 heb en die Tekram één U2W kanaal heeft (Adaptec misperformance?).
Dat bij jou de stripe in bepaalde opzichten lager scoort zal ongetwijfeld met de hogere toegangstijden te maken hebben van de Barracuda.

[Femme]

De nieuwe IOmeter versies op SourceForge worden niet meer geleverd met de voorgebakken access patterns van Intel. Hier is de WRKLOADS.ICF die werd meegeleverd bij een IOMeter versie van twee jaar geleden:

http://arethusa.tweakers....tuff/iometer/WRKLOADS.ICF

Deze open je in IOMeter en daarna kies je bij Acess specifications het fileserver patroon. Bij Test Setup selecteer je een run time van bijv. 1 minuut en een ramp up van 10 seconde. Ik doe voor de zekerheid 1 worker omdat ik weet in hoeverre het spawnen van meerdere workers op dual CPU systemen de score beïnvloedt. Bij Cycling options moet je Cyle outstanding I/O's en bij # Outstanding I/O's kies je 1 tot 64 met een power van 4 en exponentional stepping. Je krijgt dan vier runs van 1, 4, 16 en 64 outstanding I/O's.

Bij Disk Targets kun je opgeven hoeveel schijfruimte er gebruikt moet worden. Als je niks opgeeft gebruikt ie de hele schijf, maar de voorbereiding van de bechmark zal dan wel lang duren omdat ie de eerste keer een file van waarschijnlijk heel veel gigabytes moet maken. Een maximum disk size van 65K sectors levert bij mij een filesize van 32MB op. Zo'n test is wel wat minder eerlijk omdat de schijfkoppen minder kleinere verplaatsingen moeten maken.

# Outstanding I/O's moet je ongemoeid laten aangezien dat in Test Setup wordt geregeld. Na je het gewenste disk target hebt gekozen (eerst op de computer icoontje klikken als je dat nog niet gedaan had) kun je met de test beginnen. In Results Display ff Results since 'Last Update' aanvinken zodat je meteen de resultaten va de laatste run kunt zien tijdens het benchen.

IOMeter is overigens alleen representatief voor echte serverperformance. Om de desktop performance van een schijf goed te vangen zul je reallife toegangspatronen moeten tracen met bijv. de Intel IPEAK toolkit zoals Storage Review dat doet. Helaas is de IPEAK demo niet meer te downloaden vanaf de Intel site.

[maratropa]

"Ooooh, To adaptec dark side, Abbadon has gone"

[Abbadon]

Heb IOMeter daarstraks een paar maal achter elkaar gedraaid en de uitslag was telkens nagenoeg hetzelfde

Metingen op een stripe van 3x Atlas 10K3's en een testfile van 256MB (sector is altijd halve K dus 512K sectoren) en alle instellingen voor de rest zoals je ze hebt aangegeven:

1 outstanding I/O 247
4 outstanding I/O's 511
16 outstanding I/O's 1007
64 outstanding I/O's 1192

Heb geen ervaring met deze cijfertjes maar afgezien van de '1 outstanding I/O' schaalt het aardig in vergelijking met 1 Atlas lijkt me

gladiool schreef op 08 oktober 2002 @ 00:56:
"Ooooh, To adaptec dark side, Abbadon has gone"

Dark side is easy side. Tempting the Adaptec price was

[Verwijderd]

Doe ik het zo goed (zie screenshots)?
worker 2 en 3 doen niks trouwens (hoop ik). Per ongeluk toegevoegd.

Eindelijk dankzij Femme een fatsoenlijke guide tot het draaien van IOmeter met gestandaardiseerde instellingen.




raad eens wat voor apparaat dit is