Slechte RAID1 (lees) snelheden Samsung F1 schijf

[Saturnus]

Even een eigen topic aangezien deze doodbloed en het wellicht offtopic is voor dat onderwerp.

De config:

CPU:	AMD Athlon 64 X2 4050e (Cool'n'Quiet)
Mobo:	GigaByte GA-MA74GM-S2H
Geheugen:	Kingston KVR800D2N5K2/2G
Harddisk:	RAID1 2x Samsung F1 HD753LJ
Voeding:	Antec EarthWatts 380W

Een reinstall van Ubuntu 8.04.2 LTS Desktop is net gedaan, deze keer de 64-bit variant. Voordat dat gebeurde heb ik de BIOS geupdate en de mode van de SATA schijven van Native IDE naar AHCI gezet. Het gaat om software RAID.

sudo hdparm -t /dev/[id]
Resultaat:
sda: 81MB/s
sdb: 96MB/s
md0: 80-90MB/s
md1: 80-90MB/s (meestal iets sneller dan md1)

md0 is een 10GB RAID1 array met het OS erop.
md1 is een 688GB RAID1 array met /home
(Verder staat op beide drives een swap, totaal ongeveer 2GB.)


Conclusie/Problemen:
1: sda en sdb verschillen in snelheid.
2: De array is niet sneller dan de schijven los.

1:
Qua snelheid geld ongeveer:
sda1=sdb2
sda2=sdb1
sda3=sdb3
Dit vind ik erg raar. Aangezien sd.2 op beide gigantisch is kan het niet zijn dat de volgorde fisiek verschilt want wanneer sd.2 vóór sd.1 zou liggen...liggen sd.1 en sd.3 zo dicht bij elkaar dat snelheid niet zou verschillen...en dat is nu wel het geval (80 vs 40MB/s).


2:
Een RAID1 setup is niet zoals een RAID0 setup, dat is mij bekend. Schrijven is eerder trager, maar lezen daarin tegen hoort net zo snel te zijn als bij RAID0 en hdparm is een leestest.
sda haalt rond de 80, sdb rond de 90...voor RAID1 lezen is de snelheid in theorie dan de som van dit, maar laten we voorzichtig beginnen: Waarom haal ik nog geen 120MB/s?


Wie heeft hier verklaring en/of oplossingen voor?


[Updated]

[ Voor 25% gewijzigd door Saturnus op 15-04-2009 13:01 ]

[M2M]

ligt het niet geheel aan de controller of de leessnelheid verdubbeld in een RAID1 configuratie? Mijn raid1 config van 2 500GB samsung T166's op zowel een nforce 650i als een intel ICH10 gaat mijn leessnelheid niet hoger dan de snelheid van een losse disk. (windows als OS).
Misschien dat het een driver probleempje is, misschien dat het een chipset probleem is, misschien is het zelfs niet gebruikelijk.

[_Dune_]

Precies zoals M2M al aangeeft, dergelijke onboard controllertjes zijn over het algemeen niet erg "slim/geaffanceerd". Al hoe wel de Intel controllers toch wel een leuke feature set bieden. De lees snelheid zal inderdaad niet verdubbelen in een RAID1 set op een dergelijke controller.

Als je dergelijke zaken wilt dan zit je toch vast aan een op hardware gebasseerde RAID controller, maar dat zal in prijs aanzienlijk hoger uitpakken dan bijvoorbeeld de prijs van het moederbord zelf.

Overigens weet de TS dat hij niet de ideale combinatie hardware heeft en dat is met name de Intel RAID controler en de Samsung F1 hardeschijven. De "normale" F1 serie kan nog al wat problemen opleveren wanneer deze hardeschijven in een RAID set worden gebruikt.

[_JGC_]

AFAIK doet de softraid van linux wel mutli-device RAID-1 bij lezen, maar net zoals bij mijn tests op een RAID-10 volume van 6 disks op een 3Ware SAS RAID controller een tijdje terug, is de testset van hdparm te klein om van meerdere disks gelezen te worden. Pak er eens een echte benchmark bij zoals bonnie++.

[BGB4rn]

van RAID1 wordt je setup inderdaad geen spat sneller , eerder langzamer omdat er bij RAID 1 alles dubbel moet worden weggeschreven.

Als je snelheid wil moet je de stabiliteit van RAID 1 inleveren en kun je RAID 0 draaien, je kunt met 4 discs ook een raid 0+1 opstelling maken, dan heb je allebij als ik het goed heb

WIKI

[Saturnus]

@M2M en _Dune_
Blijkbaar niet duidelijk door mij vermeld: Het gaat om software RAID. (Excuses.)

@_JGC_
Ok dan, goed punt daar had ik nog helemaal niet aangedacht, ik zal er eens naar gaan kijken.

@BGB4rn
Check even het laatste pluspunt van RAID1 haha.

[Saturnus]

bonnie geeft: http://members.home.nl/saturnusdj/bonnie.html
Volgens mij niet iets om blij van te worden.

[Verwijderd]

Je zei C&Q aan te hebben? Heb je al getest zonder? Software-raid bestaat voornamelijk uit CPU-cycles, en zo'n onboard-raid controller doet dat echt niet zelfstandig hoor.

Zelf haal ik over de 120MB p/s read met een 2x WD Raptor 36GB 10k schijven.

[TheBorg]

M2M schreef op woensdag 15 april 2009 @ 11:56:
ligt het niet geheel aan de controller of de leessnelheid verdubbeld in een RAID1 configuratie? Mijn raid1 config van 2 500GB samsung T166's op zowel een nforce 650i als een intel ICH10 gaat mijn leessnelheid niet hoger dan de snelheid van een losse disk. (windows als OS).
Misschien dat het een driver probleempje is, misschien dat het een chipset probleem is, misschien is het zelfs niet gebruikelijk.

Dan gaat er bij jou iets mis. De ICH9R/ICH10R kunnen in RAID 1 de leessnelheid verdubbelen. Schrijfsnelheid blijft wel gelijk aan 1 disk.

[gertvdijk]

Linux software RAID1 balanct de schijven, in plaats van simultaan lezen. Dit kan je zien door

iostat -k -x -d 2

uit het pakket sysstat (voor Debian en -afgeleiden). Je ziet dan dat sda en sdb om en om worden gebruikt. Ik meen wel dat je dat kan aanpassen met een simpele echo 1 > /sys/... (of zoiets)

@ Jism: dat is ongeveer de verwachtingswaarde van een single schijf.

edit: uit de Linux RAID how-to:

RAID-1

For writes, the chunk-size doesn't affect the array, since all data must be written to all disks no matter what. For reads however, the chunk-size specifies how much data to read serially from the participating disks. Since all active disks in the array contain the same information, the RAID layer has complete freedom in choosing from which disk information is read - this is used by the RAID code to improve average seek times by picking the disk best suited for any given read operation.

The RAID code employs a rather good read-balancing algorithm, that will simply let the disk whose heads are closest to the wanted disk position perform the read operation. Since seek operations are relatively expensive on modern disks (a seek time of 6 ms equals a read of 123 kB at 20 MB/sec), picking the disk that will have the shortest seek time does actually give a noticeable performance improvement.

Het komt er dus op neer dat standaard de seek times worden geoptimaliseerd en niet zozeer de sequentiële doorvoorsnelheden. Er is dus over nagedacht en helemaal niet gek dat je geen dubbele datadoorvoer haalt. Bench eens de seektimes. Daar heb je in de meeste gevallen veel meer aan dan sequentiële datadoorvoer.

[ Voor 79% gewijzigd door gertvdijk op 15-04-2009 21:06 ]

[M2M]

TheBorg schreef op woensdag 15 april 2009 @ 20:49:
[...]

Dan gaat er bij jou iets mis. De ICH9R/ICH10R kunnen in RAID 1 de leessnelheid verdubbelen. Schrijfsnelheid blijft wel gelijk aan 1 disk.

damn je hebt gelijk... Misschien moet ik dan toch nog maar eens goed door de drivers heen bladeren. misschien dat ik na de installatie van windows iets vergeten ben of over het hoofd heb gezien.

[Saturnus]

gertvdijk schreef op woensdag 15 april 2009 @ 20:55:
Linux software RAID1 balanct de schijven, in plaats van simultaan lezen. Dit kan je zien door

iostat -k -x -d 2

uit het pakket sysstat (voor Debian en -afgeleiden). Je ziet dan dat sda en sdb om en om worden gebruikt. Ik meen wel dat je dat kan aanpassen met een simpele echo 1 > /sys/... (of zoiets)

@ Jism: dat is ongeveer de verwachtingswaarde van een single schijf.

edit: uit de Linux RAID how-to:

[...]


[...]


Het komt er dus op neer dat standaard de seek times worden geoptimaliseerd en niet zozeer de sequentiële doorvoorsnelheden. Er is dus over nagedacht en helemaal niet gek dat je geen dubbele datadoorvoer haalt. Bench eens de seektimes. Daar heb je in de meeste gevallen veel meer aan dan sequentiële datadoorvoer.

Ok dat snap ik niet. Dat de ene de head dichterbij is en die daarom iets sneller bij de eerste data is ok...maar als je 2GB overpompt kan je mij niet zomaar wijsmaken dat dat niet sneller is als je 1GB van beide schijven laat komen waardoor hij in theorie maar 50% van de tijd nodig heeft en je daardoor dus 2x zo hoge leessnelheden hebt.

[gertvdijk]

Saturnus schreef op donderdag 16 april 2009 @ 00:06:
Ok dat snap ik niet. Dat de ene de head dichterbij is en die daarom iets sneller bij de eerste data is ok...maar als je 2GB overpompt kan je mij niet zomaar wijsmaken dat dat niet sneller is als je 1GB van beide schijven laat komen waardoor hij in theorie maar 50% van de tijd nodig heeft en je daardoor dus 2x zo hoge leessnelheden hebt.

Tuurlijk, maar hoe vaak ben je nou sequentieel grote hoeveelheden data aan het overpompen waarbij je dergelijke snelheden nodig bent? Gigabit ethernet trek je al snel vol met één schijf en welk medium kan nou schrijven met dergelijke snelheden?
Bovendien worden beide schijven wel simultaan gebruikt bij meerdere I/O acties, waarbij dus de keuze van de schijf afhangt van de snelste responstijd. Je kan dus prima twee files tegelijk overpompen met een dubbele snelheid t.o.v. non-RAID. Ik ben er van overtuigd dat optimalisatie voor I/O wait times een veel grotere verbetering brengt in de gebruikerservaring (in ~95% van de gevallen) dan optimalisatie voor de squentiële doorvoer in geval voor RAID1. En er is vast ene tweak/kernelparameter/patch waarmee je dat kan omgooien naar de andere optimalisatie...

[ Voor 3% gewijzigd door gertvdijk op 16-04-2009 14:07 ]

[junkbuster]

Saturnus schreef op dinsdag 14 april 2009 @ 19:03:
...

sudo hdparm -t /dev/[id]
Resultaat:
sda: 81MB/s
sdb: 96MB/s
md0: 80-90MB/s
md1: 80-90MB/s (meestal iets sneller dan md1)

md0 is een 10GB RAID1 array met het OS erop.
md1 is een 688GB RAID1 array met /home
(Verder staat op beide drives een swap, totaal ongeveer 2GB.)

...
...

Wie heeft hier verklaring en/of oplossingen voor?

Het kan best wel eens zijn dat de disk I/O van hdparm -t maar naar een harddisk gestuurd wordt. Ik zag datzelfde verschijnsel in mijn systeem optreden (ik werk al ca. 10 jaar met software raid onder Linux).

Tip: installeer een tool als gkrellm (die geeft online het diskverkeer in een grafiekje weer), dan kun je beter zien wat er gebeurt met de harde schijven als de machine bepaalde tests (of niet) uitvoert. Wat je waarschijnlijk ook zal zien is dat, als het systeem normaal functioneert (als server bijvoorbeeld), de leesacties beter verspreid worden over de diverse raid1-partities.

Een tool als Bonnie++ kan gedetailleerde filesystem en disk-I/O informatie weergeven. Deze gebruik ik meestal om goede indicaties te krijgen.

edit:
(ik lees net pas dat gertvdijk dit hierboven ook al toegelicht heeft, in iets technischer zin. ;-)

[ Voor 4% gewijzigd door junkbuster op 16-04-2009 15:12 ]