Trage softraid setup

[Ruudjah]

DIT BERICHT IS PREVENTIEF VERWIJDERD DOOR DE GEBRUIKER

[ Voor 104% gewijzigd door Ruudjah op 01-12-2009 21:57 ]

[McKaamos]

Sja je systeem is gewoon te traag. Die snelheiden zijn logisch.
RAID5 kost nogal wat rekenkracht. Ik durf er een wedje op te leggen dat je met schijfbewerkingen 100% CPU load hebt, ookal zie je dat niet terug in windows.

Ik denk dat je beter af bent met een hardwarematige RAID5 controller.

[ Voor 7% gewijzigd door McKaamos op 14-11-2006 00:29 ]

[SyS_ErroR]

Wat zegt je eventvieuwer?

En kopieer eens files gewoon lokaal, en niet over netwerk. Misschien is het wel je LAN waar iets verkeerd zit!

[Ruudjah]

DIT BERICHT IS PREVENTIEF VERWIJDERD DOOR DE GEBRUIKER

[ Voor 96% gewijzigd door Ruudjah op 01-12-2009 21:57 ]

[Verwijderd]

Met McKaamos. Je gebruikt een hardware oplossing uit 1999

[McKaamos]

het gaat toch om Softwarematige RAID5? in die context maak ik die opmerking ook... Te traag voor dat doel. Als je al rekent dat hardwarematige controllers eein eigen dedicated XOR processor van 400Mhz of meer hebben en minstens 64MB RAM hebben (en een vette boost halen uit 128MB) dan mag je toch wel rekenen dat een PC met een "universele" processor op 600Mhz waarschijnlijk relatief minder presteert in XOR berekeningen, en ook nog eens het OS draaiende moet houden.

Verder zou je eens kunnen kijken naar programma's als MBM5 of Speedfan. Die hebben vaak wel een aardige indicatie van de CPU usage.
Ook niet 100% betrouwbaar trouwens, maar dat geld voor alle tools wel.

edit:
trouwens, aangezien je waarschijnlijk ook keihard aan de slag bent met de PCI bus ivm die losse (s)ata controllers heb je mogelijk ook nog eens weinig bandbreedte over voor de netwerkkaart waardoor je waarschijnlijk bijster lage performance over netwerk haalt.

[ Voor 16% gewijzigd door McKaamos op 14-11-2006 00:42 ]

[Ruudjah]

DIT BERICHT IS PREVENTIEF VERWIJDERD DOOR DE GEBRUIKER

[ Voor 96% gewijzigd door Ruudjah op 01-12-2009 21:57 ]

[SyS_ErroR]

Ruudjah schreef op dinsdag 14 november 2006 @ 00:37:
[...]

Graag zou ik constructieve feedback willen hebben. Lolloge opmerkingen zijn misschien meer iets voor de huiskamer. Als je zegt dat mijn hardware uit 1999 komt zal je misschien gelijk hebben. Maar zeg dan ook waar het potentiele flessehals zit, en kom met tips aan waar ik moet upgraden.

Mijn 1e post word volledig genegeerd, maargoed..

Zet in taakbeheer eens een vinkje bij "geef kerneltijden weer".. de kans is groot dat je dan ziet dat idd de hardware gewoon de bottleneck is..

[Ruudjah]

het gaat toch om Softwarematige RAID5? in die context maak ik die opmerking ook... Te traag voor dat doel. Als je al rekent dat hardwarematige controllers eein eigen dedicated XOR processor van 400Mhz of meer hebben en minstens 64MB RAM hebben (en een vette boost halen uit 128MB) dan mag je toch wel rekenen dat een PC met een "universele" processor op 600Mhz waarschijnlijk relatief minder presteert in XOR berekeningen, en ook nog eens het OS draaiende moet houden.

Tsjah. Windows taskmanager zegt dat de CPU load niet boven de 50% uitkomt, zoals ik al had gemeld. Bovendien zegt Mhz me niet zoveel.
Zeg je nou dat windows taskmanager geen betrouwbare indicatie geeft van het CPU gebruik?

[maratropa]

Voor de gein:

Hang eens 2 Pata schijven in raid 1 / 0 : test de doorvoer
Hang eens 2 Sata schijven in raid 1 / 0 : test de doorvoer
Hang eens 1 Pata en 1 Sata schijf samen in raid 1 / 0 : test de doorvoer

Het is voor software raid 5 een wat oud systeem denk ik, en er wordt ook nog sata en pata gemixed, maar ik ben wel benieuwd wat de bovenstaande config's doen.

[Verwijderd]

De berekening van het paritybit kost behoorlijk wat performance. En zelf het e.e.a. opzoeken kan ook vanuit jouw huiskamer.

[maratropa]

Verwijderd schreef op dinsdag 14 november 2006 @ 00:49:
De berekening van het paritybit kost behoorlijk wat performance. En zelf het e.e.a. opzoeken kan ook vanuit jouw huiskamer.

Nou het vaak niet alleen de parity bit maar bij schrijfbewerkingen moet er gelezen EN geschreven worden wat HD's gewoon niet kunnen.

Maar als hij dus met raid 0 en 1 wel een goeie doorvoer krijgt dan lijkt me cpu de dader.

[Ruudjah]

DIT BERICHT IS PREVENTIEF VERWIJDERD DOOR DE GEBRUIKER

[ Voor 96% gewijzigd door Ruudjah op 01-12-2009 21:57 ]

[Ruudjah]

DIT BERICHT IS PREVENTIEF VERWIJDERD DOOR DE GEBRUIKER

[ Voor 95% gewijzigd door Ruudjah op 01-12-2009 21:58 ]

[Verwijderd]

Misschien dus geheugen bijprikken.

Windows Task Manager displays the commit charge in its Performance tab. There are three memory readings, measured in kilobytes:

Total: refers to the total amount of physical and virtual memory the computer is using at that moment.
Limit: refers to the combined limit of both the physical memory and the allocated virtual memory.
Peak: refers to the highest total system memory usage during the session in which you are using the computer.
The commit charge will increase when applications are opened and used and decrease when applications are closed.

[jealma]

Je zou ook geen windows 2003 als server OS moeten gebruiken.
Probeer eens een linux/bsd distro en kijk of de snelheden dan beter worden.
Dan moet je je hdd's wel eerst formatteren, dus data backuppen.

[multipasser]

Softraid gaat altijd zo traag zijn. Ik heb het ook al getest in xp.
Je moet een XOR engine hebben op een raid kaart. Anders kan je het vergeten.

[maratropa]

multipasser schreef op dinsdag 14 november 2006 @ 01:14:
Softraid gaat altijd zo traag zijn. Ik heb het ook al getest in xp.
Je moet een XOR engine hebben op een raid kaart. Anders kan je het vergeten.

Dat is toch onzin? Software raid 1 en 0 zijn evensnel als met een intelligente kaart, en op een nieuwe machine haal je heel werkbare snelheden met software raid 5.

[Ruudjah]

DIT BERICHT IS PREVENTIEF VERWIJDERD DOOR DE GEBRUIKER

[ Voor 110% gewijzigd door Ruudjah op 01-12-2009 21:58 ]

[Verwijderd]

Ruudjah schreef op dinsdag 14 november 2006 @ 00:58:

[...]

Dat had ik natuurlijk direct als eerste moeten proberen... maar hier ontdekte ik iets raars. Read haalt hij nu 10-15MB/sec, met 100% CPU usage. Alleen met write doet hij hetzelfde (schrijven met ~10MB/sec). Hier beint het vreemde: na 20 seconden zakt de write compleet in, net als de CPU usage, welke op zo'n 60% blijft hangen.
[afbeelding]
Hier zie je duidelijk wat er aan de hand is. Een read, het grote blok, gevolgd door de write welke na een ~20sec inzakt.

10 mb per seconde, is wel erg laag zelfs voor jou systeem..Tenminste als dat echt de lokale snelheden zijn.

Welk specifiek proces staat op 100% zodra je gaat kopieren, toevallig nog een virusscanner lopen oid ?

[multipasser]

Ruudjah schreef op dinsdag 14 november 2006 @ 01:17:


Zeker ook een guide gelezen hier op Tweakers.net geschreven door de Grote Femme (en nog eens verkeerd begrepen ook nog)?

Nog even voor de duidelijkheid:
We willen een bottleneck ontmaskeren. Er is geconstateerd dat dit de CPU niet is, gezien het bovenstaand geposte screenshot. Met andere woorden, de XOR engine in de Athlon uit 1999 krijgt niet genoeg werk, waar het probleem dus zit.

Jij gebruikt een quote waar een raidkaart gebruikt wordt (die jij niet hebt) en de cpu de bottleneck niet is. Dat heeft niets jou situatie te maken.

Een quadcore zal wel een redelijke raid5 neerzetten, maar wat ben je er mee als je cpu 50%+ draait?
Voor een degelijke raid5 heb je een goede kaart nodig met XOR. En dat kan niemand ontkennen.

[FirmPete]

Ruudjah schreef op dinsdag 14 november 2006 @ 00:26:....
2x250GB aan sweex SATA controller (2 kanaals, ieder kanaal één disk)
2x250GB aan PCI PATA controller (2 kanaals, ieder kanaal één disk)
....

Begrijp ik het goed dat allebei de controllers op de PCI bus zitten?
- Als dat zo is kan het prima dat dat je bandbreedte compleet verziekt. Ondanks de totale bandbreedte van PCI genereerd elke schijf overhead. En niet weinig ook.

Verder valt me het geheugen gebruik op in je screenshotje van de taskmanager. Da's een stuk meer dan er fysiek in zit. Als Windows gaat swappen over diezelfde PCI bandbreedte kan je snelheid nog verder vergeten.

Ik heb zelf ook een machine met hetzelfde "probleem":
4 schijven, sys is gemirrored, R5 is Raid 5 en Sp is een spanned.

Disk1- SYS - R5 - Sp
Disk2- R5
Disk3- SYS - R5 - Sp
Disk4- R5 - Sp
(Zitten als Master en slave op de onboard ide1 en ide2)

Is een Pentium 2 450Mhz met 512MB

Tooltje diskbench laat het volgende zien:

Lezen van die machine:
Copy \\Server\E\eenfilm.avi to D:\eenfilm.avi
Size: 184717312
Time: 27266 ms
Transfer Rate: 6.461 MB/s

Schrijven naar:
Copy D:\eenfilm.avi to \\Server\E\anderefilm.avi
Size: 734599168
Time: 322602 ms
Transfer Rate: 2.172 MB/s

[disclaimer]Dit voldoet prima voor het doel van de server[/disclaimer]

CPU van mijn Pentiumpje komt niet boven de 40% uit. (Kernel times staan aan) en ik blijf binnen m'n fysieke geheugengrens. Daar is misschien bij jou nog wat winst te behalen. Verwacht er echter niet te veel van.

Het probleem is puur de doorvoer over de PCI bus naar de CPU en geheugen. In mijn geval over de onboard ide controllers maar dat moet allemaal over de southbridge heen en die is nou eenmaal niet sneller.

Met een snellere CPU win je niks. Dat ie op 100% komt kan ook prima komen door bv. de chipset die de hoeveelheid verkeer niet goed verwerkt, de driver van je sata kaartje, raden is gratis.

Schijfsnelheid met je huidige setup wordt nooit veel sneller dan het nu is. Je kan je schijven per 2 mirroren voor security. Als ze per twee op één controller zitten en binnen windows dus als twee schijven worden gezien zal het een stuk sneller gaan. Misschien wel een faktor 3. Je kan dan alleen niet je huidige raid 5 aanhouden.

Een enkele controller waar je 4 schijven in raid 5 kan hangen, al dan niet hardware matig, zou de beste oplossing zijn. Maar ik ken er geen waar je sata en pata kan mengen.

[anglico]

Promise SATA300 TX2plus, kan je 2 SATA en 2 PATA schijven aanhangen, mischien is dat een oplossing ipv 2 aparte controllers

[Verwijderd]

Wat verwacht je nu precies, je netwerk en beide IDE kaarten hangen aan dezelfde PCI-bus (dat neem ik even aan), en delen dus samen alle beschikbare bandbreedte, tezamen met PS/2, USB, en alle legacy I/O, onboard audio etc.

10MB/s sequential write met een zwakke RAID5 implementatie (zoals te vinden op Windows 2003 Server) is voor jouw hardware geeneens zo gek.