[Linux] Snelheid filesystem/blockdevices optimaliseren

[Keiichi]

Ik heb een server met een RAID5 array (hardware mbv LSI 8308ELP). Hierop heb ik vrij kaal Slackware gezet. De array is verdeeld in 2 virtuele disks, verder te noemen sda en sdb. De laatst genoemde is voor data opslag.

Maar het loopt niet lekker. Zodra ik de schijf overlaad met 'dd if=/dev/zero of=100g.null bs=64k count=1638400', dan gaan alle andere leesacties en schrijfacties gewoonweg langzaam. Als ik alle directories ga browsen met 'find ./ -print' (op sda!) dan worden resultaten maar langzaam weergegeven, in tegenstelling tot als ik die schrijfactie stop, dan vliegt het. Een process opstarten kan letterlijk 10-15 seconden duren.

Ik weet dat ik niet hoef te verwachten als de blockdevice vol belast word, om dan 100% aan snelheid over te houden. Maar wat ik hier overhoud ziet er redelijk treurig uit. Zelfde testmethode op mijn PC gaat veel soepeler.

Ik ben aan het spelen geweest met de instellingen in /sys/block/sd[a-b]/ , maar niets is je-van-het.

Wat zijn (bijna) ideale instellingen voor filesystem en blockdevices om altijd in ieder geval zo snel mogelijk op een verzoek te reageren en bandbreedte naar de blockdevice zo eerlijk mogelijk te verdelen (Zelfs CFQ lijkt niet echt eerlijk te zijn)

[Nvidiot]

Heb je (bij ext2/3) de stride en stripe-width parameters meegegeven toen je het FS aanmaakte?

http://busybox.net/~aldot/mkfs_stride.html

[Keiichi]

Ik heb nu de stride en stripewidth via extended opties meegegeven.

Maar het haalt niets uit. Ik heb ook geprobeerd de array van verschillende chunks sizes en instellingen te voorzien, maar niets maakt ook maar iets uit.

[Rainmaker]

writeback in je RAID controller aangezet? En welk raid level gebruik je?

[Beuker]

Rainmaker schreef op maandag 24 november 2008 @ 09:55:
writeback in je RAID controller aangezet? En welk raid level gebruik je?

Zie tekst :-) Raid 5

[Elijan9]

Voor ext2/3/4 helpt het ook om als mount optie 'noatime' of ander 'relatime' mee te geven. Ook kun je kijken welke journaling modus het beste effect heeft als je ext3/4 gebruikt.

Op blockdevice niveau moet je volgens mij ook in deze toepassing niet CFQ gebruiken, eerder "anticipatory" of "deadline", maar ik kan het mis hebben. Daarbij maakt het veel uit welke kernelversie je gebruikt, volgens mij doen met name kernels vanaf 2.6.25 het beter dan daarvoor. Om processen meer kans te geven om op te starten, kun je mogelijk nog wat bereiken door preemption aan te zetten in de kernel, afhankelijk van wat de reden is dat de processor er niet goed tussendoor komen (kernel-locking tijdens het schrijf proces?).

Ook kun je in elk geval de "anticipatory" IO scheduler tweaken via een aantal entries in /sys/block/*/queue/iosched/

[Keiichi]

Writeback staat aan.

Maar het probleem lijkt zich meer richting de controller te zitten na mate ik er meer over denk.

Ik heb ook testen uitgevoerd met 'dd if=/dev/zero of=/dev/sdb' en lezen van /dev/sda's filesystems word gewoonweg brak!

Stripesize gevarieerd, geen effect,
Direct IO of Cache IO, geen effect,
Read ahead, adaptive readahead, direct read, geen effect.

Een hele tijd geleden heb ik 3ware 9550SXU gehad, in dezelfde server met soort gelijke toestanden. Dus probleem word er niet duidelijker op, omdat er al een andere raid controller was gebruikt, dus daar hoeft het probleem ook weer niet te zitten.

Kan er wellicht ook iets in de PCI bus zitten?