mdadm raid 5 op 8 disks

[analog_]

Ik heb nu al een tijdje een NAS setup draaien (naja eerder server met veel opslag). Dit draait nu al meer dan een jaar prima maar de performance is niet helemaal zoals het hoort.

• AMD Sempron 64 2800+
• 1280MB DDR 400
• Abit KV8 Pro (VIA K8T800 Pro)
• 3x120GB S-ATA Maxtor 6Y120M0
• 8x250GB S-ATA WDC WD2500JS-00NCB1
• 1x400GB S-ATA Seagate ST3400832AS

• Onboard VT6120/VT6121/VT6122 Gigabit Ethernet
• Onboard VIA VT6420 SATA RAID
• 3xSIL3114
• Compaq RILO II
• 3com 3c985 1000BaseSX

• Linux Kernel 2.6.18-5-amd64
• mdadm - v2.5.6 - 9 November 2006

De Maxtors hebben een boot raid 1 volume van 50MB en de overige ruimte is een raid 5 volume, daar staat / enzo op. Deze hangen op de eerste Sil kaart. Ze presteren normaal, een raid 5 rebuilt gaat met 40-50MB/sec vooruit. De Seagate is een losse schijf en hangt op één van de twee interne poorten van het moederbord, deze presteert normaal, hij haalt gewoon 60MB (met hdparm -tT maar ook gevoelsmatig).

De acht Western Digitals hangen op de twee overige sil kaarten. Deze zijn niet vooruit te branden, rebuilden gaat met een slakkegangentje van 10-15MB/sec. De load bedraagt tijdens het rebuilden van zowel de maxtors als de wd's 3.iets volgens w en top geeft rond de 20% aan.

Ik gebruik overal ext3 (behalve op de boot partitie, ext2), het grote volume heeft de noatime flag. Ik gebruik de rilo kaart enkel in geval van problemen (bv. grub) en de 3com is momenteel niet in gebruik, hij genereert overigens wel een lading aan errors in dmesg maar dat is een bekende bug (NETDEV WATCHDOG: eth4: transmit timed out, eth4: BUG... transmitter died. Kicking it.)

Verbruikt pariteits berekeningen werkelijk zoveel CPU of ligt het aan de overbelaste PCI bus, slechte drivers of moet ik het eerder zoeken in de goedkope SIL kaartjes ?

[gertvdijk]

Mr.SiS schreef op donderdag 17 januari 2008 @ 00:54:
Verbruikt pariteits berekeningen werkelijk zoveel CPU of ligt het aan de overbelaste PCI bus, slechte drivers of moet ik het eerder zoeken in de goedkope SIL kaartjes ?

Pariteitsberekeningen zijn vrij simpele cpu taken en lijken me helemaal niet intensief.
Je moet natuurlijk wel ontzettend veel data benaderen bij een 8-disk RAID5 array als je een schijf moet rebuilden (de data van de overige 7 schijven, correct me if I'm wrong). En als je parallel data van 7 schijven trekt kan ik me voorstellen dat die niet door de PCI bus past.
So my bet will be on the PCI bus.

[Verwijderd]

Zijn alle 8 schijven op PCI? Dat zou een ramp zijn natuurlijk qua performance, zeker bij RAID5 write of rebuild, omdat daar veel I/O requests komen kijken en ook veel parallelle communicatie. Als dat allemaal op elkaar moet wachten door een gedeelde PCI bus blijft er weinig over qua performance. Ik heb ook 8 disks in md raid5 getest en haal daarbij prima snelheden (>100MB/s, exacte snelheden moet ik opzoeken).

[analog_]

Ja, ze hangen dus allemaal opdezelfde PCI bus, bij nader inzien is dit ook een vrij logische oorzaak als hij 7 datastroompjes moet lezen, verwerken en wegschrijven, dan is het de bandbreedte van de PCI bus/n dat zijn maximale rebuild snelheid is.

Ik heb echter ook een MSI K8N Neo3 met een nforce4-4x chipset. Hierop zitten twee pci-e sloten, een x16 en x1, kan ik het x16 slot gebruiken voor een raid controller of zijn er issues mee omdat hij eigenlijk bedoelt is voor grafische kaarten? Is bv. een highpoint 2320 zo slecht in linux (een opensource wrapper met een binairy core) of zijn er andere suggesties voor een goedkope oplossing?

[Verwijderd]

Gewoon de onboard controller icm Software RAID5 zou betere performance moeten geven en is qua kostenbeheersing het meest interessant. Normaliter kun je idd een PCIe x1 kaartje in een x16 slot stoppen, bij mij werkt dat iig.

[_Dune_]

Of je een RAID controller in het PCI-e 16x slot kunt steken is moederbord en merk afhankelijk. Vooral in het begin waren er nogal wat problemen mee. Het verstandigst is om bij de fabrikant van het moederbord en de fabrikant van de te kopen RAID controller te vragen. (b.v. FAQ's doorlezen)

[analog_]

Verwijderd schreef op vrijdag 18 januari 2008 @ 05:33:Gewoon de onboard controller

Ja dat had ik inmiddels zelf ook door echter het abit mobo heeft maar twee aansluitingen en het msi bord vier, dat is dus niet genoeg voor mijn twaalf schijven. Ik ben aan het overwegen om de MSI terug te zetten en een losse controller te halen. De highpoint is ondanks zijn slechte faam (in linux) wel erg aantrekkelijk geprijst.

[Verwijderd]

Een Highpoint RocketRAID 2340 (16-port) is dan missschien wat voor je, wel PCI-express x4 maar dat moet in een x16 slot passen en werken, theoretisch.

[gertvdijk]

Verwijderd schreef op vrijdag 18 januari 2008 @ 05:33:
Gewoon de onboard controller icm Software RAID5 zou betere performance moeten geven

Meestal lopen alle onboard dingen gewoon over de pci bus... Heeft geen voordeel volgens mij.

[Verwijderd]

gertvdijk schreef op zaterdag 19 januari 2008 @ 16:25:
[...]

Meestal lopen alle onboard dingen gewoon over de pci bus... Heeft geen voordeel volgens mij.

Als de poorten door de chipset worden geboden, heb je maximale bandbreedte, dus 3 gigabit per Serial ATA poort. Wordt er een aparte onboard chip (Silicon Image / Promise / JMicron) gebruikt, dan loopt dit of via PCI of via PCI-express. Zeker oudere bordjes hebben vaak een extra chip voor extra SATA poorten die dan via het trage PCI loopt. Nieuwere borden hebben tot 6 onboard SATA op volle snelheid soms aangevuld met nog 2 SATA poorten door een PCI-express controller.

Maar de Serial ATA poorten van je chipset zijn het snelste (minste latency), sneller dan een controller via PCI-express alhoewel dat elkaar weinig ontloopt. Maar voor oude (geen PCI-express) systemen is de chipset SATA dus de enige keus voor high-performance storage. PCI-X serverborden niet meegerekend natuurlijk.

[ Voor 14% gewijzigd door Verwijderd op 20-01-2008 03:22 ]

[analog_]

Volgens mij zijn de poorten op het nvidia 4x moederbord van de chipset, ik herinner me namelijk dat deze de satanv (of nvsata) driver gebruikte in debian. Ik zou dus in principe een beetje kunnen downscalen naar een iets goedkopere oplossing zoals een highpoint 2320 (samen met de onboard poorten) en erover mdadm laten lopen (wat ook ideaal is gezien het feit dat ik dan niet mijn data tijdelijk moet backuppen. Dan heb ik precies genoeg poorten mocht ik dan later nog 4 disks bijdoen (wat kan kwa behuizing) kan ik alsnog zon simplex sil3114 kaartje erin dumpen en een beetje vertrouwen hebben in de prestaties (133/4MB/sec).