[SCSI Raid5] Adaptec 2200S icm 4x Maxtor Atlas IV

[Verwijderd]

Ik heb hier een server staan (Tyan Tiger i7501s, 2x Intel Xeon 2,8Ghz HT, 2x 512mb Kingston REG-ECC, 2x S-ATA Maxtor 80Gb raid1 in een Procase IPC-C2L) met 4 Maxtor Atlas IV 36,7Gb SCSI disks op een Adaptec 2200S (dual channel RAID5).

Nu initialize ik de array (4 disks, 2 per channel) en laat de RAID5-array bouwen. Als die klaar is, reboot ik het systeem (draait Gentoo, kernel 2.4.22 met aacraid), en maak een partitie op /dev/sda1 (de RAID5-array dus) en formatteer em als ext3.

Vervolgens op een kwart van het formatten begint die Adaptec 2200S te krijsen dat er een fout is... Rebooten van systeem en welja: disk uitgevallen.. maar het is elke keer een andere (zo lijkt t)...

Als ik 1 groot volume maak (spanning), is er niets aan de hand.. Maar dit wil ik dus niet.. Ik wil een RAID5-array met 4 van deze disks. Ik begrijp niet waar de fout zit?

[Verwijderd]

Misschien dat het te maken heeft met de termination van de SCSI-kabels? Ik heb nl. een kabel (per channel dus) met 3 connectors.. Een op de kaart en twee op de disks.. Dit zou toch moeten werken of ben ik nou niet wakker?

[Abbadon]

Verwijderd schreef op 28 november 2003 @ 08:23:
Misschien dat het te maken heeft met de termination van de SCSI-kabels? Ik heb nl. een kabel (per channel dus) met 3 connectors.. Een op de kaart en twee op de disks.. Dit zou toch moeten werken of ben ik nou niet wakker?

Als het te maken zou hebben met de terminatie (ik neem aan dat je op elke kabel een terminator hebt zitten) zou je het probleem ook bij een span krijgen.

Vreemd is dat je er schijnbaar alleen last van hebt wanneer je een RAID5 array bouwt. Weet je 100% zeker dat het telkens een andere disk is waar hij over zeurt? Sowieso kan het nooit kwaad de SCSI en power bekabeling nog eens goed na te lopen, misschien zit er een connector niet helemaal goed?

Een andere optie is de nieuwste firmware/BIOS in de 2200S te flashen. En wordt er ook niks te warm in die doos?

[Verwijderd]

Abbadon schreef op 28 november 2003 @ 09:05:
[...]


Als het te maken zou hebben met de terminatie (ik neem aan dat je op elke kabel een terminator hebt zitten) zou je het probleem ook bij een span krijgen.

Vreemd is dat je er schijnbaar alleen last van hebt wanneer je een RAID5 array bouwt. Weet je 100% zeker dat het telkens een andere disk is waar hij over zeurt? Sowieso kan het nooit kwaad de SCSI en power bekabeling nog eens goed na te lopen, misschien zit er een connector niet helemaal goed?

Een andere optie is de nieuwste firmware/BIOS in de 2200S te flashen. En wordt er ook niks te warm in die doos?

Doos staat nu nog open, maar ook dicht wordt niet te warm (dankzij aardig wat casefans).

Bekabeling (zowel power als SCSI) heb ik al vervangen (gisteren), maar helaas zonder resultaat

Hoe zit dat met die termination? Ik kan er geen terminator opzetten, omdat alle connectors zijn bezet... (1 op de kaart, 2 op de disks)... Maar de Product Manual van Maxtor zegt dat deze disks geen onboard termination ondersteunen, dus ik begrijp dat ik een SCSI-kabel met 4 connectors moet halen, waarbij ik op de laatste een terminator prik?

Dat vind ik ook zo vaag ja, dat ie alleen bij de RAID5-array begint te miepen.. Ik zie soms wel bij een disk een oranje lampje branden, wat volgens de Maxtor site duidt op het 'fault' lampje.. Misschien dat er toch een disk stuk is? Maar ik vind het zo vaag als ik em op spanning of raid0 zet, hij wel gewoon goed werkt ...

_{Ik wordt onderhand schijtziek van dat ding}

BTW. Nieuwste bios (half juni) stond er al standaard op...

BTW2. Is die Adaptec 2200S wel een goede keuze? Ik hoor overal dat de RAID5-performance nou niet zo lekker is?

[ Voor 4% gewijzigd door Verwijderd op 28-11-2003 09:10 ]

[Abbadon]

Oh, haal jezelf éérst maar andere/langere LVD kabels waar je de terminators (aan het eind) op kunt prikken. Dat is écht een vereiste hoor en verklaart 't ook allemaal wel

[Verwijderd]

Dus dat is het geval bij die dingen? Dan ga ik maandag maar ff deze kabels omruilen (moest toch al, waren te kort voor die 19" case)...

Thx! I'll keep you updated

[Verwijderd]

Abbadon schreef op 28 november 2003 @ 09:19:
Oh, haal jezelf éérst maar andere/langere LVD kabels waar je de terminators (aan het eind) op kunt prikken. Dat is écht een vereiste hoor en verklaart 't ook allemaal wel

Hmm, die kabels die ik hier heb (dus met 3 connectors) kan dus alleen worden gebruikt op HDDs die zelf terminaten? Ik moet dus zo ie zo een kabel hebben met 4 connectors, waarbij ik op de laatste connector een terminator zet? Bij andere hdds zou dat bv. niet nodig zijn?

[Abbadon]

LVD disken kunnen zichzelf niet termineren, je zult echt een kabel moeten gebruiken waar je op het uiteinde een terminator moet plaatsen.

Die kabels die je daar hebt kunnen worden gebruikt om één disk aan te sluiten:

|controller| --- |disk| --- |terminator|

Jij moet dus twee kabels met minimaal vier connectoren hebben (meer mag ook)

|controller| --- |disk| --- |disk| --- |evt. ongebruikte connector| --- |terminator|

De terminator dient gewoon in de laatste connector te worden gestoken

Zonder terminator wil 't 'per ongeluk' wel eens draaien alleen raakt je data snel corrupt op de bus; de signalen worden niet getermineerd en reflecteren waardoor ze interfereren met de overige signalen en je uiteindelijk met een compleet waardeloze situatie zit. Dat je met de spanned array hier minder snel last van hebt komt waarschijnlijk omdat alle I/O naar de eerste disk gaat, met een RAID5 array heb je veel meer verkeer op de bus en veelal zijn alle disken bij elke I/O betrokken waardoor het al snel mis gaat. Hoe dan ook, LVD chain zonder terminatie is waanzin

[Verwijderd]

De terminator dient gewoon in de laatste connector te worden gestoken

Uhm, Volgens mij kan je het beste die terminator op de eerste ongebruikte connector te zitten, zo dus:

-- [kaart] -- [hd] -- [hd] -- [terminator] -- [conn] -- [conn]

toch

Dat je met de spanned array hier minder snel last van hebt komt waarschijnlijk omdat alle I/O naar de eerste disk gaat,

Klopt ook niet echt he, wou je zeggen dan alle i/o naar 1 schijf gaat, en de anderen moeten dan maar ruiken wat ze moeten doen? I/O blijft gelijk naar alle schijven, alleen met raid5 zal er wat extra I/O zijn dmv parity berekeningen.

[ Voor 42% gewijzigd door Verwijderd op 28-11-2003 15:31 ]

[Abbadon]

Verwijderd schreef op 28 november 2003 @ 15:29:
[...]


Uhm, Volgens mij kan je het beste die terminator op de eerste ongebruikte connector te zitten, zo dus:

-- [kaart] -- [hd] -- [hd] -- [terminator] -- [conn] -- [conn]

toch

Terminator mag je ook de eerste de beste connector na de laatste disk pluggen maar doorgaans wordt hij op de laatste connector geprikt en daar is niks mis mee

Klopt ook niet echt he, wou je zeggen dan alle i/o naar 1 schijf gaat, en de anderen moeten dan maar ruiken wat ze moeten doen? I/O blijft gelijk naar alle schijven, alleen met raid5 zal er wat extra I/O zijn dmv parity berekeningen.

Hoezo klopt niet? In een span kan in een bepaalde tijdsspanne prima het leeuwendeel van de I/O op slechts één disk aankomen, afhankelijk van hoe de gevraagde data over de disken verdeeld is. De anderen hoeven helemaal niet te ruiken wat ze moeten doen; als er niks van de overige gevraagd wordt dienen ze zich koest te houden En I/O blijft gelijk naar alle schijven? Ja, in een mirror bijvoorbeeld maar niet in een span. Bij RAID5 heb je altijd lees bewerkingen, ook wanneer je alleen schrijfopdrachten uitvoert (de performance vretende read-modify-write sequence) plus dat nagenoeg elke disk (afhankelijk van stripesize en omvang van het hetgeen wat wordt gelezen/geschreven) te allen tijde bij de I/O actie betrokken is, dit in tegenstelling tot bij een span.
Anyway, ik probeerde een verklaring te vinden waarom het probleem zich eerder voordoet bij een RAID5 array dan bij een span: een span is gewoon een concat van disken waarbij het best mogelijk is dat slechts één disk het gros van de I/O's voor de kiezen krijgt, zeker wanneer er nog niet genoeg data op de span staat om over alle disken te verdelen

[Verwijderd]

voor er een flamewar uitbreekt wou ik nog vragen of de aangemaakte array ook helemaal gerebuild is voor debian em formatteerd......?


en btw het terminationpoint geef je aan op de disk, dus maakt de positie v/d terminator op de kabel niet zo uit.
alleen als je kabel gaar is aan het end hou je een schoner signaal over als je gelijk na de disk terminate.
maar meestal hou je met scsi en zeker raid5 uitbreidings mogelijkheden open.

[ Voor 60% gewijzigd door Verwijderd op 29-11-2003 14:51 ]

[Verwijderd]

Verwijderd schreef op 29 november 2003 @ 14:45:
voor er een flamewar uitbreekt wou ik nog vragen of de aangemaakte array ook helemaal gerebuild is voor debian em formatteerd......?


en btw het terminationpoint geef je aan op de disk, dus maakt de positie v/d terminator op de kabel niet zo uit.
alleen als je kabel gaar is aan het end hou je een schoner signaal over als je gelijk na de disk terminate.
maar meestal hou je met scsi en zeker raid5 uitbreidings mogelijkheden open.

Ja, ik heb de array helemaal laten builden voordat gentoo () em formatteerde als ext3..

Ik zal maandag die kabels omruilen (5 connectors waren dus niet op voorraad ), en ik ga proberen deze controller om te ruilen voor een LSI MegaRaid 320-1.. Wel single channel, maar het schijnt dat deze controller niet zo goed presteert?

En hoe wil jij het termination point aangeven op de disk?

[ Voor 5% gewijzigd door Verwijderd op 29-11-2003 19:26 ]

[Abbadon]

Verwijderd schreef op 29 november 2003 @ 14:45:
voor er een flamewar uitbreekt wou ik nog vragen of de aangemaakte array ook helemaal gerebuild is voor debian em formatteerd......?

Flamewar? Dude, hoe kom je daar nu bij

Verwijderd schreef op 29 november 2003 @ 17:39:
[...]
Ja, ik heb de array helemaal laten builden voordat gentoo () em formatteerde als ext3..

Ik zal maandag die kabels omruilen (5 connectors waren dus niet op voorraad ), en ik ga proberen deze controller om te ruilen voor een LSI MegaRaid 320-1.. Wel single channel, maar het schijnt dat deze controller niet zo goed presteert?

En hoe wil jij het termination point aangeven op de disk?

De LSI is zeker de betere kaart. Maar vergeet niet dat je daarmee over een enkel kanaal beschikt en dus slechts één kabel kunt gebruiken (is niet erg met U320) maar neem dan niet wéér een kabel die te kort is (vier disken plus kaart plus terminator is minimaal zes connectoren).

En op de disk wordt idd niks aangegeven qua terminatie

[Verwijderd]

Abbadon schreef op 29 november 2003 @ 23:30:
[...]


Flamewar? Dude, hoe kom je daar nu bij


[...]


De LSI is zeker de betere kaart. Maar vergeet niet dat je daarmee over een enkel kanaal beschikt en dus slechts één kabel kunt gebruiken (is niet erg met U320) maar neem dan niet wéér een kabel die te kort is (vier disken plus kaart plus terminator is minimaal zes connectoren).

En op de disk wordt idd niks aangegeven qua terminatie

Yep, ik ga ook proberen om die kaart nog om te ruilen voor die LSI

Ik had me er wat beter in moeten verdiepen... Ik ruil die twee SCSI-kabels morgen om voor een van 8 connectors (anders hadden ze maar 5).. Hopelijk is die LSI ook op voorraad, dan kan ik eindelijk die bak af gaan bouwen

[Verwijderd]

Ok, heb de twee cables omgeruild voor een met 8 connectors Heeft ook de goede lengte, maar nu deze cable in deze case proberen te proppen... Weinig ruimte voor die terminator erbij in deze case..

Adaptec 2200S is RMA naar Salland.. Deden heel niet moeilijk, hopelijk krijg ik een beetje snel (een deel van) het geld terug, zodat ik de LSI MegaRaid 320-1 kan aanschaffen en eindelijk deze bak af kan maken

[Verwijderd]

Ok, LSI MegaRaid 320-1 is besteld

Zitten er in de kernel (2.4.23) nog specifieke modules voor deze card in?

[Femme]

De MegaRAID zou standaard ondersteund moeten worden.

Hier is nog wat info te vinden:

http://www.domsch.com/linux/#megaraid
ftp://ftp.lsil.com/

[Verwijderd]

Femme schreef op 02 december 2003 @ 21:50:
De MegaRAID zou standaard ondersteund moeten worden.

Hier is nog wat info te vinden:

http://www.domsch.com/linux/#megaraid
ftp://ftp.lsil.com/

Dank u

Iemand nog tips voor (specifieke) instellingen van deze raid5-array?

[Femme]

De beste presterende setting is 128K stripe size, write-back caching, adaptive read-ahead en direct I/O .

[Verwijderd]

Femme schreef op 03 december 2003 @ 15:29:
De beste presterende setting is 128K stripe size, write-back caching, adaptive read-ahead en direct I/O .

Woei Dank u

Morgen zal ik deze kaart ophalen (ben toch in de buurt) en dan 's avonds erin proppen

Oh ja, op die Maxtors kun je het SCSI id aangeven... Moet ik dat aangeven of doet de controller dat zelf?

[The Dolf]

Verwijderd schreef op 03 december 2003 @ 17:10:
[...]
Woei Dank u

Morgen zal ik deze kaart ophalen (ben toch in de buurt) en dan 's avonds erin proppen

Oh ja, op die Maxtors kun je het SCSI id aangeven... Moet ik dat aangeven of doet de controller dat zelf?

Moet je zelf doen.

[Verwijderd]

The Dolf schreef op 03 december 2003 @ 17:11:
[...]

Moet je zelf doen.

Ok

[The Dolf]

Femme schreef op 03 december 2003 @ 15:29:
De beste presterende setting is 128K stripe size, write-back caching, adaptive read-ahead en direct I/O .

Ik neem aan dat ik voor mijn geval geen nieuw topic moet openen maar ik heb zelf een adaptec 2100S (64MB) en ik heb ook een 128K stripe size. Maar waar kan ik adaptive read-ahead en direct I/O instellen? En wat moet de block size zijn?

Ik heb 2 seagate X15 (18GB) schijven.

[Femme]

Adaptive read-ahead en direct I/O zijn settings die alleen op MegaRAID adapters beschikbaar zijn.

[The Dolf]

Femme schreef op 03 december 2003 @ 20:15:
Adaptive read-ahead en direct I/O zijn settings die alleen op MegaRAID adapters beschikbaar zijn.

Das heel erg jammer want mijn setup presteerd niet goed. Mijn schrijfsnelheid is ronduit klote (30MB/s) en leessnelheid rond de 75MB/s.

Ik ben er sterk over na aan het denken om de hele setup weg te doen en naar sata over te stappen met minimaal 2 raptors.

[Verwijderd]

Ok, card is binnen, raid5 array is gebouwd, nu kijken of ie een beetje goed presteert

Wat wel vaag was: ik heb netjes de disks 0-3 gemaakt, zegt ie dat een id 8 heeft? (card heeft zelf 7)... maar goed, kijken wat dit oplevert