LSI MegaRaid 9341-4i controller met meer dan 4 HDD

[JossiEnd]

Hoi alleen,

Ik gebruik al enige tijd met veel plezier de LSI MegeRAID 9341-41 controller voor mijn desktop PC. Op dit moment heb ik er harde schijven aan hangen in een RAID 5 opstelling. De harde schijven die ik nu gebruik zijn WD Red Pro's met SATA interface.
Ik zit er over na te denken om het aantal hardeschijven uit te breiden, naar 5 of 6 (eventueel later nog verder). Volgens de documentatie van Avago kan de controller maximaal 32 fysieke drives aan per volume (meer dan genoeg dus).
Het probleem is echter als volgt: op de controller zit een SFF-8643 SAS port. Op dit moment heb ik een kabel van SFF-8643 male naar 4x sata male. Ik kan echter nergens een kabel vinden waarbij er meer dan 4 sata kabels aan de andere kant zitten. Mogelijk dat ik nog iets mis in mijn opstelling of dat ik niet goed begrijp wat zij met "32 devices per volume" bedoelen. De controller is natuurlijk bedoelt voor een server oplossing waarbij mogelijk backplanes zitten die SATA signalen samenvoegen?

Hoor graag of jullie weten hoe ik dit kan oplossen! Bij voorbaat dank!

Documentatie Avago: http://docs.avagotech.com/docs/12351983

[rookie no. 1]

Volgens mij staat die 4i voor internal devices en kun je er gewoon niet meer aan kwijt?

[albatross]

Je zegt het eigenlijk zelf al: de 32 devices zijn voor 'multiplexed' backplanes.

Wel een leuke controller, zo te zien.

[johnkeates]

Multiplexing of SATA Port Multiplier gebruiken. Maar met zo veel disks is de vraag of RAID5 nog wel veilig genoeg is... en de rebuild times zijn dan ook niet bepaald mals.

Controller er bij prikken en dan ZFS gebruiken? Een IBM M1015 heb je vrij goedkoop van eBay.

[albatross]

johnkeates schreef op dinsdag 14 juni 2016 @ 03:27:

Controller er bij prikken en dan ZFS gebruiken? Een IBM M1015 heb je vrij goedkoop van eBay.

Hoe moet ie ZFS dan gaan doen op zijn desktop PC? (Er even vanuit gaande dat ie Windows gebruikt). Wil het zelf ook wel weten. Zal toch iets VMware-achtigs worden, dan.

[JossiEnd]

Toevallig had ik pas een rebuild uitgevoerd. Er was geen harde schijf gecrasht, maar hij werd er wel uit gegooid door de controller. De rebuild time daarvan was 10 uur. En dat was met 4 * 6TB harde schijven (WD Red Pro). Daar was ik erg onder de indruk van.
Bedankt voor de alle tips! Nu kan ik in ieder geval weer verder.

Ik gebruik inderdaad Windows 10

[albatross]

JossiEnd schreef op dinsdag 14 juni 2016 @ 08:45:
Toevallig had ik pas een rebuild uitgevoerd. Er was geen harde schijf gecrasht, maar hij werd er wel uit gegooid door de controller.

Hmm, dus *niet* zo'n goede controller, dus?

Of wellicht was er toch iets aan de SMART status van die schijf, of iets dergelijks, dat maakte dat de controller het niet meer veilig vond.

[JossiEnd]

Naja, wat precies het probleem was weet ik niet (zie onderstaand de logfile). Maar er kwam niks uit diverse SMART testen. Ook heb ik de Data Lifeguard Diagnostic van WD laten draaien. En uit de extended bad sector test kwam ook geen negatief resultaat.

code:

11898:07 seconds from reboot Information: Firmware initialization started (PCI ID 005f/1000/9343/1000)
11899:07 seconds from reboot Information: Firmware version 4.600.01-4748
11900:09 seconds from reboot Information: Package version 24.10.0-0017
11901:09 seconds from reboot Information: Board Revision 00G
11902:27 seconds from reboot Information: Inserted: PD 04(e0x3e/s2)
11903:27 seconds from reboot Information: Inserted: PD 04(e0x3e/s2) Info: enclPd=3e, scsiType=0, portMap=01, sasAddr=4433221101000000,0000000000000000
11904:27 seconds from reboot Information: Inserted: PD 05(e0x3e/s3)
11905:27 seconds from reboot Information: Inserted: PD 05(e0x3e/s3) Info: enclPd=3e, scsiType=0, portMap=00, sasAddr=4433221100000000,0000000000000000
11906:27 seconds from reboot Information: Inserted: PD 06(e0x3e/s0)
11907:27 seconds from reboot Information: Inserted: PD 06(e0x3e/s0) Info: enclPd=3e, scsiType=0, portMap=02, sasAddr=4433221102000000,0000000000000000
11908:27 seconds from reboot Information: Inserted: PD 07(e0x3e/s1)
11909:27 seconds from reboot Information: Inserted: PD 07(e0x3e/s1) Info: enclPd=3e, scsiType=0, portMap=03, sasAddr=4433221103000000,0000000000000000
11910:28 seconds from reboot Information: Controller operating temperature within normal range, full operation restored
11911:2016-05-16, 17:15:01 Information: Time established as 05/16/16 17:15:01; (30 seconds since power on)
11912:2016-05-19, 04:12:31 Information: Unexpected sense: PD 05(e0x3e/s3) Path 4433221100000000, CDB: 88 00 00 00 00 01 c1 e7 a3 00 00 00 00 80 00 00, Sense: 2/04/00
11913:2016-05-19, 04:12:40 Information: Unexpected sense: PD 05(e0x3e/s3) Path 4433221100000000, CDB: 1b 01 00 00 01 00, Sense: 6/29/00
11914:2016-05-19, 04:12:40 Information: Error on PD 05(e0x3e/s3) (Error 02)
11915:2016-05-19, 04:12:40 Information: State change on PD 05(e0x3e/s3) from ONLINE(18) to SHIELD(90)
11916:2016-05-19, 04:12:40 Information: State change on VD 00/0 from OPTIMAL(3) to DEGRADED(2)
11917:2016-05-19, 04:12:40 Critical: VD 00/0 is now DEGRADED
11918:2016-05-19, 04:12:41 Information: Unexpected sense: PD 05(e0x3e/s3) Path 4433221100000000, CDB: 1b 01 00 00 00 00, Sense: 6/29/00
11919:2016-05-19, 04:12:41 Warning: PD 05(e0x3e/s3) Path 4433221100000000  reset (Type 03)
11920:2016-05-19, 04:12:42 Information: Unexpected sense: PD 05(e0x3e/s3) Path 4433221100000000, CDB: 28 00 00 00 00 00 00 00 04 00, Sense: 6/29/00
11921:2016-05-19, 04:12:42 Information: Unexpected sense: PD 05(e0x3e/s3) Path 4433221100000000, CDB: 00 00 00 00 00 00, Sense: 2/04/02
11922:2016-05-19, 04:12:52 Information: Unexpected sense: PD 05(e0x3e/s3) Path 4433221100000000, CDB: 00 00 00 00 00 00, Sense: 6/29/00
11923:2016-05-19, 04:15:02 Information: Diagnostics passed for PD 05(e0x3e/s3)
11924:2016-05-19, 04:15:02 Information: State change on PD 05(e0x3e/s3) from SHIELD(90) to OFFLINE(10)
11925:2016-05-19, 04:15:02 Information: Rebuild started on PD 05(e0x3e/s3)
11926:2016-05-19, 04:15:02 Information: State change on PD 05(e0x3e/s3) from OFFLINE(10) to REBUILD(14)
11927:2016-05-19, 18:46:36 Information: Rebuild complete on VD 00/0
11928:2016-05-19, 18:46:36 Information: Rebuild complete on PD 05(e0x3e/s3)
11929:2016-05-19, 18:46:36 Information: Drive Cache settings restored after rebuild for PD 05(e0x3e/s3)
11930:2016-05-19, 18:46:36 Information: State change on PD 05(e0x3e/s3) from REBUILD(14) to ONLINE(18)
11931:2016-05-19, 18:46:36 Information: State change on VD 00/0 from DEGRADED(2) to OPTIMAL(3)
11932:2016-05-19, 18:46:36 Information: VD 00/0 is now OPTIMAL
11933:2016-05-21, 02:00:00 Information: Patrol Read started
11934:2016-05-21, 02:00:00 Information: Consistency Check started on VD 00/0
11935:2016-05-21, 02:00:00 Information: Patrol read aborted on PD 07(e0x3e/s1) due to conflict with other background operations
11936:2016-05-21, 02:00:00 Information: Patrol read aborted on PD 05(e0x3e/s3) due to conflict with other background operations
11937:2016-05-19, 18:46:36 Information: Rebuild complete on VD 00/0
11938:2016-05-19, 18:46:36 Information: Rebuild complete on PD 05(e0x3e/s3)
11939:2016-05-19, 18:46:36 Information: Drive Cache settings restored after rebuild for PD 05(e0x3e/s3)
11940:2016-05-19, 18:46:36 Information: State change on PD 05(e0x3e/s3) from REBUILD(14) to ONLINE(18)
11941:2016-05-19, 18:46:36 Information: State change on VD 00/0 from DEGRADED(2) to OPTIMAL(3)
11942:2016-05-19, 18:46:36 Information: VD 00/0 is now OPTIMAL
11943:2016-05-21, 02:00:00 Information: Patrol Read started
11944:2016-05-21, 02:00:00 Information: Consistency Check started on VD 00/0
11945:2016-05-21, 02:00:00 Information: Patrol read aborted on PD 07(e0x3e/s1) due to conflict with other background operations
11946:2016-05-21, 02:00:00 Information: Patrol read aborted on PD 05(e0x3e/s3) due to conflict with other background operations
11947:2016-05-21, 02:00:00 Information: Patrol read aborted on PD 04(e0x3e/s2) due to conflict with other background operations
11948:2016-05-21, 02:00:00 Information: Patrol read aborted on PD 06(e0x3e/s0) due to conflict with other background operations
11949:2016-05-21, 16:38:14 Information: Consistency Check done on VD 00/0
11950:2016-05-22, 17:44:35 Information: Unexpected sense: PD 05(e0x3e/s3) Path 4433221100000000, CDB: 88 00 00 00 00 01 c2 8a 46 ee 00 00 00 01 00 00, Sense: 2/04/00
11951:2016-05-22, 17:44:44 Information: Unexpected sense: PD 05(e0x3e/s3) Path 4433221100000000, CDB: 1b 01 00 00 01 00, Sense: 6/29/00
11952:2016-05-22, 17:44:44 Information: Error on PD 05(e0x3e/s3) (Error 02)
11953:2016-05-22, 17:44:44 Information: State change on PD 05(e0x3e/s3) from ONLINE(18) to FAILED(11)
11954:2016-05-22, 17:44:44 Information: State change on VD 00/0 from OPTIMAL(3) to DEGRADED(2)
11955:2016-05-22, 17:44:44 Critical: VD 00/0 is now DEGRADED
11956:2016-05-22, 22:16:32 Information: Shutdown command received from host

Ik denk zelf dat het mogelijk te maken heeft gehad met abrupt stroomuitval. Overigens heb ik hierna de Patrol Read en de Consistency Check beter ingepland (deze startte namelijk elke keer tegelijkertijd wat ook voor een conflict zorgde). Na de handmatige rebuild ook even de firmware, drivers en software manager geüpdatet. Sinds deze maand verder geen problemen.

[borft]

wat jij nodig hebt, is een port replicator

[albatross]

borft schreef op dinsdag 14 juni 2016 @ 14:39:
wat jij nodig hebt, is een port replicator

Wat ie kennelijk nodig heeft is een UPS.

[johnkeates]

borft schreef op dinsdag 14 juni 2016 @ 14:39:
wat jij nodig hebt, is een port replicator

Nee, een replicator is een ding wat je in docking stations tegen komt. Poorten die je al hebt op je dock repliceren.

Een multiplexer of multiplier dus! (en die zijn niet hetzelfde!)

[borft]

je hebt gelijk, dat is wat ik bedoelde idd

[Tozz]

In het kader beter laat dan nooit:

De melding in jouw logs betekent "Logical unit not ready, cause not reportable". In andere woorden, je disk was niet klaar om data te verwerken, zonder duidelijke reden. Dat kan een stroomstoring zijn geweest, een stroom hickje of iets anders.

de controller heeft daarna ook opgemerkt dat PD 5 weer in orde is, en is toen zelf gaan rebuilden. kortom, het was al bezig met herstel. Niets aan de hand dus. zeker als je het zelf kunt correleren aan een stroomstoring zou ik mij hier geen zorgen om maken.

Verder heb je een SAS Expander nodig wanneer je meer dan 4 disken wil aansluiten. Dat is over het algemeen niet iets dat je in een reguliere desktop stopt. Dat zit meer in rackmount servers.

Verder zou ik mij niet druk maken om het verhaal dat teveel disks in een RAID array een risico is. Ja, het is theoretisch een risico. Maar ik draai meerdere machines met meer dan 30 disken in RAID5 (arrays van vele terabytes groot) en dat gaat prima. Ja, een rebuild duurt lang (soms meer dan een week), maar als je gewoon met enige regelmaat patrolreads doet dan heb je het risico ondervangen.

het risico daarbij is dat er een disk faalt, maar dat er stiekem een disk is met bad sectors, waardoor de rebuild niet slaagt. Door patrolreads te doen kun je die media errors (=bad sectors) al eerder opmerken.

Je kunt daarnaast ook nog Consistency Checks doen. Een Consistency Check is weer net even anders dan een Patrol Read:

- Patrol Read: Leest alle devices (harddisks) block voor block uit, om te kijken of er ergens een read error optreed.
- Consistency Check: Leest de array block voor block uit en berekent daarbij ook opnieuw alle pariteit en/of redundante disken. Kortom, in het geval van bijvoorbeeld RAID1 kijkt het ook of data op disk 0 op positie X identiek is op disk 1 op positie X. In het geval van RAID5 kijkt het of de pariteit van disk 0 op positie X en disk 1 op positie X klopt.

Consistency Check is een stuk heftiger voor je RAID controller (kost veel meer CPU).

Standaard doet een LSI controller elke week een Consistency Check. Mijn advies is om dat bij grote arrays cq. grote schijven te verhogen naar bv. 1x per maand of 1x per kwartaal.

[ Voor 24% gewijzigd door Tozz op 13-03-2017 15:47 . Reden: Toevoeging PR en CC ]

[Anoniem: 15758]

Goed antwoord, Tozz.

Hopelijk leest de TS het ook.

[JossiEnd]

Bedankt voor je antwoord! Heb ondertussen de 8i versie gekocht van de controller. Maar mocht ik nog verder willen uitbreiden dan kan ik naar een SAS Expander kijken.