IBM m1015 (no devices)

[grotius]

Hoi Hoi,

Vandaag heb ik zonder succes geprobeerd om een server te installeren met een IBM M1015. Hopelijk kunnen jullie mij helpen. Hierbij mijn stappen.

De IBM M1015 is geflasht naar IT modus. De firmware van de kaart is: 2108IT.bin

Het moederbord van de server (Intel dq67ep) kon de kaart niet flashen dus heb ik gebruik gemaakt van een ander moederbord. Met succes alle stappen doorlopen en de kaart draait nu op IT firmware. Vervolgens de geflashte kaart teruggeplaatst op het intel moederbord. Vervolgens middels twee SAS kabels (SFF-8087 to 4x SATA Mini SAS Forward brkout cable) 7x hitachi deskstar 5k3000 van 3tb (niet eerder geformatteerd, vers van de pers) aangesloten.

Ik krijg na starten netjes het scherm van LSI te zien. Met Ctrl + C kom ik in het menu. In het menu
"SAS Topology" zie ik vervolgens "no devices to display". Volgens mij zouden hier dus mijn harde schijven moeten staan...

Voor de zekerheid esxi 5.0 geïnstalleerd (build 469512) op een SSD (rechtstreeks aangesloten op het moederbord). In esxi wordt de controller herkent als een LSI. Ik kan de controller bij de virtual machines toevoegen. Echter in esxi onder storage zie ik geen Hitachi's staan (alleen de SSD). Ook na installatie van Openindiana en napp-it zie ik geen HDD in napp-it staan (de LSI is met vt-d doorgezet).

Onder storage controller staat alleen de controller van het moederbord. Als ik de pci pass through uitschakel zie ik de lsi2008 controller wel staan (0 targets, 0 devices, 0 paths).

Kortom ik doe iets verkeerd maar wat? Hopelijk kunnen jullie mij helpen. Alvast bedankt!

[ Voor 6% gewijzigd door grotius op 16-03-2012 23:00 ]

[Ultraman]

Geen eigen ervaring, maar kan de controller wel overweg met disken van 3TB?
Misschien heeft deze disk wel teveel sectoren omdat deze disken gebruik maken van 512 bytes sectoren ipv Advanced Format 4K sectoren. Wat ik overigens veel netter vind dan 4K sectoren met 512 bytes emulatie die veel schijven doen, maar mogelijk levert dat een probleem op voor de controller?

Je kunt ook kijken of een andere firmware, bijvoorbeeld de IR, de disken wel op pikt. Misschien zit daar wel iets niet lekker.

Nogmaals, ik roep zo even wat dingen die in me op komen. Maar ik verwacht dat er wel een verklaring voor is.

[ Voor 24% gewijzigd door Ultraman op 16-03-2012 23:18 ]

[Erik1]

Ik heb mijn M1015 kaartje geflashed volgens deze instructie:
http://www.servethehome.com/ibm-serveraid-m1015-part-4/

Hier staat bij:

when flashing the card to IT mode, do not flash the mptsas2.rom, this then will not load the boot BIOS
Any drives added will just passthrough as normal, as there is nothing to see or do in the BIOS in IT mode, you may as well not load it.
This makes boot time faster as it doesn’t have to load the BIOS and wait for a key press.
BUT you will need it if you are booting from one of the drives attached to M1015
You will also need it if you are running IR mode to access to the BIOS to setup RAID functions
MIght be of use to some.

Wat misschien een verklaring is dat je in het menu niks ziet.

Ik heb er Seagate ST3000DM001 disks aan hangen, ook 3TB. Dit gaat prima dus de capaciteit is ook niet het probleem.

[grotius]

Erik1 schreef op zaterdag 17 maart 2012 @ 00:38:
Ik heb mijn M1015 kaartje geflashed volgens deze instructie:
http://www.servethehome.com/ibm-serveraid-m1015-part-4/

Hier staat bij:

[...]


Wat misschien een verklaring is dat je in het menu niks ziet.

Ik heb er Seagate ST3000DM001 disks aan hangen, ook 3TB. Dit gaat prima dus de capaciteit is ook niet het probleem.

Nog steeds geen succes.

Zojuist heb ik de kaart opnieuw geflasht. Nu met de firmware van servethehome. Deze files zijn anders dan ik in eerste instantie heb gebruikt (limeware link). De IBM is nu geflasht naar een Sas9211-8i (was sas9210-8i) met 2118it.bin (november 2011).

Wederom geen probleem om de kaart te flashen op mijn andere moederbord. Het boot menu heb ik achterwege gelaten. Toch zie ik in esxi en openindiana + nappit (onder menu disks) wel de LSI staan maar geen enkele HDD. voor de zekerheid ook win7 onder esxi geinstalleerd. In windows 7 wordt de lsi sas2008 ook herkent (dit apparaat werkt correct) alleen zie ik geen enkele HDD

Ik ga zodadelijk naar IR modus flashen. Hebben jullie nog andere tips. Zou het kaartje defect kunnen zijn? Zijn het misschien de kabels? Andere OS installeren (geen esxi 5).

[ Voor 6% gewijzigd door grotius op 17-03-2012 11:55 ]

[Ultraman]

Ik zou hem zeker eens onder een ander OS proberen.
Een Linux LiveCD is bijvoorbeeld al een mooie oplossing om hem even te kunnen testen. Deze kaart wordt volgens mij gewoon ondersteunt door de kernel.

[grotius]

Ultraman schreef op zaterdag 17 maart 2012 @ 12:15:
Ik zou hem zeker eens onder een ander OS proberen.
Een Linux LiveCD is bijvoorbeeld al een mooie oplossing om hem even te kunnen testen. Deze kaart wordt volgens mij gewoon ondersteunt door de kernel.

Ik heb Ubuntu 11 x64 geïnstalleerd. Ik zie wederom alleen de virtuele schijf waar ubuntu op is geïnstalleerd
De M1015 heeft een pass through (via esxi 5). Onder "disk utility" zie ik de controller wel staan:
Vendor: LSI Logic / Symbios Logic
Model: SAS2008 PCI-Express Fusion-MPT SAS-2 [Falcon]
Driver: mpt2sas
Number of ports: 8 PHYs
Is er een handige manier om via Ubuntu te checken of er echt geen devices zijn aangesloten?

------------------UPDATE------------------------
Een klein succesje geboekt.

Ik heb twee SSD's aangesloten op de IBM 1015. Deze SSD's (120 en 60 gb) worden wel herkent door de controller en weergegeven in Ubuntu. Kortom: zou het dan toch aan de Hitachi Deskstar 5k3000 liggen? Heeft iemand tips hoe ik dit kan controleren en welke stappen ik zou kunnen ondernemen om de harde schrijven werkend te krijgen?

[ Voor 53% gewijzigd door grotius op 17-03-2012 14:54 ]

[Erik1]

Wat je nog kunt proberen:

Ubuntu of ander OS native opstarten dus zonder ESXi er tussen.

Schijf + SSD aan de M1015, wordt er dan ook niets gedetecteerd of alleen de SSD?

Schijf op de onboard controller of een ander PC

[grotius]

Erik1 schreef op zaterdag 17 maart 2012 @ 15:16:
Wat je nog kunt proberen:

Ubuntu of ander OS native opstarten dus zonder ESXi er tussen.

Schijf + SSD aan de M1015, wordt er dan ook niets gedetecteerd of alleen de SSD?

Schijf op de onboard controller of een ander PC

Ik zal eens kijken of ik een USB stickje met Ubuntu kan maken (rechtstreeks draaien vanaf het stickje)

-------Update 2 ------------
Waarschijnlijk zijn twee (nieuwe) Hitachi's deskstar 5k3000 3 tb schijven kaduuk. Voor de zekerheid heb ik windows 7 geïnstalleerd (zonder esxi). De HDD zijn aangesloten op de onboard controller van het moederbord. Beide schijven worden niet in de bios en ook niet onder schijf beheer van windows weergegeven. De andere 5 schijven (zelfde type) worden wel door windows schijfbeheer herkent (evenals in de bios). De defecte schijven waren aangesloten op twee afzonderlijke poorten (de een op port 0 en de ander op port 1) van de M1015.

Kan het zijn dat:
a) als 1 schijf vanaf het begin niet functioneert de M1015 in zijn geheel niet meer werkt (dus het probleem van mijn eerste post)
b) Dit is een additioneel probleem. Het kan nog steeds zo zijn dat er een defect is met de de IBM m1015. Ik kom er achter dat ik een M1015 LSI MegaRAID SAS 9220-8i bezit (en niet een 9240-8i waar de tutorial betrekking op heeft). Misschien was dit de oorzaak?

----Update 3---wie-o-wie-kan me helpen--
Naast de twee HDD's is er toch iets geks met de controller.
- Zojuist had ik de vijf (nog) werkende HDD's aan de praat via de m1015.
- Vervolgens sluit ik de boel af en stop ik er twee extra HDD's bij. Na het opstarten van de pc is er nog maar 1 HDD zichtbaar (de rest is weg).
- Vervolgens ga ik terug naar de eerder situatie van 5 HDD's. En nu zijn ook deze weer verdwenen.

[ Voor 89% gewijzigd door grotius op 19-03-2012 15:56 ]

[nielsdc]

Dit lijkt me een probleem met je kabels en/of voeding en niet van de controller. Kan je voeding de piekstroom aan bij het opstarten van alle disks? Zitten alle kabels goed vast (sata & power)?
Kan je de schijven horen opspinnen?

Om te troubleshooten zou ik booten met een linux livecd (geeft de meeste info), en dan beginnen met een enkele disk op een enkele poort. Als dat werkt kan je de disk op elke poort proberen. Als alle poorten werken met deze enkele disk is je controller niet het probleem. De volgende stap is alle disks een voor een te proberen op een poort van je MB. (Deze hebben de meest complete initialisatie, mochten je drives geconfigureerd zijn voor staggered spinup. Als dat werkt kan je alle drives een voor een proberen op de M1015. Als dat allemaal werkt dan is het geen disk of controller probleem. Je kan dan langzaam meer schijven aan gaan sluiten en kijken wat er gebeurd. Als er meerdere schijven niet werken kijk dan of ze achter dezelfde power of SAS breakout kabel zitten.

Op de M1015 staat 9220-8i, maar deze bestaat niet en is gewoon hetzelfde als de 9240-8i. Alle poorten zijn onafhankelijk, dus een defecte schijf op een poort heeft geen invloed op de andere poorten.

[nielsdc]

Ultraman schreef op vrijdag 16 maart 2012 @ 23:16:
Geen eigen ervaring, maar kan de controller wel overweg met disken van 3TB?
Misschien heeft deze disk wel teveel sectoren omdat deze disken gebruik maken van 512 bytes sectoren ipv Advanced Format 4K sectoren. Wat ik overigens veel netter vind dan 4K sectoren met 512 bytes emulatie die veel schijven doen, maar mogelijk levert dat een probleem op voor de controller?

Je kunt ook kijken of een andere firmware, bijvoorbeeld de IR, de disken wel op pikt. Misschien zit daar wel iets niet lekker.

Nogmaals, ik roep zo even wat dingen die in me op komen. Maar ik verwacht dat er wel een verklaring voor is.

De communicatie tussen de controller en de disk gaat altijd op basis van 512b sectoren (ook voor disks met 4k sectoren). Voor de controller maakt het geen verschil of de disk 512b of 4k sectoren heeft. Uiteindelijk zullen er wel schijven komen met "echte" 4k sectoren, waarbij de communicatie tussen OS/controller/disk ook gewoon in 4k sectoren gaat, maar op dit moment bestaat de hardware nog niet, en heeft geen enkel OS er support voor.

Een andere firmware zou kunnen helpen, maar zou ik pas doen als er meer basis functionaliteit getest is.
Disks groter dan 2.2Tb hebben LBA48 support (normaal LBA32) nodig om op volledige grootte gebruikt te worden, maar dit wordt gewoon ondersteunt door de laatste IT firmware, en als het niet zou werken zou de disk wel herkent worden maar met de verkeerde grootte.

Dit soort vage problemen is typisch slechte bekabeling of een voeding die de belasting niet aankan.

[Verwijderd]

Check de SMART data wat betreft de UDMA CRC Error Count waarde? Meten is weten.

[grotius]

Op basis van jullie help heb ik kunnen achterhalen wat het probleem was,. Super bedankt. Naast twee defecte harde schijven waren de kabels ook niet goed. Na vervanging van kabels en twee van de zeven harde schijven werkt alles naar behoren.

De controller functioneerde, zoals jullie reeds vermoeden, perfect