LSI 9207-8i drives niet te benaderen in freenas

[millman]

Beste medetweakers,

Ik probeer bij een klant van mij een Nas te bouwen. Het grote probleem is dat de HDD's niet showen in Freenas.

Gebruikte hardware:

- Asrock x399 Taichi
- AMD TR 2920x
- 32GB 3200Mhz DDR4
- Bootdisk samsung pro 500Gb SSD
- LSI 9207-8i SAS HBA
- 16x WD red 2TB

Kan iemand mij uitleggen wat ik verder moet doen. De laatste firmware staat erop, (v7.39.02.00 IT). We gingen er eigenlijk vanuit dat als de LSI is aangesloten en de disks er goed inzitten dat Freenas de Harddrives sowieso zou zien. Dit is helaas niet het geval. De disks zijn wel te zien in de Avago Bios tool voor de LSi, maar Freenas kan er niets mee. Hebben we een stap over geslagen?

We zijn nu vanuit de Avago Bios tool de disks aan het formatteren, echter doet de eerste disk er nu al 20 minuten over om te formatteren en we zijn nog niet op 10%. Ik ga ervan uit dat freenas ook een optie heeft om de disks te formatteren, echter ziet freenas dus de disks niet. Voor mij is dit helaas veel trial and error, zonder dat ik echt weet wat ik aan het doen ben. Iemand de gouden tip waar op moeten letten?

Ik hoor graag van jullie!

Groet,

Jeroen

[.Maarten]

Zolang de controller niet in IT mode staat zal hij de disks niet los doorgeven en zul je de disks op de controller moeten configureren. Kortom een raidset oid aanmaken.

[millman]

Voor zover ik heb gezien staat er IT firmware op, en is de laatst verkrijgbare IT firmware gisteren erop geflashed (zoals aangegeven in TS). Moet ik perse vanuit AVAGO bios de disks formatteren? Of zouden de disks direct gezien moeten worden door Freenas en vanaf daar configureerbaar moeten zijn?

[millman]

Om dan direct met de deur in huis te vallen. Het probleem Is opgelost. Kenners weten het, van mini-SAS naar SATA heb je 2 verschillende kabels: forward and reverse en hier waren de verkeerde kabels besteld.

Zien er hetzelfde uit, pin layout tussen receive en send zijn anders.

In depth:

https://forums.unraid.net...-reverse-which-where-why/

[Operations]

@millman,

Mag ik vragen waarom je zoveel cpu kracht nodig hebt / gebruikt voor een FreeNAS machine?

De link die je aanhaalt spreekt overigens over een andere aansluiting aan de host kant. Maar de conclusie is wel van toepassing.

"To make it simple, if the host-controller side is a SAS connector (SFF-8470) and the target side is SATA drives then you must always use a SAS to SATA Forward Breakout Cable."

Een 9207 heeft 2 x SFF8087. Ik heb hem zelf ook liggen.

Hoe heb je 16 drives aangesloten op 1 x 9207 ? 1 x breakout SFF8087 => 4 x sata maal 2 is toch 8 drives...? Of gebruik je 2 kaarten?

[ Voor 93% gewijzigd door Operations op 22-02-2020 06:48 ]

[millman]

@Operations Laat ik allereerst stellen dat ik ben gevraagd om te 'troubleshooten', het systeem heb ik niet samengesteld of gebouwd.

De usecase van deze machine is als opslag voor een renderfarm. Deze machine haalt de jobs binnen waarna de master deze over het netwerk verdeeld. Als de frames klaar zijn met renderen komen deze weer terug op de nas, waarna deze weer naar de klant terug worden gestuurd. Voorheen werd er gebruik gemaakt van een synology, echter met het geld wat er bespaard werd door zelf te bouwen kon er wat 'overkill' qua CPU performance tegenaan gegooid worden.

Verder heeft de klant de setup als volgt geconfigureerd (althans, dat is zn bedoeling)

- 1x 9207-8i
- 2x forward breakout naar
- 2x 8 disk enclosure (weet even niet welke)
- Eke enclusure heeft 2x sata uit, dus een totaal van 4x sata gaat naar het moederbord om de overige 8 disks aan te sturen..

Dus de 9207 stuurt maar 8 HDD's aan, de andere HDD's zitten wel in die enclosure maar worden op het moederbord via sata aangesloten. (was voor mij ook verwarrend, dus heb t maar even naagevraagd)

[Operations]

Was geen verwijt hoor gewoon nieuwsgierig. "Wat" overkill quite the understatement hahahah

Maar als de performance zo belangrijk kunnen ze dan niet beter een 12g HBA kaart nemen? LSI 9400-16i ofzo, dan zitten alle schijven ook op dezelfde controller. De verhouding cpu/storage is zo krom nu. Neem aan dat het wel via 10Gbit netwerk loopt? Zomaar een idee hoor om de performance misschien nog wat te verbeteren.

Succes met troubleshooten !

[ Voor 27% gewijzigd door Operations op 22-02-2020 14:12 ]

[millman]

@Operations Ik voelde het geenzins als verwijt hoor Ik ben blij dat er iemand kritische vragen stelt zodat ik er beter over na ga denken. Wel moet ik zeggen dat ik mij afvraag of de gewone satapoorten op het moederbord we meerdere disks tegelijk aankan? Ik bedoel, nu zitten er 2 disks 'kaal' op 1 satapoort.

Moet toegeven dat mijn kennis betreffende sommige onderdelen van computing nog ondermaats is. Ach, learning on the go

En ja, 10GB netwerk, en er wordt geprobeerd om er 20GB van te maken. Ik ben het met je eens dat je voor performance wellicht een grotere HBA kan gebruiken. Ik zal de klant eens informeren over de opties.

[ Voor 18% gewijzigd door millman op 22-02-2020 14:32 ]

[Operations]

millman schreef op zaterdag 22 februari 2020 @ 14:28:
@Operations Ik voelde het geenzins als verwijt hoor Ik ben blij dat er iemand kritische vragen stelt zodat ik er beter over na ga denken. Wel moet ik zeggen dat ik mij afvraag of de gewone satapoorten op het moederbord we meerdere disks tegelijk aankan? Ik bedoel, nu zitten er 2 disks 'kaal' op 1 satapoort.

Moet toegeven dat mijn kennis betreffende sommige onderdelen van computing nog ondermaats is. Ach, learning on the go

En ja, 10GB netwerk, en er wordt geprobeerd om er 20GB van te maken. Ik ben het met je eens dat je voor performance wellicht een grotere HBA kan gebruiken. Ik zal de klant eens informeren over de opties.

Voor zover ik weet kan een simpele SATA poort (dus zonder raid controller) maar 1 HDD aansturen. Dus een poort splitsen kan niet. Dit weet ik 99% zeker. Breakout kabels zijn voor raid controllers omdat die intern meerdere SATA poorten hebben.

Niet alleen grotere HBA maar vooral feit dat hij sneller is 6g tov het nieuwere en snelle 12g.

[ Voor 9% gewijzigd door Operations op 22-02-2020 14:37 ]

[millman]

Operations schreef op zaterdag 22 februari 2020 @ 14:36:
[...]


Voor zover ik weet kan een simpele SATA poort (dus zonder raid controller) maar 1 HDD aansturen. Dus een poort splitsen kan niet. Dit weet ik 99% zeker.

Niet alleen grotere HBA maar vooral feit dat hij sneller is 6g tov het nieuwere en snelle 12g.

Dat dacht ik dus ook.

[Q]

Operations schreef op zaterdag 22 februari 2020 @ 14:36:
[...]


Voor zover ik weet kan een simpele SATA poort (dus zonder raid controller) maar 1 HDD aansturen. Dus een poort splitsen kan niet. Dit weet ik 99% zeker.

Niet alleen grotere HBA maar vooral feit dat hij sneller is 6g tov het nieuwere en snelle 12g.

Het kan wel, maar je wilt het niet want je deelt de bandbreedte van 1 poort met 4 schijven.
Wikipedia: Port multiplier

[Operations]

millman schreef op zaterdag 22 februari 2020 @ 14:37:
[...]

Dat dacht ik dus ook.

Breakout kabels zijn voor raid controllers omdat die intern meerdere SATA poorten hebben.

[Operations]

Q schreef op zaterdag 22 februari 2020 @ 14:38:
[...]


Het kan wel, maar je wilt het niet want je deelt de bandbreedte van 1 poort met 4 schijven.
Wikipedia: Port multiplier

Wat jij aanhaalt is toch feitelijk gewoon een HBA of RAID kaart? Ja dan kan het maar niet vanaf moederbord poort.

Edit: lijkt op een simpele variant van een HBA kaart.

[ Voor 6% gewijzigd door Operations op 22-02-2020 14:41 ]

[millman]

Ok, goed, ik heb nog even nagevraagd en ik heb t weer verkeerd begrepen. Alle 8 de HDD's die niet door de controller worden aangestuurd zijn gewoon direct op het moederbord aangesloten met een gewone sata kabel, ik dacht dat ie vanuit de enclosure zelf een split had naar 4 HDD's per poort. Oops..

[ Voor 15% gewijzigd door millman op 22-02-2020 14:42 ]

[Operations]

millman schreef op zaterdag 22 februari 2020 @ 14:41:
Ok, goed, ik heb nog even nagevraagd en ik heb t weer verkeerd begrepen. Alle 8 de HDD's die niet door de controller worden aangestuurd zijn gewoon direct o het moederbord aangesloten met een gewone sata kabel. Oops..

Dat leek mij al meer aannemelijk Wat jij omschreef heb ik ook nog nooit gezien.

[millman]

Sorry voor de verwarring, dit topic ging van nog enigszins informerend naar een grote puinhoop. Voel me weer even noob

[Operations]

Operations schreef op zaterdag 22 februari 2020 @ 14:42:
[...]


Dat leek mij al meer aannemelijk Wat jij omschreef heb ik ook nog nooit gezien.

Helpt het als ik zeg dat iedereen wel is een foutje maakt?

En daarbij kan je meestal aan de reacties wel zien of je echt echt noob gedrag vertoont. Dat is nu niet het geval mijn inziens.

[ Voor 19% gewijzigd door Operations op 22-02-2020 14:47 ]

[millman]

Operations schreef op zaterdag 22 februari 2020 @ 14:46:
[...]


Helpt het als ik zeg dat iedereen wel is een foutje maakt?

En daarbij kan je meestal aan de reacties wel zien of je echt echt noob gedrag vertoont. Dat is nu niet het geval mijn inziens.

Jazeker, voor mezelf heb ik in dit verhaal een hele hoop geleerd, dat is winst opzich. Maar..maar..mn reputatie

Beetje zonde van het topic dan toch, omdat er tussen de fouten door toch wel wat zinvolle informatie staat voor de beginnende doe-het-zelf-nas-bouwer. Bedankt voor je zinvolle input. Zodra de nieuwe kabels binnen zijn gaan we eens kijken naar de performance. Mocht die niet voldoen voor de usecase dan zal ik adviseren te kijken naar de 9400 serie. uiteraard report ik terug hier.

Top!

[Operations]

millman schreef op zaterdag 22 februari 2020 @ 14:52:
[...]

Jazeker, voor mezelf heb ik in dit verhaal een hele hoop geleerd, dat is winst opzich. Maar..maar..mn reputatie

Beetje zonde van het topic dan toch, omdat er tussen de fouten door toch wel wat zinvolle informatie staat voor de beginnende doe-het-zelf-nas-bouwer. Bedankt voor je zinvolle input. Zodra de nieuwe kabels binnen zijn gaan we eens kijken naar de performance. Mocht die niet voldoen voor de usecase dan zal ik adviseren te kijken naar de 9400 serie. uiteraard report ik terug hier.

Top!

Ik blijf het zonde van het bordje + cpu vinden hahaha

[millman]

Operations schreef op zaterdag 22 februari 2020 @ 14:52:
[...]


Ik blijf het zonde van het bordje + cpu vinden hahaha

Als ik zie wat er in zijn 'spare-room' ligt dan maakt het echt geen drol uit, gister even een rondleiding gehad, omdat hij wist dat ik een van de weinigen was die dat wist te waarderen. Zn spare-room is net een high-end computershop. x399, trx4, 2000-serie TR's en GPU's beginnend van 1070 tot 2080ti's.

offtopic:
Bij ons wat minder moederborden en CPU's, maar dat we nog 10 RTX Titans hebben liggen vind ik ook niet vervelend. Zelf dus ook een Titan geadopteerd Totaal uit balans met mn 3800x en op 2560x1080 60Hz, maar niet minder fijn om te hebben. Overigens zijn er 2 games die ook op die resolutie de kaart ineen doen schrompelen:

- RDR2 red de 60FPS niet op max
- Escape from Tarkov.