HP P400 RAID5 array stuk, maar disks zijn OK, wat nu?

[CH4OS]

Onlangs zei een RAID5 array in mijn HP P400 controller, dat ik het allemaal zelf maar moet doen.
Na de kabels te hebben gecontroleerd en diverse malen herstart, geeft de controller nu aan, dat alle disks goed zijn, maar om verder data-loss te voorkomen, de array wel uitgeschakeld wordt voor gebruik.

Er is geen enkele disk vervangen, volgens mij is er ook geen een stuk, getuige het feit dat ze allemaal nu wel goed herkend worden. Niet lang geleden, had ik al eens SMART-data uitgelezen (met behulp van ESXi) en die in het juiste topic gezet, maar daar kon men niet veel mee. Daarna is het goed gegaan, tot nu dus.

Ik zit nu dus een beetje wat handig is, moet ik deze array gaan vervangen of juist de controller? Ik heb geen zin om eens in de paar maanden opeens een RAID5 array kwijt te zijn met alle data (gelukkig geen belangrijke data!) erop.

Ik heb de machine nu even uit staan, in afwachting van adviezen en tips wat ik nu het beste kan doen.
Het liefste wil ik de array laten rebuilden, zodat ik niets kwijt ben, echter waren twee disks volgens de controller niet goed, dus naar de data kan ik denk ik fluiten (nogmaals, geen probleem, er staat geen superbelangrijke data op), al is er verder niets gebeurd; zowel met de disks als de controller niet.

De machine is een whiteboxje, waar ESXi 6.0 op draait als OS. Specs:

• i7 4790K
• Gigabyte Z97X Gaming G1 moederbord
• 32GB DDR3 RAM van Corsair, exacte type even kwijt
• HP P400 met battery backed write cache van 256MB
• Crucial MX300 1TB SSD voor VM's (heerlijk, btw!)
• 4x 2TB WD Green, dit zijn de disks van de array die stuk ging, leeftijd weet ik even niet, moet ik opzoeken. Ook weet ik niet hoe belangrijk deze info kan zijn in deze. Als ik moet gokken, zeg ik 2010.
• 4x 2TB WD Red, geen problemen mee, is pas paar maanden oud.

Ik moet bekennen, ik heb nog niet heel veel gezocht, maar dat komt omdat ik in dit geval de juiste zoektermen niet weet, dus wat duwdjes de goede kant op, zou ik zeer waarderen!

Ik zit ergens ook te dubben om te upgraden, van de HP P400 naar de HP P410, dit omdat deze controller de huidige array's ook ondersteund en ik dan in de toekomst eventueel grotere disks in mijn server kan stoppen.

[ Voor 8% gewijzigd door CH4OS op 03-07-2017 20:13 ]

[MAX3400]

RAID5 ben je vaak niet kwijt; je moet de disks alleen aan een nieuwe controller hangen.

Dat gezegd; WDC Green is niet geschikt voor dit soort taken oa door de firmware.

Advies; probeer een controller te lenen om de oude array te benaderen en mogelijk wat data veilig te stelpen. En anders een nieuwe controller kopen en geschikte disks eraan hangen.

[CH4OS]

Dat WDC Green's niet geschikt zijn voor RAID wist ik niet ten tijde dat ik ze nieuw kocht, ik keek toen vooral naar prijs en opslag verhouding moet ik eerlijk toegeven. De disks hebben ook jaren lang perfect gewerkt, tot paar maanden terug en afgelopen weekend.

Ik begrijp dus ook even niet waarom ik de disks aan een andere controller moet hangen.
Als ik jou zo lees, kan ik dan het beste een nieuwe controller kopen en deze vervangen?

[MAX3400]

Ik kan niet in jouw portomonnee kijken maar als je de 410 toch al wil hebben, ook met het oog op de toekomst, waarom niet? Dan hang je daar de Greens aan, indien nodig, of je vervangt alles/later met grotere disks.

[CH4OS]

Mja, qua portemonnee komt het eigenlijk op een heel slecht moment. Komt bij dat ik in het verleden al eens een upgrade naar de HP P410 had geprobeerd, maar was geen succes, doordat de combinatie van moederbord en controller toen niet werkte (kwam niet door de POST heen). Was een redelijk goedkoop Asus plankje, terwijl ik nu dus toch wel redelijk high-end heb, dus wie weet, maar aan de andere kant, durf ik nu dus niet zo goed omdat ik nu niet weet hoe het uitpakt.

EDIT1:
En begrijp nog steeds niet helemaal waarom de disks op een andere controller aangesloten zouden moeten worden. Gaat die dan de array rebuilden of zo?

EDIT2:
En moet zeggen; het liefste zou ik dan een controller willen die ook ondersteund wordt door ESXi 6.5, zodat ik ook de nodige jaren weer bij ben en qua drivers ook support heb. Mocht er dus een andere controller zijn dan de HP P410, ook dan verneem ik het graag, want vind het lastig zoeken op welke RAID-controllers wat ondersteunen qua array's.

EDIT3:
De HP P420 is in elk geval supported door ESXi 6.5, maar weet nu dus nog niet, of die de RAID-array zal herkennen van mijn HP P400 en of er SAS-to-SATA kabels voor beschikbaar zijn.

[ Voor 49% gewijzigd door CH4OS op 03-07-2017 18:57 ]

[rookie no. 1]

CH40S schreef op maandag 3 juli 2017 @ 18:10:
EDIT1:
En begrijp nog steeds niet helemaal waarom de disks op een andere controller aangesloten zouden moeten worden. Gaat die dan de array rebuilden of zo?

Wil je je RAID-5 array terug? Dan kan dat door je disks 1-op-1 aan een andere HP Smartarray controller te hangen. Dát is het voordeel van gebruik van HP Smartarray controller series.

[CH4OS]

rookie no. 1 schreef op maandag 3 juli 2017 @ 21:51:
[...]


Wil je je RAID-5 array terug? Dan kan dat door je disks 1-op-1 aan een andere HP Smartarray controller te hangen. Dát is het voordeel van gebruik van HP Smartarray controller series.

Het zou mooi zijn, als ik de array terug kan krijgen, maar hoeft niet per se.
Even voor mijn beeld; ik kan bij wijze van prima een HP P420 gaan gebruiken hiervoor?
Want dan ben ik ook wat toekomstbestendig, omdat ik dan eventueel ook grotere disks dan 2TB's kan aansturen.

[ Voor 10% gewijzigd door CH4OS op 03-07-2017 21:53 ]

[johnkeates]

Ik zou het hele hardware RAID verhaal vergeten en een echte oplossing zoals ZFS gebruiken. Misschien is dat niet direct mogelijk door dat je bijv. een OS gebruikt dat dat niet kan, maar dan zou je misschien tenminste naar raid 10 of raid 1 kunnen kijken zodat je minder makkelijk je data kwijt bent. RAID5 of RAID6 in deze tijd nog gebruiken lijkt me niet echt aan te raden. Er is simpelweg te veel data per unit (per schijf dus) om met een kleine hoeveelheid controle nog veilig te kunnen werken.

[rookie no. 1]

RAID-10 is sowieso wel prettiger dan RAID-5 of 6. Ik begrijp de keuze voor zo'n goede HW RAID controller wel, het is namelijk erg makkelijk in gebruik met VMWare i.p.v. moeten aankl*** met ZFS o.i.d.

Als je mogelijkheid hebt (en wilt) om Hyper-V 2012R2 of hoger te draaien, kun je ook aan de slag met Storage Spaces. Draait ook prima, vooral met tiered storage (SSD als caching toegewezen).

[CH4OS]

rookie no. 1 schreef op maandag 3 juli 2017 @ 22:02:
RAID-10 is sowieso wel prettiger dan RAID-5 of 6. Ik begrijp de keuze voor zo'n goede HW RAID controller wel, het is namelijk erg makkelijk in gebruik met VMWare i.p.v. moeten aankl*** met ZFS o.i.d.

Als je mogelijkheid hebt (en wilt) om Hyper-V 2012R2 of hoger te draaien, kun je ook aan de slag met Storage Spaces. Draait ook prima, vooral met tiered storage (SSD als caching toegewezen).

Voor hypervisor blijf ik liever bij ESXi, dat gebruik ik al jaren en ben ik mee bekend. ESXi ondersteund geen ZFS, dus dat is ook geen optie. Ik heb namelijk geen mogelijkheden om de data over te zetten naar wat anders, omdat ik daar gewoonweg de disks niet voor heb. De 4x 2TB WD REDs worden namelijk ook gebruikt door VM's.

Enige wat ik dan nog graag zou willen weten is of de HP P420 ook perfect de array van een HP P400 kan herkennen en rebuilden. Dan kan ik de HP P400 mooi als reserve houden.

EDIT:
Ja, ik zou ergens wel graag van hardware RAID af willen en overstappen naar bijvoorbeeld ZFS, maar ik heb op het moment daar geen ondersteuning voor en zou dan dus moeten migreren naar bijvoorbeeld KVM of Proxmox. Echter heb ik geen derde machine hier thuis staan, dus kan de data ook niet makkelijk overzetten. Als ik zoiets zou doen, zou ik dat het liefst doen met een derde fysieke machine, die mijn homelab compleet zou vervangen, maar daar heb ik geen geld voor op het moment.

Dus als de P420 overweg kan met arrays die gemaakt zijn op / met een P400, dan ben ik denk ik al geholpen. De P400 heeft immers een LSI chip en de P410 en nieuwer van PMC-Sierra.

[ Voor 26% gewijzigd door CH4OS op 03-07-2017 23:32 ]

[jan99999]

Als je verkeerde hd's koopt bij een echte hardware raid controller, dan bij een slechte sector, dus als je gewone hd langer blijft zoeken naar een sector(of data), dan wordt dit door je hardware controller als slechte hd gezien, en dus gooit deze de hd uit de raid.
Probeer over te gaan naar software raid, hoewel dit in windows zeer slecht/langzaam is.
Op zijn minst ga over naar andere schijven.

[Wim-Bart]

O en voordat je de green's weer aansluit. Eventjes met WDIDLE3.EXE head parking uitschakelen. Dan zijn je green's opeens wel geschikt voor RAID

Het probleem met WD green is dat ze iedere paar seconden parkeren en fownspinnen en dat gaat ten kostte van xe levensduur.

[RGAT]

Ondersteuning tussen SA's wisselt, in theorie wordt de configuratie op de disks zelf opgeslagen en zou je vrijwel elke SA controller kunnen verwisselen maar in de praktijk hangt het van de specifieke controller, firmware op beide controllers en de stand van de maan af......
Zo heb ik meerdere keren P400 arrays op een P812 gehangen, is ook een aantal keer minder makkelijk gegaan en een enkele keer mis gegaan...
Maar goed de array kan ook bij een firmware upgrade kapot gaan, is altijd Russisch roulette met HP
Op het internet ga je wat topics vinden van mensen die het wel/niet gelukt is maar daar heb je weinig aan tenzij de firmware van jouw P400 en P410/P420 identiek is aan die van de topic poster die zegt dat het werkt...
Zou zeggen backup maken en het erop gokken, en vergeet niet om voor welke HP Smart Array controller dan ook de Battery Backed Write Cache te kopen, ze zijn niet vooruit te branden zonder...

[CH4OS]

Wim-Bart schreef op dinsdag 4 juli 2017 @ 06:55:
O en voordat je de green's weer aansluit. Eventjes met WDIDLE3.EXE head parking uitschakelen. Dan zijn je green's opeens wel geschikt voor RAID

Het probleem met WD green is dat ze iedere paar seconden parkeren en fownspinnen en dat gaat ten kostte van xe levensduur.

Probleem is alleen dat ik geen Windows heb op die machine, maar ESXi. Hoewel er schijven genoeg in zitten, zitten er datastores op al die schijven, die ik liever niet kwijt raak. Ik zou "iets" vanaf USB-stick kunnen booten. Het zij Windows, danwel Linux. Bedankt voor de tip in elk geval!

EDIT:
Ik zie dat er een Linux alternatief is, dan ga ik liever dat proberen, middels een Linux USB bootstick.
Een guide hierover: https://wdullaer.com/blog/2015/04/05/hack-your-wd-greens/

RGAT schreef op dinsdag 4 juli 2017 @ 07:04:
Ondersteuning tussen SA's wisselt, in theorie wordt de configuratie op de disks zelf opgeslagen en zou je vrijwel elke SA controller kunnen verwisselen maar in de praktijk hangt het van de specifieke controller, firmware op beide controllers en de stand van de maan af......

Oke, bedankt. In dat geval heb ik dus niets te verliezen, ik kan nu ook niet bij de data en het is / was geen belangrijke data, dus als het kwijt is, is dat op zich ook niet zo heel erg.

Zou zeggen backup maken en het erop gokken, en vergeet niet om voor welke HP Smart Array controller dan ook de Battery Backed Write Cache te kopen, ze zijn niet vooruit te branden zonder...

Ik weet de importantie van backups, maar dit is geen belangrijke data, dus backups vind ik wat onnodig. De array kan ik nu immers ook niet bereiken.

[ Voor 48% gewijzigd door CH4OS op 04-07-2017 09:27 ]

[Wim-Bart]

CH40S schreef op dinsdag 4 juli 2017 @ 08:34:
[...]
Probleem is alleen dat ik geen Windows heb op die machine, maar ESXi. Hoewel er schijven genoeg in zitten, zitten er datastores op al die schijven, die ik liever niet kwijt raak. Ik zou "iets" vanaf USB-stick kunnen booten. Het zij Windows, danwel Linux. Bedankt voor de tip in elk geval!

EDIT:
Ik zie dat er een Linux alternatief is, dan ga ik liever dat proberen, middels een Linux USB bootstick.
Een guide hierover: https://wdullaer.com/blog/2015/04/05/hack-your-wd-greens/


[...]
Oke, bedankt. In dat geval heb ik dus niets te verliezen, ik kan nu ook niet bij de data en het is / was geen belangrijke data, dus als het kwijt is, is dat op zich ook niet zo heel erg.
[...]
Ik weet de importantie van backups, maar dit is geen belangrijke data, dus backups vind ik wat onnodig. De array kan ik nu immers ook niet bereiken.

WDIDLE3.EXE is een DOS applicatie en geen Windows Applicatie. WD GREEN disk sloop je wanneer je deze in een RAID stopt zonder WDIDLE3. WDIDLE3 zet head parking en spin down uit en maakt eigenlijk een WD BLUE van je WD GREEN. Daarna zijn ze perfect in een array te gebruiken.

Om je indruk te geven. Ik heb zelf 5 green disks in RAID 5 zitten. Gelijk aangeschaft in 1 batch. Op 1 van de disks was ik vergeten de headparking uit te zetten. Dit was de enige disk welke binnen 16 maanden kapot was, de rest draait nu ongeveer 7 jaar nu zonder issues.

[CH4OS]

Al mijn WD Greens draaien de nodige jaren al zonder issues in de HP P400. Ook nu geeft de controller aan dat de disks OK zijn, immers. Ubuntu heeft de idle3-tools in hun repositories zitten, dus ik kan die gewoon installeren vanuit Ubuntu met apt. Gaat goed komen.

Ik gok overigens dat Ubuntu gewoon deze van SourceForge in hun repos hebben staan.

[ Voor 54% gewijzigd door CH4OS op 04-07-2017 10:09 ]

[rookie no. 1]

Neem het advies ter harte over de WDidle of koop andere disks. Je hebt geluk dat jouw RAID sets en je WD Greens goed gebleven zijn.

Zoals eerder gezegd: Je kunt zonder problemen je disks overzetten in HP Smartarray controllers. Het gaat niet om de hardware, maar om de firmware van HP die daar voor zorgt.

Uiteraard geldt dat het advies is om de firmware. (redelijkerwijs) bijgewerkt te houden om problemen te voorkomen.

[CH4OS]

Zover ik weet heb ik de nieuwste firmware al voor de HP P400. Flashen zal wat lastig worden, vaak zitten in die tools van HP een check, of dat het HP hardware is. Dank voor de reacties, ik ga de WDIdle zeker ter harte nemen en kijken voor een andere controller, poging 2. Deze hou ik dan als backup.

[duiveltje666]

rookie no. 1 schreef op maandag 3 juli 2017 @ 22:02:
RAID-10 is sowieso wel prettiger dan RAID-5 of 6. Ik begrijp de keuze voor zo'n goede HW RAID controller wel, het is namelijk erg makkelijk in gebruik met VMWare i.p.v. moeten aankl*** met ZFS o.i.d.

Als je mogelijkheid hebt (en wilt) om Hyper-V 2012R2 of hoger te draaien, kun je ook aan de slag met Storage Spaces. Draait ook prima, vooral met tiered storage (SSD als caching toegewezen).

Ja , want ZFS werkt niet met SSD caching

[rookie no. 1]

duiveltje666 schreef op woensdag 5 juli 2017 @ 18:35:
[...]
Ja , want ZFS werkt niet met SSD caching

Uiteraard kan dat ook met ZFS, maar daar ging mijn reactie niet over omdat de TS dat toch niet ziet zitten als keuze.

ZFS discussie kan in ZFS topic😉

[CH4OS]

De refurbished HP P420 is binnen, maar nu is mijn vraag; zit er standaard al cache op de controller of zo?

Ik heb namelijk de HP P420 met 2GB FBWC (PCIE2.0 variant) besteld, maar het uitbreidingsslot op de controller is leeg, waar ik de cache zou verwachten. Nu is mijn vraag hoort het uitbreidingsslot leeg te zijn op de HP P420 als je 2GB FBWC hebt?

rookie no. 1 schreef op woensdag 5 juli 2017 @ 18:40:
Uiteraard kan dat ook met ZFS, maar daar ging mijn reactie niet over omdat de TS dat toch niet ziet zitten als keuze.

ZFS discussie kan in ZFS topic😉

Plus dat duiveltje666 weet dat ik geen fan ben van ZFS in mijn server omdat ik al jaren ESXi draai (wat hij ook weet!)

EDIT:
Ik heb uiteindelijk ssacli aan de praat gekregen op mijn whitebox en deze geeft het volgende terug:

CACHE STATUS PROBLEM DETECTED: The controller is disabled because the cache
module is not attached. Please re-attach the
cache module to re-enable the controller.

Ik gebruikte hiervoor overigens

./ssacli ctrl all show status

als commando, maar kon deze vinden in /opt/smartstorageadmin/ssacli/bin nadat ik de HPE Offline Bundle had geïnstalleerd van ESXi 6.5. De reden dat ik ./ssacli ... heb moeten doen is me niet geheel duidelijk, ik zat wel in die map toen ik het commando deed. ESXi dacht om de een of andere reden dat het geen commando was, met ./ ervoor werkte het wel.

Wat wazig verhaal, kan het momenteel niet duidelijker maken en zal morgen de leverancier even contacteren.

[ Voor 77% gewijzigd door CH4OS op 12-07-2017 00:11 ]

[CH4OS]

Zo, kleine update voor dit topic:

De nieuwe controller is dan eindelijk volledig. Ik heb ook de tip van @Wim-Bart ter harte genomen om de idle3 tool te gebruiken. Ik gebruik hiervoor idle3-tools, voor Linux. Ik heb net even gekeken ook naar de count middels

sudo smartctl -A /dev/sda | grep "^193"

Deze gaf een getal (weet even niet meer exact) varierend tussen de 1650 en 2789 terug (met 1 uitschieter naar 5613), best netjes dus, eigenlijk gezien de leeftijd van de disks. Wel schakel ik voor de zekerheid het uit, zodat ik zeker weet dat ik hier een volgende keer geen last meer van kan hebben.

EDIT:
In elk geval is 1 datastore inderdaad weer terug, de andere wordt dan denk ik rebuilded, dat is de array met de WD Greens, die dus aangaf faulty te zijn.

EDIT2:
Hoort dit overigens, vanuit ESXi:

Drive Write Cache: Disabled
Total Cache Size: 2.0 GB
Total Cache Memory Available: 1.8 GB

EDIT3:
Intussen heb ik het weten enablen en weet ik dat beide array's worden gezien. De array van de WD Greens wordt in elk geval als failed aangegeven. Nu kijken hoe ik kan regelen om te rebuilden (dat het even zal duren is niet erg).

EDIT4:
En de 8 disks zijn terug!

physicaldrive 2I:0:1 (port 2I:box 0:bay 1, 2 TB): OK
physicaldrive 2I:0:2 (port 2I:box 0:bay 2, 2 TB): OK
physicaldrive 2I:0:3 (port 2I:box 0:bay 3, 2 TB): OK
physicaldrive 2I:0:4 (port 2I:box 0:bay 4, 2 TB): OK
physicaldrive 1I:0:5 (port 1I:box 0:bay 5, 2 TB): OK
physicaldrive 1I:0:6 (port 1I:box 0:bay 6, 2 TB): OK
physicaldrive 1I:0:7 (port 1I:box 0:bay 7, 2 TB): OK
physicaldrive 1I:0:8 (port 1I:box 0:bay 8, 2 TB): OK

Desondanks is de array nog steeds wel failed:

logicaldrive 1 (5.5 TB, RAID 5): Failed
logicaldrive 7 (5.5 TB, RAID 5): OK

[ Voor 58% gewijzigd door CH4OS op 21-07-2017 20:47 ]