Wegvallende Dataschijf op HPE Server

[Fox-Racing]

Mijn vraag

Ik heb sinds Januari een nieuwe HPE ML110 server (Win 2019) draaien
deze heb ik gemigreerd vanaf mijn oude ML360 (Win 2012) server.
alles is goed gegaan, netjes alle taken overgenomen.

Nu heb ik al een aantal x een vreemd probleem gehad.
Opeens is de Dataschijf die in de server zit niet meer bereikbaar op het netwerk.
Dataschijf bestaat uit 3 dataschijven in Raid 5 op een HPE 408i-p controller.
Op deze dataschijf staan mijn netwerk shares.




Nadat ik de verbinding verlies op het netwerk, en ik inlog op de server
zie ik ook geen info over de data schijf meer staan.
de balk met schijfgroote en gebruik is weg.
Windows Server draait ook niet lekker meer, en als ik de server herstart wil
hij ook niet lekker meer afsluiten, loopt ergens op vast. ik moet hem uit drukken.

Het vreemde is dat ik in de windows logboeken niets ervan terug kan vinden.
ik zie alleen de logs van de herstart, maar geen foutmeldingen ervoor.

Ook in de Smart Array software niets te zien, en iLO geeft ook geen fouten.

Relevante software en hardware die ik gebruik:

HPE ML110 Gen10 4208 1P 16G

2x 300Gb SAS 15k 2.5 SSF schijven in Raid 1 als systeemschijf
3x 2TB 12G SAS 7.2K 2.5 SSF in Raid 5 als Data schijven.
deze schijven zitten op de HPE Smart Array P408i-p Controller

op deze HPE Server draait Windows Server 2019 Standaard

Wat ik al gevonden of geprobeerd heb

Windows server 2019 is up-to-date.
laatste HP SPP (2021-04)is geïnstalleerd en alle firmware's en updates zijn geïnstalleerd.
In Mei is er nog een firmware update uitgekomen voor de Smart Array Controller, deze ook geïnstalleerd.

Hierna heeft hij een week of 3 gedraaid zonder probleem, maar nu begint het weer.

Wie geeft mij een duw in de goede richting?
ik durf nou niet meer te zeggen of dit een HP of Windows probleem is.

[RammY]

Ik zou zeggen, check even de status van de disk in je Disk Management

(rechts klikken op je start menu, Disk Management).
Dikke kans dat ie offline staat (alhoewel, dan zou de D: zich niet laten zien...).

iig .. wat zegt Disk Management ?

[Brahiewahiewa]

Fox-Racing schreef op dinsdag 8 juni 2021 @ 11:05:
...
Het vreemde is dat ik in de windows logboeken niets ervan terug kan vinden...

Lijkt er op dat de disk als "removable" wordt gezien; dan is het te verwachten dat de storage plotseling verdwijnt en wordt er niets gelogged
Eens met @RammY dus: wat zegt diskmanager?

[Fox-Racing]

Ik zal proberen zodra hij weer wegvalt in de diskmanager te komen.
Maar meestal draait Windows niet lekker meer.

Contact gehad met leverancier, die denkt aan of een kapotte controller of toch een kapotte schijf.
Al geeft alles in de iLO aan dat er geen problemen zijn.

[MAX3400]

Ik zal te kritisch lezen maar "wat & hoe" is er gemigreerd van de ene machine naar de andere?

Windows Server draait ook niet lekker meer, en als ik de server herstart wil
hij ook niet lekker meer afsluiten, loopt ergens op vast. ik moet hem uit drukken.

Dit doet me absoluut vermoeden dat de firmware / drivers / compatibility kapot is. Makkelijk gezegd natuurlijk maar omdat ik aanneem dat je OS op een aparte disk staat (aanname) en mogelijk zelfs op een andere controller (aanname), zou ik het raar vinden dat zowel OS als "data share" tegelijk instabiliteit / onzichtbaarheid hebben.

Je hebt een contract met HP op die machine; ik zou absoluut dit direct bij hun aankaarten en meewerken om zoveel mogelijk logs / remote sessies / support te krijgen.

[ Voor 12% gewijzigd door MAX3400 op 09-06-2021 09:57 ]

[menonv]

@Fox-Racing
Heb je een backup? Goede backup?
Als mij zo'n machine ligt te rotten, was dat nu het eerste waar ik me druk over zou maken.
Controleer even misschien op de ILO van de HP server wat de status is van alle hardware. controlleer de SMART gegevens van de hardeschijven of ze allemaal ok zijn.

[Fox-Racing]

MAX3400 schreef op woensdag 9 juni 2021 @ 09:56:
Ik zal te kritisch lezen maar "wat & hoe" is er gemigreerd van de ene machine naar de andere?


[...]

Dit doet me absoluut vermoeden dat de firmware / drivers / compatibility kapot is. Makkelijk gezegd natuurlijk maar omdat ik aanneem dat je OS op een aparte disk staat (aanname) en mogelijk zelfs op een andere controller (aanname), zou ik het raar vinden dat zowel OS als "data share" tegelijk instabiliteit / onzichtbaarheid hebben.

Je hebt een contract met HP op die machine; ik zou absoluut dit direct bij hun aankaarten en meewerken om zoveel mogelijk logs / remote sessies / support te krijgen.

Migratie van server 2012 naar 2019 voornamelijk domeinovername, gebruikers, dns enz.
OS staat idd op een aparte schijf. in aparte raid wel op zelfde controller.

Leverancier & HP zijn idd op de hoogte, gaan nu Active Health Log bestuderen.
maar tot nu toe alle logs geen problemen gevonden.

menonv schreef op woensdag 9 juni 2021 @ 10:02:
@Fox-Racing
Heb je een backup? Goede backup?
Als mij zo'n machine ligt te rotten, was dat nu het eerste waar ik me druk over zou maken.
Controleer even misschien op de ILO van de HP server wat de status is van alle hardware. controlleer de SMART gegevens van de hardeschijven of ze allemaal ok zijn.

Backups zijn geen probleem, iLO en Smart gegevens geven geen problemen.

Na gisterochtend binnen 1uur 2x eruit geklapt te zijn, draait hij nu al bijna 24h zonder probleem.
Dat is ook het vervelende, het probleem komt zo willekeurig opzetten.

[MAX3400]

Fox-Racing schreef op woensdag 9 juni 2021 @ 13:00:
[...]

OS staat idd op een aparte schijf. in aparte raid wel op zelfde controller.
[...]
Na gisterochtend binnen 1uur 2x eruit geklapt te zijn, draait hij nu al bijna 24h zonder probleem.

Oke, dus het kan ook nog de controller zijn (want alle disks incl OS hangen er aan vast).

Test, en misschien vervelend; zou het een bepaalde aantal sectoren op DISK X kunnen zijn dat zodra daar iets gezocht / geshreven wordt, de hele machine over zijn nek gaat?

Ik zou verwachten dat jouw backup (full, niet diff) ook fout / vast loopt indien het archive-bitje gezet wordt. Anders, een Powershell schrijven die een Get-ChildItem op je hele data-share doet en van elk bestand een aantal metadata-gegevens wegschrijft naar een centrale txt?

Faalt je Powershell / crasht je data-share, dan is je txt niet aangevuld en heb je mogelijk (nadruk) meer info waar het ongeveer zit?

[Fox-Racing]

Helaas probleem weer voorgekomen.
alleen bleek het maar om een paar shares op de data schijf te zijn.

volgens Diskmanager was alles in orde.

Ik kon op 8 van de 10 shares komen en rond kon bladeren.
maar de laatste 2 shares kwam ik niet in.. en toen crashte explorer

Duid er toch op dat 1 van de dataschijven kapot is.
terwijl alles als healty en gezond word weergegeven.

We gaan verder zoeken..

[Brahiewahiewa]

Fox-Racing schreef op vrijdag 11 juni 2021 @ 16:01:
...
Duid er toch op dat 1 van de dataschijven kapot is.
terwijl alles als healty en gezond word weergegeven.

We gaan verder zoeken..

Hoeft niet hardware te zijn; heb je al een keer chkdsk gedraaid? Klinkt als corruptie op NTFS niveau

[Vorkie]

Toevallig als de laatste HP firmwares erop gezet met de SPP?

https://techlibrary.hpe.c...rvice_pack/spp/index.aspx

[Fox-Racing]

@Vorkie Server draait idd met de laatste SPP 2021-04.

@Brahiewahiewa Chkdsk gedraaid op de Systeem en Data schijf, helaas kwam daar ook niets uit.

Ik weet het even niet meer..

[Fox-Racing]

Na nogmaals de logboeken te hebben doorgespit vind ik ineens sinds 21 Mei de volgende waarschuwing.
(maanden hiervoor geen melding te vinden, dit zal na SPP 2021-05 zijn geweest)

Smart Array Events id: 24584

"Too many runtime ECC errors have been received from the array controller P408i-p SR Gen10
located in server slot 1. The controller has restarted without utilizing its DIMM."

Ben bang toch een defect in de controller.
Controller krijgt data te verwerken, geheugen loopt vol en klapt eruit?

Blijf het vreemd dat de iLo geen fouten geeft

[RammY]

Zeker met deze melding, zolang je garantie hebt, met HPE contact opnemen.

[BCC]

Geheugen op de controller defect blijkkbaar. Dat lijkt mee logische verklaring idd. Is het een losse module? Anders kun je hem er even uit halen en kijken of hij dan wel stabiel blijft. Of als hij nu uitgeschakeld is, is het effect hetzelfde.

[ Voor 48% gewijzigd door BCC op 01-07-2021 11:06 ]

[RammY]

Als je controller cache uitgeschakeld is staat dat in je IML

[Rolfie]

Fox-Racing schreef op vrijdag 25 juni 2021 @ 14:38:
Na nogmaals de logboeken te hebben doorgespit vind ik ineens sinds 21 Mei de volgende waarschuwing.
(maanden hiervoor geen melding te vinden, dit zal na SPP 2021-05 zijn geweest)

Smart Array Events id: 24584

"Too many runtime ECC errors have been received from the array controller P408i-p SR Gen10
located in server slot 1. The controller has restarted without utilizing its DIMM."

Ben bang toch een defect in de controller.
Controller krijgt data te verwerken, geheugen loopt vol en klapt eruit?

Blijf het vreemd dat de iLo geen fouten geeft

het ziet er uit als een defect memory module op je Array Controller. De hardware detected ECC errors en zo te zien herstart de controller zonder het geheugen.

Ticket bij HP aanmaken met deze informatie indien je garantie hebt en anders een nieuwe Array Controller bestellen.

[Fox-Racing]

even een update van deze zijde. (beetje vertraagd door vakantie)

Contact met Leverancier en HPE.

Inmiddels is de Smart Array Controller (P408i-p) vervangen alsmede ook de Smart Storage battery
maar de server blijft het probleem geven.

Volgende stap die HPE wil gaan doen is vervangen moederbord.
want het zou kunnen zijn dat de communicatie tussen controller en moederbord niet goed is.

Mocht het dat ook niet oplossen dan wordt de server als goed is vervangen.

Ben bang dat ik er voorlopig nog niet vanaf ben.

[ThomVis]

Dit heb ik in het verleden ook gezien als in Windows UAC (EnableLUA) aanstaat en je de Users permissies van de root folder weg haalt. Misschien het checken waard.

[Fox-Racing]

Even gecheckt voor zekerheid.
UAC staat uit, en rechten zijn niet verwijderd.

van HPE email gehad met een aantal patches en updates die ze nog even geupdate willen zien.
aan de hand van AHS log.

Nu testen en kijken of wel het probleem nogmaals krijgen.