Fileserver (2012 r2) --> 2 weken data verdwenen / corrupt

[fRiEtJeSaTe]

Op 1 van onze vestigingen draait een Poweredge 2900 met raid (Perc 6/i). Altijd naar tevredenheid. Er werken een man of 20 tegelijk op.

Gisteren kreeg ik een belletje dat de boel traag was met opslaan, en het soms gewoon niet meer lukte. De server bleek onbereikbaar geworden, en bij elke actie die ik probeerde sloeg de boel nog meer vast. Uiteindelijk gekozen voor een koude herstart.

Nu blijkt 2 weken aan data verdwenen. De bestanden staan er wel, en de grootte klopt ook, maar als ik ze open zijn ze gevuld met nulletjes. Valt ook niks te herstellen dus. Hoe kan dit, en hoe zorg ik dat het in de toekomst niet weer gebeurt? Ik weet dat RAID een cache functie heeft, maar dacht dat die om een paar KB / MB ging?

Overigens is raid module voorzien van een batterij, en wordt deze als prima gerapporteerd.

[ Voor 6% gewijzigd door fRiEtJeSaTe op 09-09-2016 10:08 ]

[heuveltje]

Erm wat dacht je van backup's maken ?

Dit soort dingen kunnen altijd gebeuren.

[ Voor 4% gewijzigd door heuveltje op 09-09-2016 10:09 ]

[fRiEtJeSaTe]

heuveltje schreef op vrijdag 09 september 2016 @ 10:08:
Erm wat dacht je van een backup maken ?
Dit soort dingen kunnen altijd gebeuren.

Ik heb zat backups. Maar daar staan de bestanden niet in..... ja, lege bestanden.

[ Voor 3% gewijzigd door fRiEtJeSaTe op 09-09-2016 10:10 ]

[demonic]

ivm met edit TS, nvm.

[ Voor 84% gewijzigd door demonic op 09-09-2016 10:11 ]

[fRiEtJeSaTe]

Frappante is dat de corrupte bestanden tot gisteren (voor de herstart) prima benaderbaar waren. Daarom denk ik zelf in de richting van een raid-cache geheugen, dat verloren is gegaan na een herstart.

[heuveltje]

fRiEtJeSaTe schreef op vrijdag 09 september 2016 @ 10:10:
[...]

Ik heb zat backups. Maar daar staan de bestanden niet in..... ja, lege bestanden.

Dan heb je dus geen backups. en blijkbaar ook geen goede backup/test procedure.
Is altijd makkelijk lullen achteraf, maar die had er dus wel moeten zijn

Waarom Weet je zeker dat het aan de raidcontroller ligt, cached de betreffende applicatie niet gewoon alles in het geheugen tot je deze afsluit ?

[fRiEtJeSaTe]

Even reeel. Backups worden getest, maar ik ga echt niet iedere week bestandjes zitten openen.
Er bestaat ook zoiets als een ongelukkige samenloop van omstandigheden, of 'best effort'.

Het is een file-server, gewoon Windows SMB / NTFS. Geen applicatie. Of het aan de raid-controller ligt weet ik niet. Dat is meer een vraag.

[ Voor 12% gewijzigd door fRiEtJeSaTe op 09-09-2016 10:31 ]

[F_J_K]

Inderdaad. Een applicatie zal niet benaderingen via het bestandssysteem beïnvloeden, mag ik hopen.

Dit lijkt me een nogal onverwacht scenario, inderdaad buggy controller / driver? Misschien goed om sowieso contact op te nemen met Dell. En ik zou de betreffende opslaghardware niet meer vertrouwen

Dat de backup 'keurig' de bestaande situatie pakt is logisch, dat er geen melding uit het backupsysteem komt ook (de backup doet precies wat het moet doen). Net als dat je bij MKB/middelgrote bedrijven niet iedere week de backup inhoudelijk controleert (daar zou je gek van worden). [ edit: In normale situaties zouden nul-bestanden de gebruikers ook eerder zijn opgevallen. Schijnbaar wordt e.e.a. vooral eenmalig aangemaakt en niet meer gebruikt? ]

Overigens zou een gijzelvirus ook een week of wat zich stil hebben kunnen houden, dan waren de backups ook overschreven. Leermoment: bewaar backups langer (er zijn vele schema's denkbaar). Maar goed, dat is mosterd na de maaltijd.

[ Voor 12% gewijzigd door F_J_K op 09-09-2016 10:39 ]

[Trommelrem]

Een PowerEdge 2900 zal inmiddels wel buiten support zijn.

Wat zegt de lsi log? Als het aan de controller ligt, dan vind je in de lsi log gegarandeerd het antwoord.

[ Voor 34% gewijzigd door Trommelrem op 09-09-2016 10:39 ]

[chaoscontrol]

fRiEtJeSaTe schreef op vrijdag 09 september 2016 @ 10:31:
Even reeel. Backups worden getest, maar ik ga echt niet iedere week bestandjes zitten openen.
Er bestaat ook zoiets als een ongelukkige samenloop van omstandigheden, of 'best effort'.

Het is een file-server, gewoon Windows SMB / NTFS. Geen applicatie. Of het aan de raid-controller ligt weet ik niet. Dat is meer een vraag.

Pak dan een backup van voor die 2 weken of heb je maar 1 dag backup?

[ElCondor]

De cache van een RAID controller is vaak maar een paar MB. Daar gaat niet twee weken aan werk in zitten. Het zou natuurlijk kunnen dat er al langer iets mis is met het disk subsystem en dat Windows dit zelf door middel van cahcing heeft op lopen lossen. Heb je het geheugen gebruik van de server in de gaten gehouden?

Conroleer je wekelijks de system logs? Dat is op zich wel aan te raden, want er verschijnen soms veel fouten in de sytemlogs, zonder dat daarvoor een echte foutmelding of alert wordt afgegeven.
En net als hierboven gesteld wordt: Wat voor een informatie kun je nu nog in de logs terugvinden?

[Radiant]

Klinkt meer als een cryptolocker die de weg kwijt is geraakt inderdaad. Een RAID-controller werkt op blockniveau op de schijf, dus onder het bestandssysteem. Het is erg onwaarschijnlijk dat alle informatie qua bestandsnamen en mappen wel opgeslagen is maar dat de inhoud zelf verdwenen is..

Moest je chkdsk draaien om de boel weer te laten opstarten?

[fRiEtJeSaTe]

Even wat ophelderen.
- voor gebruikers waren de bestanden (tot voor de herstart van gisteren) prima te benaderen.
- ik heb backups, inclusief dagelijks 3 maal een shadow copy tot 60 dagen terug, maar de data in die 2 weken is blanco
- ransomware heb ik ook aan gedacht, maar ik vind nergens meldingen, de bestanden zijn niet hernoemd / van eigenaar gewisseld. En normaliter worden dan of alle bestanden, of de bestanden van de geinfecteerde gebruiker versleuteld.

[ Voor 4% gewijzigd door fRiEtJeSaTe op 09-09-2016 10:43 ]

[Trommelrem]

chaoscontrol schreef op vrijdag 09 september 2016 @ 10:40:
[...]

Pak dan een backup van voor die 2 weken of heb je maar 1 dag backup?

Er zijn helaas zat bedrijven die een retentie hebben van één dag.

ElCondor schreef op vrijdag 09 september 2016 @ 10:41:
De cache van een RAID controller is vaak maar een paar MB. Daar gaat niet twee weken aan werk in zitten. Het zou natuurlijk kunnen dat er al langer iets mis is met het disk subsystem en dat Windows dit zelf door middel van cahcing heeft op lopen lossen. Heb je het geheugen gebruik van de server in de gaten gehouden?

Conroleer je wekelijks de system logs? Dat is op zich wel aan te raden, want er verschijnen soms veel fouten in de sytemlogs, zonder dat daarvoor een echte foutmelding of alert wordt afgegeven.
En net als hierboven gesteld wordt: Wat voor een informatie kun je nu nog in de logs terugvinden?

Daarom is de LSI log zo belangrijk. Daar zal TS het antwoord in vinden.

fRiEtJeSaTe schreef op vrijdag 09 september 2016 @ 10:43:
Even wat ophelderen.
- voor gebruikers waren de bestanden (tot voor de herstart van gisteren) prima te benaderen.
- ik heb backups, inclusief dagelijks 3 maal een shadow copy tot 60 dagen terug, maar de data in die 2 weken is blanco
- ransomware heb ik ook aan gedacht, maar ik vind nergens meldingen, de bestanden zijn niet hernoemd / van eigenaar gewisseld. En normaliter worden dan of alle bestanden, of de bestanden van de geinfecteerde gebruiker versleuteld.

Maar wat staat er in de LSI log? Als je vermoedt dat het aan de Perc ligt, dan zul je toch echt eerst de relevante informatie van de LSI log moeten geven.

[ Voor 25% gewijzigd door Trommelrem op 09-09-2016 10:44 ]

[fRiEtJeSaTe]

Geen relevante meldingen in het LSI log. (wat patrol read's en battery checks verder niets).
Kan het Windows subsystem dan zoveel bestanden cachen zonder enige melding van problemen in de event viewer? Dat vind ik wel redelijk beangstigend. Feit dat de server onbereikbaar werd geeft wel aan dat er iets aan de hand was.

[ Voor 18% gewijzigd door fRiEtJeSaTe op 09-09-2016 12:18 ]

[Question Mark]

ElCondor schreef op vrijdag 09 september 2016 @ 10:41:
De cache van een RAID controller is vaak maar een paar MB.

Een dell Perc 6i heeft standaard 256 MB aan cache memory. Aangezien TS het ook nog heeft over een battery, beschikt hij kennelijk ook nog over een TBBU (transportable backup battery unit). Dit is een door een accu ondersteunde extra cache module. De Raid controller op het systeem cached dan wel iets meer dan een paar MB.

fRiEtJeSaTe schreef op vrijdag 09 september 2016 @ 12:17:
Kan het Windows subsystem dan zoveel bestanden cachen zonder enige melding van problemen in de event viewer?

Als Windows het signaal van je Raid Controller krijgt dat de data opgeslagen is, gaat Windows er niks meer mee doen.

Ik zou eens kijken of er issue's bekend zijn met de firmware versie waar je Raid controller mee draait. Ik heb in het verleden wel issue's gehad met corrupte data en buggy firmware. Dat ging om een HP Raid Controller, maar Dell zou best wel eens soortgelijke issue's kunnen hebben.

[ElCondor]

Question Mark schreef op vrijdag 09 september 2016 @ 12:50:
[...]


Een dell Perc 6i heeft standaard 256 MB aan cache memory. Aangezien TS het ook nog heeft over een battery, beschikt hij kennelijk ook nog over een TBBU (transportable backup battery unit). Dit is een door een accu ondersteunde extra cache module. De Raid controller op het systeem cached dan wel iets meer dan een paar MB.

256MB ten opzichte van de Gigabytes en Terabytes van vandaag de dag is in mijn ogen een paar MB Maar zoiets is het inderdaad.

[Question Mark]

ElCondor schreef op vrijdag 09 september 2016 @ 12:54:
[...]

256MB ten opzichte van de Gigabytes en Terabytes van vandaag de dag is in mijn ogen een paar MB Maar zoiets is het inderdaad.

TS noemt KB/MB in zijn topicstart. Ik wilde even aangeven dat het wel eens om iets meer data kon gaan. Overigens kan een TBBU ook 2 GB zijn. Dan hebben we het al over aardig wat Office documentjes...