[Windows 2008 R2] Terminal server niet meer bereikbaar

[tel2]

Goedemiddag,

Ik zit met een lastig probleem op één van onze servers en ik hoop dat iemand me verder op weg kan helpen.

Wij hebben een Windows 2008 R2 Terminal server die zo nu en dan 'vast' loopt en niet meer bereikbaar is.

Symptonen:

• Server is wel te pingen
• Er kan niet meer ingelogd worden via RDP.
• Via de HP ILO webinterface kan ik op CTRL ALT DELETE drukken maar vervolgens verschijnt er geen inlog scherm. Het lijkt er op dat de server geen rekenkracht of geheugen vrij heeft om dit weer te geven.
• Ik kan geen remote verbinding krijgen tot taakbeheer.
• Ook na een half uur wachten is de server nog steeds niet bereikbaar.

Uiteindelijk herstart ik de server op een harde manier via de ILO webinterface. De server functioneert daarna weer enige tijd normaal, soms een week lang, soms maar een paar uur. In de logfiles kan ik niets vinden wat de oorzaak is van het 'vast' lopen van de server.

Ik heb geprobeerd via de Windows Monitoring tools de processor en het geheugen te monitoren maar hier wordt ik niet veel wijzer van. Ik zie geen hoge piek tijdens de crash.

Heeft iemand een goede (gratis) tool of een idee hoe ik de oorzaak van dit probleem kan achterhalen?

[m3gA]

eventviewer?

[ajhaverkamp]

Wat is er veranderd? Want blijkbaar zit er nu een geheugenlek in een applicatie/service.

Het is trouwens sowieso aan te raden om elke nacht je terminal servers te herstarten. Dat doen wij al een jaar of 10 met onze Citrix servers.

[tel2]

ajhaverkamp schreef op dinsdag 18 augustus 2015 @ 15:02:
Wat is er veranderd? Want blijkbaar zit er nu een geheugenlek in een applicatie/service.

Het is trouwens sowieso aan te raden om elke nacht je terminal servers te herstarten. Dat doen wij al een jaar of 10 met onze Citrix servers.

Er is niets veranderd, dit probleem is spontaan naar voren gekomen. Er zijn alleen wat extra gebruikers aangemeld maar deze gebruiken geen speciale programma's die andere niet gebruiken. Ook moet de server qua capaciteit nog veel meer gebruikers aan kunnen dus dat kan het probleem niet zijn.

m3gA schreef op dinsdag 18 augustus 2015 @ 15:01:
eventviewer?

Heb ik al bekeken maar daar is niets in te vinden wat de oorzaak zou kunnen zijn.

[ Voor 15% gewijzigd door tel2 op 18-08-2015 15:15 ]

[TiMMieJ]

tel2 schreef op dinsdag 18 augustus 2015 @ 15:12:
[...]


Er is niets veranderd, dit probleem is spontaan naar voren gekomen.


[...]


Heb ik al bekeken maar daar is niets in te vinden wat de oorzaak zou kunnen zijn.

Windows updates bekeken? Verder gekeken in de security logs of er geen vreemde authenticatie pogingen zijn geweest? Misschien een applicatie die IIS heeft opengezet waardoor er wat vreemde connecties mogelijk zijn?

[ajhaverkamp]

tel2 schreef op dinsdag 18 augustus 2015 @ 15:12:
[...]
Er is niets veranderd, dit probleem is spontaan naar voren gekomen.[...]

Geen Windows updates? Geen applicatie updates? Het kan ook een hardwareprobleem zijn, test het geheugen eens.

[tel2]

TiMMieJ schreef op dinsdag 18 augustus 2015 @ 15:16:
[...]


Windows updates bekeken? Verder gekeken in de security logs of er geen vreemde authenticatie pogingen zijn geweest? Misschien een applicatie die IIS heeft opengezet waardoor er wat vreemde connecties mogelijk zijn?

Windows updates zijn wel geïnstalleerd maar het probleem speelt al langer en er zijn vele Windows updates geïnstalleerd dus lastig uit te zoeken.

IIS is niet geinstalleerd.

[TiMMieJ]

tel2 schreef op dinsdag 18 augustus 2015 @ 15:29:
[...]


Windows updates zijn wel geïnstalleerd maar het probleem speelt al langer en er zijn vele Windows updates geïnstalleerd dus lastig uit te zoeken.

IIS is niet geinstalleerd.

Ok duidelijk, kan je een patroon vinden in de users welke ingelogd zijn? Misschien iets met profiles die niet lekker zijn? Heb je roaming profiles of enkel lokale? Misschien loopt hij elke keer vast als user X bijvoorbeeld inlogt. Er zal een bepaalde variabele moeten zijn die dit triggert. Zeker gezien hij soms na een paar uur vastloopt en soms pas na weken.

[tel2]

TiMMieJ schreef op dinsdag 18 augustus 2015 @ 15:33:
[...]


Ok duidelijk, kan je een patroon vinden in de users welke ingelogd zijn? Misschien iets met profiles die niet lekker zijn? Heb je roaming profiles of enkel lokale? Misschien loopt hij elke keer vast als user X bijvoorbeeld inlogt. Er zal een bepaalde variabele moeten zijn die dit triggert. Zeker gezien hij soms na een paar uur vastloopt en soms pas na weken.

We maken gebruik van lokale profielen i.c.m. met Folder Redirection. Ik probeer patronen te ontdekken maar krijg er nog geen vinger achter.

Ik verdenk de virusscanner maar wil deze nog niet helemaal uitzetten en zie ook niets in de logfiles van de virusscanner. De eerst volgende keer dat hij weer vastloopt zal ik de virusscanner uit gaan zetten.

[m3gA]

Een applicatie met een memoryleak of een gebruiker die een rare aktie doet in een bepaalde applicatie?

[tel2]

m3gA schreef op dinsdag 18 augustus 2015 @ 16:02:
Een applicatie met een memoryleak of een gebruiker die een rare aktie doet in een bepaalde applicatie?

Is er een tool waarmee ik kan monitoren welke applicatie dit mogelijk is?

[Question Mark]

Ja, als je even in google zoekt op "determine memory leak windows" of iets dergelijks kom wel een paar tegen. Een klein beetje eigen inzet mag eigenlijk wel...

[tel2]

Question Mark schreef op dinsdag 18 augustus 2015 @ 16:29:
Ja, als je even in google zoekt op "determine memory leak windows" of iets dergelijks kom wel een paar tegen. Een klein beetje eigen inzet mag eigenlijk wel...

Bedankt, hier ga ik mee aan de slag. Geloof me ik heb al heel wat uren inzet in dit probleem zitten voordat ik de vraag hier gesteld heb.

[Killah_Priest]

Heb je al eens HP Insight diagnostics gedraaid?
Vergelijkbare problemen ben ik al vaker tegengekomen, in meerdere gevallen was een defecte schijf in de RAID array uiteindelijk de boosdoener. Alleen dmv Insight diag konden wij het pas zien in die gevallen (dus geen melding in de raid config utility of een rode/oranje LED op de drive enclosure).

De symptomen welke de ts omschrijft lijken erg veel op hoe een machine doet met een kapotte schijf, ik heb servers zelfs unresponsive zien worden door bv defecte USB schijfjes welke aangesloten waren voor backups. Schijf defect en zodra Windows van de schijf wilde lezen of schrijven en de machine werd unresponsive.

[ Voor 31% gewijzigd door Killah_Priest op 18-08-2015 18:48 ]

[tel2]

Killah_Priest schreef op dinsdag 18 augustus 2015 @ 18:43:
Heb je al eens HP Insight diagnostics gedraaid?
Vergelijkbare problemen ben ik al vaker tegengekomen, in meerdere gevallen was een defecte schijf in de RAID array uiteindelijk de boosdoener. Alleen dmv Insight diag konden wij het pas zien in die gevallen (dus geen melding in de raid config utility of een rode/oranje LED op de drive enclosure).

De symptomen welke de ts omschrijft lijken erg veel op hoe een machine doet met een kapotte schijf, ik heb servers zelfs unresponsive zien worden door bv defecte USB schijfjes welke aangesloten waren voor backups. Schijf defect en zodra Windows van de schijf wilde lezen of schrijven en de machine werd unresponsive.

Zojuist gedraaid, dit is een hele korte test maar dit geeft aan dan de schijven goed zijn. Bedankt!

[m3gA]

Komt dit vaker op hetzelfde tijdstip voor?

En een prutser met een rare excel sheets met wat queries kan je server behoorlijk belasten als je hier niks voor inregelt of een slechte printerdriver.

Heb je ook naar de i/o gekeken?

[nextware]

Zo iets dergelijks heb ik ook al eens meegemaakt. Dit was echter wel op een Windows 2012 server. De boosdoener bleek uiteindelijk een geplande taak (standaard aanwezig in 2012) die iedere dag een Regular Maintenance doet op de betreffende server. Deze taak omvat een aantal subtaken, waaronder een defrag (die éénmaal per week wordt uitgevoerd).

Op het moment dat deze taak op de betreffende server liep (met name de defrag taak) werd deze compleet onbereikbaar. Pingen naar de server ging wel, maar RDP openen werkte niet. Shares werden onbereikbaar, etc.

We hebben dit probleem destijds opgelost door deze complete Regular Maintenance taak uit te schakelen op de server. Later is dit probleem opgelost dmv KB2975719 en KB2771431

Wellicht is er een dergelijke taak op de 2008 server die ook voor deze issues zorgt ?

[tel2]

Het is iedere keer op een ander tijdstip. Zojuist gekeken in de log van de task scheduler maar zie hier geen activiteit op de momenten dat de server is vast gelopen.

[Sjoak]

Ik heb laatst zelfde soort probleem ervaren, uiteindelijk lag het bij mij aan een slechte netwerkkaart.

[tel2]

Sjoak schreef op woensdag 19 augustus 2015 @ 14:40:
Ik heb laatst zelfde soort probleem ervaren, uiteindelijk lag het bij mij aan een slechte netwerkkaart.

En kom daar maar eens achter, kan lang duren. Ik zal het in mijn achterhoofd houden als de problemen aanhouden. Ik zal vanavond voor de zekerheid de nieuwste driver voor de netwerkkaart installeren.

[Sjoak]

doe in ieder geval even een tweede insteken kan je er altijd in

[tel2]

Sjoak schreef op woensdag 19 augustus 2015 @ 14:55:
doe in ieder geval even een tweede insteken kan je er altijd in

Er zitten 4 netwerkkaarten op deze server waarvan we er 1 gebruiken. Als ik op locatie ben zal ik de tweede kaart kunnen activeren.

[Sjoak]

juistum !

[nextware]

tel2 schreef op woensdag 19 augustus 2015 @ 14:38:
Het is iedere keer op een ander tijdstip. Zojuist gekeken in de log van de task scheduler maar zie hier geen activiteit op de momenten dat de server is vast gelopen.

Dat was bij ons ook een onderdeel van het probleem. We konden niks anders doen dat de betreffende server herstarten dmv een reboot (Hyper-V guest).

Nadat de server weer was herstart, was de eerste logmelding op het tijdstip dat de server was "vastgelopen". De volgende melding was dan direct op het tijdstip dat de server was herstart. In de tussentijd werd er niks gelogd, in geen enkel logboek.

Door het zoeken op Google kwamen uiteindelijk op de pagina die ik eerder linkte en hierdoor zijn we gaan zoeken in de geplande taken.

Maar ik begrijp dat jij wel logboek meldingen (applog, syslog, etc) ziet van tijdens het moment dat de server niet meer reageert ?

[Verwijderd]

Kan ook best eens een bokkende cache module op je RAID controller zijn. Heb ik laatst groot gedonder mee gehad op een KVM host. De cache module op de ingebouwde controller bleek achteraf stuk te zijn. HP wilde al een engineer met een compleet serverboard gaan afsturen. Gelukkig kon ik ze overtuigen om toch eerst nog even een nieuwe cache module op te sturen.

Dat gaf hele rare effecten overigens. De VM's draaiden allemaal op disks in een SAS enclosure aan een tweede RAID controller. Een deel van de VM's draaide gewoon nog en was ook nog een hele tijd te benaderen, maar de KVM host zelf reageerde totaal niet meer.

Maar ik vermoed, dat je dan wel meldingen in de logging van iLo tegen gaat komen over je RAID controller. Let wel op, want die meldingen zie je pas nadat de server weer door zijn POST heen is. (Daar ging ik dus ook nat, want ik controleerde de logging toen de host "hing" en toen stond er nog niets opvallends in. Pas toen de server voor de tweede keer "hing", zag ik de log-entry van de eerste keer dat de server "hing".)

[ Voor 26% gewijzigd door Verwijderd op 19-08-2015 16:44 ]

[tel2]

Ik zie nog wel wat meldingen voorbij komen in de applog en syslog op het moment dat de server niet meer reageert maar dit zijn iedere keer andere meldingen, altijd informatieve en maximaal een stuk of 5.