2008R2 Domain Controller automatisch reboot

[Mopperman]

Hier in het bedrijf zitten we met een probleem wat we maar niet opgelost krijgen.
We draaien een domein met meerdere DC's. Als we momenteel een nieuwe DC installeren en promoten, gaat het de eerste dagen/weken goed. Na een tijdje krijgen we last van "automatische" herstarts.

In event viewer is dit terug te geleiden naar:

Log Name: System
Source: USER32
Date: 8/30/2012 10:59:45 AM
Event ID: 1074
Task Category: None
Level: Information
Keywords: Classic
User: SYSTEM
Computer: dc13.localdomain.net
Description:
The process wininit.exe has initiated the restart of computer DC13 on behalf of user for the following reason: No title for this reason could be found
Reason Code: 0x50006
Shutdown Type: restart
Comment: The system process 'C:\Windows\system32\lsass.exe' terminated unexpectedly with status code 255. The system will now shut down and restart.

Als we gaat googlen hierop, krijgen we meerdere resultaten en hotfixes, maar dit is allemaal voor RTM, we draaien SP1, en helaas werken deze dus niet voor ons. Alle DC's zijn up to date en hebben allemaal hetzelfde level van patches en software.
De herstarts gebeuren ook enkel op nieuw geinstaleerde machines. Zowel fysieke servers als VMWares krijgen te maken met dit probleem.
Na wat verder in de eventlogs gesnuffeld te hebben kwam ik dit tegen:

Log Name: Application
Source: Application Error
Date: 8/30/2012 10:59:45 AM
Event ID: 1000
Task Category: (100)
Level: Error
Keywords: Classic
User: N/A
Computer: dc13.localdomain.net
Description:
Faulting application name: lsass.exe, version: 6.1.7601.17725, time stamp: 0x4ec483fc
Faulting module name: msvcp60.dll, version: 7.0.7600.16385, time stamp: 0x4a5bdfbd
Exception code: 0xc0000005
Fault offset: 0x0000000000002538
Faulting process id: 0x23c
Faulting application start time: 0x01cd85f5d56d4c94
Faulting application path: C:\Windows\system32\lsass.exe
Faulting module path: C:\Windows\system32\msvcp60.dll
Report Id: 0abce72e-f281-11e1-9abd-0050568512d0

Log Name: Application
Source: Windows Error Reporting
Date: 8/30/2012 10:59:45 AM
Event ID: 1001
Task Category: None
Level: Information
Keywords: Classic
User: N/A
Computer: dc13.localdomain.net
Description:
Fault bucket , type 0
Event Name: APPCRASH
Response: Not available
Cab Id: 0

Problem signature:
P1: lsass.exe
P2: 6.1.7601.17725
P3: 4ec483fc
P4: msvcp60.dll
P5: 7.0.7600.16385
P6: 4a5bdfbd
P7: c0000005
P8: 0000000000002538
P9:
P10:

Attached files:

These files may be available here:
C:\ProgramData\Microsoft\Windows\WER\ReportQueue\AppCrash_lsass.exe_cfe682b6eca8c812eaa7bde86983945272c53e_1658120d

Analysis symbol:
Rechecking for solution: 0
Report Id: 0abce72e-f281-11e1-9abd-0050568512d0
Report Status: 4

Nu lijkt mij het probleem iets met de msvcp60.dll te maken te hebben, Deze is echter geheel up to date.
We zitten nu al enkele maanden met dit probleem, en we hebben nog geen idee waar we moeten zoeken.

Vandaar mijn hulpkreet aan de mede tweakers, wie heeft er een clue, of kan ons wellicht in de goede richting wijzen?

[ Voor 14% gewijzigd door Mopperman op 30-08-2012 12:58 ]

[Oid]

je verteld niet veel over wat er verder op die machines staat.

virusscanner?

[Mopperman]

Oid schreef op donderdag 30 augustus 2012 @ 13:09:
je verteld niet veel over wat er verder op die machines staat.

virusscanner?

Virusscanner op al onze DC's is McAfee.
Naast McAfee is er enkel windows server 2008R2 geinstaleerd en geconfigureerd voor DC en DNS.

Qua overige software gebruiken we enkel de nagios client "NSClient++".

[MdBruin]

Als ik er op google op lsass.exe (255) is de reboot mogelijk te verklaren.
Het komt voor dat als de machine/server unlocked wordt (bijv. een admin die inlogt) het proces lsass.exe laat crashen.
Microsoft heeft hiervoor een hotfix beschikbaar:
Error in Windows 7 or Windows Server 2008 R2 when unlocking a computer or switching users

Mogelijk zit het in deze hoek.

[Mopperman]

MdBruin schreef op donderdag 30 augustus 2012 @ 13:15:
Als ik er op google op lsass.exe (255) is de reboot mogelijk te verklaren.
Het komt voor dat als de machine/server unlocked wordt (bijv. een admin die inlogt) het proces lsass.exe laat crashen.
Microsoft heeft hiervoor een hotfix beschikbaar:
Error in Windows 7 or Windows Server 2008 R2 when unlocking a computer or switching users

Mogelijk zit het in deze hoek.

zoals ik al aanhaalde - de patches en hotfixes zijn er enkel voor RTM, op SP1 zit dit reeds geinstaleerd.
bovenstaande issue ook getest maar dan gaat alles goed. De hotfix welke heir in staat krijgen wij niet geinstaleerd omdat SP1 reeds geinstaleerd staat.

[--Mulder--]

Heb je het probleem ook zonder Nagios & McAfee?

En rol je de machines uit d.m.v. een template onder VMWare?

[Mopperman]

Ik kan eens een installatie doen zonder mcafee en nagios, we instaleren hier alles met de hand zonder templates. Het vreemde is en blijft dat het enkel op nieuwe machines mis gaat...

[ Voor 23% gewijzigd door Mopperman op 30-08-2012 14:05 ]

[Mopperman]

Ik heb de laatste maand meerdere patches voor dit probleem gedownload, bij allemaal moest ik mijn email adres achter laten.

Nu krijg ik zojuist een mailtje met deze patch:

Lsass.exe crashes and error code 255 is generated in Windows Server 2008 R2

Deze is recentelijk door MS uitgegeven voor dit probleem, zo lijkt het, 15 aug 2012.

we gaan t eens proberen

[Mopperman]

De patch heeft niet geholpen - daarom een nieuw systeem opgezet zonder mcafee en nsclient++

[CMD-Snake]

Ik vind sommige server combinaties met AV software soms lastig. Zeker een domain controller voorzien van een AV product.

Microsoft heeft op dit gebied een aantal adviezen opgesteld om problemen te voorkomen:
http://support.microsoft.com/kb/822158

Misschien dat je er iets aan hebt.

[hans_lenze]

Ik ken dit probleem als er gebruik wordt gemaakt van evaluatie installatie media. Zo van: we hebben nog even geen keys dus we gebruiken een evaluatie ding tot het besteld en geleverd is.

Helaas zit er in de evaluatie media van Server 2008R2 een timer waardoor hij regelmatig reboot. Zelfs als je hem activeert met een goede MAK/KMS key loopt de timer door.

Oplossing was bij ons: alle evaluatie ISOs weggooien en het serverpark opnieuw opbouwen met 'echte' installatie DVDs/ISOs.

[Mopperman]

CMD-Snake schreef op vrijdag 31 augustus 2012 @ 11:36:
Ik vind sommige server combinaties met AV software soms lastig. Zeker een domain controller voorzien van een AV product.

Microsoft heeft op dit gebied een aantal adviezen opgesteld om problemen te voorkomen:
Virus scanning recommendations for Enterprise computers that are running currently supported versions of Windows

Misschien dat je er iets aan hebt.

Goeie tip!

hans_lenze schreef op vrijdag 31 augustus 2012 @ 12:02:
Ik ken dit probleem als er gebruik wordt gemaakt van evaluatie installatie media. Zo van: we hebben nog even geen keys dus we gebruiken een evaluatie ding tot het besteld en geleverd is.

Helaas zit er in de evaluatie media van Server 2008R2 een timer waardoor hij regelmatig reboot. Zelfs als je hem activeert met een goede MAK/KMS key loopt de timer door.

Oplossing was bij ons: alle evaluatie ISOs weggooien en het serverpark opnieuw opbouwen met 'echte' installatie DVDs/ISOs.

Ga eens kijken wat ze gebruikt hebben.... En eens een MSDN cd zien te bemachtigen

[CMD-Snake]

Mopperman schreef op vrijdag 31 augustus 2012 @ 12:48:
Ga eens kijken wat ze gebruikt hebben.... En eens een MSDN cd zien te bemachtigen

Let wel dat een MSDN ISO niet gelijk is aan een retail ISO. Althans, zo is het met de TechNet versies. Het zijn volledige versies, maar ze accepteren geen retail/OEM codes zomaar.

Als je software assurance hebt op je werk dan krijg je ook altijd een fysieke DVD van elk product en vaak kan je ook een ISO dan rechtstreeks van Microsoft downloaden. Ik maak meestal de ISO van de DVD die Microsoft levert.

[Mopperman]

CMD-Snake schreef op vrijdag 31 augustus 2012 @ 13:15:
[...]


Let wel dat een MSDN ISO niet gelijk is aan een retail ISO. Althans, zo is het met de TechNet versies. Het zijn volledige versies, maar ze accepteren geen retail/OEM codes zomaar.

Als je software assurance hebt op je werk dan krijg je ook altijd een fysieke DVD van elk product en vaak kan je ook een ISO dan rechtstreeks van Microsoft downloaden. Ik maak meestal de ISO van de DVD die Microsoft levert.

We gebruiken de VLK over het algemeen, helaas heb ik zelf geen rechtstreekse toegang tot de downloads
Daarnaast worden de volledige CD's enkel naar ons hoofdkantoor in de US gestuurd...

[ Voor 6% gewijzigd door Mopperman op 31-08-2012 13:22 ]

[CMD-Snake]

Mopperman schreef op vrijdag 31 augustus 2012 @ 13:22:
We gebruiken de VLK over het algemeen, helaas heb ik zelf geen rechtstreekse toegang tot de downloads
Daarnaast worden de volledige CD's enkel naar ons hoofdkantoor in de US gestuurd...

Bij 2008R2 heb je of een MAK code of je hebt een KMS server draaien die je machines om de zoveel tijd opnieuw activeert. De echte oude VLK codes zoals die bestonden voor Windows Server 2003 en Windows XP bestaan niet meer.

Toch als je een probleem zou hebben met het activatie mechanisme dan zou het resetten van de timer moeten helpen op servers met dit probleem. Open een command venster als admin en type "slmgr.vbs -rearm". Daarmee kan je drie keer de activatie timer resetten.

Ik vind het ergens vreemd, want de ISO die Microsoft aanbied als trial is identiek aan een retail versie. Je hebt alleen geen code erbij als bij retail. Als je problemen hebt met activatie dan moet je in principe ook al meldingen kunnen zien op de desktop van de server en ook als je kijkt in Config Panel bij System. Misschien wil iemand in het US kantoor even een ISO maken van de DVD en die op een fileserver voor je zetten? Dan kan je de ISO theorie nog testen.

Al gecontroleerd op bestandscorrupties? (sfc /scannow).

[Semt-x]

als gevolg van een ongeactiveerde windows crasht lsass?

Ik vind die check voor virus scanner geloofwaardiger. Als dat niets oplevert, maak een dmp van die crash en kijk in windbg waarom dat process de geest geeft.

[CMD-Snake]

Semt-x schreef op vrijdag 31 augustus 2012 @ 14:05:
als gevolg van een ongeactiveerde windows crasht lsass?

Ik vind die check voor virus scanner geloofwaardiger. Als dat niets oplevert, maak een dmp van die crash en kijk in windbg waarom dat process de geest geeft.

Een crash door geen activatie lijkt me onwaarschijnlijk.

Een bestandscorruptie (mogelijk door AV scanner) lijkt me meer het geval. Veel AV producten doen aan kernel patching en/of passen Windows bestanden aan omdat anders bepaalde features niet goed werken. Windows Server 2008R2 heeft bescherming tegen kernel patching, maar die is te omzeilen.

AV producten kunnen soms ook niet goed omgaan met bepaalde server functies. File based virusscans op een DC/SQL Server/Exchange server wordt afgeraden door Microsoft. Het AV product kan met file locks dingen onbereikbaar maken of nog erger corrupt maken. (Om nog maar niet over een false positive te spreken.)

Ik denk dat het nog het beste is om een DC zonder AV product te laten draaien. Virusscanners zijn meer nodig op je clients (die hebben nog de grootste kans om besmet te raken met malware) en je file server.

[Mopperman]

Ik heb een aantal weken terug als SFC gedraait. Echter de virusscanner is mogelijk maar lijkt mij aan de andere kant onmogelijk, dan zouden de andere 12 DC's namelijk ook problemen moeten geven en dat doen ze niet.

Waar ik ondertussen wel achter ben gekomen is dat de 12 oudere DC's zijn geinstaleerd en gepromoot voor de installatie van SP1. Ik wil deze situatie ook nog eens doen, om zo een exact dezelfde installatie als de andere 12 te krijgen.

De 2 nieuwe waar we momenteel problemen mee zien zijn ge-promoot naar SP1. Wellicht gaat er iets mis met de SP1 promotion....

Op de heerinstall installeer ik geen MCA en nsclient++, als deze zich een 2 tal weken bewezen heeft, dan instaleer ik mca, vervolgens weer een tijdje wachten en vervolgens nsclient++.

[CMD-Snake]

Microsoft test patches en service packs uitgebreid. Ik zou denken dat een DC met 2008R2 SP1 en niets anders erop gewoon goed moet gaan. Ik zou anders verwachten dat meer mensen hun DC's in de problemen komen met SP1.

Service Packs kunnen wel soms wat security dingen aanpassen (lees strenger maken) in Windows. Als een applicatie daar niet mee overweg kan gaat het ook nog wel eens mis.

[Newjersey]

Ooit wel eens in McAfee gedacht? Vorige week heb ik ongeveer hetzelfde meegemaakt met een spontaan rebootende SBS server. Dit bleek te komen door een foutieve update van McAfee..

[Mopperman]

Newjersey schreef op vrijdag 31 augustus 2012 @ 15:27:
Ooit wel eens in McAfee gedacht? Vorige week heb ik ongeveer hetzelfde meegemaakt met een spontaan rebootende SBS server. Dit bleek te komen door een foutieve update van McAfee..

Je doelt op de update van vorig weekend. Deze update haalde je mcafee naar DAT versie 0.0.0.
Deze update is in onze EPO gefilterd, en niet op de servers terecht gekomen.

Wij hadden deze issues al voor deze "spannende" update. We hebben hierdoor welk enkele pc's gehad die niet meer "genuine" waren.

[CMD-Snake]

Newjersey schreef op vrijdag 31 augustus 2012 @ 15:27:
Ooit wel eens in McAfee gedacht? Vorige week heb ik ongeveer hetzelfde meegemaakt met een spontaan rebootende SBS server. Dit bleek te komen door een foutieve update van McAfee..

Zal niet de eerste keer zijn dat McAfee via een update wat computers plat gooit. Ze hadden ook een paar jaar geleden eentje die svchost tot virus verklaarde. (Alhoewel AVG zoiets ook een keer heeft gedaan....)

Zelf ben ik niet erg te spreken over de McAfee producten, iets te veel slechte ervaringen.

[Razwer]

CMD-Snake schreef op vrijdag 31 augustus 2012 @ 13:15:
[...]
Let wel dat een MSDN ISO niet gelijk is aan een retail ISO. Althans, zo is het met de TechNet versies. Het zijn volledige versies, maar ze accepteren geen retail/OEM codes zomaar.

MSDN bied zowel retail als VLK download versies aan, daar hoef je geen lidmaatschap voor te hebben om dat te kunnen zien (downloads zijn te ZIEN zonder in te loggen, alleen downloaden zelf heeft login + membership nodig).
MSDN: MSDN Subscriber Downloads

Windows Server 2008 R2 with Service Pack 1, VL Build (x64) - DVD (English)
Windows Server 2008 R2 with Service Pack 1 (x64) - DVD (English)

of de 2008R2 trial een beperking heeft weet ik niet (zie page, kan niks vinden er over)
http://technet.microsoft.com/en-us/evalcenter/dd459137.aspx
maar Windows 8 Enterprise trial heeft zeker weten een beperking er in zitten.
MSDN: Download Windows 8 Enterprise Evaluation

Things to Know Before You Start

The evaluation edition will expire and cannot be upgraded.
To upgrade, the evaluation must be uninstalled and a non-evaluation version of Windows must be re-installed from your original installation media.

Weet je zeker dat je een volume license iso hebt gebruikt en geen trial?
Verder zou ik eens een van die yanks aan zn haren trekken en zeggen dat hij/zij je toegang moet verschaffen tot het volume license portal. Dat kunnen ze zonder technische issues prima (politiek zal het wel anders liggen) en/of dat ze je een technet/msdn membership geven. Als volume license klant krijg je "gratis" een X aantal Technet en MSDN memberships die te vergeven zijn aan je medewerkers.
Toen ik voor een yank bedrijf werkte had ik alle 3 die benefits geregeld. Je hebt het nodig om je werk goed te verrichten dus als ze om een business case vragen kan je die makkelijk maken. Anderzijds, een technet abbo kost €350 ofzo (verlengen is goedkoper), kan je ook altijd om vragen als het niet gratis is, kunnen ze namelijk gewoon aftrekken als studie kosten dus kost ze netto weinig.

CMD-Snake schreef op vrijdag 31 augustus 2012 @ 16:03:
[...]
Zal niet de eerste keer zijn dat McAfee via een update wat computers plat gooit. Ze hadden ook een paar jaar geleden eentje die svchost tot virus verklaarde. (Alhoewel AVG zoiets ook een keer heeft gedaan....)

mjah je had ook het sasser virus wat je bak spontaan rebootte door lsas.exe te crashen , zo kan je nog wel ff door gaan.

[ Voor 41% gewijzigd door Razwer op 31-08-2012 19:32 ]

[Mopperman]

Momenteel een DC draaien welke geinstaleerd is zonder de SP1. Na het promoten naar DC de updates incl. SP1 geinstaleerd. Fingers Crossed, maar het draait nu reeds een kleine week goed!

[Turdie]

Had je toevallig Password Synchronization component of Identity Management for UNIX (IDMU) geinstalleerd staan:
The Lsass.exe process exits unexpectedly on a domain controller that is running Windows Server 2008 R2 after a password is synchronized in Identity Management for UNIX (IDMU)

[Mopperman]

shadowman12 schreef op vrijdag 07 september 2012 @ 07:55:
Had je toevallig Password Synchronization component of Identity Management for UNIX (IDMU) geinstalleerd staan:
The Lsass.exe process exits unexpectedly on a domain controller that is running Windows Server 2008 R2 after a password is synchronized in Identity Management for UNIX (IDMU)

Nope - fix had ik ook gezien maar beide gebruiken we niet. Fix is overigens ook weer voor RTM en niet voor SP1.

[Turdie]

Ik zou een case aanmaken bij Microsoft of een topic openen op het Technet forum, zodat Microsoft er zelf naar kan kijken.

[Mopperman]

nu zou ik inderdaad een technet kunnen openen in de hoop dat ms er naar kijkt, als ik ze bel beginnen ze meteen over of ik een creditcard bij de hand heb....

de geinstaleerde dc vanaf een RTM disc draait nog steeds, momenteel een van de trouble DC's opnieuw aan het installeren met dezelfde disc. eens zien wat het oplevert.

[wagenveld]

Ik heb een vergelijkbaar probleem gezien op een rijtje DC's die ook onderuit gingen door lsass.exe. Ook hier niet allemaal overigens. Dat bleek uiteindelijk te komen door een (zwaar) verouderde Kaspersky. Ik zou in de eerste plaats de AV verdenken.

[Mopperman]

wagenveld schreef op dinsdag 11 september 2012 @ 21:26:
Ik heb een vergelijkbaar probleem gezien op een rijtje DC's die ook onderuit gingen door lsass.exe. Ook hier niet allemaal overigens. Dat bleek uiteindelijk te komen door een (zwaar) verouderde Kaspersky. Ik zou in de eerste plaats de AV verdenken.

we updaten alle machines dmv de EPO client/server van McAfee - maar zal t eens in de gaten houden.

[Mopperman]

de machines hebben een tijdje goed gedraaid, en nu stoppen ze dr weer mee.

1tje terug kunnen tracen tot de 19de voordat dit probleem begon. Ben nu aan het kijken wat er de 19e gebeurt is.

[Turdie]

Mopperman schreef op donderdag 27 september 2012 @ 23:02:
de machines hebben een tijdje goed gedraaid, en nu stoppen ze dr weer mee.

1tje terug kunnen tracen tot de 19de voordat dit probleem begon. Ben nu aan het kijken wat er de 19e gebeurt is.

Zet sowieso full memory dumps aan.

1. Click Start, right-click Computer, and then click Properties.
2. Click Advanced system settings on the System page, and then click the Advanced tab.
3. Click Settings under the Writing debugging information area, and then make sure Complete memory dump is selected.

Let op:
There must be enough free space in the selected location to write the memory dump file. By default, the memory dump file is written to the %SystemRoot%\Memory.dmp file

Trouwens je zou ook een keer kunnen testen zonder McAfee software aanwezig, heb daar in het verleden veel problemen mee gezien. Ook zou je met een andere virusscanner kunnen scannen zoals bijvoorbeeld Microsoft Security Essentials, of een andere virusscanner.

[ Voor 53% gewijzigd door Turdie op 27-09-2012 23:35 ]

[Mopperman]

we hebben een clue!!

de restarts beginnen plotseling op 2 servers nadat "Oracle Identity Manager" geinstaleerd word....
Lijkt me niet heel toevallig... Op een 3e server (kale DC test bak) gaan we nu ook OIM installeren, kijken wat er gebeurt. Op een andere de-install om te zien of de reboots weg blijven.....