Windows 2008 R2 64Bits, Black screen alleen nog de cursor...

[Verwijderd]

Ik heb een Citrix Xenserver versie 6.0.2
met de updates: XS602E001 & XS602E002
Hierop draait een Windows 2008 R2 64Bits SP1 server, welke ingezet wordt als AD en File server.
Tevens draait hierop een Windows 2008 R2 64Bits SP1 met een Exchange 2010 server.

De Exchange server heeft nooit probleem.
Echter heeft de AD spontaan om de zoveel tijd kuren.
Hij geeft dan alleen nog een zwart scherm, en ik kan de muis cursor nog bewegen.
Het lijkt alsof de server dan ook steeds minder gaat doen. In het begin functioneert het nog een beetje,
shares zijn nog bereikbaar, maar begeven moment ook niet meer.

Voorheen draaide de server Xenserver 5.6 dit heb ik dus geupdate naar 6.0.2 in de hoop dat dit de problemen zou oplossen, helaas. Tevens zijn bij de update de nieuwste XenTools geinstalleerd.
Ik heb ook diverse check disks gedraaid en alles gedefragmenteerd. (IPv6 staat uit)
In het begin had ik op mijn OS disk ook nog maar 3 GB vrije ruimte, in de logboeken zag ik soms
de melding dat er te weinig diskruimte was, ik heb deze disk nu met 30GB uitgebreid en er is nog 26GB vrij ofwel voldoende en die melding kwam ook niet meer terug.

Verder zie ik niets vreemds in de logboeken, het enige wat ik zie is:

The Security Account Manager failed a KDC request in an unexpected way. The error is in the data field. The account name was gebruiker and lookup type 0x8.

The Security Account Manager failed a KDC request in an unexpected way. The error is in the data field. The account name was [e-mail] and lookup type 0x208.

En dit zo voor enkele gebruikers.
Daarnaast zie ik dan de melding

The Security Account Manager failed a KDC request in an unexpected way. The error is in the data field. The account name was HTTP/server.netwerk.nl and lookup type 0x48.

en

The processing of Group Policy failed. Windows could not authenticate to the Active Directory service on a domain controller. (LDAP Bind function call failed). Look in the details tab for error code and description.

Daarna krijg ik de melding over de storage, waarvan dus meer dan voldoende is:

The session setup from the computer exchange_server failed to authenticate. The name(s) of the account(s) referenced in the security database is exchange_server$. The following error occurred:
Not enough storage is available to process this command.

En ik krijg dan weer een melding met daarin de Exchange server:

The session setup from the computer exchange_server failed to authenticate. The following error occurred:
Access is denied.

De enige oplossing om alles dan weer aan de gang te krijgen is een harde reboot. (wat ik liever niet doe)

Iemand bekend met dit probleem?
Helaas kan ik alleen maar dingen vinden over een black screen of death voor het opstarten van
Windows, maar dit gebeurt dus zomaar uit het niets. Er is ook geen pijl op te trekken wanneer het gebeurd.

[alt-92]

Waarom heb je ipv6 uitstaan eigenlijk?

Die kerberos & GP errors uit je logs wijzen erop dat je mogelijk een name resolutie issue hebt of een netwerk connectivity probleem.
Oh.. en "Not enough storage is available to process this command" moet je lezen als onvoldoende geheugenruimte binnen het proces zelf.

[Yarno]

Ik heb dit ook gehad op een systeem.
Dit gebeurde zowel bij VMWare als bij Xenserver.
Uiteindelijk bleek de raid config naar zijn grootje te zijn.
Raid config verwijderd, schijven geformatteerd en alles opnieuw in raid5 gezet.
Was op een Bull systeem.

Wat voor systeem gebruik jij?

[Verwijderd]

@ alt-92, ik had op een forum gelezen dat het kon helpen om de IPv6 uit te schakelen.
Hoe zou ik de name resolutie problemen kunnen oplossen?

@ Yarno, het betreft hier een HP Proliant DL380 G7, met daarin een P410i controller met 1GB mem.
Ik heb 2 drives van 300GB in RAID1 voor de Hypervisor.
En 6x 420GB in RAID 5 voor de VM's.
Er zijn eerder wel 2 disken uit gevallen in de RAID5. (wel om de beurt, niet tegelijk, en deze zijn direct vervangen)
De Exchange server had toen ook af en toe vreemde kuren, ook kon deze geen chkdsk meer doen
op zijn OS drive. Ik heb deze toen opnieuw geinstalleerd met een /recovery switch. Echter heb ik daar bij de AD weinig zin in. Het betreft hier de MAIN AD, File server & print server.
Ik zie het niet zitten deze compleet opnieuw te moeten installeren, zouden er geen andere mogelijkheden voor zijn? Ik kan hem eventueel ook exporteren en weer importeren, maar dan neem ik de problemen misschien mee. Echter wanneer ik naar de HP System Management ga, dan zegt hij dan zijn RAID set compleet in orde is, zo ook de rest van de server.

En valt hiet nog iets aan te doen?
"Not enough storage is available to process this command" moet je lezen als onvoldoende geheugenruimte binnen het proces zelf.

[Verwijderd]

Ik zie trouwens dat ik firmware versie:
Model: Smart Array P410i
Controller Status: OK
Firmware Version: 3.52

3.52 heb, op de HP website zag ik al 5.7 zou dit kunnen helpen.
Of zoek ik het nu in de verkeerde hoek?

[Razwer]

denk niet dat die firmware er iets mee te maken heeft. Alles voor 3.52 is trouwens wel brak met SATA schijven. Als je systemen hebt die daar onder vallen, zou ik snel updaten.

Firmware dvd los laten met zulke versie verschillen kan nooit kwaad (naja, kan altijd fout gaan maar kans is klein). Vaak worden je HDD's ook van verbeterde firmware voorzien wat minder fouten of performance verbetering kan opleveren.

[Verwijderd]

Heb je enig idee waar deze black screens wel vandaan kunnen komen?
Het beeld is gewoon compleet zwart, en er staat alleen nog maar een cursor.
Soms gebeurt dit na één week al soms na enkele weken, er is geen pijl op te trekken.
Aangezien ik niets vreemds zie in de logs, weet ook niet echt in welke hoek ik het moet zoeken.
Maar ik ga zeker de firmware updaten. (uiteraard, inderdaad eerst overal backups van maken)

[kraats]

Hoeveel werkgeheugen heb je toegewezen? Loopt dat niet vol waardoor je AD en DNS niet meer reageren?

[alt-92]

Resource exhaustion.
controleer je perftraces maar eens in je logs.

Verwijderd schreef op zondag 15 juli 2012 @ 15:39:
...
Hoe zou ik de name resolutie problemen kunnen oplossen?

Is dat een serieuze vraag?

[ Voor 80% gewijzigd door alt-92 op 15-07-2012 21:02 ]

[Verwijderd]

Ik heb de AD, 16GB toegewezen, 8 cores X5650 @ 2.67GHZ
Overigens draaien de disks op 10.000 RPM, zijn 2,5" disks, SAS.
(ofwel S-ATA is niet van toepassing)


@Alt-92, sorry, maar hoe en waar kan ik de perftraces controleren?
(De perflogs map op C:\ is leeg)

[ Voor 8% gewijzigd door Verwijderd op 15-07-2012 22:21 ]

[alt-92]

Is dit de enige DC?
Wat is je load (lees: hoeveel concurrent logons krijgt dat ding voor zn kiezen)?
Wat staat er in je eventlogs?

Ik krijg zoals vaker het gevoel dat we van alles uit je moeten trekken en dat er maar heel weinig uit jezelf nagekeken wordt.

[Verwijderd]

Dit is niet de enige DC, ik heb 2 DC's, echter staat de andere DC op een andere Citrix XenServer, deze heeft dezelfde specs. Er zitten maar 40 users in de AD.
(de exacte load zou ik op een druk moment moeten meten)

Ik denk dat ik toch alle mogelijke informatie omtrent dit probleem heb gegeven.
Ik denk dat sommige dingen die je uit me wilt trekken ook overbodig zijn, en dat ik
daarom deze niet heb genoemd. Zoals de vraag over de hoeveelheid werkgeheugen...
Maar er moet toch ook gecommuniceerd worden over en weer?
Er moet ook gelezen worden, zoals ik al had gezegd staat er niets vreemds in mijn eventlogs.
Het enige wat ik erin heb staan, is wat ik in mijn eerste bericht heb vermeld.

[Verwijderd]

alt-92 schreef op zondag 15 juli 2012 @ 21:00:
Resource exhaustion.
controleer je perftraces maar eens in je logs.
[...]

Is dat een serieuze vraag?

Excuus, het is weekend. Dat probleem heb ik inmiddels al opgelost.
(met de name resolutions, echter nog niet het black screen verhaal, waar de post over gaat)

[ Voor 14% gewijzigd door Verwijderd op 16-07-2012 00:08 ]

[Razwer]

Verwijderd schreef op zondag 15 juli 2012 @ 23:24:
Ik denk dat sommige dingen die je uit me wilt trekken ook overbodig zijn, en dat ik
daarom deze niet heb genoemd.

mijn mening: een slechte insteek. Blijkbaar heb je gebrek aan kennis voor dit issue, anders zou je hier niet om hulp vragen van, wat jij hoopt, mensen met meer verstand van zaken. Als deze mensen dan informatie vragen, zou je, gezien je blijkbaar minder kennis hebt dan die persoon op dat gebied, mogen aannemen dat deze persoon die informatie essentieel vind.
Het is maar een mening, doe er mee wat je wilt . Enige wat ik nog kan toevoegen is dat alt-92 een van de meest kundige gasten is hier op GOT en je veel zaken van hem mag aannemen als hij iets vraagt of zegt.

[Verwijderd]

Ik denk dat je niet voor andere mensen moet spreken, wat zij denken vinden, of hopen. Dat is mijn mening.
Of je iemand zijn kennisniveau kan peilen op een vraag die iemand heeft over een probleem wat hij nooit eerder heeft gezien is denk ik onmogelijk, wel heb je gelijk dat ik hier naar toe kom om hulp bij dit probleem te vragen. Echter loopt het hier telkens weer uit op een theekransje, waardoor ik ook de indruk krijg dat men mij hier ook niet kan helpen met het probleem waar ik voor sta. Want iedereen zijn mening, is weer bekend, maar niemand weet ook hoe de black screen met de cursor ontstaat en hoe ik dit kan oplossen.

Dat alt-92 veel kennis heeft van zaken staat buiten kijf, hier heb ik nooit aan getwijfeld.

[alt-92]

Verwijderd schreef op maandag 16 juli 2012 @ 10:28:
maar niemand weet ook hoe de black screen met de cursor ontstaat en hoe ik dit kan oplossen.

daarom vraag ik nogmaals wat er in je eventlogs en bijvoorbeeld je app/services logs (en die staan bij elkaar op een 2008r2 bak) staat
Een langzaam stervende doos laat onderweg naar de afgrond genoeg signalen slingeren waar je wat mee kan.

Dat alt-92 veel kennis heeft van zaken staat buiten kijf, hier heb ik nooit aan getwijfeld.

Doe er je voordeel mee zou ik zeggen
Anyways: voor zo'n kleine hoeveelheid gebruikers en fileshareing is 16GB imho wat overkill qua sizing.
Aangezien je twee DC's hebt is de optie ook aanwezig om deze brakke te demoten, en een reinstall te doen.

[ Voor 15% gewijzigd door alt-92 op 16-07-2012 11:28 ]

[Verwijderd]

Ik heb de logs gisterenavond even compleet leeg gemaakt, omdat er zoveel in stond.
Nu naar een gehele werkdag heb ik in de Aplication logs het volgende:

Windows detected your registry file is still in use by other applications or services. The file will be unloaded now. The applications or services that hold your registry file may not function properly afterwards.

DETAIL -
1 user registry handles leaked from \Registry\User\S-1-5-21-2282500574-3571155024-687545958-500:
Process 588 (\Device\HarddiskVolume2\Windows\System32\svchost.exe) has opened key \REGISTRY\USER\S-1-5-21-2282500574-3571175024-687535952-500\Printers\DevModePerUser

En in de system logs staat maar één melding, met een gevarendriekhoekje die heel vaak voorkomt:
Windows failed to apply the Internet Explorer Zonemapping settings. Internet Explorer Zonemapping settings might have its own log file. Please click on the "More information" link.

Dit komt omdat ik in de policy's de server als veilig heb gemarkeerd in het Intranet gedeelte.
Deze heb ik er als volgt ingezet \\server echter heb ik dit ook geprobeerd met \\server.domein.local
echter dan krijg ik deze melding nog steeds.

In de AD Services zie ik de volgende meldingen veel:

This computer is now hosting the specified directory instance, but Active Directory Web Services could not service it. Active Directory Web Services will retry this operation periodically.

Directory instance: NTDS
Directory instance LDAP port: 389
Directory instance SSL port: 636

&

Active Directory Web Services was unable to determine if the computer is a global catalog server.

In de DNS Services zie ik de volgende melding enkele keren:

The DNS server is waiting for Active Directory Domain Services (AD DS) to signal that the initial synchronization of the directory has been completed. The DNS server service cannot start until the initial synchronization is complete because critical DNS data might not yet be replicated onto this domain controller. If events in the AD DS event log indicate that there is a problem with DNS name resolution, consider adding the IP address of another DNS server for this domain to the DNS server list in the Internet Protocol properties of this computer. This event will be logged every two minutes until AD DS has signaled that the initial synchronization has successfully completed.

FRS geeft:

This domain controller has migrated to using the DFS Replication service to replicate the SYSVOL share. Use of the File Replication Service for replication of non-SYSVOL content sets has been deprecated and therefore, the service has been stopped. The DFS Replication service is recommended for replication of folders, the SYSVOL share on domain controllers and DFS link targets.

Ik weet dat al de bovenstaande meldingen niet allemaal probleem relateerd zijn, en sommige
meldingen moet ik ook even oplossen, maar om een compleet verhaal te geven heb ik dus maar alles even vermeld.

De VM bak heeft voldoende geheugen over, vandaar dat ik hem zoveel heb gegeven.
Het is inderdaad overkill, maar het kan geen kwaad lijkt mij?

Maar ik zou dus ook deze AD kunnen domoten, en een nieuwe AD kunnen installeren met compleet dezelfde naam?

[alt-92]

Verwijderd schreef op maandag 16 juli 2012 @ 17:26:
Ik heb de logs gisterenavond even compleet leeg gemaakt, omdat er zoveel in stond.
[.....]

en natuurlijk heb je er geen backup van gemaakt

Active Directory Web Services was unable to determine if the computer is a global catalog server.

Ook niet na een paar minuten of een restart van ADWS?
>> je _srv records moeten natuurlijk wel goed zijn.

Hoe ziet je DNS config eruit op je netwerkadapters?

De VM bak heeft voldoende geheugen over, vandaar dat ik hem zoveel heb gegeven.
Het is inderdaad overkill, maar het kan geen kwaad lijkt mij?

Tja.
Het is niet zo dat hardware ertegenaan gooien altijd alle problemen oplost ook al mocht je dat wel denken.
Gegeven het punt dat je al moeite hebt om een system volume goed te sizen (getuige je ruimtegebrek) denk ik dat je beter af bent met wat standaard Sizing papers of best practices erbij te pakken.

Maar ik zou dus ook deze AD kunnen domoten, en een nieuwe AD kunnen installeren met compleet dezelfde naam?

Wil je me een plezier doen en de dingen bij de juiste naam noemen?
Een Domain Controller/Logonserver kan je Demoten mits je er meerdere hebt, en vervolgens herinstalleren nadat je al je replicatielogs en verkeer hebt gecontroleerd.

Als jij zegt 'een nieuwe AD' installeren dan ga je al verkeerd denken en zoeken - je hebt al een draaiende directory tenslotte want die staat nog gerepliceerd op je tweede DC.

[Verwijderd]

Er is wel een backup van. De melding van de ADWS was van 13-7, daarna niet meer gezien en deze gaf hij net na een reboot, ik denk dat hier dus verder niets mee aan de hand is. Momenteel kijkt deze DC naar zichzelf als DNS. En de tweede DC kijkt naar deze DC als DNS.

Ik denk niet dat meer hardware er tegenaan gooien problemen oplost, ik geef alleen aan dat er op de server erg veel memory over was en tevens veel CPU. Dit heb ik dus verdeeld over de servers. (meer met de gedachte dat het dan beter besteed word, dan helemaal niet, ook al zal de server het nu waarschijnlijk ook niet gebruiken) Het system volume had ik inderdaad gesized aan de hand van een Citrix template, echter was dit ook zeer snel weer aangepast.

Excuus dat ik de DC een AD noemde, echter vind ik Logonserver ook niet echt de juiste naam.

Maar al met al, mijn blackscreen, zou dat alleen op te lossen zijn met een herinstallatie?
Dat kan toch niet de enige oplossing zijn?

[alt-92]

Verwijderd schreef op maandag 16 juli 2012 @ 18:17:
Excuus dat ik de DC een AD noemde, echter vind ik Logonserver ook niet echt de juiste naam.

Uitstekende naam zelfs, want het is een kerntaak van het ding.
Ze hebben er nota bene een environment variable naar genoemd.

Maar al met al, mijn blackscreen, zou dat alleen op te lossen zijn met een herinstallatie?
Dat kan toch niet de enige oplossing zijn?

Ik probeer je al een paar dagen (!) duidelijk te maken dat je ergens een resource exhaustion oploopt, en dat de tekenen daarvoor waarschijnlijk met een goede performance monitoring set te achterhalen is aangezien je het op gezette tijden ervaart.

Die voortekenen kun je ook uit eventlogs halen (meestal Srv eventID's) dus pak je je geexporteerde logs er eens bij en filter op warnings.

je zou ook kunnen overwegen om je DNS config kruislings te configureren, zodat altijd de andere DC wordt geraadpleegd @ startup

[ Voor 17% gewijzigd door alt-92 op 17-07-2012 09:44 ]

[Verwijderd]

Beste Alt-92,

Ik wou net inloggen op de betreffende server, en toen kreeg ik weer het vertrouwde zwarte scherm met het witte pijltje. Momenteel is hij in productie, dus ik zal hem vanavond een harde schop moeten geven. De evenlogs kan ik wel benaderen en alle shares ook. Ik heb alle logs gefilterd op 'critical, warings en errors'
het enige wat naar voren komt is het volgende:

Windows failed to apply the Internet Explorer Zonemapping settings. Internet Explorer Zonemapping settings might have its own log file. Please click on the "More information" link.

&

Completed Internet Explorer Zonemapping Extension Processing in 15 milliseconds.

Dit zijn de Grouppolicy error's op de zonemappings.
Verder zie ik één keer:

The Key Distribution Center (KDC) cannot find a suitable certificate to use for smart card logons, or the KDC certificate could not be verified. Smart card logon may not function correctly if this problem is not resolved. To correct this problem, either verify the existing KDC certificate using certutil.exe or enroll for a new KDC certificate.

Dat is het enige wat ik vandaag zie.
Ik heb nog een een andere melding, maar die is van gisteren:

Windows detected your registry file is still in use by other applications or services. The file will be unloaded now. The applications or services that hold your registry file may not function properly afterwards.

DETAIL -
3 user registry handles leaked from \Registry\User\S-1-5-21-2282500574-3571175024-687535952-500:
Process 588 (\Device\HarddiskVolume2\Windows\System32\svchost.exe) has opened key \REGISTRY\USER\S-1-5-21-2282500574-3571175024-687535952-500
Process 588 (\Device\HarddiskVolume2\Windows\System32\svchost.exe) has opened key \REGISTRY\USER\S-1-5-21-2282500574-3571175024-687535952-500\Software\Microsoft\Windows NT\CurrentVersion\Windows
Process 588 (\Device\HarddiskVolume2\Windows\System32\svchost.exe) has opened key \REGISTRY\USER\S-1-5-21-2282500574-3571175024-687535952-500\Printers\DevModePerUser

[alt-92]

Verwijderd schreef op dinsdag 17 juli 2012 @ 10:04:
Beste Alt-92,

Ik wou net inloggen op de betreffende server, en toen kreeg ik weer het vertrouwde zwarte scherm met het witte pijltje. Momenteel is hij in productie, dus ik zal hem vanavond een harde schop moeten geven. De evenlogs kan ik wel benaderen en alle shares ook.

Volg de link in mijn post en ga met die trace werken.

De rest van je events sinds je log-nuke actie bevatten geen urgente zaken.

* alt-92 nog geen antwoord op je export van je logs voordat je ze gewist hebt.

[Verwijderd]

Bedankt! Dat ga ik doen.
Ik kan zo even niet bij de export logs, omdat ik nu dus niet in de server kom.
Wel kreeg ik net twee logs erbij na mijn RDP sessie.

The RDP protocol component X.224 detected an error in the protocol stream and has disconnected the client.
&
The Terminal Server security layer detected an error in the protocol stream and has disconnected the client. Client IP: 192.168.x.x

[alt-92]

Ga op zoek naar je root cause, want alles wat nu voorbij gaat komen zijn symptomen van een stervende bak.

[Verwijderd]

Beste Alt-92,

Wanneer zou ik de data collector kunnen starten? Want nu kan ik deze niet starten.
Als ik dit remote wil doen, geeft hij aan dat de RPC server niet reageert.

Ik kan dit straks wel lokaal op de betreffende server doen, echter zal hij dan geen problemen hebben.
En volgens de site draait hij maar voor 5 minuten.

Like SPA, the Active Directory Diagnostics data collector set runs for a default of 5 minutes. This duration period cannot be modified for the built-in collector.

[Verwijderd]

Alt-92, hij viel net helemaal om.
Hij geeft dan in zijn logs heel veel van de volgende meldingen:

Even ID 7
The Security Account Manager failed a KDC request in an unexpected way. The error is in the data field. The account name was Administrator@domein and lookup type 0x200.

&
Event ID 7

The description for Event ID 7 from source Microsoft-Windows-Kerberos-Key-Distribution-Center cannot be found. Either the component that raises this event is not installed on your local computer or the installation is corrupted. You can install or repair the component on the local computer.

If the event originated on another computer, the display information had to be saved with the event.

The following information was included with the event:

Administrator
0x0

The handle is invalid


Ik kan nu wel de stappen uit gaan voeren, want moest hem een cold reboot geven.

[alt-92]

Kun je op z'n minst de eventID's meegeven bij de tekst?
Zoekt een stuk efficienter.
Overigens zou ik je aanraden om perfmon ook aan te zwengelen met de juiste counters om te loggen wat er precies gebeurt. Dat je DC daardoor waarschijnlijk wel weer door z'n hoeven zakt moet je dan maar even voor lief nemen eerlijk gezegd.

[Verwijderd]

Niet geschoten is altijd mis, maar ik verwijderde net Norman Endpoint Protection v.9.0
dit verwijderen bleef maar duren, en het bleef hangen, en uiteindelijk heb ik de RDP sessie even gesloten
later weer opgepakt. (black screen, met cursor) Zou het daar in kunnen zitten?
Ik ben al niet z'n groot fan van Norman, aangezien ik er al erg veel problemen mee heb gehad, dus
misschien dat Norman deze problemen ook veroorzaakt of zou dat niet kunnen?
Ik zal de server straks weer een schop geven, en hopelijk krijg ik Norman er dan goed vanaf.