[W2K8] Virtuele Global Catalog niet stabiel*

[JiBo]

Hoi,

Ik heb een zeer specialistische vraag met betrekking tot AD en Windows Server 2008.

Ik heb hier al flink wat uren ingestoken en kom er niet meer uit.
Vanwege de aard van het probleem kan Microsoft ook niet helpen omdat die alleen break-fix support leveren een geen root-cause analyses.
Wie weet zit hier wel een tweaker die mij een stap verder in de goede richting kan helpen.
Als er gegevens missen hoor ik het graag. Ik wil jullie in de eerste post niet overladen met gegevens.

---

Wat is het probleem:
Gebruikers bellen dat ze niet kunnen inloggen, na onderzoek blijkt dat de PDC/infrastructure rol niet meer beschikbaar is op de domain controller. Na herstarten van de servers gaat alles weer goed. Dit gebeurd met enige regelmaat. Tot nu toe hebben we geen oorzaak voor dit probleem kunnen vinden.

Error:
1126 ActiveDirectory_DomainService
509 NTDS ISAM

Functionaliteiten die niet werken:
-Authenticatie op het domein

Waar gaat het om?
2x domeincontrollers met windows 2008 standard without hyper-v. De servers zijn virtueel.

---

Wat het een uitdaging maakt zijn 2 dingen.

1) Het is een productie omgeving (en kost veel geld als er niet kan worden ingelogd)
2) Op het eerste oog lijkt er niets mis te gaan (weinig op het oog relevante events)
dcdiag is in orde, repadmin / showrepl is in orde.

Elke duw in de goede richting word zeer gewaardeerd.

[Brahiewahiewa]

Als ik op eventID.net zoek op event 509 NTDS/ISAM vind ik dat het AD process niet (meer) kan schrijven naar disk. Daar kunnen meerdere oorzaken voor zijn: brakke disk, over-actieve virusscanner, verkeerd uitgevoerde virtualisatie

[wagenveld]

Ik zou ook 1 van de DCs fysiek maken als ik jou was, issues met je virtuele omgeving kun je dan uitsluiten. In geval van Hyper V zeker een fysieke DC houden: http://technet.microsoft...._hyperv%28v=ws.10%29.aspx

[JiBo]

Bedankt voor de reacties,

Ik heb inderdaad ook gekeken op eventid, maar de eerste gaat niet omdat het over een virtueel systeem gaat met daarachter een san op iscsi (dus geen hd). Het probleem zit niet in de virusscanner (logs daar op nageplozen). Verkeerd uitgevoerde virulisatie is een beetje een generale opmerking waar ik weinig mee kan. Ik weet wel dan we 10tallen dc's op dezelfde manier uitrollen (gestandaardiseerd) en die geven deze problemen niet.

Het is voor het trouble shooten niet (eenvoudig) een fysieke te maken, aangezien die hardware niet beschikbaar is. We hebben het hier over een heel groot virtueel cluster. Er zijn in de root wel fysieke dc's. Maar het gaat hier over stap lager in de forest structuur.

Virtualisatie gebeurd met Esx en de uitrol met RES

[wagenveld]

Dan regel je de hardware toch? Voor 500 euro heb je een simpel pizzadoosje. Als je vervolgens kunt aantonen dat het aan je ESX cluster ligt dan heb je een fijne klus

[Semt-x]

Wat sommige andere bedrijven dan doen is MS bellen en melden dat er een probleem is dat jullie niet zelf kunnen oplossen. Dan kun je ze vragen of ze iemand kennen die het probleem wel kan fixen.
Dan zet MS die vraag uit bij een partner en komt er ervaren hulp die dit soort problemen lachend oplost :]
tenzij er echt stukken zijn.(wat in het geval van AD zeldzaam is)
Het kost wel wat, maar wellicht minder dan downtime.

h2h,
Sem

[PipoDeClown]

- heb je voor iSCSI een apart netwerk? aparte eth op host en aparte switch, gescheiden van je normale ip verkeer? 10Gb?
- wat is de belasting van je LUN en je SAN?
- VMware tools up2date?
- VMware tools Sync driver die moeilijk doet (Legato ofziets). Oracle kan daar ook niet goed tegen

Wat is "een heel groot virtueel cluster"?

[ Voor 6% gewijzigd door PipoDeClown op 22-02-2012 19:44 ]

[Question Mark]

JiBo schreef op woensdag 22 februari 2012 @ 17:24:
Ik heb inderdaad ook gekeken op eventid, maar de eerste gaat niet omdat het over een virtueel systeem gaat met daarachter een san op iscsi (dus geen hd).

Je SAN biedt stelt gewoon een lun beschikbaar aan je ESX cluster. Daarop staat een VMDK-file wat gewoon je virtuele harddisk is. Als die virtuele harddisk om wat voor reden dan ook niet goed functioneerd, kan dit heel goed de oorzaak van al je ellende zijn. Ik zou een harddisk-error dan ook zeker niet uitsluiten.

[Turdie]

JiBo schreef op woensdag 22 februari 2012 @ 16:38:
Hoi,

Ik heb een zeer specialistische vraag met betrekking tot AD en Windows Server 2008.

Ik heb hier al flink wat uren ingestoken en kom er niet meer uit.
Vanwege de aard van het probleem kan Microsoft ook niet helpen omdat die alleen break-fix support leveren een geen root-cause analyses.
Wie weet zit hier wel een tweaker die mij een stap verder in de goede richting kan helpen.
Als er gegevens missen hoor ik het graag. Ik wil jullie in de eerste post niet overladen met gegevens.

---

Wat is het probleem:
Gebruikers bellen dat ze niet kunnen inloggen, na onderzoek blijkt dat de PDC/infrastructure rol niet meer beschikbaar is op de domain controller. Na herstarten van de servers gaat alles weer goed. Dit gebeurd met enige regelmaat. Tot nu toe hebben we geen oorzaak voor dit probleem kunnen vinden.

Error:
1126 ActiveDirectory_DomainService
509 NTDS ISAM

Functionaliteiten die niet werken:
-Authenticatie op het domein

Waar gaat het om?
2x domeincontrollers met windows 2008 standard without hyper-v. De servers zijn virtueel.

---

Wat het een uitdaging maakt zijn 2 dingen.

1) Het is een productie omgeving (en kost veel geld als er niet kan worden ingelogd)
2) Op het eerste oog lijkt er niets mis te gaan (weinig op het oog relevante events)
dcdiag is in orde, repadmin / showrepl is in orde.

Elke duw in de goede richting word zeer gewaardeerd.

toon volledige bericht

Je zou ook via Microsoft Services een consultant of Premier Field Engineer kunnen inhuren, die je helpt met de root-cause analyse? Of een Microsoft partner?

[JiBo]

Alweer bedankt voor de reacties, het is fijn dat jullie meedenken.
Ik reageer even in een post op iedereen hier boven.

Zoals ik al zei kunnen we de servers niet fysiek maken.
1, omdat de hardware mogelijkheden er niet zijn en 2, omdat we weel meer van dezelfde dc's hebben die het probleem niet hebben, en 3, omdat op een nieuwe installatie het probleem niet speelt. Opnieuw installeren van de domaincontrollers is zeker een optie, maar op dit moment nog niet, omdat we liever achter de oorzaak komen op dit moment.

PipoDeClown schreef op woensdag 22 februari 2012 @ 19:29:
- heb je voor iSCSI een apart netwerk? aparte eth op host en aparte switch, gescheiden van je normale ip verkeer? 10Gb?
- wat is de belasting van je LUN en je SAN?
- VMware tools up2date?
- VMware tools Sync driver die moeilijk doet (Legato ofziets). Oracle kan daar ook niet goed tegen

Wat is "een heel groot virtueel cluster"?

Het is inderdaad een gescheiden iSCSI netwerk, de beheerders geven aan dat de belasting van het cluster, LUN en SAN binnen de optimale waardes zijn. VMware tools is up2date, en ik heb gekeken in de eventlogs naar errors mbt de sync driver, maar niets kunnen vinden.

Over de grote van het cluster kan ik geen exacte technische details geven, maar het gaat om een cloud omgeving. + 1000 gebruikers. Echter voor dit probleem heeft maar een klein deel 'last'. Er maakt slechts een klein deel gebruik van deze domein controller (kleinere klant)

De VMDK is voor zover te monitoren is niet corrupt. Chkdsk in Windows zelf levert geen fouten op. Na een reboot zijn de foutmeldingen ook verdwenen over het feit dat hij bepaalde bestanden niet kan schrijven.

Ik ben zelf beheerder, maar het incident is al langs 'alle' lijnen geweest. 1e,2e en 3e lijn. De beheerder die de virtuele omgeving beheren en en deel van onze meest ervaren product specialisten (Microsoft Specialisten) ook zijn we zelf MS partner. Echter hebben we het probleem nog niet gevonden.
Echter hebben we een andere ingang bij Microsoft geprobeerd en de laatste status is: "Bedankt voor je email we gaan jou probleemstelling beoordelen"

shadowman12 schreef op woensdag 22 februari 2012 @ 20:11:
[...]


Je zou ook via Microsoft Services een consultant of Premier Field Engineer kunnen inhuren, die je helpt met de root-cause analyse? Of een Microsoft partner?

Ik ga hier ook naar kijken wat mogelijk is, bedankt.

Ik denk persoonlijk eerder dat het probleem in Windows zelf gezocht moet worden, hebben jullie daar nog iedeeen over?

[Question Mark]

Kan van alles zijn. Vertel eens wat meer info over het domein- en forestopzet.

• Hoeveel DC's
• Hoeveel hiervan zijn GC
• Hoe zijn de FSMO rollen verdeeld over het systeem
• Aantal objecten in het domein/forest
• Is de issue tijdstip gerelateerd? Treedt het bv. op tijdens een backup-job of maintanance op het SAN?
• Welke exclusions zijn gemaakt binnen de anti-virus inrichting (let op dit artikel)

Verder nog even een kleine titelfix.

[PipoDeClown]

JiBo schreef op donderdag 23 februari 2012 @ 08:43:

[...]
Het is inderdaad een gescheiden iSCSI netwerk, de beheerders geven aan dat de belasting van het cluster, LUN en SAN binnen de optimale waardes zijn. VMware tools is up2date, en ik heb gekeken in de eventlogs naar errors mbt de sync driver, maar niets kunnen vinden.
[...]

Blijkbaar niet duidelijk genoeg, maar: Verwijder die Sync driver! En maak vooral geen snapshots, maar doe regelmatig een system state backup.

[JiBo]

Question Mark schreef op donderdag 23 februari 2012 @ 09:32:
Kan van alles zijn. Vertel eens wat meer info over het domein- en forestopzet.

• Hoeveel DC's
• Hoeveel hiervan zijn GC
• Hoe zijn de FSMO rollen verdeeld over het systeem
• Aantal objecten in het domein/forest
• Is de issue tijdstip gerelateerd? Treedt het bv. op tijdens een backup-job of maintanance op het SAN?
• Welke exclusions zijn gemaakt binnen de anti-virus inrichting (let op dit artikel)

Verder nog even een kleine titelfix.

Dit probleem speelt op 2 domein controllers. Ze zijn beiden GC, DC1 is PDC en DC2 heeft de RID rol en infrastructure. De domein controllers zitten in een domein. Dit domein zit onder de root. Domein en forest hebben 2008 als functional level.

Aantal objecten in het domein/forest <-- van deze vraag begrijp ik even niet de relevantie? Als dit belangrijk is ga ik het uitzoeken. Ik weet ook niet welk commando gaat werken, aangezien het powershell commando hiervoor pas werkt onder 2008r2

root DC01,DC02,DC03,DC04
---dc01,dc02 <---- elke klant eigen domein, waarvan dc02 een koppeling heeft met een van de root DC's
---dc01,dc02
---dc01,dc02

Erg zijn geen exclusions gemaakt op deze machines binnen de antivirus. Er zit geen patroon in de tijd dat het probleem op treedt. 13:00, 15:00: 16:50 Op deze tijden lopen er geen backups en is er geen onderhoud (nooit in productietijd als erg geen prio 1 is) Ook loopt er dan geen full av scan.
Jou aanbeveling mbt de exclusions heb ik doorgestuurd en word nu gecontroleerd (ik zag niet in de console dat er exclusions zijn, maar laat toch even de engineer dit dubbel chekken

[Jazzy]

JiBo schreef op donderdag 23 februari 2012 @ 08:43:
Echter hebben we een andere ingang bij Microsoft geprobeerd en de laatste status is: "Bedankt voor je email we gaan jou probleemstelling beoordelen"

Ik weet niet precies wat voor ingang je probeert maar waar anderen aan refereren is dat je een support case opent bij PSS. Kost maar 300 euro en leidt doorgaans tot succes. Je dient hem in op http://support.microsoft.com/oas en binnen 4 tot 6 uur heb je respons.

Dat zou ook mijn advies zijn trouwens, dat geld is goed besteed.

[JiBo]

Aanbeveling van de AV word vandaag nog beoordeeld en besloten of dit aangepast gaat worden.

Qua MS Support, eerst een melding aangemaakt via Support.microsoft.com deze is niet in behandeling genomen omdat het geen break-fix incident is. Nu loopt er een melding via Microsoft Services Premier Support (Partner Technical Consultant | EMEA CSS SMSP Support) en de laatste status is "Bedankt voor je email we gaan jou probleemstelling beoordelen."

[Jazzy]

JiBo schreef op donderdag 23 februari 2012 @ 10:34:
Qua MS Support, eerst een melding aangemaakt via Support.microsoft.com deze is niet in behandeling genomen omdat het geen break-fix incident is.

Dat is waarschijnlijk in één van de Partner forums geweest, die zijn inderdaad niet voor dat soort issues.

Nu loopt er een melding via Microsoft Services Premier Support (Partner Technical Consultant | EMEA CSS SMSP Support) en de laatste status is "Bedankt voor je email we gaan jou probleemstelling beoordelen."

Ik weet niet wat voor kanaal dat is maar als je zeker weet dat je op de goede plek zit dan bel/mail je er toch gewoon even achteraan? Misschien bedoel je het niet zo maar als je twee keer zegt dat je alleen maar een bevestiging gekregen hebt klinkt een beetje passief.

Vraag anders even rond binnen jullie organisatie wat de juiste weg is om een case te openen.

[JiBo]

Ok, ik snap dat het 'passief' overkomt, maar dat is zeker niet het geval. Het is wel de laatste status die ik heb. Ik ben volop bezig het incident op te lossen, en het forum is daarbij een hulp. Ik de tussentijd heb ik het afgelopen uur al een aantal keer met Microsoft gesproken, maar heb ik nog geen status update, vandaar misschien de indruk dat ik aan het afwachten ben.
Voor de duidelijkheid wil ik alleen 'bevestigde' informatie posten om hier het overzicht te bewaren.
+ Ik spreek alle door mij bekende kanalen op dit moment aan, heb iedereen in de organisatie al om de gegevens gevraagd ;-)

Weer bedankt voor de tips

[JiBo]

AV aanbevelingen zijn ondertussen getest en uitgerold. Bedankt voor het document. Die kan van de checklist af.

[Turdie]

JiBo schreef op donderdag 23 februari 2012 @ 10:34:
Aanbeveling van de AV word vandaag nog beoordeeld en besloten of dit aangepast gaat worden.

Qua MS Support, eerst een melding aangemaakt via Support.microsoft.com deze is niet in behandeling genomen omdat het geen break-fix incident is. Nu loopt er een melding via Microsoft Services Premier Support (Partner Technical Consultant | EMEA CSS SMSP Support) en de laatste status is "Bedankt voor je email we gaan jou probleemstelling beoordelen."

Partner Technical Services is inderdaad de juiste ingang voor dit soort dingen, binnen PTS werken Partner Technical Consultants. Maar kun je anders even je probleemstelling enzo naar mijn DM-en, dan ga ik bij ons is navragen. Wij zij ook Microsoft Partner, (en sterker nog Microsoft is 20% eigenaar van ons bedrijf (joint-venture)).
Beschrijf daarin het volgende (bij voorkeur in het Engels)

• Wat het probleem is
• Welke foutmeldingen je krijgt
• Wat het onderliggende platform is
• Wat je al zelf hebt gedaan qua troubleshooting.

[ Voor 25% gewijzigd door Turdie op 23-02-2012 13:28 ]

[JiBo]

Ik kom zo snel mogelijk terug op je vraag. Ben net gebeld door Microsoft, dat ze over 2 uur uitsluitsel geven wie het gaat oppakken binnen Microsoft.

[Question Mark]

Laat inderdaad vooral weten hoe dit afloopt. Het is een erg interessant probleem (alleen voor jouw erg vervelend).