[2003] Terminal Servers worden ontiegelijk traag

[Firefox]

Hoi,

Ik zit met een vrij vaag probleem waarvan ik hoop dat andere Tweakers dit herkennen:

Ik krijg klachten van gebruikers dat ze neit meer kunnen inloggen op terminal servers. Wanneer ik ga kijken op de betreffende server, dan staat de CPU onder 100% load. Als ik dan het zwaarst belastende proces heb gevonden, en de bijbehorende gebruiker laat afmelden, dan zie je ineens dat een ander proces het stokje overneemt. En zo blijf je doorgaan tot de console sessie de enige ingelogde gebruiker is. - En de CPU usage is nogsteeds 100%.

Afgelopen week heb ik een termianl server met dit probleem gereboot, waarna het probleem was verholpen, maar de machine (een andere) die in dit geval er last van heeft kan gereboot rebooten wat ik wil, maar het resultaat blijft volle processor last. Op een enkle moment als je echt *helemaal* niets doet zie je de Idle tijd cycles nemen, maar de minste klik op taskmanager en de CPU usage knalt weer omhoog.

Herkent iemand dit effect?

[djluc]

Wat is er veranderd aan de voorheen werkende instellingen?

[Firefox]

De afgelopen week zijn er geen wijzigingen op de betreffende machines geweest. Geen updates geinstalleerd, geen software erbij of er af, geen drivers. Op zijn aller aller best zou je kunnen vermoeden dat de antivirus (Symantec Client Sec. 10) een definitie update heeft gehad... Als je die Symantec service gewoon uitschakelt, dan zou je daarmee wel zo'n beetje de enige variabele hebben weggestreept...

Maargoed... Terminal server 1, 2 en 4 zijn gewoon soepeltjes aan het snorren, en die krijgen exact de zelfde definities.. dat mag het verschil niet maken. Op TS3 werkt niemand, da's een test server (Gevirtualiseerd), die het zelfde effect heeft als de TS5. Ik ga zo de TS5 maar weer een keer aanzetten en kijken of ie nu beter draait.

Nou ik er aan zit te denken, een paar weken terug had ik dit effect bij een familie lid, waarbij de volgende dag het probleem verdwenen was...afgelopen donderdag op mijn eigen PC thuis, Die machine wordt nou helemaal opnieuw opgebouwd... maargoed, dat waren XP machines...

[ Voor 6% gewijzigd door Firefox op 11-12-2006 16:06 ]

[Tylen]

Citrix of Microsoft?

[LauPro]

Waarschijnlijk een kwestie van een deadlock ergens. Gebruik je toevallig APC-UPS'en?

[Firefox]

@ Jeroen: het zijn pure Win2003 terminal servers, er is geen Citrix bovenop geinstalleerd. Wel maken we gebruik van Powerfuse (701b)

@ LauPro: We hebbne APC's ja, maar Powerchute is niet geinstalleerd op de Terminal Servers. Wat is precies het effect/idee van zo'n Deadlock, en hoe zou ik die kunnen traceren?

[LauPro]

Ik weet dat er in de software van APC een bug zit dat als je die disabled in services maar de agent start wel oid dat je dan een deadlock krijgt.

Deadlocks zijn als gebruikers moeilijk te traceren. Meestal te zien aan het proces dat iets zou moeten doen maar niets staat te doen. Op een terminal server kunnen dat er nogal veel zijn alleen...

[Firefox]

Een dergelijke lock zoals jij beschrijft zou dan altijd moeten voorkomen na het booten van de server. in dit geval is dat niet zo... ik kan zelf op de console nog wel inloggen over het algemeen, maar wanneer je daarna serieus wat gaat doen (calc.exe opstarten ofzo ) dan zijn de rapen gaar. Dit kan ook het aanklikken van een tabblad in taskmanager zijn wat het triggert, maar dan houdt het ook echt niet meer op....

[seq_uence]

Is het probleem alleen verholpen na een reboot ? Of ook nadat alle gebruikers van die terminal server zijn afgemeld ?

Heb je soms een wijziging in een policy gedaan ?

[pistole]

Hoe zit het met je disk queue / processor queue / netwerk ?
Meldingen in je eventlog?
Druk op het SAN / shared storage?

offtopic:
flauw:
terminal server

[Zwelgje]

http://www.msterminalserv...erminal-Server-Part1.html
http://www.msterminalserv...erminal-Server-Part2.html

wat geeft de microsoft process explorer weer waar gaan die cycles precies heen

[Firefox]

@ SEQ: Bij de vorige server (4) was een reboot de oplossing. bij de huidige probleem server (5) keert het probleem zelfs na een reboot vrij snel weer terug. (zodra je dus iets gaat doen) - Policies heb ik nog niets aan veranderd sinds ik bij deze werkgever begonnen ben.

@Pistole: eventlog vertelt niet meer dan gebruikelijke informationals. Er zijn geen relevante meldingen of errors. Bij gebrek aan san is er alleen local disk storage Die Queue's moet ik nog even bekijken, door het niet in kunnen loggen heb ik daar nog niet veel mee kunnen doen. (vanaf het netwerk benaderen is behalve ping ook niet veel te beginnen door de enorme load.)

@zwelgje: met die links ga ik zeker nog aan de gang morgen als ik er weer op weet te komen.... Process explorer kende ik nog niet (deeply ashamed) daar gaan we mee aan de slag, maar heel hoopvol ben ik nog niet. Taskman geeft aan dat de resources door wisselende processen worden opgekauwd. De ene keer is het calc.exe, het volgende moment staat taskman zelf op 85%, dan is het weer explorer, dan is het weer een svchost.exe of het System process dat gaat speren. Heel ongrijpbaar en veranderlijk. Als het een proces is dat gekilled kan worden (bijvoorbeeld een Iexplore.exe) dan zie je direct na het killen van het proces dat de cycles echt op de miliseconde door een ander proces wordt ingepikt.

[MAX3400]

Hint1: gevirtualiseerde servers hoeven niet dezelfde performance te geven als een live-server dus ik zou initieel aanraden om te blijven testen op de fysieke server(s).

Heb je al geprobeerd om met PowerFuse iets aan te vinken omtrent CPU Shield per sessie. Dan kan je in ieder geval uitsluiten/testen of het een lek is in PowerFuse en je dus concentreren op de software van Microsoft.

*edit*
Ik lees niet goed en moet herformuleren: met CPU Shield in ieder geval ervoor zorgen dat een proces wordt ingedamd. Dan kan je namelijk kijken of het proces buiten PowerFuse wel 100% kan snoepen. Indien ja, dan lijkt het erop dat er een OS-probleem is opgetreden op betreffende Terminal Server en misschien is het een idee om deze dan eens goed door te lichten met de genoemde tools.

offtopic:
Hoi pistole!

[ Voor 32% gewijzigd door MAX3400 op 11-12-2006 22:58 ]

[pistole]

lukt het dan ook niet om vanaf het netwerk zaken als perfmon te draaien?
wat gebeurt er eigenlijk als je het onmogelijk maakt voor gebruikers om in te loggen op die terminal server - gaat de load dan ook skyhigh? (zo ja: in welk proces)

offtopic:
MAX3400

[sanfranjake]

Powerfuse 7.01b is ook een erg oude versie, welk patchlevel zit Windows? Misschien kan je je daar eens op richten.
Staan er in de powerfuse-share\Watch veel .err bestanden? Zoja kijk daar eens in. Verder zou ik inderdaad ook even naar CPU en Memory Shield kijken want die werken voor geen meter zo te lezen ...

[Firefox]

@Max3400: Dat virtual servers niet identiek zijn in performance, dat ben ik met je eens. Het gaat voro de testserver dan ook primair om software functionalteits testen.... We hebben wat redelijk essentiele dotnet applicaties die in het verleden gevoelig reageerden op patches en updates/upgrades. Wat blijft is de karakteristiek die zich hier voordoet: de CPU tijd tot 100% vol duwen, en eenmaal door CPU Guard of handmatig gestopt komt daar een ander proces voor in de plaats. Hetgeen me dan ook de indruk geeft dat het geen fubar hardware is.

@ Pistole: Tsja, wat werkt is ping... overigens is het gewoon nada op het moment. Ook als ik logons disable en alleen zelf op de console ben ingelogged kan (mind kan, het wisselt), na bijvoorbeeld het klikken op een tabblad van taskmanager de load idd weer sky high gaan. Er is geen specifiek proces: proces naam varieert, en bij herhaling van zetten (stoppen van dat proces) neemt een ander proces de belasting over.

@sanfranjake: m.b.t. Powerfuse: Ik weet dat het een oude versie is. Ik ben officieel anderhalve week nu in dienst, dus nog niet veel tijd gehad om er in te duiken wat er aan versies achter loopt. (deze versie heeft ook problemen met AppGuard.sys i.c.m. DFS links die stop errors genereert, maar dat is een ander hoofstuk.

Windows wordt qua patchlevel maandelijks helemaal bijgehouden. Sinds 3e week november is dit dus t/m de november releases.

Zoals ik begrijp uit de help van CPU shield wordt de CPU usage ingetrapt na 10 seconde meer dan 85% CPU gebruik. Op het moment dat dat gebeurt worden de vrijkomende cycles weer door ander proces. (zelfde effect als wanneer je het proces zou afsluiten.) die Watch dir zal ik eens naar kijken.

[sanfranjake]

Die bestandjes kan je met notepad openen, gisteren vergeten te vertellen

Watvoor hardware is het? Dual/Quadcpu, 2 GB, 4 GB mem etc...

[ Voor 29% gewijzigd door sanfranjake op 12-12-2006 09:06 ]

[Firefox]

Dual Quad CPU? ehh.. nee, niet echt
1 en 2 zijn redelijk moderne dual Xeon CPU dozen, maar de machines die het probleem vertonen zijn HP ML370's uit het jaar 19noach. Single PIII 1400MHz met 1GB geheugen.

[Abom]

Check het geheugen gebruik van res.exe eens... Ik heb een keer gezien dat die service oneindig geheugen bleef claimen...heeft niet direct iets met CPU usage te doen...maar wie weet...

Voor de rest vind ik het een heel erg vreemd fenomeen. Is het niet een bepaald process wat telkens die load genereert?

[ Voor 11% gewijzigd door Abom op 12-12-2006 10:08 ]

[Abom]

Firefox schreef op dinsdag 12 december 2006 @ 09:49:
Dual Quad CPU? ehh.. nee, niet echt
1 en 2 zijn redelijk moderne dual Xeon CPU dozen, maar de machines die het probleem vertonen zijn HP ML370's uit het jaar 19noach. Single PIII 1400MHz met 1GB geheugen.

Uhm...vervangen?

[Firefox]

Vervangen? Van harte... no worries there. Ik wil niets liever dan de huidige TS omgeving compleet vervangen, en de betere servers daarvan eventueel nog hergebruiken. (Dual Xeons zijn nog wel aardig toch?). Eventueel met Softgrid spelen etc... leuke toekomst muziek die echt wel gespeeld gaat worden.

Het probleem is echter dat deze servers een specifiek stukje software bevatten dat niet zo snel over te zetten is, en benodigd is om financiele rapportages te draaien... Even snel vervangen zit er dus niet in. Zoals eerder gezegd is het dus geen specifiek proces.

[Abom]

Bekende situatie. Kijk eens of VMware en P2V je daarmee kan helpen.

Zo heb ik een oude server, waar een gaar pakket op draaide, naar nieuwe, fatsoenlijke hardware gezet...tot het vervangen was door een echt pakket.

Heb je al naar die res.exe gekeken?

[ Voor 15% gewijzigd door Abom op 12-12-2006 13:19 ]

[Tylen]

Heb je het probleem ook als je een windows desktop aanbied ipv een res desktop?

En als je wilt migreren naar nieuwe hardware kijk dan eens naar Platespin.

Gebruik je instant logoff van powerfuse en heb je daarbij toevallig ook UPHClean geinstalleerd van Microsoft?

Welke printer drivers gebruik je? PCL6?

[ Voor 7% gewijzigd door Tylen op 12-12-2006 11:30 ]

[Firefox]

@ Abom: Opzich moet het mogelijk zijn om de specifieke software opnieuw te installeren, zover bekend is alles aanwezig. Het probleem zit er meer in dat men op dit moment eigenlijk niet weet hoe het precies zit, en welke componenten er precies op moeten - en wat de impact er verder van is. Uitzoekertje duz. Helaas is de programmeur die de details van onze omgeving kende naar het schijnt ook weg bij de leverancier... ;-) - RES.exe is zover ik weet niets spannends mee geen afwijkend geheugengebruik t.o.v. andere servers ... Het probleem blijft, ook als de RES service is gedisabled.

@ Jeroen: Het probleem doet zich ook voor als ik met een explorer shell op de console ben ingelogged. Instant logoff zegt mij vrij weinig, maar aangezien het even duurt - ook op een normale werkende server - schat ik zo van niet. UPHC hebben we niet geinstalleerd staan volgens de add/remove programs.
Printerdrivers zijn volgens mij vaak al wat ouder, en een mengelmoesje van Kyocera, Minolta, Brother, Canon en HP drivers. Inktjet en Laserprinters.

___________________________________

Terugkomend op eerdere posts:
de Process Explorer: Processen die dus extreem zware belasting nemen wisselen per keer dat je kijkt, dit laat geen ander beeld zien dan de taskmanager. Ik kan daar geen andere logica in ontdekken dan dat een willekeurig proces vol op de CPU leunt, en bij afkappen een andere gaat speren.
de Performance Monitor: Helaas levert dit eigenlijk nix aan extra info op. Zover ik kan zien blijven alle counters vrij rustig - grafieken komen redelijk overeen met wat andere servers laten zien - , behalve de CPU counter...

[Abom]

Download process monitor eens, kijk eens of je daar meer mee kunt zien.

Ow, process explorer is waarschijnlijk etzelfde tooltje... Je kunt veel meer zien, ook subthreads enzo en andere processen die als child van een process draaien.

Een ding wat je nog probleemloos kunt proberen is de WMI-service een keer te stoppen, die heb ik ook wel eens vreemde dingen zien doen met een systeem.

[ Voor 55% gewijzigd door Abom op 12-12-2006 16:07 ]

[Firefox]

Zie vorige post: Gedaan, ik zie er geen dingen mee die ik niet met taskmanager zou zien....

Edit: Ah wacht, ik kijk zelf ook niet helemaal goed.... MS heeft dus NOG een processen monitor tooltje goed, ook gedownload om eens te kijken... vooralsnog eigenlijk weinig resultaat, aangezien het porgje vooral hangt. (krijgt geen tijd van de overige proggeltjes)

[ Voor 54% gewijzigd door Firefox op 12-12-2006 16:32 ]

[Microkid]

Wat ik nog steeds mis in je verhaal is : om welke processen gaat het? Je zegt wel dat het ene proces het stokje van het andere proces overneemt, maar zijn dat toevallig dezelfde processen? Ik zie wel eens dat bijv. winlogon of csrss of services hangt. Als Services 100% heeft, kan je middels "tasklist /svc" alle processen binnen een service bekijken, En dan ook even met Process Monitor inzien.
Een tijdelijk hulpmiddel is Threadmaster. Deze zet processen die 100% pakken na enige seconden op idle zodat er meer lucht komt. Maar zoals gezegd, dit is een pleister. De echte oorzaak moet je nog vinden.

[Firefox]

Hoi Micro,

Ik begrijp denk ik niet helemaal precies wat je bedoelt met dezelfde processen hierin. bedoel je te vragen of de ene explorer.exe het stokje van de ander over neemt? In ieder geval moet ik je vraag met Nee beantwoorden. Elk proces in de processenlijst kan dat stokje overnemen. Daar is voor mij nog geen logica in te vinden welke het om welke reden wordt. De ene keer is het explorer.exe, de andere keer winword.exe, de derde keer excel.exe, en dan weer taskmgr.exe. Evenzo wil res.exe, winlogon.exe of csrss.exe of lsass.exe de boel opknopen. Het is hoe dan ook schijnbaar volledige willekeur welk proces dit gaat worden.

Threadmaster werkt naar ik schat het zelfde als een CPUGuard van RES Powerfuse. Dit heeft met name tot gevolg dat processen een timeout gaan geven omdat ze even volledig worden weggeknepen. De CPU wordt effectief niet ontlast omdat een ander proces weer net zo hard gaat speren.

Waar ik nu toch heel sterk het vermoeden van krijg is dat dit probleem exotisch genoeg is om misschien dan toch over te gaan tot complete herinstallatie van de server ... De rapprotage software is vrij belangrijk, en ik kan het me niet veroorloven om de boel niet voor het weekeinde weer actief te hebben. Ik hoop alleen maar heel erg dat dit goed gaat met de ongedocumenteerde applicaties waar ik nu nog mee worstel.

ProcMon vreet zelf op de betreffende machine ontzettend veel capaciteit en reageert heel sloom als ik capture events aan heb staan, zet ik capture events uit, dan heb ik ineens idle time!? tot het moment dat ik ga scrollen, dan vreet ie weer 86 ~90% CPU tijd.... *zucht*

[LauPro]

Soms kan het zijn dat een paar ranzig-geprogrammeerde flash/js-applicatie (o.a. banners) 100% thread usage kunnen eisen. Als men dat ook nog tabs gebruikt en zo'n website 4 keer open heeft staan zorgt dat voor problemen.

[Microkid]

Hmmm, als alle processen 100% tijd willen hebben zit er idd iets goed fout. Zelf komt een virus momenteel bij me op. Draait er een goede virusscanner op de server? Kunnen gebruikers internetten vanaf deze server?
Je zal op een gegeven moment een keuze moeten maken: nog verder doorzoeken en nog meer tijd eraan besteden, of opnieuw installeren. Het laatste lijkt me zo te horen de enige oplossing.

[Firefox]

@ LauPro: Klopt, dat merk je wel eens bij fancy reclame banners op Fok (tenminste, daar kom ik ze nog wel eens tegen dat mijn PC stoom begint te blazen...) Dit probleem doet zich echter ook voor als de logons disabled zijn, en ik als enige ben ingelogged op de server.... En dan heb ik nog geen Internet Explorer open staan.

@ Microkid: Er staat een Virusscanner op die zover ik na kan gaan altijd netjes bijgewerkt is.... Goed is een persoonlijke smaak/definitie, zelf ben ik geen denderend voorstander van Symantec, maar een echt beroerde scanner kan het toch ook niet zijn. Microsoft Support lijkt het overigens wel met je eens te zijn dat dit viraal/spyware gedrag zou kunnen zijn, ik heb vandaar uit iig nu het advies gekregen om het nodige aan online spyware en virus killers los te laten op de machine. Benieuwd wat daar uit komt.