[2003] Virtual Memory problemen (TS servers)

[PuijkeN]

Sinds kort hebben we hier performantieproblemen met onze TS servers. Er draaien hier 4 van deze servers (3 gelijke en 1 afwijkende configuratie) waarop men connect via een cluster (die kiest op welke server men uiteindelijk komt).

Dus het probleem sinds kort is dat onze gebruikers ervaren dat het ERG traag is (lees: een zin typen, en die dan letter per letter zien verschijnen). Er is reeds vanalles gecontroleerd maar het probleem blijf.

We hebben onze pagefiles op de server intussen vergroot en dit leek in het begin het probleem iets op te lossen. Maar nu een tijdje later komen dezelfde problemen terug.

Monitoring software vertelt mij dat het "Virtual Memory" vol zou moeten zitten.
Pagefile wordt amper 25-30% gebruikt, maar Virtual Memory hebben we slecht 0 - 5 % vrij...

Kan het probleem hier aan liggen? En heeft iemand hier een oplossing voor?

[seq_uence]

Hoeveel intern geheugen is er beschikbaar ?
Worden de T-servers elke nacht gereboot ?
Zijn de servers correct geconfigureerd voor terminalserver gebruik ? Dus performancetweaks e.d. allemaal uitgevoerd ?


edit:

Geef eens wat meer info over de hardware en welke apps er nog meer op die servers draaien.
Wat heb je zelf allemaal al geprobeerd ?
Via google, microsoft e.d geen info gevonden over jouw probleem ?

[ Voor 34% gewijzigd door seq_uence op 10-01-2007 20:27 ]

[sanfranjake]

Je zou dit probleem ook in de netwerkverbindingen kunnen zoeken

[PuijkeN]

seq_uence schreef op woensdag 10 januari 2007 @ 20:25:
Hoeveel intern geheugen is er beschikbaar ?
Worden de T-servers elke nacht gereboot ?
Zijn de servers correct geconfigureerd voor terminalserver gebruik ? Dus performancetweaks e.d. allemaal uitgevoerd ?


edit:

Geef eens wat meer info over de hardware en welke apps er nog meer op die servers draaien.
Wat heb je zelf allemaal al geprobeerd ?
Via google, microsoft e.d geen info gevonden over jouw probleem ?

Het gaat om 4 virtuele machines. Deze worden gehost door 3 Linux ESX servers, alle servers draaien Windows 2003 Standard Edition.

3 servers beschikken over een dual-core 2ghz amd met 2.5gb geheugen per server.
1 server beschikt over een 2ghz amd met 2gb geheugen.

Deze staan in een "cluster" die normaal aan load-balancing doet (iemand die hier trouwens meer over weet, load balancing verdeelt de users niet goed??). De problemen komen vooral op 3 van de 4 servers voor. Status van de servers is OK, enkel soms het virtuele geheugen dat vol komt te zitten (minder dan 5% free). Pagefile en RAM zijn dan 70%, respectievelijk 60% free.

Netwerkmonitor heb ik al eens opgezet, denk niet dat het daar aan ligt. Af en toe eens een piekje van 60-70% maar voor de rest behoorlijk stabiel.

Alles wordt voor de rest gemonitord door een programma, indien bijvoorbeeld de CPU 1 minuut boven de 90% gaat krijgen we rapporten. Dit gebeurt echter heel uitzonderlijk (lees: 3x week ofzo). Ik vermoed dus dat de servers krachtig genoeg zijn maar dat er ergens iets misgaat bij het geheugen -> pagefile, virtual memory, ...

Reeds veel uitleg gelezen op google en microsoft site maar weinig of niks bruikbaars gevonden. De /3gb switch is in mijn geval niet handig denk ik, omdat het gaat om veel kleine programma's. In tegenstelling tot bijvoorbeeld een Exchange server die massas geheugen nodig heeft in één proces, heb ik ze nodig in verschillende tientallen processen.

[ Voor 20% gewijzigd door PuijkeN op 11-01-2007 10:25 ]

[djluc]

Dat rebooten heb je niet beantwoord, of ik lees er overheen...

[PuijkeN]

djluc schreef op donderdag 11 januari 2007 @ 10:56:
Dat rebooten heb je niet beantwoord, of ik lees er overheen...

Klopt, heb ik overlezen. Wel kijk, dit ligt ook nogal moeilijk, aangezien er mensen 's nachts op werken. Stel dat ze gemiddeld 1 keer per week worden gereboot.. iedere avond is bjina onmogelijk...

Maar, sinds de problemen begonnen zijn, zijn ze eens gereboot ('s nachts om 1 uur), en tegen diezelfde dag 's middags zijn er alweer snelheidsproblemen.

[Question Mark]

Is er iets aangepast aan de omgeving?

Nieuwe software geinstalleerd, andere werkprocedures voor de TS-gebruikers, patches uitgerold, etc.

Hoeveel users connecten eigenlijk naar die Terminal Servers?

[djluc]

Heb je grafiekjes waarin je de load kunt zien, het groeiende geheugengebruik, door welke applicaties enzovoorts? Daarnaast heb je een cluster. Wat je dus doet iedere nacht is: Zorgen dat niemand nieuws meer op server 1 kan aanmelden. Vervolgens wachten tot de mensen verdwijnen van server 1, de laatste laat je software een berichtje sturen waarna ze ook uitloggen. Vervolgens kan je die server booten en ga je door naar de volgende.

[PuijkeN]

Ongeveer 50 mensen zitten verdeeld over die 4 servers.

Raar genoeg is het de lichtste server, waar het meeste volk op zit. De load-balancing van zo'n cluster is onbegrijpbaar?

Voor de rest is er niks veranderd aan de omgeving, servers draaien nogaltijd hetzelfde, evenveel mensen, zelfde programma's, etc.. etc..

Geheugengebruik heb ik al in de gaten gehouden, hier en daar zijn er grote processen (bv. outlook.exe). Maar zo'n process neemt dan volgens Taakbeheer zo'n 100mb in, en als je dan extra kolommen gaat toevoegen met Virtual Memory dan zie je dat diezelfde applicatie wel 250mb nodig heeft in Virtual Memory.

[PuijkeN]

Indien het niet aan het geheugen zou liggen (wat ik meer en meer begin te geloven), aan wat zou dit dan nog kunnen liggen? Ik zal nog even wat extra uitleg geven...

De mensen die op die servers werken zitten telkens op verschillende locaties. Dus bijvoorbeeld 10 gebruikers op plaats A, nog eens 5 gebruikers op plaats B, dan eens 2 gebruikers op plaats C, terug 10 gebruikers op plaats D, etc... -> verbindingen van die mensen zijn dus in orde, aangezien iedereen klaagt??

Het komt voor op gelijk welke server, zowel op de zwaarste machines, als op de lichtste machines!
-> hardware is snel genoeg

Iemand enig idee wat er nog in de gaten te houden valt? Of wat er nog kan gecontroleerd worden... ?? Bijna ten einde raad hier!

En nog een extra bijkomend vraagje ivm met de load-balancing. Hoe gebeurt dit of op basis waarvan wordt dit beslist? Zo zien we de laatste tijd dat er op de lichtste machine, het meeste volk zit.

PS: kan een mod eventueel de topic titel aanpassen naar 'Trage TS servers' ? Denk dat het niet echt meer geheugenproblemen zijn...

[ Voor 6% gewijzigd door PuijkeN op 11-01-2007 15:47 ]

[Question Mark]

PuijkeN schreef op donderdag 11 januari 2007 @ 15:46:
Indien het niet aan het geheugen zou liggen (wat ik meer en meer begin te geloven), aan wat zou dit dan nog kunnen liggen?

Terminal Services aanbieden via gevirtualiseerde machines wordt sterk afgeraden. 't is leuk voor testdoeleinden voor een paar users, maar met groter aantallen users stort je performance in.

PuijkeN schreef op donderdag 11 januari 2007 @ 15:46:
De mensen die op die servers werken zitten telkens op verschillende locaties. Dus bijvoorbeeld 10 gebruikers op plaats A, nog eens 5 gebruikers op plaats B, dan eens 2 gebruikers op plaats C, terug 10 gebruikers op plaats D, etc... -> verbindingen van die mensen zijn dus in orde, aangezien iedereen klaagt??

Zegt niks, verbinding van de lokatie waar de TS-farm staat kan wel overbelast zijn. Je zult toch echt moeten gaan meten om dit uit te sluiten.

PuijkeN schreef op donderdag 11 januari 2007 @ 15:46:

Het komt voor op gelijk welke server, zowel op de zwaarste machines, als op de lichtste machines!
-> hardware is snel genoeg

Zegt niks, ook de meest zware hardware kan overbelast worden. Wederom meten om het zeker te weten.

PuijkeN schreef op donderdag 11 januari 2007 @ 15:46:
En nog een extra bijkomend vraagje ivm met de load-balancing. Hoe gebeurt dit of op basis waarvan wordt dit beslist? Zo zien we de laatste tijd dat er op de lichtste machine, het meeste volk zit.

Ligt aan het type loadbalancer en hoe deze ingesteld staat. Je kunt bv loadbalancing op:

• basis van source ip-adres
• via DNS round robin
• Loadbalancing op basis van W2K(3) met session-redirection
• etc.

Jij zult beter weten hoe je het ingesteld hebt dan ons...

Kortom, je zult echt moeten gaan meten om je bottleneck te bepalen. Een handige tool hiervoor is de Performance Monitor Wizard. Deze tool richt aan de hand van enkele gestelde vragen (een wizard) de Perfomance monitor helemaal voor je in zodat de voor je relevante counters gemeten worden.

[Zwelgje]

je hebt in die VM toch niet 2 cpu's toegewezen (dat kost je namelijk veel performance) een vm moet je draaien met 1 cpu, ook al heeft je host 2 cpu's (of meer)

[PuijkeN]

Neen er is telkens maar 1 cpu toegewezen, het zijn dual-core cpu's.

Het probleem is ongeveer opgelost, de servers zijn allemaal eens herstart en hebben nu het commando om virtual memory leeg te maken bij reboot.

Snelheid was merkbaar beter!!

Verbinding naar waar de servers staan is zeker en vast snel genoeg -> gemeten op verschillende locaties met verschillende ISP's.

Voorlopig lijkt het probleem dus opgelost en lag het aan het virtuele geheugen. Er werken nog steeds evenveel users op met dezelfde programma's, maar de mensen klagen niet over snelheid!:

[Verwijderd]

PuijkeN schreef op donderdag 11 januari 2007 @ 15:46:
Indien het niet aan het geheugen zou liggen (wat ik meer en meer begin te geloven), aan wat zou dit dan nog kunnen liggen? Ik zal nog even wat extra uitleg geven...

disk performance? Draaien er nog meer vm's op de esx servers? (btw linux esx bestaat niet. Het is esx die toevallig een linux interfaceje gebruikt )

En nog een extra bijkomend vraagje ivm met de load-balancing. Hoe gebeurt dit of op basis waarvan wordt dit beslist? Zo zien we de laatste tijd dat er op de lichtste machine, het meeste volk zit.

Zorg ook dat je switches goed geconfigged zijn. Een manier om dat te testen is mensen op 1 machine in te laten loggen ipv het nlb adres. Als het dan wel snel is, heb je dikke kans dat je switches niet lekker omgaan met nlb.

[seq_uence]

Ik vraag me af of het virtualiseren van terminal server wel zo handig is, het is bekend dat virtualiseren van bv. een Exchange server niet geadviseerd wordt omdat een virtuele server 15% diskperformance verliest, dit is ook op een terminal server belangrijk.

Zelf zou ik onze terminal servers niet snel virtualiseren, al was het alleen maar on redundant te blijven in m'n hardware.

[sanfranjake]

seq_uence schreef op maandag 15 januari 2007 @ 12:30:
Zelf zou ik onze terminal servers niet snel virtualiseren, al was het alleen maar on redundant te blijven in m'n hardware.

Daarom zou je natuurlijk nooit een single-node ESXomgeving neer moeten zetten...

Terminal servers virtualiseren wordt met ESX3 wat beter ondersteund, maar performance is toch nog steeds om te huilen (ik heb het voor de exoten-citrix geprobeerd).
Leuk demofilmpje van Ron Oglesby erover, erg leerzaam: http://www.brianmadden.com/content/content.asp?ID=620

Kan het niet echt raar vinden dat ts deze problemen heeft. Het zou fijn zijn als zaken als vmware in de topicstart vermeld worden, omdat die zeker met dit soort zaken erg veel invloed op de operatie hebben.