Crashende services/server Win2k3

[hullepim]

Hier op het werk hebben we ongeveer 6 weken geleden onze windows 2003 standard edition domain controller ingebruik genomen. Op deze server draait oa exchange 2003. Deze machine heeft 3 weken lang perfect gedraait, geen vuiltje aan de lucht. Maar na 3 weken kregen we crashende services. We hebben de server een reboot gegeven en de machine liep weer. Probleem leek dus opgelost. Maar na 2 dagen gebeurde het weer, ineens crashen er allerlei services en het enige wat helpt is een reboot. De machine doet dit nu om de 2 dagen, je kunt er zowat je stopwatch op gelijk zetten dat hij gaat. Ik zal de machine even beschijven:
Moederbord is een Intel Dual Xeon 7505 series
hierop zitten 2 Xeon DP 2,4Ghz 533 bus
2GB Kingston registerd dimm's
Promise S150TX4 Sata raid controller met daaraan 4 WD250GB schijven in raid 1 (500GB totaal)
Qlogic 64Bit 160MB/sec scsi controller met daaraan een Ultrium 1 200GB streamer
Een Asus dvd speler en Floppydisk op de onboard controller
Ati rage XL onboard videokaart met 8mb ofzo.
Nu zijn er een 2 tal vermoedens wat het zou kunnen zijn.
Om 1 van die vermoedens uit te sluiten hebben we nieuw geheugen besteld en daar mee te gaan werken. Het geheugen wat er inzit zou kapot kunnen zijn. Maar volgens mij zou je dan veel meer random crashes moeten zien? En zou je het dan ook niet eerder gemertk hebben, in test fase? De machine heeft ongeveer 2 maanden in test gedraait. Of kan geheugen na verloop van tijd kapot gaan?
De andere mogelijkheid is exchange. Aan de hand van het MS knowledge base article 815372. Met dat artikel kan je het geheugen gebruik van exchange optimaliseren. In het artikel klopt iets niet, of misschien kan 1 van jullie het mij uitleggen. Er staat in het artikel dat als je meer dan 1GB ram op je server hebt dat het dan het beste is voor exchange om in je boot.ini een switch mee te geven aan je windows loader. Die switch is /3GB /Userva=3030. Hiermee geef je aan windows op dat hij een groter geheugen bereik kan pakken en geef je exchange automatisch 896MB werkruimte. Maar in hetzelfde document staat ook dat je die switch beter niet kan gebruiken als je exchange server ook een domain controller is, het waarom staat er niet bij. Is mijn crashende server misschien de reden?
Op dit moment wordt de machine iedere avond preventief opnieuw opgestart, maar dit kan natuurlijk nooit de manier zijn. Heeft iemand enig idee?

[Gé Brander]

Je hebt het over "onder andere exchange". Wat draait er nog meer op behalve AD (domain controller) en Exchange?

[hullepim]

Er draait op het moment nog een exchange virusscanner van symantec op en verder dient de server als file en print server, en draait dns voor ons netwerk.
Echt een beetje de standaard dingetjes dus voor een klein netwerk.

[Grolsch]

hullepim schreef op 30 september 2004 @ 09:59:
Er draait op het moment nog een exchange virusscanner van symantec op en verder dient de server als file en print server, en draait dns voor ons netwerk.
Echt een beetje de standaard dingetjes dus voor een klein netwerk.

oei, ik hoor hier symantec

zet deze eens uit en crasht de server dan nog steeds

ik heb heel veel nare ervaringen met dat software pakket namelijk.

Krijg je in je event viewer nog specifieke meldingen

welke services knallen eruit

krijg je nog errors op je console

voor de rest zeg je dat je er de klok op gelijk kunt zetten.
Betekend dit dat het altijd rond dezelfde tijd gebeurd?
Zo ja, hoelaat, en staan er dan zaken in scheduled tasks oid?

[ Voor 13% gewijzigd door Grolsch op 30-09-2004 10:04 ]

[hullepim]

Er draaien wel scheduled tasks, maar dat is de backup. Die draaien iedere nacht om 3uur. De symantec scanner hebben wij erop gezet nadat we dachten dat de scanner van NAI dit veroorzaakte, maar het probleem is dus gebleven. Een fout die in de eventviewer iedere keer weer terugkomt is error 2019: the system was unable to allocate from the system non paged pool because the pool was empty.
Dat je je klok op gelijk kunt zetten bedoel ik dat de server bijna exact 2 dagen draaid voordat hij plat gaat. Als ik hem dus s'avonds reboot, dan gaat hij bijna exact 2 dagen daarna weer s'avonds. doe ik dus s'morgen dan gaat hij 2 over 2 dagen s'morgens weer.

[Grolsch]

zijn dit je symptonen:

SYMPTOMS
You may experience one or more of the following symptoms when you work with files over the network:
A Windows-based file server that is configured as a file and print server stops responding and file and print server functionality temporarily stops.
You experience an unexpectedly long delay when you open, save, close, delete, or print files that are located on a shared resource.
You experience a temporary decrease in performance when you use a program over the network. Performance typically slows down for approximately 40 to 45 seconds. However, some delays may last up to 5 minutes.
You experience a delay when you perform file copy or backup operations.
Windows Explorer stops responding when you connect to a shared resource or you see a red X on the connected network drive in Windows Explorer.
When you log on to the file server, after you type your name and password in the Log On to Windows dialog box, a blank screen appears. The desktop does not appear.
A program that uses remote procedure call (RPC) or uses named pipes to connect to a file server stops responding.
The server temporarily stops responding and one or more event ID messages similar to the following messages appear in the system log on the file server:

dan ligt het (volgens MS) aan je backup software, gebruik je toevallig arcserve cq. veritas?

check het volledige artikel:

http://support.microsoft....822219&Product=winsvr2003

[Verwijderd]

in de exchange scanner van NAI zit een bug die ervoor zorgt dat de exchange scanner 100% CPU gaat gebruiken. Hebben we nu bij 2 servers gehad en moesten via call bij NAI van hun naderhand een patch instaleren(deze is afaik niet openbaar te downloaden maar moet via hun support gaan)

Heb je de NAI virusscanner volledig verwijdert voor de instalatie van Norton?

Is dat probleem na instalatie van NAI begonnen?

Verdwijnt het probleem na deinstalatie van elke virusscanner ? (niet dat dit aan te bevelen is voor produktieomgeving - allen voor test)

[hullepim]

Sorry, ik ben het vergeten te vermelden, maar dat artikel heb ik al gehad. We hebben geen 3rd party backup software draaien, we maken de backup met windows backup. Wat wel een symptoom bij ons is dat bepaalde printers niet meer werken en clients niet meer kunnen connecten op het ad domain. maar dat kan dus heel goed te maken hebben met alle services die crashen, ze crashen allemaal 1 voor 1. tot wij hem dus rebooten.

[Verwijderd]

Ik zou de symantec zooi maar vervangen voor Norman ofzo....of wat ook perfect werkt is Webshield SMTP..... Symantec is rotzooi ,...

[hullepim]

Verwijderd schreef op 30 september 2004 @ 10:47:
in de exchange scanner van NAI zit een bug die ervoor zorgt dat de exchange scanner 100% CPU gaat gebruiken. Hebben we nu bij 2 servers gehad en moesten via call bij NAI van hun naderhand een patch instaleren(deze is afaik niet openbaar te downloaden maar moet via hun support gaan)

Heb je de NAI virusscanner volledig verwijdert voor de instalatie van Norton?

Is dat probleem na instalatie van NAI begonnen?

Verdwijnt het probleem na deinstalatie van elke virusscanner ? (niet dat dit aan te bevelen is voor produktieomgeving - allen voor test)

Die bug weet ik van, maar die is opgelost in SP1 van groupshield, wij hadden vanaf het begin af aan Groupshield met SP1. Het is ook zo raar dat dit probleem pas na 3 weken komt. De NAI scanner is ook echt volledig verwijderd. Het enige wat er van NAI nog draait is de autoupdate architect ivm met clients die nog wel de scanners draaien van NAI. Maar wat denken jullie van kapot geheugen? lijkt jullie dat waarschijnlijk?

[Brahiewahiewa]

hullepim schreef op 30 september 2004 @ 10:24:
...2019: the system was unable to allocate from the system non paged pool because the pool was empty...

Da's inderdaad te wijten aan die /3GB switch.
Je kunt 'm of weghalen samen met de userva switch of gaan spelen met de waarde van die userva switch; probeer eens userva=3000 of userva=2950

[Verwijderd]

ik zou ook eens een perfmon laten draaien, het lijkt erop dat die server uit z'n resources loopt. Alle counters van deze objecten:
- Cache

- Database

- Memory

- Objects

- Paging file

- Process

- Processor

- System

- Threads

- PhysicalDisk


Perfmon starten vlak na de reboot en uitzetten als het probleem zich weer voordoet.

edit: de /3gb niet gebruiken omdat de machine een DC is. Je kunt ook eens exchange best practices analyzer downloaden en runnen om te kijken of exchange goed geconfigureerd is.

[ Voor 21% gewijzigd door Verwijderd op 30-09-2004 10:57 ]

[hullepim]

Verwijderd schreef op 30 september 2004 @ 10:48:
Ik zou de symantec zooi maar vervangen voor Norman ofzo....of wat ook perfect werkt is Webshield SMTP..... Symantec is rotzooi ,...

Ik heb juist weer hele andere ervaringen met Symantec, ik ben er erg over te spreken. Configuratie e.d. is er mooi van hun. Maar het probleem ligt niet bij de symantec scanner aangezien we begonnen zijn met de scanner van NAI. en later pas de scanner van Symantec erop hebben gezet.

[Verwijderd]

http://support.microsoft....aspx?scid=kb;en-us;272568

Deze hebben ze met betrekking tot Norton - staat wel server 2000 maar zoveel verschil is er niet tussen 200 en 2003 wat file serving betreft.

Verder kan dit probleem ook voorkomen als je een virusscanner op je clients geinstaleerd hebt en deze ook de netwerkdrives scant.

[hullepim]

Brahiewahiewa schreef op 30 september 2004 @ 10:53:
[...]

Da's inderdaad te wijten aan die /3GB switch.
Je kunt 'm of weghalen samen met de userva switch of gaan spelen met de waarde van die userva switch; probeer eens userva=3000 of userva=2950

Dat dacht ik dus ook al ja, maar kan je me misschien vertellen wat het precies doet en inhoud, en dan met name die /userva switch, ik begrijp het namelijk niet helemaal. Kan je misschien ook vertellen waarom hij dan eerst 3 weken wel gewoon draaid en daarna crashed om de 2 dagen?

[ Voor 12% gewijzigd door hullepim op 30-09-2004 10:57 ]

[Brahiewahiewa]

hullepim schreef op 30 september 2004 @ 10:56:
[...]Dat dacht ik dus ook al ja, maar kan je me misschien vertellen wat het precies doet en inhoud, en dan met name die /userva switch, ik begrijp het namelijk niet helemaal. Kan je misschien ook vertellen waarom hij dan eerst 3 weken wel gewoon draaid en daarna crashed om de 2 dagen?

Met "/3GB" vertel je Windows om - in plaats van 2Gieg system, 2 Gieg User address space - het virtuele gegheugen te verdelen in 1 Gieg system en 3 Gieg user address space. Alleen is die 1 Gieg voor system soms te weinig; je loopt dan uit je non-paged pool.
Met de switch "/userva=xxxx" geef je aan dat de user address space niet 3Gieg (3072 Meg) is, maar xxxx Meg. Wat er overblijft 4096 - xxxx wordt voor system gebruikt. Per saldo vergroot je dus de user address space en dat komt voornamelijk ten goede aan je non-paged pool.
Overigens heb je met userva=3030 al 42 Meg extra toegewezen. Als dat niet genoeg is, bestaat er ook een kans dat je een system driver hebt waar een memory leak in zit. Als userva=2950 het probleem niet oplost, is dat definitief het geval; dan moet je met poolmon aan de slag om vast te stellen om welke driver het gaat.

[hullepim]

Brahiewahiewa schreef op 30 september 2004 @ 11:08:
[...]

Met "/3GB" vertel je Windows om - in plaats van 2Gieg system, 2 Gieg User address space - het virtuele gegheugen te verdelen in 1 Gieg system en 3 Gieg user address space. Alleen is die 1 Gieg voor system soms te weinig; je loopt dan uit je non-paged pool.
Met de switch "/userva=xxxx" geef je aan dat de user address space niet 3Gieg (3072 Meg) is, maar xxxx Meg. Wat er overblijft 4096 - xxxx wordt voor system gebruikt. Per saldo vergroot je dus de user address space en dat komt voornamelijk ten goede aan je non-paged pool.
Overigens heb je met userva=3030 al 42 Meg extra toegewezen. Als dat niet genoeg is, bestaat er ook een kans dat je een system driver hebt waar een memory leak in zit. Als userva=2950 het probleem niet oplost, is dat definitief het geval; dan moet je met poolmon aan de slag om vast te stellen om welke driver het gaat.

Daar zijn we nu mee aan de slag geweest en waarschijnlijk hebben we het gevonden. Dit weet ik natuurlijk pas zeker rond vrijdag. Maar waar het alle schijn van heeft is dat de memory leak in Promise Array management 3.2 ligt. Ik heb contact met Promise gehad en die vertelden dat ik versie 4 moest installeren. En dat het probleem met sommige hardware voor komt. Ook heb ik toen gezocht op groups.google.com en ik ben het vaker tegengekomen. Precies zoals wij het hebben. Ik zal het vrijdag laten weten!

[ArCadE]

Verwijderd schreef op 30 september 2004 @ 10:48:
Ik zou de symantec zooi maar vervangen voor Norman ofzo....of wat ook perfect werkt is Webshield SMTP..... Symantec is rotzooi ,...

mbwah... Norman en Exchange 2003, ik zou er niet aan beginnen... teveel problemen gehad. Misschien kan je beter kijken naar TrendMicro...

[Verwijderd]

Dus AD, exchange en fileserver op 1 server.

Hoe groot heb je je pagingfiles ingesteld?, Staan deze op een andere Disk.
De backups hoe heb je die ingesteld, alles op 1 systeem, kun je beter wat aparate backups maken, 1 voor System State(AD), 1 van je files, en 1 voor exchange.
Instellingen van je antivirus. Kun je die service voro de backup niet ff uitzetten, met een netsh command in een batch of vbscript.
Want alle files worden nogmaals gechecked tijdens de backup.

[hullepim]

Eindelijk,
We hebben het probleem gevonden en opgelost. Er lekte inderdaad een proces geheugen en wel de Promise array management versie 3.2. Ik heb hier over contact gehad met promise en die vertelde dat onder bepaalde omstandigheden op bepaalde hardware een geheugen lek ontstaat. Promise vertelde mij dat ik versie 4 moest installeren en dat het probleem dan opgelost zou zijn. Dat heb ik dus gedaan en het probleem is verdwenen. YES!
Een ieder bedankt voor zijn adviezen!

[Verwijderd]

je gebruikt toch GDVR geen promise in je server?! daar gebruiken wij nog altijd echte spullen voor!

[Verwijderd]

En dat is nuttig?