[SBS2003] Om de 2 a 3 weken server 'down'

[Paul]

Ik heb hier een Dell servertje staan P4, 1gb ram, hw raid1 en Small Business Server 2003 inclusief alle servicepacks, updates en patches.

Hierop staat de Kasperky Administration Server, Grote Beer voor Windows server-install, MSSQL, en verder niet zo heel veel. Er is tijdens de installatie (door Dell, standaard oem-install) wel Exchange geinstalleerd, en deze draait ook, maar hier ben ik met mijn tengels vanaf gebleven (maar het is wel de bedoeling die te gaan gebruiken.
Daarnaast draaien er de standaard dingen zoals DHCP, WINS en DNS.

Dan het probleem:
Om de zoveel tijd, het is nu al een paar keer voorgekomen maar echt precieze datums/tijden kan ik helaas niet geven, is het stuk. Men kan niet meer inloggen, DNS-querys verlopen, shares zijn niet meer benaderbaar etc.

Vreemd genoeg (en gelukkig) werkt Remote Desktop dan nog wel. De eerste keer dacht ik dat er iets mis was met de DNS. Service gestopt, wil niet meer starten Eventlog erbij: out of memory? Task manager erbij: 100% cpu in gerbuik en het hele geheugen vol. Van die eerste keer weet ik helaas niet meer welke processen zoveel geheugen en cpu gebruikten, maar ik meen me te herinneren dat Winlogon erg veel cpu en ruim 300mb ram (en slechts iets minder virtual) in ebslag nam.
Ik heb toen de server gereboot.

Een paar weken later was het weer raak. Weer cpu op 100, weer geheugen vol. Ik heb toen voor de reboot nog even wat screenshots gemaakt.
Zoeken in de eventlog werkt voor geen meter. Ik zit hier niet fulltime, en Exchange schrijft ettelijke honderden items per seconde weg naar de eventlog. Schijnbaar zit daar een limiet op van 16mb of zo, want het hele log staat vol met MSexchangeAL LDAP Operations 8026 "Server down" errors, waardoor de schuldige uit de log is verdwenen. Veemd genoeg is de security-log wel groter (64m) met 172k Success Audit-meldingen :|(

De cpu-hogs de laatste keer dat het "hing" waren svchost.exe(41), lsass.exe(25) en mad.exe(9). Aangezien de server 99% of meer idle is (zou moeten zijn) bereken ik uit de 560 uren System Idle cpu-time dat hij toen 24 dagen up is geweest.

Fysiek geheugen werd vooral ingenomen door sqlserver(113m), winlogon(103mb) en services(90mb) en dan nog een hele rij tussen de 50 en 10mb en een nog langere rij onder de 10.
Dit leek me dus niet zo'n probleem, daar was nog genoeg van vrij.

Virtual memory: Store(300mb), Winlogon(160mb) SQLServer (120mb) en een lage rij 60..10, korter maar gemiddeld wel hoger dan fysiek geheugen. Ook dit zou dus niet vol zitten. Waarom Exchange (store) 300mb nodig heeft om niets te doen is me niet duidelijk, maar soit.

Ik heb een poging ondernomen een antivirus-ding los te laten op de server (Trend Micro housecall) maar daarvoor moet ik zoveel IE settings slopen dat ik dat maar niet gedaan heb.
Al onze werkstations draaien Kaspersky Antivirus Business Optimal, dus een virus dat door iemand op een netwerkschijf is gezet en vervelgens door mij (de enige beheerder) is gestart lijkt me toch al vrijwel uitgesloten.

Iemand enig idee waar ik kan zoeken waarom hij steeds vastloopt of zelfs de oplossing al heeft?

[DukeBox]

Als je exchange (nog) niet gebruikt zet dan die service uit. kan je i.i.g. uitsluiten of het daar aan ligt.

[NBK]

DukeBox schreef op dinsdag 07 februari 2006 @ 13:36:
Als je exchange (nog) niet gebruikt zet dan die service uit. kan je i.i.g. uitsluiten of het daar aan ligt.

Bovendien loopt dan je eventviewer niet vol met exchange meuk.

[Paul]

Tja.. Een "/etc/init.d/exchange stop" zit er natuurlijk niet bij geleverd Gewoon in de services-manager alles waar het woord exchange in staat stoppen ("Microsoft Exchange (blabla) " en "Microsoft connector for pop3")?

Unlike SQL-server kun je in de Exchange-manager de server niet stoppen of starten...

[Verwijderd]

Gewoon de system attendant stoppen, dan wordt de rest vanzelf gestopt. Heb je verder al eens perfmon laten draaien? Wat staat er in je system event log op het moment dat de server er mee stopt?

[Paul]

Als ik de System Attendant stop dan blijven MS Exchange Routing Engine en MS Exchange Management blijven. Is "Exchange" dan toch gestopt?

Permon draaien: nu of zodra hij vast staat? Qua logs: de log in de TS is de Application Log . In de System-Log begint het, vanuit het niets (als in: ruim 4 uur na het laatste event, allemaal van type "information: document bla is uitgeprint") , met "Error 17-01-2006 22:48:15 Srv Event 2019" met als beschrijving "The server was unable to allocate from the system nonpaged pool because the pool was empty."

Ik krijg trouwens mailtjes als die server reboot is, dus alle reboots van voor het probleem tot nu toe:

Uptime tot probleem	Probleem op	Probleem	Reboot
37 dagen	-	(auto) Windows update	17-12-2005 03:20
14 dagen	31-12-2005 03:42	Srv 2019 Non-paged pool empty	02-01-2006 12:35
4 dagen	-	(auto) Windows update	06-01-2006 03:18
12 dagen	17-01-2006 22:48	Srv 2019 Non-paged pool empty	18-11-2006 16:23
12 dagen	30-01-2006 12:37	Srv 2019 Non-paged pool empty	31-01-2006 13:38

Die laatste wordt een half uur eerder nog wel vooraf gegaan door een VolSnap 21: The flush and hold operation for volume C: was aborted because of low available system memory.

De page-file setting stond tot een minuut geleden op 1524-3048 op C: (niet door mij gedaan, zal de default wel zijn? Iig dan die op Dell servers ) naar System managed op C: en D: zodat die kan groeien tot 37 gieg indien nodig, maar dat is geen oplossing natuurlijk.
Bovendien wil hij hiervoor herstarten, dus met het daadwerkelijk doorvoeren wacht ik tot Windows update het voor mij doet of hij weer vastloopt... Over een week (als ik die gegevens zo mag extrapoleren) loopt hij weer vast, tenzij Windows Update weer langs komt

[ Voor 4% gewijzigd door Paul op 07-02-2006 19:53 ]

[Verwijderd]

Als ik de System Attendant stop dan blijven MS Exchange Routing Engine en MS Exchange Management blijven. Is "Exchange" dan toch gestopt?

Ja, de IS is de meest belangrijke (MSExchangeIS)

Wat voor antivirus draait er op de server? Als ik google kom ik een hoop van deze meldingen tegen mbt bijvoorbeeld symantec of mcafee.

[alt-92]

Paul Nieuwkamp schreef op dinsdag 07 februari 2006 @ 15:13:
Tja.. Een "/etc/init.d/exchange stop" zit er natuurlijk niet bij geleverd

net stop msexchangesa /y

Standaard Windows Services commandline parameters hoor.

Sowieso is dat wel verstandig om op een SBS server vóór je een reboot geeft dat command uit te voeren..

Over een week (als ik die gegevens zo mag extrapoleren) loopt hij weer vast, tenzij Windows Update weer langs komt

Morgen dus Of heb je de maandelijkse patchday niet in je agenda staan?

[ Voor 23% gewijzigd door alt-92 op 07-02-2006 21:52 ]

[Zwelgje]

.cmd file bakken en die in een shutdown script zetten, die je in je GPO douwt van die server

[alt-92]

* alt-92 heeft het reboot commando er maar aangekoppeld

[Paul]

Verwijderd schreef op dinsdag 07 februari 2006 @ 21:18:
Wat voor antivirus draait er op de server? Als ik google kom ik een hoop van deze meldingen tegen mbt bijvoorbeeld symantec of mcafee.

Momenteel helemaal geen. Alle clients hebben Kaspersky Business Optimal, de andere servers (2x Linux) hebben ClamAV, maar de SBS heeft (nog) helemaal niets.

Aangezien de SBS erg moeilijk doet in IE (letterlijk alles wordt geblokkeerd totdat ik het expliciet toesta) download ik alles op de laptop (KAV) waarna het naar de fileserver gaat (ClamAV) en haal ik het in een RDP-sessie ga gebruiken.
Aangezien er dan al 2 AV-programma's overheen zijn gegaan denk ik niet dat ik een virus heb, en er staat ook geen AV op die allerlei resources staat op te sparen.

BackSlash32 schreef op dinsdag 07 februari 2006 @ 21:51:
[...]

net stop msexchangesa /y

Standaard Windows Services commandline parameters hoor.

Die ken ik wel, maar ik bedoelde meer dat er een stuk of (even uit mijn hoofd) 7 Exchange-services zijn. Als je niet weet dat de SA de enige is die je hoeft te stoppen...

Sowieso is dat wel verstandig om op een SBS server vóór je een reboot geeft dat command uit te voeren..

Mag ik vragen waarom? Windows stopt toch automatisch alle services voordat hij uitgaat?
Of is dat zo'n langdurend iets dat het een time-out oplevert en Windows er de botte bijl overheen haalt?

Morgen dus Of heb je de maandelijkse patchday niet in je agenda staan?

"Patch tuesday", 1e dinsdag van de maand toch? Nope, heb ik niet. Daarnaast: niet iedere eerste dinsdag van de maand reboot hij, _en_ is hij nu al 2x gereboot vanwege een update op een andere dag dan de 1e dinsdag (die 2 in de lijst hierboven zijn respectievelijk een zaterdag en een vrijdag, waarbij de 17e niet eens in de eerste week ligt), dus om er nu vanuit te gaan dat hij morgen reboot? Ik durf het niet met zekerheid te zeggen...

[ Voor 57% gewijzigd door Paul op 07-02-2006 22:12 ]

[0fbe]

Mag ik je er wel even op wijzen dat Exchange al het lege geheugen gebruikt. Dus het is niet raar als je met 100% geheugen vol draait. Maar hij zou het geheugen wel terug moeten geven als het ergens anders nodig is.

[ Voor 24% gewijzigd door 0fbe op 07-02-2006 21:57 ]

[alt-92]

timcooijmans schreef op dinsdag 07 februari 2006 @ 21:57:
Mag ik je er wel even op wijzen dat Exchange al het lege geheugen gebruikt. Dus het is niet raar als je met 100% geheugen vol draait.

Boude bewering...
Ik heb toch een aantal Exchange dozen in beheer, maar die lopen echt niet allemaal strontvol hoor...

[Zwelgje]

timcooijmans schreef op dinsdag 07 februari 2006 @ 21:57:
Mag ik je er wel even op wijzen dat Exchange al het lege geheugen gebruikt. Dus het is niet raar als je met 100% geheugen vol draait. Maar hij zou het geheugen wel terug moeten geven als het ergens anders nodig is.

kwestie van tunen van je EseBuffer size, dan kan je exchange (net zoals je vroegah kon met exchange 5.x) weer netjes instellen kwa geheugengebruik

http://support.microsoft.com/?kbid=815372

[Jazzy]

Paul Nieuwkamp schreef op dinsdag 07 februari 2006 @ 21:53:
Aangezien de SBS erg moeilijk doet in IE (letterlijk alles wordt geblokkeerd totdat ik het expliciet toesta) download ik alles op de laptop

Control Panel, Add/remove programs, Windows components, vinkje weghalen voor Internet Security Browsing oid.

[The Eagle]

Exchange is sowieso erg gretig vwb geheugen - dus uitschakelen als je het niet gebruikt kan sowieso nooit kwaad

Je zegt dat je er met een remote desktop verbinding wel bij kunt. Hoe start je die precies? Wij hadden bij ons een probleem met een server die ook constant RPC-calls kreeg en op een gegeven moment krakend vastliep. Wat bleek: er werd van RDP gebruik gemaakt met de /console optie aan. De sessie bleef daardoor bestaan, waardoor er steeds minder sessies overbleven voor andere dingen. Tot het op een gegeven moment genoeg was voor die bak. Meer geheugen lostte het probleem alleen tijdelijk op - op een gegeven moment sloeg ie toch weer vast. De console optie niet meer gebruiken scheelde al een heel stuk
Verder kun je eens kijken naar http://support.Microsoft....aspx?scid=kb;EN-US;126962 Da's iets met background services en de te gebruiken hoeveelheid ram.
Ook kun je de server proberen te optimaliseren voor achtergrondservices. Dat doe je

To change the value of this entry, in Control Panel, double-click System, click the Advanced tab, click Performance Options, and then, in the Application response section, select either Applications or Background services. Clicking Applications sets the value of this entry to 100110, and provides for short, variable-length processor intervals in which foreground processes get three times as much processor time as do background processes. Clicking Background services sets the value of this entry to 011000, and provides for longer, fixed-length processor intervals in which foreground processes and background processes get equal processor priority.

(c) PeopleSoft Inc.

[Paul]

Jazzy schreef op dinsdag 07 februari 2006 @ 22:14:

Mwoah, ik vind het wel zo veilig Ik heb me gewoon aangewend niet te browsen op de server, moet ik iets weten minimaliseer ik wel even de Remote desktop sessie

The_Eagle schreef op dinsdag 07 februari 2006 @ 22:18:
Je zegt dat je er met een remote desktop verbinding wel bij kunt. Hoe start je die precies?

Start -> Programs -> Accessories -> Communications -> Remote Desktop Connection, en sinds kort met een snelkoppeling op het bureaublad (sinds ik steeds vaker ook naar een andere bak RDP, de ene over 100mbit de andere met 50kb upload -> beiden wat andere instellingen).
Ik kan nu niet bij mijn laptop (staat op de zaak) maar ik zal kijken hoe de console-optie staat in die snelkoppeling.

Ik ben overigens steeds minder aanwezig daar, dus 3 RDP-sessies per week is veel. Een SB-server kan toch maar maximaal 2 sessies aan (tis geen terminal-server), maar ik krijg wel altijd hetzelfde voor mijn neus, als ik vertrek met (bijvoorbeeld) de GPO's en de DNS-admin open, dan krijg ik die ook, op exact dezelfde plaats, terug als ik de volgende keer weer RDP start.

Verder kun je eens kijken naar http://support.Microsoft....aspx?scid=kb;EN-US;126962 Da's iets met background services en de te gebruiken hoeveelheid ram.

Ik betwijfel of de default Exchange (met niets te doen), SQL-server (voor boekhoudpakket 1 user en KAV), WSUS en het zelf geinstalleerde Kasperky Admin Kit(*) onder "Large number of programs running" valt.

(*) 8 clients, laten ze ieder om de 5 minuten een keer hoi roepen en iedere dag 300kb updates binnenhengelen --> Gaap

Ook kun je de server proberen te optimaliseren voor achtergrondservices.

Dat is hij al.

Om de standaard "taken" te vergelijken met de vastloopmomenten:
Taken:
- Server auto-update: 3 uur 's nachts
- WSUS synchronisatie met internet: 18:30
- Backup naar tape: 23:00, klaar om 01:30
- KAV update vanaf internet: 16:00
- KAV Update clients: 10:05 +/- 5 minuten (kleine pauze)
- KAV Fullscan clients: 12:30 op woensdag (grote pauze)

Eerste melding system-log:
- 3:42
- 22:48
- 12:37

Komt geen van allen echt overeen. De 1e hang met de server-auto-update en de derde hang met de full-scan(maar wel een dag te vroeg), de rest is minimaal 2 uur eerder maar zonder consistentie in de tijden...

Leuk debuggen, zo'n niet-reproduceerbaar "incidenteel" iets...

[ Voor 3% gewijzigd door Paul op 07-02-2006 23:39 ]

[Sundead]

Zou je kunnen vertellen welke versie van de KAV administration kit je momenteel gebruikt?

Wij hebben een soortgelijk probleem gehad, waarbij de server 1x in de zoveel tijd "vastliep" en deze een reboot nodig had om weer overeind te komen (win2k3 & win2k beide)

Al met al bleek hem dit aan de KAV administration kit te liggen, waarbij het maken van een backup van de administration kit, het deinstalleren, en het installeren van de meest recentelijke uitvoering van de KAV administration kit de oplossing bleek te zijn.

De logfiles gaven bij ons ook weinig duidelijke aanwijzigingen die naar de oorzaak wezen.

[Verwijderd]

Leuk debuggen, zo'n niet-reproduceerbaar "incidenteel" iets...

Perfmon zal je waarschijnlijk een stuk vooruit helpen want daar ga je zeer waarschijnlijk in zien welk proces `leakt'.

[Paul]

Ik kan in de snelkoppeling naar de RDP-verbinding niets vinden dat met (het verbinden naar) console te maken heeft. Volgens mij connect je met sbs2003 altijd naar de console, want de licentie houdt TS-werk tegen...

Sundead schreef op woensdag 08 februari 2006 @ 10:03:
Zou je kunnen vertellen welke versie van de KAV administration kit je momenteel gebruikt?

Nope. Ik kan nergens in de admin-kit een versienummer vinden dat ook maar enigsinds lijkt op het "5.0.1104" dat op de Kaspersky-download-pages staat.
Maar goed, de laatste versie installeren kan nooit kwaad lijkt me

Edit: of ik loop gewoon gigantisch achter, dat kan ook natuurlijk...
Filename installfile geinstalleerd: kasp1.16.0341_adminkit5en.exe
Filename installfile te downloaden: kasp5.0.1104_adminkiten.exe

Verwijderd schreef op woensdag 08 februari 2006 @ 12:22:
[...]

Perfmon zal je waarschijnlijk een stuk vooruit helpen want daar ga je zeer waarschijnlijk in zien welk proces `leakt'.

Dan moet ik eens op zoek naar een deftige handleiding voor perfmon, want ik krijg er nooit meer uit dat het totaal aantal vrije mb, het totaal gebruikte processorbelasting etc, niets per process

[ Voor 10% gewijzigd door Paul op 08-02-2006 15:24 ]

[alt-92]

Of je pakt de Performance Advisor...

http://www.microsoft.com/...85da075a73&displaylang=en

Het nadeel van perfmon is dat deze zelf ook weer belasting oplevert, met SPA kun je een (lichtere) trace laten aanmaken en die nakijken.

Ik kan in de snelkoppeling naar de RDP-verbinding niets vinden dat met (het verbinden naar) console te maken heeft. Volgens mij connect je met sbs2003 altijd naar de console, want de licentie houdt TS-werk tegen...?

Onzin.

Als je dat niet met de Remote Desktops snapin doet van je Admin Tools maar gewoon met de Remote Desktop Client van XP kan je niet eens naar de console connecten.

Dan mag je eerst @ commandline mstsc /cons doen als je dat wilt.

[ Voor 79% gewijzigd door alt-92 op 08-02-2006 18:45 ]

[Verwijderd]

Hallo,

Wij hebben het zelfde probleem dat zowat elke avond of nacht het probleem zich voordoet
zo uit het niets wij hebben het probleem gekregen nadat wij de windows updates hadden bij gewerkt.

verder hebben wij veritas 10d draaien deze inmiddels ook al geupdate
trend micro smb
en apc software.

Voor de rest is het alleen de software van microsoft zelf
alles draait op een ml350

ook zien wij geen geheugen piek op het moment van onstaan.


Hebben jullie inmiddels al een oplossing voor het probleem

Alvast bedankt voor de eventueele reacties

[sanfranjake]

Het lijkt mij verstandiger als jij even een eigen topic over je specifieke probleem opent. Een ML350 is niet van Dell, en aangezien er niet expliciet een aanwijzing is dat jouw probleem écht hetzelfde is vind ik het geen goed idee om hier verder te gaan.

[Paul]

De logmeldingen "Srv 2019 Non-paged pool empty" hadden 100% gelijk, net zoals Sundead. Na lang zoeken inderdaad ook in de changelogs van de KAV admin een item over de non-paged pool gevonden.
Die was bij ons dus de schuldige.

Staat er echt niets in de logs? Bij mij stond er, hoewel ik dus achteraf pas weet dat het dat inderdaad was, precies wat het probleem was.

Gaat het iedere avond rond hetzelfde tijdstip fout? Dan zou je dus vlak voordat het fout gaat in kunnen loggen op de server en zo veel mogelijk gegevens opvragen (vrije geheugen, paged, non-paged, disk-IO's etc.

Gaat het steeds _op_ hetzelfde tijdstip fout dan zou ik een geplande taak (oid) verdenken.