[2003] Server hangt na een paar weken

[Verwijderd]

Wij hebben een klein projectje dat bestaat uit een tomcat server, een mySql server en een apache server. Vanwege een bepaalde aandeelhouder (naam begint met een m) waren we verplicht om dit op windows2003 te laten draaien.
De server zelf is een Asus A8N SLI deluxe (don't ask) , venice 3200+ , 1GB corsair, 2 SATA 160s in mirror ... drivers , bios etc. zijn allemaal up to date

Het ding loopt om de 2-3 weken vast, ik ben zeker dat het geen HW probleem is en er wordt ook niets warm. Nu kan je zeggen 2-3 weken is toch lang voor windows (wat bij ons ook lang is voor win2000 bakken die zware load hebben), maar gezien de load op deze machine en het feit dat het toch de 2003 is, zou ik toch wel minstens een aantal maanden verwachten.

De applicatie die erop draait reageert op een bepaald moment niet meer, en wanneer je dan inlogt lijkt alles op het eerste zich ok, maar je merkt dat windows aan het freezen is. Dus dan doen we een hard reboot, ding komt terug up, en na het opstarten krijgen we 20-30 apache dll foutboodschappen die zich voorgedaan hebben in de uren voor de crash.

Ik ken niet veel van windows, dus weet niet echt wat het kan zijn.

Is dit een nforce4 probleem - apache probleem? beide dingen die massaal samen gebruikt worden en problemen kom je er niet over tegen.

Wat ik denk dat het zou kunnen zijn:

netwerkprobleem , waardoor apache doordraait ?
memory leak in een van de apps ?

....
windows kenners tell me what to do ...

[Spivvi]

Kun je niet kijken welk programma veel teveel geheugen of processorkracht vreet?

[Verwijderd]

Dat is het moeilijke aan de zaak, we zijn er te laat bij. En aangezien dit een soort van projectje on the side is, is er geen tijd of budget om aan degelijke monitoring te doen.

Maar denk je dat dit daadwerkelijk veroorzaakt kan worden door geheugenissue ?

Tomcat is pure java, dus die kan het al zeker niet zijn

[ThunderNet]

"Tomcat is pure java, dus die kan het al zeker niet zijn" want? de Java VM lust aardig wat geheugen hoor.

Maar wat voor services draai je op windows? Heb je Baseline security analyzer laten lopen? Stappen ondernomen volgens de security guide?

en zoals Spivvi zegt, analyzeren wat er veel processorkracht vraagt.
Wat staat er in de eventlogs? geeft hij foutmeldingen op momenten voor een crash?

[Verwijderd]

ja, in de eventviewer zien we dat de uren voor de freeze de apache core dll errors geeft (geheugen denk ik), ongeveer om de 15 minuten, met toenemende frequentie, verder wordt er niets gerapporteerd. Alleszinds vreemd dat die daar opeens mee begint, voorlaatste keer heeft het maar 1 dag gedraaid voor dit gebeurde, terwijl de server ook al eens over de 60 dagen is geweest

dat apache ook java was wist ik niet, maar zoals tomcat, daarvan zeg je toch bij opstarten hoeveel geheugen die mag hebben?

[ThunderNet]

error nummers opschrijven, en naar apache toesturen? Lijkt mij dat er ergens wat fout gaat in apache

[elevator]

Ik ga even je topic titel editten - 'apache probleem' zegt helemaal niets over je feitelijke probleem, daarnaast ontbreekt de Windows versie in je topic titel en dat zien we toch wel graag terug

Verder - een paar weken voor Windows 2003 is niet veel dus dan is er gewoon iets mis maar met een omschrijving als "je merkt dat hij vastloopt" kunnen we niet zo heel veel natuurlijk

[Paul]

Klinkt een beetje als [rml][ SBS2003]Om de 2 a 3 weken server 'down'[/rml] ? Wat zijn precies die Apache-DLL-meldingen? Ik bedoel: "Out of memory" doet zich in _alle_ apps voor, dus degene die het meeste / als enige gedraaid wordt laat uiteraard die fouten zien

[Verwijderd]

Het spijtige is dat ik zelf een gebrek aan info heb.
Ik ben net gaan kijken, is nu 48u up, cpu load is 1% en memory verbruik is een 280MB (waarvan apache slechts 4mb gebruikt).
heb ook netstat uitgevoerd, ook niets speciaal.

extra info server: security van de site die op deze machine draait wordt via een ADAM geregeld, weet niet of dat relevant kan zijn.

Wat ik specifieker bedoel met die freezes is dat we merken dat de site niet meer werkt, dan gaat iemand kijken naar de server, toetsenbord kan unlocked worden, je ziet de desktop die er schijnbaar normaal uitziet, maar dan merk je dat je nog wel de muis kan bewegen, maar je kan geen programmas starten e.d. het is op dat moment ook niet meer mogelijk om geheugenverbruik te bekijken. Dus beslist de persoon in kwestie om te rebooten, dan zien we in de eventviewe de apache errors.
De eventviewer vertelt enkel dat er zich een fout heeft voorgedaan in de Apache core dll. En dan zie je een geheugenadres, verder niets, geen specifiek error type.

[axis]

Misschien 's nachts eens een uitgebreide memtest laten draaien? Als het toch een prutsprojectjes is..

Nu kan je zeggen 2-3 weken is toch lang voor windows

code:

Host Name:                 NMT-WEB-XX
OS Name:                   Microsoft(R) Windows(R) Server 2003, Standard Edition
OS Version:                5.2.3790 Build 3790
OS Manufacturer:           Microsoft Corporation
OS Configuration:          Standalone Server
OS Build Type:             Multiprocessor Free
Registered Owner:          ***************
Registered Organization:   *********
Product ID:                *****-***-*******-*****
Original Install Date:     4-7-2003, 15:29:33
System Up Time:            352 Days, 6 Hours, 29 Minutes, 48 Seconds
System Manufacturer:       Dell Computer Corporation
System Model:              PowerEdge 2650
System Type:               X86-based PC
Processor(s):              4 Processor(s) Installed.

Hmm.. u zegt?

[Paul]

axis schreef op woensdag 22 februari 2006 @ 17:27:
Hmm.. u zegt?

Ik zeg: ongepatchte bak Aangezien je van MS voor bijna iedere muggescheet update al moet rebooten...

Ik hoop niet dat die publiekelijk bereikbare services heeft

In die zin is 2 a 3 weken dus vrij lang voor een Windows-bak (server or otherwise)

[ Voor 13% gewijzigd door Paul op 22-02-2006 17:31 ]

[elevator]

Verwijderd schreef op woensdag 22 februari 2006 @ 17:20:
Wat ik specifieker bedoel met die freezes is dat we merken dat de site niet meer werkt, dan gaat iemand kijken naar de server, toetsenbord kan unlocked worden, je ziet de desktop die er schijnbaar normaal uitziet, maar dan merk je dat je nog wel de muis kan bewegen, maar je kan geen programmas starten e.d. het is op dat moment ook niet meer mogelijk om geheugenverbruik te bekijken.

Waarom is dat niet mogelijk? Krijg je een foutmelding? Wel eens over gedacht om perform en/of taskmgr continue open te laten staan op je desktop?

Kan je met een aparte PC nog wel met perfmon connecteren op dat systeem? Kan je Apache remote (pskill bv) nog afschieten?

[Verwijderd]

We werken aan remote verbinding, maar ligt moeilijk.

Meer info :

apache modules waar ik de fouten op zie zijn vooral module apacheCore.dll, maar ook soms mod_ssl.mo soms. Ik zie ook in de errorlog dat ssl verbinding verbroken worden door systeem, maar dat kan zijn door gebruikers die stop induwen

[ThunderNet]

Verwijderd schreef op donderdag 23 februari 2006 @ 15:36:
We werken aan remote verbinding, maar ligt moeilijk.

Meer info :

apache modules waar ik de fouten op zie zijn vooral module apacheCore.dll, maar ook soms mod_ssl.mo soms. Ik zie ook in de errorlog dat ssl verbinding verbroken worden door systeem, maar dat kan zijn door gebruikers die stop induwen

Huh? kunnen gebruikers bij de stopknop ? lijkt me niet toch?

[Verwijderd]

sorry voor onduidelijkheid, stop 'button' in browser. Ik weet dat ik dat ook zie bij onze "serieuze" projecten. Bvb. in struts broken pipelines.

[ThunderNet]

Verwijderd schreef op donderdag 23 februari 2006 @ 16:15:
sorry voor onduidelijkheid, stop 'button' in browser. Ik weet dat ik dat ook zie bij onze "serieuze" projecten. Bvb. in struts broken pipelines.

een stop knop in de browser, zorgt er voor dat de browser geen requests meer stuurt naar de server. En dus stopt met het laden van de pagina.
Aan de server kant gebeurd er dan echt niks hoor. Dus daar kan hiet niet aan liggen.

Wat zeggen de foutmeldingen in de eventslogs precies? http://www.eventid.net/ als je daar de event ID's opzoekt?

Is je server goed afgeschermt? Is de beveliging in orde (om zeker te weten dat het niks van buiten af is) Is de pagina die je serveert, misschien niet helemaal in orde?

[Verwijderd]

@Thundernet : mbt. stop knop. Denk aan dingen als portlets en tiles. Server zit in DMZ en die eventIds zal ik is bekijken

[Brahiewahiewa]

Verwijderd schreef op woensdag 22 februari 2006 @ 17:20:
..Wat ik specifieker bedoel met die freezes is dat we merken dat de site niet meer werkt, dan gaat iemand kijken naar de server, toetsenbord kan unlocked worden, je ziet de desktop die er schijnbaar normaal uitziet, maar dan merk je dat je nog wel de muis kan bewegen, maar je kan geen programmas starten e.d. het is op dat moment ook niet meer mogelijk om geheugenverbruik te bekijken. ..

Klinkt alsof de non-paged pool exhausted is.
In de windows resource kit heb je een tooltje poolmon en een serviceje wat elke x minuten een overzicht van het paged pool en non-paged pool gebruikt naar schijf schrijft.
Moet je FF aanzetten en dan kijken wat de grootverbruiker in je non-paged pool is.

[Paul]

Brahiewahiewa schreef op donderdag 23 februari 2006 @ 17:05:
[...]
Klinkt alsof de non-paged pool exhausted is.
In de windows resource kit heb je een tooltje poolmon en een serviceje wat elke x minuten een overzicht van het paged pool en non-paged pool gebruikt naar schijf schrijft.
Moet je FF aanzetten en dan kijken wat de grootverbruiker in je non-paged pool is.

hmm, dat klinkt al een ideaal tooltje voor mijn probleem (zie link een paar posts terug)