[apache] httpd wordt plots traag sinds een php upgrade

[marty]

We hebben een server draaien (apache onder linux dus) waar we laatst een php upgrade naar 4.3.2 op gedaan hebben. We hadden namelijk last van een irritante bug die zo vaag was dat we er met de hulp van php.net ook niet uit kwamen (en nu opgelost is). Dat is mooi zul je denken, maar nou komt het probleem:
Sinds die upgrade gaat de httpd telkens uit het niets plat. Nouja, niet eens helemaal plat, hij blijft wel draaien, maar handelt alle requests suuuuuper traag af. Als ik een webpagina opvraag (php of html maakt niet uit) dan doet ie er ca. (niet overdreven) 5 minuten over om binnen te komen. Dit is op te lossen door een restart te doen, dan draait ie weer een paar dagen vlekkeloos en ineens van het ene op het andere moment steekt dit probleem weer de kop op. De overige dingen zoals ftp, mysql, ssh, etc. doen het overigens nog prefect dan. prima verbinding.
We zijn nou al een paar dagen aan het 'googlen' enzo maar kunnen niets vinden dat ons helpt dit probleem op te lossen. In de logfiles kunnen we ook niets vreemds vinden wat aan dit probleem gerelateerd lijkt.
Nogmaals - de httpd gaat dus niet plat, maar wordt van het ene op het andere moment zo ongelovelijk traag dat het net is alsof ie kassiewijlen is.

Heeft iemand suggesties hoe we dit kunnen 'debuggen' ?
downgraden naar een eerdere php-versie zien we ook niet zo zitten en het is niet eens gezegd dat het 't probleem oplost. Misschien dat er tijdens die laatste upgrade gewoon iets een beetje stukkig is geraakt...
Er draait van alles op, dus we kunnen 'm helaas ook niet offline halen en lekker gaan testen.

[Cafe_de_beuk]

Hmm, misschien upgraden naar apache 2 en php 4.3.2 opnieuw compile?

[Wilke]

Cafe_de_beuk schreef op 29 juni 2003 @ 01:32:
Hmm, misschien upgraden naar apache 2 en php 4.3.2 opnieuw compile?

Ja, lekker handig op een productie-machine.

Loopt het geheugen niet vol ofzo? Zijn er stats uit die bak te krijgen over CPU, load average, geheugen en harddisk gebruik, met name rond het moment dat het mis gaat?

Ik vermoed dat het geheugen langzaam volloopt tot 'ie begint te trashen. Als je dan Apache nog kunt killen, is het geheugen weer vrij en begint het opnieuw...

Beetje raar alleen dat de rest dan nog wel goed werkt.

[ Voor 6% gewijzigd door Wilke op 29-06-2003 01:40 ]

[Cafe_de_beuk]

Beter het ding voor 1 keer een halfuur plat dan om de paar dagen een uur ( of whatever )

btw. staat nergens dat het een "productie-machine" is

[ Voor 25% gewijzigd door Cafe_de_beuk op 29-06-2003 01:43 ]

[Wilke]

Cafe_de_beuk schreef op 29 juni 2003 @ 01:41:
Beter het ding voor 1 keer een halfuur plat dan om de paar dagen een uur ( of whatever )

Apache upgraden is niet een halfuur plat en dan werkt alles weer. Als er van alles op die server draait, zul je zorgvuldig moeten testen of alles dan wel weer gaat werken. Het is niet zoiets als even een minor versie-upgrade.

btw. staat nergens dat het een "productie-machine" is

marty schreef op 28 June 2003 @ 19:58:
Er draait van alles op, dus we kunnen 'm helaas ook niet offline halen en lekker gaan testen.

Mwah, niet met zoveel woorden misschien, maar het lijkt me toch vrij duidelijk...

[Cafe_de_beuk]

Ja goed, het gaat er niet om dat "het plat MOET" het gaat erom dat het weer MOET werken, en als dat nu niet werkt met de oude compilatie van apache aangezien er geen downgrade wordt gedaan naar een lagere php-versie, lijkt me dit meer iets om aan te beginnen. En ook meer "toekomst gericht" om het zomaar te zeggen vanwege de nieuwste versies.

En wie een beetje met de configs van apache en php kan omgaan heeft een apache + php server binnen een uur wel weer up.(als de server redelijk snel is) De begrippen van de oude en nieuwe config verschillen bijna niks van elkaar, en ook staan in de config (van apache) duidelijke tags om die als voorbeeld te gebruiken en aan te passen.

[Wilke]

Configuratie is ook niet het probleem, dat kan ik ook wel in een half uur. Probleem is dat Apache 2 'nieuw' is en dus nog niet alles meteen zo perfect werkt als met de vorige versie (problemen met custom modules, custom-built software, etc.). Waarom denk je dat 80% van de websites nog op een 1.x versie draait? Het werkt goed genoeg, en je hebt geen onverwachte upgrade-problemen...

Maareh, ik ga slapen, voor we hier een flamewar beginnen over niks

[Cafe_de_beuk]

Ja dat is ook wel zo... maar php werkt wel goed op apache 2 (teminste bij mij "nog" wel ), met de costum modules ben ik nog niet in aanraking geweest, daar doe ik dus verder mijn oordeel ook niet over . Trouwens, welterusten! ik ga ook zo

[ Voor 8% gewijzigd door Cafe_de_beuk op 29-06-2003 02:14 ]

[Infern0]

Is de compilatie van php veranderd? Heb je misschien andere modules toegevoegt? Overstappen naar Apache 2 is ook niet echt een oplossing voor dit probleem. Zo lekker werkt php nog niet met Apache 2.

Misschien kun je eens proberen php statisch in apache te compileren en dan apache installeren in bv /opt ofzo. Daarna zelf apache testen op poortje 81. Kijken of het wat verbeterd is.

Misschien is de nieuwe apache of php gelinked aan andere libraries. Hier kun je achter komen door ldd te gebruiken. Dus de nieuwe en oude te vergelijken. Zo ben ik eens achter een traag werkende mysql gekomen, omdat een applicatie aan mysqlclient.so.10 gelinked was, terwijl hij aan .so.12 gelinked moest worden. Dit in verband met een mysql upgrade.

[marty]

Het is inderdaad een productiemachine en een upgrade van apache is toch ff te ingrijpend en dus geen optie helaas

Wilke schreef op 29 June 2003 @ 01:38:
Loopt het geheugen niet vol ofzo? Zijn er stats uit die bak te krijgen over CPU, load average, geheugen en harddisk gebruik, met name rond het moment dat het mis gaat?

Jup, die stats zijn er en zien er super uit (helaas wil ik bijna zeggen). Ook rond de momenten dat het mis gaat lijkt er volgens die stats geen vuiltje aan de lucht.

Ik vermoed dat het geheugen langzaam volloopt tot 'ie begint te trashen. Als je dan Apache nog kunt killen, is het geheugen weer vrij en begint het opnieuw...

Beetje raar alleen dat de rest dan nog wel goed werkt.

Zo 'voelt' het ook
Mijn eerste reactie was ook - volgens mij loopt het geheugen gewoon vol ofzo. Weet iemand met zekerheid te zeggen of er misschien een apart soort geheugen is voor de httpd - en iets waar php ook gebruik van maakt. Ik vind het namelijk ook vreemd dat de rest nog wel zo goed werkt. Als logisch scenario kan ik me voorstellen dat er een functie in PHP zit, die - na de upgrade - lek blijkt te zijn en er voor zorgt dat alleen dat specifieke geheugen volloopt.
Ik heb al op php.net gekeken maar heb er geen bugmeldingen over kunnen vinden

[Verwijderd]

Ik kan me herinneren dat ik hetzelfde probleem heb gehad, volgens mij was dat met een iets oudere versie van mod_php en apache1.3. Het was gewoon mijn workstation dus ik heb een tijdje later gewoon een nieuwe gecompileerd, ik geloof zelfs dat ik toen ook op apache2 ben overgegaan.

Wat je ook kan proberen is apache2 compileren op de machine en naast apache1 installeren. Dan laat je een paar apache2 processen op een andere poort draaien en ga je zorgen dat alles werk, als het dan goed is kan je in een kwartier overschakelen naar apache2.

Welke distro gebruik je eigenlijk?

[marty]

Verwijderd schreef op 29 juni 2003 @ 13:54:Welke distro gebruik je eigenlijk?

Redhat 7.2

rlensen schreef op 29 juni 2003 @ 13:13:
Is de compilatie van php veranderd? Heb je misschien andere modules toegevoegt?

ja en ja :-)

we hebben al meerdere keren dingen toegevoegd. er zijn gedeeltes met rpm geinstalled en gedeeltes gecompileerd. Maar is moeilijk te achterhalen wat wanneer veranderd is...

Ik vrees dat het er naar uit ziet dat we gewoon maar opnieuw helemaal kaal moeten beginnen? Met een andere machine en dan een wisseltruc uithalen. Want dingen als apache upgraden enzo, da's gewoon geen optie. Dat kan niet met een productie server imho. Da's gewoon veel te ingrijpend - als dat ding voor 2 dagen down gaat dan zit je.

Het liefste zouden we natuurlijk gewoon achterhalen waar die rare bug vandaag komt...maarja...

[Infern0]

Als je een lekkere mix van dingen hebt, dan zou ik idd overwegen om of een schone install te doen (wel ingrijpend) of apache in andere dir te installeren met mbv apachetoolbox, dan heb je het ook goed werkend.