Apache error

[mac-er]

Hallo,

Ik heb vanmiddag een webserver schoon geinstalleerd met debian 5 en vervolgens ispcp 1.0.4.
ISPCP is precies zoals in de handleiding op de site staat geinstalleerd.

Dit heeft diverse uren goed gewerkt, totdat ik plotseling op 1 domein een 500 internal server error kreeg. Ik heb toen de Apache service willen herstarten waarna ik de onderstaande foutmelding kreeg en ook helemaal geen sites meer beschikbaar waren.

A2D-WEB-001:/var/log/apache2# /etc/init.d/apache2 start
Starting web server: apache2(13)Permission denied: Couldn't start ErrorLog process
Unable to open logs
 failed!

Als ik in suexec.log kijk zie ik ook het volgende, eerst gaat hij goed en plotseling niet meer:

[2010-03-08 23:18:10]: uid: (2001/vu2001) gid: (2001/vu2001) cmd: php5-fcgi-starter
[2010-03-08 23:25:50]: uid: (2000/vu2000) gid: (2000/vu2000) cmd: php5-fcgi-starter
[2010-03-08 23:26:03]: uid: (2001/vu2001) gid: (2001/vu2001) cmd: php5-fcgi-starter
[2010-03-08 23:30:20]: uid: (2000/vu2000) gid: (2000/vu2000) cmd: php5-fcgi-starter
[2010-03-08 23:38:46]: uid: (2003/vu2003) gid: (2003/vu2003) cmd: php5-fcgi-starter
[2010-03-08 23:51:26]: uid: (2000/vu2000) gid: (2000/vu2000) cmd: php5-fcgi-starter
[2010-03-08 23:57:19]: uid: (2001/vu2001) gid: (2001/vu2001) cmd: php5-fcgi-starter
[2010-03-09 00:43:57]: uid: (2001/vu2001) gid: (2001/vu2001) cmd: php5-fcgi-starter
[2010-03-09 00:43:57]: file has no execute permission: (/var/www/fcgi/apple2day.nl/php5-fcgi-starter)
[2010-03-09 00:43:58]: uid: (2001/vu2001) gid: (2001/vu2001) cmd: php5-fcgi-starter
[2010-03-09 00:43:58]: file has no execute permission: (/var/www/fcgi/apple2day.nl/php5-fcgi-starter)
[2010-03-09 00:44:42]: uid: (2001/vu2001) gid: (2001/vu2001) cmd: php5-fcgi-starter
[2010-03-09 00:44:42]: file has no execute permission: (/var/www/fcgi/apple2day.nl/php5-fcgi-starter)
[2010-03-09 00:44:44]: uid: (2001/vu2001) gid: (2001/vu2001) cmd: php5-fcgi-starter
[2010-03-09 00:44:44]: file has no execute permission: (/var/www/fcgi/apple2day.nl/php5-fcgi-starter)
[2010-03-09 00:44:45]: uid: (2001/vu2001) gid: (2001/vu2001) cmd: php5-fcgi-starter
[2010-03-09 00:44:45]: file has no execute permission: (/var/www/fcgi/apple2day.nl/php5-fcgi-starter)

Dit is alleen een fragment met het omslagpunt.

In de tussentijd van tot hij enkele uren goed liep en deze problemen is er niks gebeurd aan de serverkant. Bovendien zijn er ook precies dezelfde pagina's voor en na het probleem bezocht van de aanwezige websites.

Wat kan ik hier nu mee doen? Ik hoef overigens niet perse log files te hebben van deze sites.

[JohnR]

Zal ik dan de open deur intrappen?

- Heeft de user waaronder apache draait rechten om /var/www/fcgi/apple2day.nl/php5-fcgi-starter uit te voeren?
- Mag de user waaronder apache draait schrijven in de logfile?

[mac-er]

Vreemd genoeg is het probleem nu opgelost nu ik nog 3 permission herstel scriptjes van ispcp heb uitgevoerd (terwijl ik dat al had geprobeerd.)

Vervolgens start apache weer op zonder problemen, alleen werkt php dan nog niet, dan krijg ik een 500 error.

Met het commando

chmod 755 php5-fcgi-starter

heb ik ook dit laatste probleem opgelost!

Bedankt in ieder geval voor de hulp.

[ Voor 200% gewijzigd door mac-er op 09-03-2010 16:16 . Reden: Probleem opgelost ]

[gertvdijk]

Mijn tip, maar meer een dringend advies: Duik eens 10 minuten in Unix/Linux filesystem permissies en je had dit probleem niet alleen helemaal zelf kunnen oplossen, maar ook had je dan een degelijke oplossing gevonden, in plaats van 'een chmod 755' did the trick.

[mac-er]

De problemen zijn weer teruggekeerd.....

Ik heb nu wel nog een scriptje liggen dat met permissieherstel alles goed zet.

Maar het probleem is dat ik niet weet waardoor die de rechten fout zet, als ik de permissieherstel script van apache draai, de php5-fcgi-starter een chmod geef en apache herstart doet ie 't wel weer, maar dat kan nooit de bedoeling zijn.

Eerst was het eenmalig, maar nu komt dit probleem regelmatig voor, alleen het lastige is dat het niet constant is, zo is het een paar dagen niet, en zo is het 2x op een dag.

Weet iemand wat ik kan doen om er achter te komen waardoor dit probleem telkens ontstaat, of in welke logs ik meer info kan vinden dan al eerder in dit topic is vermeld?

Alvast bedankt!

[Verwijderd]

Wat zijn de permissies en owners van de betreffende bestanden?

[mac-er]

Verwijderd schreef op vrijdag 02 april 2010 @ 09:36:
Wat zijn de permissies en owners van de betreffende bestanden?

Moet ik de permissies en owners posten als het goed gaat of als het niet goed gaat?

Verder even de vraag, van welke files moet ik de permissies allemaal vermelden (ik weet namelijk niet welke files er allemaal worden hersteld met het script van ispcp).

Het script wat ik zelf even heb geschreven dat iemand van wie de server is het probleem kan verhelpen is:

code:

#!/bin/bash

# ISPCP Rechten herstelscript

clear

# Apache stoppen
#/etc/init.d/apache2 stop

# ISPCP herstelscripts uitvoeren
sh /var/www/ispcp/engine/setup/ispcp-permission-functions.sh
sh /var/www/ispcp/engine/setup/set-engine-permissions.sh
sh /var/www/ispcp/engine/setup/set-gui-permissions.sh

# PHP - FCGI rechten herstellen
chmod 755 /var/www/fcgi/apple2day-dev.uni.cc/php5-fcgi-starter
chmod 755 /var/www/fcgi/apple2day.nl/php5-fcgi-starter
chmod 755 /var/www/fcgi/master/php5-fcgi-starter

# Apache starten
/etc/init.d/apache2 restart

Ik moet er wel even bijzeggen, ik weet even niet zeker of alle 3 de herstelscripts moeten worden uitgevoerd om het probleem te verhelpen, maar dat is moeilijk te testen omdat het probleem telkens op een ander ogenblik voorkomt, en ik dus heel moeilijk zelf kan testen omdat die andere persoon me voor is. We moeten immers de downtime zo laag mogelijk houden.

[ Voor 2% gewijzigd door mac-er op 02-04-2010 09:55 . Reden: Overbodige info uit script gehaald ]

[Verwijderd]

Van een aantal belangrijke bestanden (zoals php5-fcgi-starter), op het moment dat het stuk is. Dan kunnen we zien waarin het gewijzigd wordt.

[mac-er]

Bedankt voor de reactie.

Ik zal in ieder geval even er op letten dat ik kijk naar de rechten op het moment dat er een probleem is.

Nu even in de "gezonde" situatie, dan krijg ik onderstaande resultaat:

code:

A2D-WEB-001:~# ls -l /var/www/fcgi/apple2day.nl
totaal 8
drwxr-x--- 2 vu2001 vu2001 4096 mrt  8 22:42 php5
-rwxr-xr-x 1 vu2001 vu2001  208 mrt  8 22:42 php5-fcgi-starter

Zo snel als het probleem weer optreed zal ik ook ditzelfde posten, maar dan als de fout er is.

Maar wat ik niet goed snap, hoe kan dit probleem bij deze server zijn terwijl ik tig andere servers met dezelfde software heb die ook op dezelfde manier is geinstalleerd waar dit probleem nooit voorkomt?

[lordgandalf]

hmmz vreemd dat je je script draait onder een niet apache user.
Hoe staat apache insgestekd kwam user en group ??
kun je dat relevante stuk config posten

[mac-er]

Apache wordt aangestuurd door ISPCP, iedere site heeft op die manier ook zijn eigen users.

Ik neem overigens aan dat je het onderstaande bestand bedoelt:

code:

# envvars - default environment variables for apache2ctl

# Since there is no sane way to get the parsed apache2 config in scripts, some
# settings are defined via environment variables and then used in apache2ctl,
# /etc/init.d/apache2, /etc/logrotate.d/apache2, etc.
export APACHE_RUN_USER=www-data
export APACHE_RUN_GROUP=www-data
export APACHE_PID_FILE=/var/run/apache2.pid

[dimitrivisser]

Ik heb even gekeken op http://www.isp-control.net/ en zie dat er inmiddels een nieuwe versie is 1.05 met veel bugfixes. En ze hebben ook een drukbezocht forum. Ik wil je hier niet wegjagen, maar ik denk dat de kans op een antwoord op dat forum een stuk groter is dan hier

[lordgandalf]

ja okee je sites draaien onder een eigen user maar is het niet zo dat php onder de apache user hoort te draaien ?? Anders kan apache er niet bij lijkt mij.

[mac-er]

Ik heb ISPCP eens een upgrade naar 1.0.5 gegeven, tot nu toe is het goed gegaan... hopelijk blijft dit ook zo. Als het probleem weer opnieuw voorkomt zal ik hier verder gaan in dit topic.

[_JGC_]

lordgandalf schreef op vrijdag 02 april 2010 @ 13:49:
ja okee je sites draaien onder een eigen user maar is het niet zo dat php onder de apache user hoort te draaien ?? Anders kan apache er niet bij lijkt mij.

In zijn setup draait PHP op de enige manier waarop het veilig is voor een virtualhost setup: FastCGI+SuExec. Als je maar 1 site host boeit het niet dat mod_php onder de apache gebruiker draait, maar als je meerdere sites host wil je juist dat sites niet bij elkaars bestanden kunnen komen.

[mac-er]

Ik ga het topic weer openen...

Het is nu wekenlang goed gegaan, en nu beginnen de problemen plotseling weer opnieuw. Dit terwijl er verder niks vreemds op de server is gebeurd.

Met hetzelfde scriptje als wat ik al eerder in dit topic heb gepost kan ik hem wel telkens herstellen.

Maar is er een trucje om te zien wat er precies gebeurd waardoor dit ontstaat? Want in de log zie ik alleen wat ik al eerder heb gepost dat hij geen rechten meer heeft op het /var/www/fcgi/apple2day.nl/php5-fcgi-starter bestand.

Ik heb namelijk geen idee waardoor die die rechten op willekeurige momenten veranderd... en het lijkt mij dat dat in dit geval wel het probleem is.

[royjn]

Welke rechten en owner staat er op het moment dat het fout gaat en op het moment dat het goed gaat?
Zit daar dan verschil in?

[mac-er]

royjn schreef op vrijdag 07 mei 2010 @ 13:05:
Welke rechten en owner staat er op het moment dat het fout gaat en op het moment dat het goed gaat?
Zit daar dan verschil in?

Als het goed is staat er het volgende:

code:

A2D-WEB-001:~# ls -l /var/www/fcgi/apple2day.nl
totaal 8
drwxr-x--- 2 vu2001 vu2001 4096 mrt  8 22:42 php5
-rwxr-xr-x 1 vu2001 vu2001  208 mrt  8 22:42 php5-fcgi-starter

Als het fout gaat zal ik hier even een dump van maken.

[vip200]

Misschien is het logrotate die na het roteren een nieuwe logfile aanmaakt met de verkeerde rechten?

Open het bestand /etc/logrotate.d/apache2. Post de lijn met "create".

[JaQ]

vip200 schreef op vrijdag 07 mei 2010 @ 14:51:
Misschien is het logrotate die na het roteren een nieuwe logfile aanmaakt met de verkeerde rechten?

Open het bestand /etc/logrotate.d/apache2. Post de lijn met "create".

Dat ligt niet aan logrotate, dat ligt aan de UMASK.

edit: mm.. misschien wat kort door de bocht, het kan ook aan logrotate liggen. In ieder geval is e.e.a. op te lossen met een juiste UMASK.

[ Voor 17% gewijzigd door JaQ op 08-05-2010 13:18 ]

[mac-er]

Bedankt voor de tips, het is vreemd genoeg niet meer voorgekomen tot nu toe, terwijl dit wel eerder veel gebeurde...

In ieder geval is de inhoud van het config bestand (heb maar even het hele bestand gepakt):

code:

/var/log/apache2/*.log {
        weekly
        missingok
        rotate 52
        compress
        delaycompress
        notifempty
        create 640 root adm
        sharedscripts
        prerotate
                /var/www/ispcp/engine/awstats/awstats_updateall.pl now -awstatsprog=/usr/lib/cgi-bin/awstats.pl &> /dev/null
        endscript
        postrotate
                if [ -f "`. /etc/apache2/envvars ; echo ${APACHE_PID_FILE:-/var/run/apache2.pid}`" ]; then
                        /etc/init.d/apache2 reload > /dev/null
                fi
        endscript
}

[mac-er]

Vreemd...

Ik heb nu een 500 error op een andere site op de server (die de error normaal op basis van de PHP ook niet behoort te hebben).

Als ik naar de rechten van die specifieke files kijk staan die wel goed.

code:

A2D-WEB-001:~# ls -l /var/www/fcgi/apple2day.uni.cc
totaal 8
drwxr-x--- 2 vu2003 vu2003 4096 mrt  8 23:30 php5
-rw-r-xr-x 1 vu2003 vu2003  216 mrt  8 23:30 php5-fcgi-starter

Het is overigens een andere user omdat het een andere site is. De pagina zal niet zijn te bekijken van buitenaf overigens omdat hiervoor moet worden ingelogd want het betreft een interne development pagina.

Als ik nu Apache probeer te herstarten mislukt dat met de onderstaande info:

code:

A2D-WEB-001:/var/log/apache2# /etc/init.d/apache2 restart
Restarting web server: apache2 ... waiting ....(13)Permission denied: Couldn't start ErrorLog process
Unable to open logs
 failed!

Wat kan hierbij het probleem zijn? Ik denk misschien wel iets van die logrotate waar jullie het over hadden, maar ik weet niet wat dit moet zijn normaal gesproken.

Verder zie ik hem ook op de php executer fout gaan. Daar kloppen bij dit probleem tevens de rechten niet.
Hier staat nu:

code:

A2D-WEB-001:/var/www/fcgi/apple2day.uni.cc# ls -l
totaal 8
drwxr-x--- 2 vu2003 vu2003 4096 mrt  8 23:30 php5
-rw-r-xr-x 1 vu2003 vu2003  216 mrt  8 23:30 php5-fcgi-starter

Bij php5-fcgi-starter staat hier -rw-r-xr-x en dit hoort -rwxr-xr-x te zijn. Dat wil dus zeggen dat hij een execute recht te weinig heeft.

De logfile geeft dan ook het onderstaande aan in suexec.log:

code:

[2010-05-10 23:52:38]: uid: (2003/vu2003) gid: (2003/vu2003) cmd: php5-fcgi-starter
[2010-05-10 23:52:38]: file has no execute permission: (/var/www/fcgi/apple2day.uni.cc/php5-fcgi-starter)

Hij lijkt dus op meerdere vlakken de mist in te gaan.

Maar hoe kan ik er nu achter komen wat er precies fout gaat waardoor hij die rechten telkens omgooit?

[JohnR]

karstenmeijers schreef op dinsdag 11 mei 2010 @ 00:02:
Maar hoe kan ik er nu achter komen wat er precies fout gaat waardoor hij die rechten telkens omgooit?

Wat is er veranderd sinds de laatste keer dat het werkte? Zo maar eens een kort lijstje met dingen die je kunt gaan onderzoeken.

- Zijn er patches / updates geïnstalleerd
- Is de machine gereboot
- Welke cronjobs hebben er gelopen
- Zijn er bestanden uit een backup terug gezet
- Wie zijn er ingelogd geweest sinds de laatste keer dat het wel werkte
- Wie hebben er allemaal (al dan niet via sudo / ftp etc.) schrijfrechten op de bestanden
- ...

Kortom, zoekwerk

[mac-er]

JohnR schreef op dinsdag 11 mei 2010 @ 08:44:
[...]

Wat is er veranderd sinds de laatste keer dat het werkte? Zo maar eens een kort lijstje met dingen die je kunt gaan onderzoeken.

- Zijn er patches / updates geïnstalleerd
- Is de machine gereboot
- Welke cronjobs hebben er gelopen
- Zijn er bestanden uit een backup terug gezet
- Wie zijn er ingelogd geweest sinds de laatste keer dat het wel werkte
- Wie hebben er allemaal (al dan niet via sudo / ftp etc.) schrijfrechten op de bestanden
- ...

Kortom, zoekwerk

Juist ja, dat is ook het eerste wat in mij opkwam nadat dit probleem is ontstaan. Maar ik zal toch even antwoorden bij de vraag vermelden:

- Zijn er patches / updates geïnstalleerd
- Eerder heb ik dit gemeld op het forum in ditzelfde topic, toen is er over gesproken en heb ik een ISPCP update geinstalleerd waarna het probleem was verholpen. Nu is het heel lang goed gegaan totdat dit probleem weer is ontstaan.
- Is de machine gereboot
- Nee, de laatste reboot is al een hele poos geleden, volgens het commando uptime al meer dan 63 dagen geleden.
- Welke cronjobs hebben er gelopen
- Dit zijn alleen wat scriptjes van webmin, en wat standaard zaken van ISPCP. Dit is vanalles zoals Apache en zo.
- Zijn er bestanden uit een backup terug gezet
- Nee, ook dat is niet gebeurd.
- Wie zijn er ingelogd geweest sinds de laatste keer dat het wel werkte
- Buiten mij zelf heeft niemand inloggegevens en is er dus ook niemand op de server geweest, ik weet dat zeker omdat ik iedere keer als ik inlog ook de laatste inlog tijd die dan in beeld komt controleer.
- Wie hebben er allemaal (al dan niet via sudo / ftp etc.) schrijfrechten op de bestanden
- Niemand heeft een eigen account voor sudo buiten mij, voor FTP zijn we met 2 personen, maar die upload alleen wat html, css en image bestanden, verder ook niks.

Ik weet gewoon totaal niet waardoor de problemen worden veroorzaakt, het is toen na de update een tijd goed gegaan, maar nu is het weer raak. In de tussentijd is er op de server niks gedaan, sterker nog, ik ben nog niet eens ingelogd geweest in de tussentijd, en dat is gok ik 2 maanden lang dat er geen problemen waren, alleen toen de problemen weer de eerste keer zijn opgedoken ben ik ingelogd geweest om het probleem op te lossen.

[ Voor 2% gewijzigd door mac-er op 16-05-2010 15:37 . Reden: typefout ]

[mac-er]

Iemand nog een idee?

Meer kan ik niet achterhalen, ik ben zelfs nog mijn onderhoudsagenda na gaan kijken met wanneer ik wat gedaan heb, maar zelfs hier staat niks in buiten wat ik had gemeld.

Is er ook niet iets wat een watcher op een file kan zetten zodat ik kan zien waardoor de rechten veranderen?

[GuntherDW]

staat er niets in /etc/cron.daily(/hourly/...)?
In je /var/log/messages zou je normaalgezien exact kunnen zien welke cronjobs er gelopen hebben.

Ben je zeker dat het enkel die webmin job is? Zo'n file permissies gaat niet zomaar vanuit zichzelf veranderen.
Als je er absoluut zeker van bent dat jij niets gedaan hebt en zo'n cronjob ook niet, probeer dan eens een filesystem check.
Kan zijn dat er ergens wat bits gaar zijn.

[vanaalten]

karstenmeijers schreef op zaterdag 15 mei 2010 @ 23:55:
Is er ook niet iets wat een watcher op een file kan zetten zodat ik kan zien waardoor de rechten veranderen?

Stond laatst iets over in het C't magazine: inotify-tools

[Thc_Nbl]

Heb je al eens gekeken waar de log files van de site zelf komen te staan.
kijk eens in /etc/apache2/sites-available
staan hier niet de configuratie files per site.

als de rechten 750 staat kan het best zijn dat er een log niet benaderd kan worden.

doe een lsof | grep /var of zoiets dergelijks, dan weet je waar het fout gaat.

[mac-er]

sorry sorry sorry
Ik had me de laatste keer vergist over die cronjobs en heb per ongeluk de cronjobs van de verkeerde server bekeken....

Er draaien inderdaad wat cronjobs, deels ook van ISPCP, webmin en volgens mij nog iets van het systeem zelf.

Wel moet ik erbij zeggen dat dit niet de problemen kunnen zijn omdat soms alles dagenlang goed gaat, en dan gaat het soms 3 keer op 1 dag fout, dat kan dus niet aan cronjobs liggen op vaste tijdstippen.

In /var/log/messages staat verder alleen het onderstaande, maar dit is van vanmorgen en in de tussentijd zijn er geen problemen geweest:

code:

May 16 06:25:01 A2D-WEB-001 syslog-ng[13193]: Configuration reload request received, reloading configuration;

Ik heb via ssh eens een inotify watcher laten lopen op de algemene php starters, ik kende het programma nog niet dus ik weet nog niet wat ik als resultaat kan verwachten...

Verder nog even aan Thc_Nbl de vraag wat hij uit de logfiles moet weten, want ik weet wel waar die staan, maar fragmenten daarvan heb ik al eerder in dit topic gepost.

Wat betreft de logfiles, als het fout gaat kan ik apache niet herstarten omdat hij dan een rechtenprobleem inderdaad heeft met de logfiles, maar met de herstelscripts van ispcp gaat dat weer goed. Maar er zijn dus gewoon enkele bestanden waarop de rechten door het een of het ander veranderen.

Verder moet ik nog erbij vermelden dat hij het commando lsof | grep /var niet kent...