Log file wordt steeds groter

[Herr Flicker]

Hoi,

Ik zit met een probleem op mijn virtual server, ik heb namelijk een Strato virtual server draaien waar verschillende domeinen op staan.
Nu heeft laatst mijn serverbeheerder* Ubuntu op de server geïnstalleerd, sindsdien heb ik geen contact meer kunnen krijgen met hem om wat voor reden dan ook.

Het probleem:
De webserver wordt compleet neergehaald, soms is het na een dag, soms als er iets wordt aangevraagd.
(FTP acces is nog mogelijk)

Hoe ik dit tijdelijk elke keer oplos is door een simpele restart van de server, dit is natuurlijk maar een pleister op de wond elke keer.

Waar heb ik gekeken?
Via het plesk paneel is 1 van de hoofddomeinen denk ik het probleem, de log file die gemaakt wordt die wordt met de minuten groter en groter tot soms wel 5-6gb.

Als ik wat dingen uit de logfile bekijk zie ik dit :

code:

66.249.71.185 - - [30/Oct/2011:07:42:07 +0100] "GET /forums.php?m=posts&p=136034 HTTP/1.1" 200 9494 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)" 
66.249.71.185 - - [30/Oct/2011:07:42:42 +0100] "GET /forums.php?m=topics&s=27&o=updated&w=asc HTTP/1.1" 200 8898 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)" 
66.249.71.185 - - [30/Oct/2011:07:44:05 +0100] "GET /forums.php?m=posts&p=150637 HTTP/1.1" 200 23070 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)" 
66.249.71.185 - - [30/Oct/2011:07:44:16 +0100] "GET /forums.php?m=topics&s=24&o=creationdate&w=asc HTTP/1.1" 200 10240 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"

Dit zijn maar een aantal regels uit 'access_ssl_log.processed', dit gaat en gáát maar door.

Ik wil vragen of jullie hier ervaring mee hebben of hoe deze grandioze log file gewoon binnen de perken blijft

[zwippie]

Als je de log gegevens toch niet interessant vindt: logging uitzetten.

Als je de log gegevens wilt bewaren: logrotate zo afstellen dat elk uur de laatste logs gecomprimeerd worden.

[Herr Flicker]

Misschien niet helemaal duidelijk; door (denk ik) deze log file wordt de server dus neergehaald. Andere log files van andere domeinen blijven gewoon klein (lees: max. 1 - 5mb)

Ik probeer dus op te lossen dat de server niet meer crasht.

[GlowMouse]

Herr Flicker schreef op maandag 31 oktober 2011 @ 10:08:
Misschien niet helemaal duidelijk; door (denk ik) deze log file wordt de server dus neergehaald.

Waarom dan? Zit je schijf vol ofzo? Volgens mij moet je nog veel leren voordat je zo'n server kunt laten draaien en ben je beter af met managed hosting.

[DexterDee]

De logregels die je als voorbeeld geeft laten zien dat Google actief het domein bezoekt en alle links probeert te indexeren. Dit kan voor veel dataverkeer zorgen. Als je dit wil beperken, kun je een robots.txt bestand opnemen, of een sitemap.xml aanbieden in Google Webmaster Tools, om aan te geven hoe frequent Google langs moet komen.

[zwippie]

Maar ligt het nou aan de logfile die álle beschikbare schijfruimte opvreet? Of ligt het alleen aan de applicatie die de hoeveelheid requests niet meer kan verwerken?

Je zou het laatste kunnen testen met (bijvoorbeeld) ab.

[MueR]

Dit heeft weinig met webdevelopment van doen, dus ik tik hem even naar Non-Windows Operating Systems

[Herr Flicker]

Het heeft te maken met de beschikbare schijfruimte, ik zit op ongeveer 95% van de hele capaciteit. Het rare is wel dat de site al sinds 2004 bestaat en deze Googlebot actie nog nooit zo heb gehad.

@Glowmouse, ik weet inderdaad vrij weinig van servers en indeling, daarom heb ik dus ook een beheerder die dat al tig jaren doet. Zoals je leest kan ik geen contact met hem krijgen voor een aantal dagen al.

@MueR, sorry for that

[Rainmaker]

Wat mis ik nu? Je geeft nu toch antwoord op je eigen vraag?

Je hebt een logfile (access logging) die groeit, en daardoor je schijf volgooit.

Kijk even in de log, en kijk of dit bijvoorbeeld allemaal vanaf hetzelfde IP adres komt, of dat het 1 of andere crawler is.

Daarna mail je die gebruiker, maak je een robots.txt, of (in het ergste geval), stop je het IP in je firewall.

Geen logging meer, dus geen volle disk.

Daarnaast is logrotate sowieso nooit slecht, en om een "productieserver" met maar 5% vrije ruimte op zn log FS te houden, vind ik persoonlijk een slecht idee.

[Kanarie]

In dat snippet van je logfile komt de googlebot een paar keer langs, lijkt me sterk dat ie daardoor zo snel groeit naar vele gigabytes.

[Herr Flicker]

De googlebot komt eigenlijk altijd voorbij, ik heb een robots.txt met deze inhoud :

code:

User-agent: *
Disallow: /cgi-bin
Disallow: /datas
Disallow: /plugins
Disallow: /skins
Disallow: /system

De logfile van vannacht/vanmorgen is nu alweer 800mb groot en weer aan het groeien. Hier weer een aantal regels met verschillende IP adressen :

code:

[Tue Nov 01 03:12:57 2011] [error] [client 66.249.71.176] PHP Deprecated: Function eregi_replace() is deprecated in /var/www/vhosts/vespa-ciao.nl/httpdocs/system/functions.php on line 261

[Tue Nov 01 03:20:08 2011] [error] [client 124.195.52.20] PHP Deprecated: Function eregi_replace() is deprecated in /var/www/vhosts/vespa-ciao.nl/httpdocs/system/functions.php on line 261, referer: http://www.google.co.id/imgres?q=velg+tk+excel+185&hl=id&client=firefox-a&hs=8t4&rls=org.mozilla:en-US:official&biw=1024&bih=610&tbm=isch&tbnid=cFlB6DH6WM9ZhM:&imgrefurl=http://www.vespa-ciao.nl/forums.php%3Fm%3Dposts%26p%3D303518&docid=qTxZY-JZltKF1M&imgurl=http://pic20.picturetrail.com/VOL1368/7151913/13672533/385292311.jpg&w=533&h=400&ei=L1avTt20Je20iQfO_K3FAg&zoom=1&iact=hc&vpx=721&vpy=233&dur=2059&hovh=194&hovw=259&tx=155&ty=97&sig=118279323373175878265&page=16&tbnh=113&tbnw=145&start=229&ndsp=18&ved=1t:429,r:17,s:229

Dit zijn weer even 2 verschillende, de hele file bestaat ongeveer uit deze errors wat maar door en door gaat.
Die googlebot heeft ook verschillende IP adressen.

[Verwijderd]

Ah, dan wordt het duidelijker. Je hebt een webapplicatie draaien die is geschreven voor PHP 5.2.x of eerder, maar hebt nu PHP 5.3.x waarin sommige functies niet meer gebruikt zouden moeten worden.

Zorg dat de developer(s) van die applicatie hun code updaten.

[DexterDee]

Inderdaad, non-fatal errors zoals E_DEPRECATED warnings kunnen honderden keren op een pagina voorkomen. Daarmee kan je log vrij snel vrij groot worden.