Zijn Access-logs van squid te verwijderen

[birdofpray]

De bestandsgrootte van de squid Access logs loopt nogal op op onze proxy. Maakt squid hier nog gebruik van of kan ik ze gewoon straffeloos weghalen?

[RvdH]

Die kan je gewoon weghalen, maar als ik jou was zou ik ze niet met rm weghalen (wat een herstart van de proxy vereist omdat die opnieuw het bestand moet aanmaken), maar ik zou ze leegmaken met '> access.log'.
Zo blijft het bestand geldig en kan je proxy lekker doorpruttelen.

Zelf draai ik elke nacht rond 12 uur een statistieken-run van squid, waarna ik de logfile leegmaak met '> access.log'.

[ Voor 21% gewijzigd door RvdH op 23-07-2003 11:07 ]

[imdos]

Je kan ze beter niet weghalen door slechts te verwijderen! Want dan ben je alsnog de ruimte kwijt en weet je niet waar het blijft! Maar ... een squid -k rotate (eventueel ff squid --help voor juiste syntax) zorgt ervoor dat je logfiles door squid worden afgesloten en er nieuwe worden aangemaakt! de oude kan je dan gewoon verwijderen!

[Mark]

Hier kun je het beste een scriptje voor schrijven. Zo doe ik het hier op de zaak:

code:

# Squid stoppen
kill -KILL `cat /usr/local/squid/logs/squid.pid`

# 10 seconden wachten tot alle squid draadje dood zijn
sleep 10

# access.log.maand-jaar bestandsnaam bepalen
date=access.log.`date +%d%m%y`

# access.log hernomen naar log per maand & jaar
mv /var/log/squid/access.log /var/log/squid/$date

# Nieuwe lege access.log aanmaken
touch /var/log/squid/access.log

# User nobody eigenaar maken van de nieuwe lege log
chown nobody /var/log/squid/access.log

# Squid opnieuw starten
/usr/local/squid/bin/squid

# Logging maken van afeglopen maand
sarg -l /var/log/squid/$date

# Oude log zippen en tarren
tar cfvz /var/log/squid/$date.tar.gz /var/log/squid/$date

# Oude log verwijderen (we hebben net een backup gemaakt)
rm -f /var/log/squid/$date

Dit script laat ik 1 keer per maand draaien. Zo krijg je mooi ingepakte logfiles per maand. Sarg is een tool om nette HTML reports te maken van de Squid logging.

[ Voor 4% gewijzigd door Mark op 23-07-2003 11:52 ]

[Whizzer]

als je niets met de access.log wil doen, maak er dan geen aan..... Maar als je ze wil bewaren, zorg er dan voor dat de log bestanden per stuk niet groter worden dan 2,1 GB. Als de file dit breikt, stopt squid. En o.a. daarom kun je squid files rotaten. Doe dit gewoon simpel met '/usr/local/squid/bin/squid -k rotate', dat is de nette manier waarop het gedaan moet worden... Allerlei andere onzin ( echo " " > access.log enzo) moet je gewoon niet aan beginnen...

Met creatief scripten kun je er zelf voor zorgen dat logfiles zolang bewaard kunnen worden als je zelf wil.... Wij rotaten de files dagelijks en eens per maand worden deze file geanalyseerd en in een mooi report gebakken. Daarna gaan de logs op tape en worden ze weggehaald....

[Mark]

Whizzer schreef op 23 juli 2003 @ 14:04:
als je niets met de access.log wil doen, maak er dan geen aan..... Maar als je ze wil bewaren, zorg er dan voor dat de log bestanden per stuk niet groter worden dan 2,1 GB.

Ligt deze beperking niet toevallig aan je kernel ? Ik kan me herrineren dat ik swap.state bestanden heb gehad welke tegen de 3Gb aanliepen, dus kan me niet voorstellen dat deze beperking wel op de logging zit.

[birdofpray]

Ga het eens met die log rotate proberen, bedankt in ieder geval

[Whizzer]

Mark schreef op 23 July 2003 @ 14:26:
Ligt deze beperking niet toevallig aan je kernel ? Ik kan me herrineren dat ik swap.state bestanden heb gehad welke tegen de 3Gb aanliepen, dus kan me niet voorstellen dat deze beperking wel op de logging zit.

De swap.state heb ik hier wel eens 56 GB gehad (klopt, was niet helemaal goed, maar dat hebben we opgelost), maar wanneer op diezelfde machine access.log boven de 2,1 GB kwam ging ie op z'n bek.

Ik heb dit 'probleem' nu gezien op Solaris 7 & 8, AIX 5.1 32 bits en Linux 2.4 kernels. Wel waren/zijn dit allemaal 32 bits squid proxy's. Ik heb nu één 64 bits squid proxy, maar ik weet niet of het daar ook bij is.. Dus of het een kernel parameter is.....

[moto-moi]

Ja, het kan dus..

* moto-moi mist ff de noodzaak van deze vraag

Slotje dus.