IIS logfile management

[Verwijderd]

Ik denk dat dit een bekend probleem is voor mensen die webserver beheren.
IIS maakt logfiles aan voor iedere website en registreerd hierin het gebruik van de website. Deze logfiles zijn prachtig om statestieken van de laten genereren en problemen mee in kaart te brengen en ongetwijfeld ook voor hele andere zaken.

Het probleem is alleen dat deze logfiles veel ruimte in beslag nemen. Een website met +/- 3000 bezoekers per dag heeft een logfile (per dag wordt een file aangemaakt) van +/- 100 MB. Als je dan 80 sites hebt draaien op een server, schiet dat lekker op.

Ik heb begrepen dat sommige mensen de logfiles zippen alleen hiermee schuif je het probleem enkel een paar maanden op.

Downloaden jullie de logfiles 1x per maand handmatig en verwijderen ze van de webserver? of verwijder je de logfiles zonder ze te downloaden?

Wij willen de logfiles bewaren zodat statestieken e.d. altijd opnieuw kunnen genereren als dat nodig is. Is hier een tool voor? Hoe gaan jullie hiermee om?

[RobIII]

Je kunt IIS ook, hoewel niet erg veel efficiënter, naar SQL laten loggen (ik geloof met een ODBC connectie). Als je ff googled moet je daar wel uit kunnen komen.

Overigens vind ik 100MB per dag a 80 sites = 8Gb per dag wel érg veel, of ben ik nou gek

Wat ik zelf doe:

Ik heb een batchfile gescheduled welke het volgende doet:
• IIS Stoppen met Net Stop IISAdmin
• Logfiles rar-ren (met rar.exe, de commandline versie van WinRar _{(zit bij winrar)})
• IIS Starten met Net Start IISAdmin
• Logiles weggooien met del *.log
• Rarfiles FTP-en naar andere server met FTP.exe die je aanroept met -s om een FTP script aan te geven. Type ftp -? voor info hierover.

Afhankelijk van hoe vaak je je batchfile scheduled kun je dus regelen hoeveel ruimte je kwijt bent. Let er wel op dat je dit spul sheduled op een "off-peak" moment Bij mij is dat om 4:00 of 5:00 AM geloof ik...

Op de andere server wordt om 7:00 AM ofzo een script gedraaid welke de ge-uploadde rarfiles renamed (log_dd_mm_yyyy.rar ofzo) en in een backupdir gooit...

Ik weet het niet zeker zo uit mijn hoofd, maar met rar haal ik volgens mij 70-90% compressie op die bestanden... Maar het kan zijn dat ik nu uit mijn nek klets en dat het minder is...

edit:

Heb het even getest met RAR, en de comressie ligt nog boven de 97%
Zelfs met winzip haal ik plusminus 97%....

Logfiles: 58.8Mb
Rar: 1.73Mb
Zip: 2.37Mb

[ Voor 47% gewijzigd door RobIII op 21-05-2004 15:50 ]

[CmdrKeen]

Maakt niet echt uit wat je ermee doet, 8GB per dag is 8GB per dag. Als je dat écht allemaal wilt bewaren dan zou ik maar een tape-caroussel aanschaffen.

Als je FTP van de commandline gaat werken, hou er dan rekening mee dat FTP.exe die in Windows ingebakken zit, geen passieve verbindingen kan maken. Gebruik hiervoor FTPS.exe van Moveit Freely van Standard Networks (gratis).

Je kan natuurlijk ook alleen de belangrijkste gegevens bewaren, van de rest stats trekken en de brongegevens daarvan weggooien.

[ Voor 17% gewijzigd door CmdrKeen op 21-05-2004 15:48 ]

[Verwijderd]

"Overigens vind ik 100MB per dag a 80 sites = 8Gb per dag wel érg veel, of ben ik nou gek"
Ze krijgen niet allemaal 3000 bezoekers per dag daarom is het hooguit een paar 1,5 GB per dag. Ik ben trouwens wel geintereseerd in dat script wat je gebruikt. Als ik het mag gebruiken dan hoor ik het graag.

Overige ideen zijn natuurlijk nog steeds welkom

[CmdrKeen]

1,5GB is nog steeds veel Hoe pak je het _nu_ eigenlijk aan?

[Verwijderd]

Hoe ik het nu aanpak is:
Eerst handmatig downloaden van de logfiles van de websites die veel bezocht worden. Sommige sites hebben maar een paar KB aan logfiles per dag die zijn de moeite niet waard.
Dan +/- 2x per maand (meestal op een moment dat ik ingelogd ben op de server om een nieuwe website te installeren o.i.d.) de gedownloade logfiles deleten.

En nee, daar wordt je inderdaad niet heel erg blij van

[RobIII]

Het script dat ik nu gebruik (backup.bat):

code:

del c:\backup\temp\*.* /F /S /Q
net stop IISAdmin
rar a -r -m5 c:\backup\temp\logs.rar WINNT\system32\LogFiles
del WINNT\system32\LogFiles\*.log /S /F /Q
net start IISAdmin
ftp -s:c:\backup\scripts\upload.ftp

Dit script rar-ed de logfiles en is dus iedere nacht gescheduled. In C:\Backup\temp staat een directory waarin we de rar gaan gooien. Deze wordt aan het begin van het proces leeg gegooid, zodat de rars van de vorige backup verdwijnen. Dan stop ik IIS, vervolgens rar ik de hele zooi, start IIS weer en dan roep ik FTP.exe aan om de rarfiles te uploaden.

In upload.ftp staat het volgende:

code:

open ftp.myserver.nl
usernaam
password
cd upload
bin
put c:\backup\temp\logs.rar
bye

En dat is 't zo'n beetje...
Oh, zoals je ziet staan beide scripts (backup.bat en upload.ftp) in c:\backup\scripts.

[ Voor 46% gewijzigd door RobIII op 21-05-2004 16:02 ]

[Verwijderd]

Thnx RobIII. Script is duidelijk!

edit: maar wacht even.. Zet je nu IIS even stop om die logfiles te zippen?

[ Voor 55% gewijzigd door Verwijderd op 21-05-2004 16:13 ]

[intoxicated]

I&T -> SA

[Joni]

Verwijderd schreef op 21 mei 2004 @ 16:12:
Thnx RobIII. Script is duidelijk!

edit: maar wacht even.. Zet je nu IIS even stop om die logfiles te zippen?

Ja en nee. IIS wordt inderdaad stop gezet, maar niet voor het compressen. IIS wordt stop gezet voor het verwijderen van de logfiles. Anders zijn ze misschien in gebruik en kan je ze niet verwijderen. Tenminste dat denk ik.

[Spider.007]

Ik maak dan gebruik van Apache; maar heb ook een tijdje het probleem gehad dat mijn site 2 Gb aan logfiles per dag gebruikte. Uiteindelijk oplossing; elk uur webalizer eroverheen voor de statistieken; logfiles dagelijks rotaten (hierbij worden ze automatisch met bzip2 gecomprimeerd waarbij ik 200 MB. overhield) en dan na een maand weggooien.

[Verwijderd]

Blazer schreef op 21 mei 2004 @ 17:47:
[...]


Ja en nee. IIS wordt inderdaad stop gezet, maar niet voor het compressen. IIS wordt stop gezet voor het verwijderen van de logfiles. Anders zijn ze misschien in gebruik en kan je ze niet verwijderen. Tenminste dat denk ik.

Maar IIS heeft altijd alleen de laatste logfile gelocked (de logfile van die betreffende dag). IIS uitschakelen is echt niet nodig en kan je in sommige gevallen ook niet maken , maar goed het ligt eraan wat voor een applicaties/websites je natuurlijk host.