Size of web access log

[Verwijderd]

Beste mensen,

Ik zou graag willen weten hoe groot de web access log file van bijv. Apache kan worden voor een website als die van Tweakers.net of Nu.nl?

En nog belangrijker: hoe hard kan hij per dag gaan groeien? Uitgaande van het feit dat de volgend attributen worden opgeslagen:

IP, Browser type, tijd, referer, path, size.

Iemand enig idee? Ik ben benieuw wat een site als tweakers doet, als "ze geen ruimte meer hebben voor de log".

Greetings,
Ali

[elevator]

Hoe groot zo'n log kan worden zal wel afhankelijk zijn van het filesystem en de gebruikte webserver - een beetje modern OS zal dat dus een paar terabyte zijn.

Wat wil je precies weten, hoe drukbezochte websites daar mee om gaan, of hoe groot zo'n log kan worden?

[Verwijderd]

elevator schreef op vrijdag 02 januari 2009 @ 17:44:
Wat wil je precies weten, hoe drukbezochte websites daar mee om gaan, of hoe groot zo'n log kan worden?

Eerst hoe groot ie kan worden en daarna hoe ze ermee omgaan?

Maakt het dan werkelijk zoveel uit welke filesysteem je gebruikt (als je de moderne file systems met elkaar vergelijkt).

Thanks for responding!

[spone]

En houd in je achterhoofd dat tekst erg goed compressed (zeker bij logfiles is dat > 95%). Bovendien is het het grootste deel van de tijd dezelfde data op tijd en ip na.

[ Voor 12% gewijzigd door spone op 02-01-2009 17:51 ]

[alt-92]

Verwijderd schreef op vrijdag 02 januari 2009 @ 17:49:
Eerst hoe groot ie kan worden

Dat ligt eraan hoeveel je laat loggen natuurlijk (type data en tijdsduur).

en daarna hoe ze ermee omgaan?

Een webserver heeft meestal wel iets van logrotate of een dergelijke functie.
[google=logrotate] zal je vast wel wat meer kunnen vertellen, en met een beetje logisch nadenken kom je ook wel op de maximum omvang die één bestand op je filesystem naar keuze kan hebben.

Natuurlijk speelt dan de handelbaarheid van een logfile ook mee, dus je zou kunnen zorgen dat je een log na een bepaalde grootte nieuw laat aanmaken.

[cixx]

Standaard apache 2 log met 11.000.000 pageviews is bij mij ongeveer 800 MB.
Maargoed, als jou url's 3x zo lang zijn als bij mij dan heb je al de dubbele hoeveelheid.

edit: Wordt automatisch gezipped, en dan is hij nog maar ~35 MB

[ Voor 18% gewijzigd door cixx op 02-01-2009 21:14 ]