Site onder hoge loads door statistieken teller...

[Diz-X]

Het gaat om het volgende:

Ik draai een website met 30k / 40k unieke bezoekers per dag, met awstats 5.7 als statistieken teller. Elke keer als mijn statistieken worden geupdaten duurt het bijna een uur voordat statistieken zijn verwerkt. Dit wordt elk uur gegaan.. Dit neem zoveel cpu/loads in dat page process tijd naar 15 a 20 seconden oploopt bij sommige paginas! Als ik awstats disable heb ik page process tijden van ongeveer 0.3 seconden. Nogal groot verschil... ( mijn server is dual xeon 2,0 ghz HT 4 gig geheugen, 2x 72 gig scsi 10k rpm ).

Mijn vraag is als volgt, is awstats wel een goede statistieken teller voor zo'n grote site? Als ik dit zelf zie is het niet perfect voor grote websites, en wat zijn de andere opties?

Enige waar het mij meestal om gaat bij een statistieken teller is: pageviews, unieke bezoekers, waar mensen vandaan komen (land,site ect).

[coubertin119]

Schrijf dan zelf een statistiekenteller, dan weet je dat je 't zelf compleet in de hand hebt en dat je geen overbodige functies implementeert.

Dit is volgens mij trouwens wél SA-voer, aangezien je niks zelf programmeert .

[Cereal]

Welk OS?

Even een praktische tip: laat gewoon 1x daags om 3.00 uur s'nachts de statistieken genereren..

[Diz-X]

Cereal: Ik draai linux (redhat). Probleem met 1x per dag statistieken parsen is dat hij er bijna 20 uur over doet Dit had ik al geprobeerd..

Coubertin119: Ik programmeer wel, maar dacht dat dit forum meeste geschikt was om dit te posten!

[Soultaker]

Diz-X schreef op 21 October 2003 @ 19:30:
Coubertin119: Ik programmeer wel, maar dacht dat dit forum meeste geschikt was om dit te posten!

Maar je hebt nu geen probleem met programmeren, toch? Voor dit topic is het verder niet relevant of je zelf toevallig kan programmeren of niet, tenzij je aanstuurt op een eigengemaakte oplossing. Volgende keer in SA, zou ik dus zeggen (maar ik ben geen mod, dus je mag mij negeren ).

Ik ken de utillity die je noemt niet, maar als 'ie zulke moeite heeft met 30k bezoekers (misschien 200k hits?) dan lijkt me je conclusie dat het geen hele goede statistiekenteller is correct. Je kunt je dan beter op andere oplossingen gaan oriënteren (en vrijwel altijd is een oplossing waarbij je niet zelf hoeft te programmeren aan te raden). Statistiekengenerators die op min-of-meer standaard webserver logfiles werken zijn er meer dan genoeg.

[Diz-X]

Awstats parsed de access.log die gegenereerd wordt door apache, maar op een of andere manier gaat awstats niet lekker om met bestanden van 500 mb / 1 gig.. (Ik gooi natuurlijk telkens me logs weg na update, anders zou binnen enkele uren me server vol zitten.)

Misschien ook omdat CGI niet een taal is geschreven voor zulke enorme hoeveelheid aan data.. want met een update gebruik awstats al 200 mb aan geheugen..

En zelf programmeren, als ik de tijd had zou het niet zo'n probleem zijn.. maar dat is iets wat ik niet heb.. en zoals een wijs gezegte gaat, je vind het wiel niet 2x uit!

Zijn er dan geen snellere statistieken scripten die met zoveel loads om kunnen gaan?

edit:

Kan een mod deze topic naar het goede forum verplaatsen! Alvast bedankt!

[ Voor 7% gewijzigd door Diz-X op 21-10-2003 21:56 ]

[Verwijderd]

we hadden met webalizer nooit problemen (22k unieke IP's, 2.5M pageviews)
op dit ogenblik gebruiken we sawmill, maar dat is geen open-source en valt dus prob. af

[tiguan]

Heb je allerlei plugins uitgeschakeld, vooral geoip/free is een zware. En reverse ip lookups kan je ook beter uitschakelen als je liever snellere generatie tijd wil. Als dit al uit staat dan zou ik het ook niet weten.

Het bedrijf waar ik werk gebruikt uitsluitend AWStats, en we zijn er heel erg tevreden mee. Het is een heel mooi open source pakket en het laat hele nette statistieken zien. Ik zou geen beter pakket weten.

[Verwijderd]

of gewoon logs op netwerk wegschrijven in aparte thread en deze door andere cpu laten analyseren voor stats

[curry684]

coubertin119 schreef op 21 October 2003 @ 19:23:
Dit is volgens mij trouwens wél SA-voer, aangezien je niks zelf programmeert .

Zet dan een TR

Move to Software Algemeen dus