[Debian/Apache] Dataverkeer website meten als hoster

[Snow_King]

Hallo,

Ik host enkele websites en wil van deze sites bij houden hoeveel dataverkeer deze nu verstoken per maand.

Nu zullen de meeste van jullie mij per direct naar Webalizer verwijzen. Helaas, heb ik al naar gekeken en is niet wat ik zoek.

Ik genereer wel Webalizer statistieken, maar dat doe ik voor elk subdomein apart, dus ik zou van al die subdomeinen bij elkaar moeten tellen.

Maar webalizer telt ook niet eerlijk, want:

Stel een file is 80MB groot en een client download maar 2MB van die file en abort daarna, dan staat in de Apache log dat die file een keer is opgevraagd.

Webalizer telt dat als 80MB, terwijl dit maar 2MB moet zijn.

Niet eerlijk dus.

Nu vroeg ik me af: Is er niet een daemon die bijhouden hoeveel KB of MB aan data er uit iemand zijn home-directory wordt gelezen?

Deze mag niet al te veel load vragen van de server.


bedankt alvast.

[Mark]

Wellicht mod_watch ?

[Snow_King]

Niet echt wat ik zoek, maar het kan misschien handig zijn.

Iemand andere ideën?

[CyBeR]

Volgens mij is het niet zo dat als een client maar 2MB downloadt van een file van 80MB, dat er dan 80MB staat in webalizer..

Webalizer gebruikt namelijk de waarden in de access_log, en afaik staat daar het aantal verstuurde bytes, niet de filesize. Ik kan het mis hebben natuurlijk...

[Mark]

Je kunt ook mod_throttle pakken (zelfde maker als mod_watch) en dan de status pagina parsen. Hier staat ook de op dat moment actueel verstuurde data in. Probleem hier is echter dat deze waarder gereset worden na een Apache herstart.

[Verwijderd]

awstats is nice.... webalizer maar dan met wat extra's en het ziet er ook wat mooier uit zowel voor je klanten (uitgebreide stats) als voor jezelf (mandelijks verkeer) handig... en zeer makkelijke setup...

[Infern0]

Awstats icm http://www.jrcsnet.ca/awstats/ werkt ook handig

[pierre-oord]

Nog geen week geleden heb ik dezelfde vraag gesteld, maar toen wist niemand iets..?

magoe, dat mod_trottle, er ligt me iets van bij dat je de resultaten daarvan kunt opslaan.

Maar ik heb al eens mod_trottle geinstalleerd, alleen kreeg ik toen alleen in de tabel te zien hoeveel ik had verstookt, maar hoeje dat moet parsen naar een handige overzichtspagina (een voor alle hosts en een voor de gebruiker) daar ben ik nog neit achter. Het moet goed het MRTG samenwerken geloof ik, maar ik wel wel totalen weten, niet data-gebruik op een bepaald moment.

Ik ga ook ff kijken naar Awstats, en houdt dit topic goed in de gaten.

Ff zien hoe dat Awstats werkt... ziet er zeer goed uit, die totale bandbreedte, is dat nou up en download? Worden ook de requests (upstream) vragen naar de pagina getelt eigenlijk?

Ff verder kijken, maar zeker met zo'n php script lijkt dat erg handig.

edit
AWstats klikt erg goed, maar het werkt wel weer via log bestanden. Begrijp ik dat dan hier weer het download probleem zoals TS noemde optreed? Dus iemand klikt een 80MB file aan, download 10 MB , maar de server report 80 MB meer bandbreedte?

Het probleem met die mod zonder mrtg, mod_trottle, is dat het helaas alleen werkt onder apache 1.3. Als het even kan graag onder v2.0. Ik ga aan het einde van deze week een nieuwe apache installeren, zou super zijn als ik dan meteen een juist tooltje kan installeren.

[ Voor 41% gewijzigd door pierre-oord op 26-04-2004 09:32 ]

[Robert]

waarom niet gewoon mod_watch met mrtg ?

[jurri@n]

Houdt er rekening mee dat je dit nooit echt kunt meten...

- webservers geven meestal alleen de size van de file die gedownload werd
- voor de transmissie wordt meer data verstuurd dan alleen de file (b.v. http-headers, maar ook als een pakketje data niet aankomt wordt dat opnieuw verzonden)
- Klanten zullen vast ook FTP en mail gebruiken. Dat kost je ook dataverkeer.

Je kunt met een eenvoudig scriptje wel alle filesizes optellen van de logfiles, maar houdt er rekening mee dat het altijd maar een indicatie is. Alleen als je iedere site op een apart IP-adres zou hosten, dan zou je in je OS exact de hoeveelheid traffic kunnen meten.

[pierre-oord]

jurri@n schreef op 26 april 2004 @ 09:26:
Houdt er rekening mee dat je dit nooit echt kunt meten...

- webservers geven meestal alleen de size van de file die gedownload werd
- voor de transmissie wordt meer data verstuurd dan alleen de file (b.v. http-headers, maar ook als een pakketje data niet aankomt wordt dat opnieuw verzonden)
- Klanten zullen vast ook FTP en mail gebruiken. Dat kost je ook dataverkeer.

Je kunt met een eenvoudig scriptje wel alle filesizes optellen van de logfiles, maar houdt er rekening mee dat het altijd maar een indicatie is. Alleen als je iedere site op een apart IP-adres zou hosten, dan zou je in je OS exact de hoeveelheid traffic kunnen meten.

Mod_trottle is een mod voor apache, ipv een iets dat log's bekijkt. Dat werkt geloof ik wel exact. Het telt alleen niet de headers mee, dat was geloof ik wel een optie maar werkt niet altijd goed, meende ik in de handleiding te hebben gelezen.

@robert:
Heb je toenvallig zelf een pagina, zo ja, wil je een linkje geven? Ik kreeg het nooit voor elkaar totalen te zien, alleen wat er werd gebruikt op 1 moment.
Nu bestaat er een mod van mrtg die het wél ondersteund, maar die is al even niet meer in development geloof ik, waardoor ik er minder vertrouwen in had.

Verder heb je nog cacti, dat leunt op een soort vernieuwde versie van mrtg. Alleen vond ik dat zó lastig eruit zien, nergens iets van een howto, niet voor via snmp, niet voor apache, niets.

Mijn colocation provider gebruikt dit, cacti is de user interface zegmaar waaarop je kunt inloggen, en dan de statics kunt bekijken, ik neem aan via snmp het router portje.

[ Voor 27% gewijzigd door pierre-oord op 26-04-2004 09:36 ]

[Snow_King]

Het gaat mij ook niet om een exacte indicatie, daarvoor het ik MRTG draaien.

Maar ik wil wel ongeveer weten hoeveel dataverkeer een website verbruikt.

[pierre-oord]

Snow_King schreef op 26 april 2004 @ 14:52:
Het gaat mij ook niet om een exacte indicatie, daarvoor het ik MRTG draaien.

Maar ik wil wel ongeveer weten hoeveel dataverkeer een website verbruikt.

Dús heb je neits aan log-tools, want die vind je niet exact genoeg (ik ook niet trouwens).

Ik ben erg benieuwd waar mensen hier mee komen

[Steije]

Als elke website een eigen ip-adres heeft kan je op FreeBSD met IPFW en IPA (http://ipa-system.sf.net) het traffic dat over de ip-adressen heen gaat meten.

[pierre-oord]

Hij zal wel gewoon virtual hosts gebruiken helaas; als een hoster voor iedere site een apart ip nodig heeft; ik denk dat die zoveel ip's krijgt

[Snow_King]

pierre-oord schreef op 26 april 2004 @ 15:49:
[...]


Dús heb je neits aan log-tools, want die vind je niet exact genoeg (ik ook niet trouwens).

Ik ben erg benieuwd waar mensen hier mee komen

Ja, dat van die logs vind ik dan net weer niet kunnen.

Maar het verkeer van mijn mailserver en FTP neem ik voor lief.
Echter wil ik het dataverkeer van de http wel zo duidelijk mogelijk.

[pierre-oord]

Ik denk dat dat mod_watch de beste is (?), maar daar moet een goed tooltje voor zijn waarmee je alles kunt uitlezen, en in GB's op een pagina kunt zetten. Een mooie pagina voor je klant, per maand, en een voor jezelf. Ik hoorde dus alleen dat die na een restart alles vergeet, en per maand kun je het ook niet zien... geloof ik.

[BoAC]

Ik gebruik om per ip-adres dataverkeer te meten de oude versie van BW Acct. Deze maakt gebruik van iptable chains.
De gegeven worden in MySQL opgeslagen en kunnen via een webinterface worden uitgelezen.
Dmv iptables kun je dan natuurlijk ftp-verkeer vanaf bepaalde adressen gewoon wegfilteren

[ Voor 17% gewijzigd door BoAC op 26-04-2004 20:41 ]

[pierre-oord]

Ik ziet even te kijken op die site van mod_watch.

Deze kent:
ifInOctets - 32-bit Counter - bytes received from requests (except chunked input)
ifOutOctets - 32-bit Counter - bytes sent in response to requests
Zie hiervoor bijvoorbeeld de table: http://www.snert.com/watch-table

Ik zie alleen op deze pagina in het midden iets op een bepaalde tijd, ipv opgeteld (wat ik denk dat het is, alle requests opgetelt): http://www.linux-sottises.net/stats_mrtg.php

Nu vraag ik mij dus af of ze op die site de verkeerde naam hebben gegeven aan dat uitlezen.

Verder zoek ik eigenlijk een oplossing zonder mrtg. Ook moet om de maand alles worden geleegd, maar erger: Er wordt geloof ik geen database gebruikt, waardoor alles wordt vergeten na een herstart van je apache; weg data info..

[Oezie Woezie]

pierre-oord schreef op 26 april 2004 @ 21:22:
Ik ziet even te kijken op die site van mod_watch.

Deze kent:
ifInOctets - 32-bit Counter - bytes received from requests (except chunked input)
ifOutOctets - 32-bit Counter - bytes sent in response to requests
Zie hiervoor bijvoorbeeld de table: http://www.snert.com/watch-table

dit kan je dus mooi gelijk aan rrdtool geen als invoer.(is het zelfde als met snmp)

[qoute]
Ik zie alleen op deze pagina in het midden iets op een bepaalde tijd, ipv opgeteld (wat ik denk dat het is, alle requests opgetelt): http://www.linux-sottises.net/stats_mrtg.php

Nu vraag ik mij dus af of ze op die site de verkeerde naam hebben gegeven aan dat uitlezen.
[/qoute]

ifRequests 32-bit Counter number of requests (raw hits) received
ifDocuments 32-bit Counter number of documents sent

staat toch duidelijk uitgelegt lijkt me. kan je ook weer gelijk voeren aan RRDtool. en dan krijg je in de grafiek netjes request en documents sent per seconde(afhangkelijk welke optie je vaan rrdtool gebruikt).

[qoute]
Verder zoek ik eigenlijk een oplossing zonder mrtg. Ook moet om de maand alles worden geleegd, maar erger: Er wordt geloof ik geen database gebruikt, waardoor alles wordt vergeten na een herstart van je apache; weg data info..[/quote]

zonder MRTG, met rrdtool? of helemaal geen database/grafiekjes? na een maand leeg gooien, waarom? de database is mrtg/rrdtool die alles opslaat, en na een herstart gaat ie netjes verder waar die gebleven was.

Oezie Woezie in "Cisco 2950 + MRTG / meten traffic per ma..." misschien dat je daar wat mee kan, en anders misschien hier mee Oezie Woezie in "Bandwidth usage prog: Zelf maken"

ik zal ik kijken of ik iets kan maken wat jij wilt in de vakantie.

[pierre-oord]

Oei, nou hulp stel ik natuurlijk altijd erg op prijs! (je woont zeker niet in omgeving Leiden, he?)

Alleen wat je bedoelt met "duidelijk uitgelegd" --> counter numer of requests, daar staat niet bij dat het per seconde is, of is dat zo logisch? Mja..

Ik vind dat rrdtool maar een ingewikkeld programma. Ik zou het leuk vinden als je me wilt helpen, als je niet in de buurt woont misschien per msn. Het is idd iets voor komende vakantie, nu heb ik het nog even te druk om hard te programmeren etc, maar daarna wel lekker tijd. Jammer dat er geen howto is ofzo van rrdtool, alleen een klein stukje tekst op de website, of kijk ik zo scheef?

edit:
http://www.geocities.com/josef_wendel/ tool kom ik weer tegen, ik dacht dat het ouder was, maar het is pas een maand of 5 niet geupdate. Dat lijkt me nog wel te doen ik heb daar ook al eens wat mee geprobeerd, ik denk datik opnieuw daarmee aan de gang ga. Ik hoop dat ik alles kan laten passen. Verder ben ik benieuwd of de TS al wat nieuws heeft gevonden

[ Voor 24% gewijzigd door pierre-oord op 26-04-2004 22:16 ]

[Oezie Woezie]

ben even aan het knutselen geweest met mod_watch en rrdtool en dit is tot nu toe het resultaat. http://haas.oezie.org/rrd/apache/

[ Voor 5% gewijzigd door Oezie Woezie op 29-05-2005 23:27 ]

[Verwijderd]

Whow! Dat ziet er goed uit!

Sorry voor de kick, maar kan je misschien uitleggen hoe je dit gedaan hebt?

[DutchTSE]

alleen getallen moeten er nog bij he zo kun je nog niet uitlezen welke site hoeveel heeft gebruikt maar ziet er netjes uit!

topic is al jaartje oud

[ Voor 12% gewijzigd door DutchTSE op 28-11-2005 16:36 ]

[Oezie Woezie]

Verwijderd schreef op maandag 28 november 2005 @ 16:24:
Whow! Dat ziet er goed uit!

Sorry voor de kick, maar kan je misschien uitleggen hoe je dit gedaan hebt?

[rml]Pim. in "[ FreeBSD] MRTG voor meer dan traffic all..."[/rml]

[Snow_King]

Ik log tegenwoordig met apache naar mysql via mod_log_sql, zo kan je met wat queries prachtig het dataverkeer uitrekenen