Traffic meten voor Apache, Mail, FTP, uitkomst optellen

[Verwijderd]

Ik ben aan het uitzoeken hoe goed het mogelijk is om traffic te meten doormiddel van het uitlezen van logfiles voor apache, postfix (mail.log) en een ftpserver.

Het blijkt dat hier wel wat info over te vinden is, maar lange na niet bevredigend.

Mijn idee is om de data voor alle drie de services voor 1 domein, dus eigenlijk inclusief de subdomeinen, uit te lezen en deze bij elkaar op te tellen een een record in een database te maken.

Voor Apache ben ik er uit dat je het beste Webalizer op de commandline kunt gebruiken, voor de andere services ben ik er nog niet helemaal uit.

Het schijnt dat voor bijvoorbeeld ProFTPD gewoon gelogd kan worden in een database en daar dus ook de bandbreedte limiet in staat. Stel ik moet een domeinnaam op "zwart" zetten dan moet hier dus ook FTP data bij gerekend worden, tevens mail natuurlijk.

FTPopzich heeft de functie dus wel in zich, ik moet alleen de functie eruit zien te krijgen, en dat lijkt lastig.

Hetzelfde voor mail, er is natuurlijk wat meer dan alleen SMTP-verkeer, ik praat dan over IMAP en POP3. (dan hebben de SSL varianten hier van nog niet gehad).

OK, apache is dus opzich goed te doen met webalizer, je kunt hier mooi mee filteren, op domeinnaam en al.

Ik kan geen bruikbare manier vinden voor Mail en FTP, wat opzich vreemd is omdat dit natuurlijk door veel bedrijven wel gemonitord wordt per domein/subdomein.

Ik zou sowiezo de mail.log uitlezen, hetzelfde voor de ftpserver, de vraag is wat ik er mee zal doen en wat goede tools zijn om te gebruiken.

Ik ben nu een dag of 4 aan het zoeken en testen en heb alleen bij webalizer en apache een lekker gevoel, de rest... het wil niet zo.

Iemand tips en/of voorbeelden ?

[Rainmaker]

Misschien makkelijker; met iptables?

Zie bijvoorbeeld http://wiki.openvz.org/Traffic_accounting_with_iptables

[Verwijderd]

Ik zou ook gewoon iptables gebruiken. Nog een linkje:

http://www.linux.com/articles/50649

[Kippenijzer]

FTP en Web uitzetten bij overschreiding, ala, maar *mail*, even er vanuit gegaan dat je betalende klanten wilt hebben (en houden), denk ik dat je ruzie, om even te zwijgen van rechtzaken, kunt verwachten als je die stap neemt. Let dan gewoon op misbruik van mail (ie, voor spammen) en zet bijv het op kunnen halen van de mail uit bij overschrijding van een FTP en Web limiet, maar als je gaat stoppen met mail te accepteren dan ehm... You do the math...

[edit]
Qua FTP trouwens: elke FTP server die std. transferlogs ondersteund kun je gewoon door webalizer of awstats laten verwerken, net als apache logs.

[ Voor 14% gewijzigd door Kippenijzer op 04-12-2008 20:41 ]

[mede]

Via iptables meet je alleen op IP-adres en niet op hostname. Hoe pak je dat aan bij shared-hosting (meerdere sites op 1 IP-adres) en verschillende (sub)domeinen op verschillende IP's?

Als het om één IP gaat dan zou ik vnstat gebruiken voor het totaalverbruik. Heb je gelijk een mooi overzicht beschikbaar. Zie http://humdi.net/vnstat/

Ik laat automatisch een mail van deze output sturen om inzicht in verbruik te krijgen. Erg handig.

[ Voor 13% gewijzigd door mede op 04-12-2008 22:06 ]

[Verwijderd]

Kippenijzer schreef op donderdag 04 december 2008 @ 20:39:
FTP en Web uitzetten bij overschreiding, ala, maar *mail*, even er vanuit gegaan dat je betalende klanten wilt hebben (en houden), denk ik dat je ruzie, om even te zwijgen van rechtzaken, kunt verwachten als je die stap neemt. Let dan gewoon op misbruik van mail (ie, voor spammen) en zet bijv het op kunnen halen van de mail uit bij overschrijding van een FTP en Web limiet, maar als je gaat stoppen met mail te accepteren dan ehm... You do the math...

[edit]
Qua FTP trouwens: elke FTP server die std. transferlogs ondersteund kun je gewoon door webalizer of awstats laten verwerken, net als apache logs.

Je hebt altijd je backup relay nog, maar je ontzegt de persoon gewoon het inloggen op zijn box, helemaal niet gek hoor.

Dat doe je echt alleen als het helemaal de spuigaten uitloopt !

mede schreef op donderdag 04 december 2008 @ 22:05:
Via iptables meet je alleen op IP-adres en niet op hostname. Hoe pak je dat aan bij shared-hosting (meerdere sites op 1 IP-adres) en verschillende (sub)domeinen op verschillende IP's?

Als het om één IP gaat dan zou ik vnstat gebruiken voor het totaalverbruik. Heb je gelijk een mooi overzicht beschikbaar. Zie http://humdi.net/vnstat/

Ik laat automatisch een mail van deze output sturen om inzicht in verbruik te krijgen. Erg handig.

Inderdaad, je kunt dit bij vhosts niet doen, daar loop ik ook steeds tegenaan

[ Voor 25% gewijzigd door Verwijderd op 04-12-2008 22:56 ]

[CyBeR]

Verwijderd schreef op donderdag 04 december 2008 @ 22:55:
[...]


Je hebt altijd je backup relay nog, maar je ontzegt de persoon gewoon het inloggen op zijn box, helemaal niet gek hoor.

Eh, wel gek. Ik zou onmiddelijk m'n geld aan een ander bedrijf beginnen te geven als m'n mail afgesloten werd omdat m'n website teveel traffic deed.


Anyway, beter meet je met iptables en aparte IP-adressen. Apache logt namelijk niet accuraat genoeg hiervoor.

[ Voor 9% gewijzigd door CyBeR op 04-12-2008 23:19 ]

[Verwijderd]

CyBeR schreef op donderdag 04 december 2008 @ 23:19:
[...]


Eh, wel gek. Ik zou onmiddelijk m'n geld aan een ander bedrijf beginnen te geven als m'n mail afgesloten werd omdat m'n website teveel traffic deed.


Anyway, beter meet je met iptables en aparte IP-adressen. Apache logt namelijk niet accuraat genoeg hiervoor.

offtopic:
Oh dus jij vind het ook gek dat als jij niet betaalt dat je lekker de services kunt gebruiken, en eventueel ook met overusage... grappig.

Beetje ontopic AUB nu !


Heh ? Appels met peren vergelijken ?

Apache logt niet goed voor mail ? Apache is prima te loggen !

Mail en FTP zijn alleen lastiger, en ik heb het idee dat ik hier dezelfde antwoorden ga krijgen als welke ik vind op internet.

Een site per IP is echt niet te doen !! Waar zou het IPv4 probleem toch vandaan komen in dat geval ?

Vhosts is een prima oplossing onder apache, en tevens onder Postfix of net wat je wil gebruiken. Het meten van traffic is alleen wat lastiger lijkt het.

[CyBeR]

Verwijderd schreef op donderdag 04 december 2008 @ 23:59:
[...]

offtopic:
Oh dus jij vind het ook gek dat als jij niet betaalt dat je lekker de services kunt gebruiken, en eventueel ook met overusage... grappig.

Dataverkeer van mail is peanuts. Verkoop een website + traffic en X 'gratis' mail accounts aan de hand van de grootte van je website en de hoeveelheid traffic. Dat verkeer hoef je vervolgens niet echt heel hard op te letten.

Ik zou trouwens sowieso meteen weggaan als je me afsloot bij teveel traffic. Daar zijn naheffingen voor.

Heh ? Appels met peren vergelijken ?

Apache logt niet goed voor mail ? Apache is prima te loggen !

Nee, jij hebt 't over appels, peren en bananen. Ik heb 't nu even alleen over de appels. De peren hebben we 't in de vorige paragraaf over.

Apache's accesslogs zijn niet altijd accuraat in hoeveel bytes er verstuurd zijn. Dat kun je dus niet fatsoenlijk gebruiken zonder daar goed op te letten.

Een site per IP is echt niet te doen !! Waar zou het IPv4 probleem toch vandaan komen in dat geval ?

Dat probleem bestaat nog lang niet. En zelfs al bestond het wel, er is een oplossing voor. Bovendien: die oplossing is een stuk harder nodig als we eens opschoten IPv4 op te maken.

[ Voor 4% gewijzigd door CyBeR op 05-12-2008 00:21 ]

[X-DraGoN]

Als je gewoon alle traffiek die verloopt via je server allemaal wil bij elkaar optellen (alles wat via ETH0 gaat bv.) kan je VNSTAT installeren + eventueel de PHP frontend ervan.

[ Voor 11% gewijzigd door X-DraGoN op 05-12-2008 10:28 . Reden: Added link ]

[Rainmaker]

http://awstats.sourceforge.net/

awstats zou om moeten kunnen gaan met vhosts e.d. Kan ook mail en FTP meten. Iets voor jou?

[Verwijderd]

Rainmaker schreef op vrijdag 05 december 2008 @ 11:50:
http://awstats.sourceforge.net/

awstats zou om moeten kunnen gaan met vhosts e.d. Kan ook mail en FTP meten. Iets voor jou?

Dit is zeker een optie, ik zal alleen na moeten gaan of ik hier iets van een wrapper omheen kan fabriceren.

Ik had verwacht dat er meer bestaande mogelijkheden zouden moeten zijn omtrent dit verhaal.

[Verwijderd]

Dit topic breng ik weer even onder de aandacht aangezien ik bezig ben met mail-logging voor postfix.

Opzich zou je logging ook via je imapclient kunnen doen, in mijn geval dovecot. Je pakt dan alles mee wat opzich handig kan zijn.

Ik ben momenteel een avond je aan het googelen over dit "topic" en er is echt bar weinig te vinden over mensen welke ene simpel (perl)script uitleggen en laten zien hoe je per vhost of virtueel domein in postfix/dovecot traffic kunt loggen zonder poespas.

Voor postfix bestaat pflogsumm, iets dat er op gaat lijken, echter lijkt een custom perl/bash script in een cron mij de beste oplossing welke jezelf kunt managen.

Stel je logt op een dergelijke manier, een bash script dat wat doet of een perl of iets dergelijks en deze draait elke 5 minuten. Je wil je volledige logfile niet weggooien maar hoe zorg je dat eerder gemeten traffic niet nog een keer meegenomen wordt de volgende 5 minuten ?

[berties]

Verwijderd schreef op maandag 02 maart 2009 @ 23:20:
Dit topic breng ik weer even onder de aandacht aangezien ik bezig ben met mail-logging voor postfix.

Opzich zou je logging ook via je imapclient kunnen doen, in mijn geval dovecot. Je pakt dan alles mee wat opzich handig kan zijn.

Ik ben momenteel een avond je aan het googelen over dit "topic" en er is echt bar weinig te vinden over mensen welke ene simpel (perl)script uitleggen en laten zien hoe je per vhost of virtueel domein in postfix/dovecot traffic kunt loggen zonder poespas.

Voor postfix bestaat pflogsumm, iets dat er op gaat lijken, echter lijkt een custom perl/bash script in een cron mij de beste oplossing welke jezelf kunt managen.

Stel je logt op een dergelijke manier, een bash script dat wat doet of een perl of iets dergelijks en deze draait elke 5 minuten. Je wil je volledige logfile niet weggooien maar hoe zorg je dat eerder gemeten traffic niet nog een keer meegenomen wordt de volgende 5 minuten ?

Ik heb pflogsumm niet getest maar waarom zeg je bij voorbaat al dat een custom perl/bash script in een cron opdracht het beste is voor jou? pflogsumm is ook een perl script, als je dat wil customizen, ga je gaan, ik zie het probleem niet. Je kunt het ook prima in een cron opdracht draaien.

Vind je dat niks en wil je iets eenvoudigs, dan denk ik dat webalizer (al vaker aangehaald) het beste is, daar kun je zonder veel aanpassen prima je mail mee loggen. Ook awstats moet prima zijn, daar is ook het eea te vinden over hoe je mail logt.

Als je het echt met een custom script wil doen, ook goed, dan zou ik zeggen om niet elke keer de gehele log te verwerken; logtail en dan een aantal grep/sed/awk opdrachten en je bent er ook....

[Verwijderd]

Ik denk persoonlijk dat awstats er in mijn richting komt inderdaad. Alle output in een DB en je hebt direct ook je statistics welke je kunt weergeven per vhost.

Voor het custom verhaal ga ik nog wel even naar logtail kijken. Puur om het te customizen zoals je wil is dat in dat geval de beste optie.

Vele wegen welke naar Rome leiden....

[Verwijderd]

Ik ben voor apache het geweldige script PERLFECT DAILYSTATS 3.0 tegen gekomen:

http://www.perlfect.com/freescripts/dailystats/

Wat ik meer zie bij Perl scripts is dat ze heel erg oud zijn maar zo backwards compatible als het maar zijn kan.

Zou je toch dergelijke code moeten optimizen of gewoon gebruiken zoals het is... want deze tool werkt wel prima !