[Apache] Stats van meerdere vhosts

[WHiZZi]

Ik zit met de volgende situatie.

Op een colocated webserver draaien zo'n 20 virtual hosts. Allemaal met eigen logs (customlog combined). Deze logs staan allemaal in 1 directory en zijn per vhost ingesteld.

Elke Vhost ziet er als volgt uit.

code:

<VirtualHost *>
        serveradmin [e-mail]
        ServerName www.domein.tld
        ServerAlias domein.tld
         DocumentRoot /storage/WWW/klantnaam/www.domein.tld/
        CustomLog /storage/WWW/log/http.domein.tld.log combined
</VirtualHost>

In /storage/WWW/log/ staan dus alle logfiles.

Het gaat overigens om Apache 2.0.54 op een Gentoo server.

Is er een software programma wat per vhost het totale dataverbruik etc kan weergeven? AWStats en Webalizer lijken het niet te kunnen doen. Iemand ideëen?

[ Voor 6% gewijzigd door WHiZZi op 27-05-2005 15:23 ]

[jep]

Webalizer kan dit wel en awstats ook. Het zijn immers andere logs.

Als jij webalizer opgeeft te runnen op die log dan maakt hij alleen van die virtualhost statistieken.

[ Voor 3% gewijzigd door jep op 27-05-2005 15:51 ]

[Arnout]

Je wilt in 1 overzicht het dataverkeer per vhost?

[jep]

Arnout schreef op vrijdag 27 mei 2005 @ 15:56:
Je wilt in 1 overzicht het dataverkeer per vhost?

Dat kan awstats wel, maar dan moet 't weer in 1 log. Zoals het nu staat heb je uitgebreide statistieken per log (en dus vhost).

[WHiZZi]

Arnout schreef op vrijdag 27 mei 2005 @ 15:56:
Je wilt in 1 overzicht het dataverkeer per vhost?

Ja, dat wil ik

jep schreef op vrijdag 27 mei 2005 @ 16:00:
[...]

Dat kan awstats wel, maar dan moet 't weer in 1 log. Zoals het nu staat heb je uitgebreide statistieken per log (en dus vhost).

Ik ga geen 8.3GB aan logfiles mergen. Het zijn nu losse files.

[ Voor 47% gewijzigd door WHiZZi op 27-05-2005 16:04 ]

[jep]

Dan kunnen ze 't afaik niet. Dan zul je zelf aan de slag moeten denk ik.

[stefklep]

Met mod_watch kan je dat doen met mrtg en eventuweel Gbgraph krijg je een mooi stats's
http://www.snert.com/Software/mod_watch/.

[ Voor 5% gewijzigd door stefklep op 27-05-2005 16:21 ]

[Verwijderd]

Zelf laat ik webalizer gewoon individuele statistieken genereren en met een php script parse ik alle .hist files die webalizer aanmaakt. Op deze manier kan je een overzicht krijgen van het maandelijkse verbruik per vhost en ook het totale verbruik calculeren. Hier is het script wat ik heb gemaakt misschien heb je er wat aan:

PHP:

        $thismonth=date("n Y");

        $histfiles[0][0] = "/var/logs/vhosts/domain1.ltd/webalizer.hist";
        $histfiles[0][1] = "domain1.ltd";

        $histfiles[1][0] = "/var/logs/vhosts/domain2.ltd/webalizer.hist";
        $histfiles[1][1] = "domain2.ltd";

        foreach ($histfiles as $key => $value) {
                $file=$histfiles[$key][0];
                $site=$histfiles[$key][1];

                $command = "cat $file | grep \"$thismonth\" | awk '{ print \$3\" \"\$4\" \"\$5\" \"\$6\" \"\$7\" \"\$8 }'";
                $usage=shell_exec($command);

                list($hits, $files, $sites, $kbytes, $fdom, $ldom, $pages, $visits) = split(" ",$usage);

                $totalhits+=$hits;

                $usage = (int) $kbytes;
                if (is_numeric($usage)) {
                        $usage=$usage/1024;
                        $usage=round($usage);
                        $totalusage+=$usage;
                        $usage.=" MB";
                }
                echo "$site $hits $usage<br/>\n";
        }
echo "Total hits: $totalhits; Total usage: $totalusage<br/>\n";

[pierre-oord]

stefklep schreef op vrijdag 27 mei 2005 @ 16:20:
Met mod_watch kan je dat doen met mrtg en eventuweel Gbgraph krijg je een mooi stats's
http://www.snert.com/Software/mod_watch/.

Modwatch werkt alleen goed met apache 1. Me apache 2 telt die complete files, ook als je maar een stukje download. Dus met een download accellerator met 4 bronnen (en dus 4 stukjes file) wordt de file 4x geteld.

Met mod_logio voor apache 2 kun je wel heel mooie dingen doen in je logfiles, en dan iets met een patchje voor webalizer, dan komt er iets uit maar daar ben ik zelf nog mee bezig. een handige maneir voor gewoon simpele dataverkeer statistieken in 1 file ben ik nog niet tegengekomen, behalve mod_watch + apache1 + cacti.

Ik ben overigens in gesprek met maker van mod_watch over een fix voor de versie 2. Ik kan helaas niet z'n fout vinden (kan niet echt C proggen ook...) maar hij gaat het oplossen heeft die gezegd, als die klaar is met z'n huidige project, en dat kon nog ff duren zei die.

Als iemand nog mooie loganalyzers weet, die de output van mod_logio gebruiken... ik houdt me aanbevolen...

edit;
Ik gebruik dan ook nog eens mod_vhost_alias... nog leuker
Alles komt dus in 1 logfile bij mij.

[ Voor 6% gewijzigd door pierre-oord op 27-05-2005 17:09 ]

[stefklep]

pierre-oord schreef op vrijdag 27 mei 2005 @ 17:08:
[...]


Modwatch werkt alleen goed met apache 1. Me apache 2 telt die complete files, ook als je maar een stukje download. Dus met een download accellerator met 4 bronnen (en dus 4 stukjes file) wordt de file 4x geteld.

Met mod_logio voor apache 2 kun je wel heel mooie dingen doen in je logfiles, en dan iets met een patchje voor webalizer, dan komt er iets uit maar daar ben ik zelf nog mee bezig. een handige maneir voor gewoon simpele dataverkeer statistieken in 1 file ben ik nog niet tegengekomen, behalve mod_watch + apache1 + cacti.

Ik ben overigens in gesprek met maker van mod_watch over een fix voor de versie 2. Ik kan helaas niet z'n fout vinden (kan niet echt C proggen ook...) maar hij gaat het oplossen heeft die gezegd, als die klaar is met z'n huidige project, en dat kon nog ff duren zei die.

Als iemand nog mooie loganalyzers weet, die de output van mod_logio gebruiken... ik houdt me aanbevolen...

edit;
Ik gebruik dan ook nog eens mod_vhost_alias... nog leuker
Alles komt dus in 1 logfile bij mij.

Naja kan wij vinden het perfect draaien en we het werkt gewoon goed met Apache2 we hebben het zeker getest van te vooren