[gezocht] real-time stats

[Pim.]

Wij (I'R cow) draaien nu al een paar jaar met ppstats in combinatie met perl en GNUplot. Dit betekend dat het natuurlijk altijd wachten op de volgende statsrun. En nee, we zijn zo verslaafd dat we dat eigenlijk niet kunnen opbrengen .

Nu heb ik bij meerdere teams in het verleden php/mysql stats gezien (ik weet helaas niet meer waar) maar ik zou graag die teams willen vragen of zij hun stats ter beschikking willen/kunnen stellen zodat andere teams ook van real-time stats kunnen genieten.

Het mooiste zou natuurlijk zijn dat die stats dan op wdo komen en dat een ieder het daar (incl. FAQ) kan weghalen

Bijv: PHP/MySQL stats

*edit*

Eerste linkjes :

http://energy.keyserver.org/stats/
http://heintje.divisionbrabant.nl/stats/
http://rc5.dizz-e.nl (realtime ??)
http://www.burnincows.nl/stats.asp (realtime ??)

[ Voor 20% gewijzigd door Pim. op 10-10-2003 17:40 ]

[MeneerKrab]

realtime zijn er niet, Ik ken wel een php/mysql statsscript die je dus elke 5sec. kan laten runnen.
DB wordt dus telkens gevuld met de laatste wu's die binnenkomen. Helaas werkte deze bij mij niet naar behoren. van de 100k 90k dube's, terwijl er geen enkele dube inzat.

[ Voor 26% gewijzigd door MeneerKrab op 10-10-2003 15:59 ]

[[eNeRGy]]

mySQL-PHP Personal Proxy Statistics v0.3b-dev

http://energy.keyserver.org/stats/

al is ie best wel stuk ATM

[Pim.]

PowerCow schreef op 10 October 2003 @ 15:58:
realtime zijn er niet, Ik ken wel een php/mysql statsscript die je dus elke 5sec. kan laten runnen.
DB wordt dus telkens gevuld met de laatste wu's die binnenkomen. Helaas werkte deze bij mij niet naar behoren. van de 100k 90k dube's, terwijl er geen enkele dube inzat.

Als de load op de server daarbij redelijk blijft is het close enough

[Pim.]

[eNeRGy] schreef op 10 October 2003 @ 15:58:
mySQL-PHP Personal Proxy Statistics v0.3b-dev

http://energy.keyserver.org/stats/

al is ie best wel stuk ATM

Best wel

[[eNeRGy]]

PowerCow schreef op 10 oktober 2003 @ 15:58:
realtime zijn er niet, Ik ken wel een php/mysql statsscript die je dus elke 5sec. kan laten runnen.
DB wordt dus telkens gevuld met de laatste wu's die binnenkomen. Helaas werkte deze bij mij niet naar behoren. van de 100k 90k dube's, terwijl er geen enkele dube inzat.

chaos.keyserver.org is realtime?

[Verwijderd]

Bij ons doen we elke 10 minuten een statsrun, da's goed genoeg en geeft geen overdreven load (geloof ik )

[Verwijderd]

Ons subteam maakt gebruik van php (en mysql(?)) voor onze stats (http://rc5.dizz-e.nl).
Maar weet niet hoe het precies werkt, moet je toch effe aan teamleider vragen:
pieter (at) dizz-e (dot) nl

Weet niet of dat dit realtime genoeg voor jou is, stats worden nu per 5 minuten geupdate bij ons.

PS: Hopelijk is dit een beetje wat je bedoeld...

[Pim.]

Verwijderd schreef op 10 oktober 2003 @ 16:12:
Ons subteam maakt gebruik van php (en mysql(?)) voor onze stats (http://rc5.dizz-e.nl).
Maar weet niet hoe het precies werkt, moet je toch effe aan teamleider vragen:
pieter (at) dizz-e (dot) nl

Weet niet of dat dit realtime genoeg voor jou is, stats worden nu per 5 minuten geupdate bij ons.

PS: Hopelijk is dit een beetje wat je bedoeld...

Ook 5 minuten is eigenlijk niet wat ik bedoel maar als de load niet te hoog is zou dit veel sneller kunnen ????

De schatting van blokkies voor die dag is een leuk detail en de inhaalstats ook (al snap ik die pagina niet echt )

[Verwijderd]

Ook 5 minuten is eigenlijk niet wat ik bedoel maar als de load niet te hoog is zou dit veel sneller kunnen ????

De schatting van blokkies voor die dag is een leuk detail en de inhaalstats ook (al snap ik die pagina niet echt )

Ik weet niet hoe hoog de load is, maar anders zouden die 5 minuten wel omlaag kunnen schat ik zo.

Inhaalstats pagina heb ik zelf in elk geknutseld, dus dat kan verklaren dat je die niet snapt (is eigenlijk heel eenvoudig hoor , gewoon totaal van 3 dagen opgeteld en aan de hand van die totalen uitrekenen wanneer je andere members gaat inhalen)

[Phenomenon]

Hmmm realtime ben ik eigenlijk ook opzoek naar.
Wat ik nu gebruik is ppstats 8.1, welke dus de gegevens in een mysql database zet.

Als voorbeeldje kun je dit wel ff zien http://www.burnincows.nl/stats.asp. Ik ben er net mee begonnen de pagina uit te breiden. Maar het grote voordeel hiervan wordt dat alle stats van de veschillende subteams op 1 server bekeken kan worden.

[Verwijderd]

http://heintje.divisionbrabant.nl/stats/
is in real-time

[Pim.]

Verwijderd schreef op 10 October 2003 @ 17:36:
http://heintje.divisionbrabant.nl/stats/
is in real-time

En stel je het beschikbaar ????

(layout moet echt ff anders )

[Witlof]

[eNeRGy] schreef op 10 oktober 2003 @ 15:58:
mySQL-PHP Personal Proxy Statistics v0.3b-dev

http://energy.keyserver.org/stats/

al is ie best wel stuk ATM

OGR-26 Lopen er dan echt 3 OGR-projecten bij D.net of is dat gedeelte ook 'stuk'

[MarkB]

Witlof schreef op 10 oktober 2003 @ 18:17:
[...]
OGR-26 Lopen er dan echt 3 OGR-projecten bij D.net of is dat gedeelte ook 'stuk'

Die zijn eind 2001? inderdaad uitgegeven maar heel snel is men daarmee gestopt. Waarom dat is zie OGR24

[Verwijderd]

./Proxy schreef op 10 October 2003 @ 17:41:
[...]


En stel je het beschikbaar ????

(layout moet echt ff anders )

is niet van mij, maar van Heintje1, hij zal binnekort wel langskomen.

[Verwijderd]

TeamBVD heeft een beta van ppstats-layout phpstats die realtime werken...

Degene die daar mee bezig is is Madman, zou je hem eigenlijk even moeten vragen...

[Verwijderd]

Ik kreeg net ff een linkje naar dit topic onder ogen.

En die stats heb ik voor mezelf gemaakt met als doel ze later binnen Division Brabant in te voeren.
Helaas heb ik het van de zomer erg druk gehad en ben ik dus niet echt door gaan ontwikkelen. Er zijn nog een heleboel dingen die hard code er in staan. Zoals de plaats van de logs en dergelijke.

Verder heb ik met dit project mezelf ook PHP aangeleerd. Dus echt optimaal is de code ook niet altijd. Zeker in het begin wou ik nog wel eens moeilijker doen dan nodig.

$lastseen[$i] = (date(U)-date(Z))-date(U,mktime(substr($time['lasttime'],0,2),substr($time['lasttime'],3,2),0,substr($totaal['lastdate'],5,2),substr($totaal['lastdate'],8,2),substr($totaal['lastdate'],0,4)));

Dat is zomaar een regel uit de code.

Dus op veel plaatsen moet de code nog verbeterd worden.
Maar als er hier mensen zijn die de tijd en kennis hebben om daar aan mee te helpen wil ik hem wel beschikbaar stellen.

De voordelen van deze stats zijn dat ze idd realtime zijn. En nog een voordeel is dat dupes niet in de stats komen. Zeker als je de oude ppstats er nog naast heb draaien kun je makkelijk achterhalen wie er dupes submit.

De layout heb ik afgeleid van de ppstats maar dat is ook wel te zien. Verder zitten er een aantal toevoegingen in zoals de eerder genoemde inhaal stats. (op basis van het week gemiddelde)

Alleen hoe het met de load zit weet ik niet. Als ik naar de output van mijn koetje op die bak kijk is die niet omlaag gegaan hier door. Maar hoe dat word bij grotere teams zou ik niet weten. Ik doe maar ongeveer 1K per dag. Nou moet ik wel zeggen dat 1 bepaalde tabel al wel behoorlijk groot is. (33MB, 260K regels)

Dus als er mensen zijn met PHP kennis mogen die best een keer kijken wat ze er mee kunnen. En wat er allemaal nog aan verbeterd moet worden.
Maar natuurlijk zou het nog mooier zijn als julie allemaal Team Heintje! joinen voor deze stats.....
Nee dat zou leuk zijn maar een beetje te veel van het goede. Dus ik stel de code wel beschikbaar. Kan ik zelf alleen maar van leren.

[Pim.]

Verwijderd schreef op 10 October 2003 @ 19:02:
TeamBVD heeft een beta van ppstats-layout phpstats die realtime werken...

Degene die daar mee bezig is is Madman, zou je hem eigenlijk even moeten vragen...

Klopt, en zien er zeer goed uit

Ongeveer een maand (of anderhalf) geleden al gevraagd. Maar de stats zijn "in ontwikkeling" en gaan dus niet naar andere teams.

Ik verwacht ook niet dat hij ze binnenkort af heeft of dat ie anderen mee laat ontwikkelen (ook aangeboden)

[DSmarty]

Ik verwacht dat het binnenkort wel af is trouwens!

(En wordt ook gewoon openbaar).

[Pim.]

DSmarty schreef op 10 October 2003 @ 19:51:
Ik verwacht dat het binnenkort wel af is trouwens!

(En wordt ook gewoon openbaar).

Is dat in dagen, weken of maanden ??

En zijn dat dan mensen,honden of Dsmarty dagen/weken/maanden

[Makkelijk]

Idd.. binnenkort voor Dsmarty moet je nogal ruim nemen...
We gingen geloof ik ook binnenkort 1 staan binnen DPC

[DSmarty]

Ik ben geen progger, ask Madman

[Pim.]

DSmarty schreef op 10 October 2003 @ 21:10:
Ik ben geen progger, ask Madman

Done that, tried that

[Verwijderd]

Dat van de BC is nog niet Realtime (wordt wel aan gewerkt), het werkt met mysql.
Er moet nog 1 en ander aan verbeterd worden, en de layout moet verfraaid worden. En er zullen nog meer verschillende velden bijkomen.
Mocht al wel van de bouwer zeggen dat zo gauw als het klaar is het script hier op GoT geplaats zal worden.

Maar wel ff geduld, want hij heeft meerdere dingen waar hij op dit moment aan werkt.

[DukeBox]

Waarom bouw je nietzelf stats ? Pak een van de statsengins en geef er een draai aan.

[Verwijderd]

Heb ik dat hele lapje tekst nou voor niks ingeklopt. Ik bied julie een draaiend systeem het enige wat er nog aan gedaan moet worden is het geschikt maken om makkelijk te installen.

[scorpionv]

En [eNeRGy] kan het dan ff op onze DPC server gooien, en dan hebben we stats tot we er bij neervallen

[Pim.]

Verwijderd schreef op 11 October 2003 @ 01:01:
Heb ik dat hele lapje tekst nou voor niks ingeklopt. Ik bied julie een draaiend systeem het enige wat er nog aan gedaan moet worden is het geschikt maken om makkelijk te installen.

Ik heb je al ff opgezocht op ICQ, maar zou je ook een linkje kunnen neerplanten naar de stats (de goede) want de link in je sig doet het niet en op jullie stats staat:

code:

Last Updated: 
11 Oct 2003 08:30

Jullie hebben GMT ingesteld

[ Voor 7% gewijzigd door Pim. op 11-10-2003 11:09 ]

[Witlof]

Team Heintje! Stats: http://heintje.divisionbrabant.nl/stats/

[MadMan81]

Zoals sommige van jullie wel weten ben ik al een tijdje bezig met het ontwikkelen van statistieken voor perproxy. Ik ben begonnen met een php versie die tegen een MySql database aanpraatte. Toen ik een van de eerste versies afhad, ben ik deze eens gaan testen met de statistieken van ons team (TeamBVD). Toen bleek dat MySql een database met ruim 1,2 miljoen record in de hoofdtabel niet grappig vond Een oplossing lag in een andere tabel structuur, maar daarvoor had ik stored procedures nodig, iets wat nog steeds mist in MySql. Daarom ben ik toen overgestapt op Postgresql. Nadien heeft de ontwikkeling een poos stil gelegen omdat ik het druk had met andere dingen (Het nieuwe forum op van dsmarty/werk/school etc).

Ondertussen ben ik de draad weer opgepakt en heb besloten een nieuwe database te ontwerpen. Deze moet de structuur van een OLAP systeem krijgen. Dit omdat het uitlezen van de data bij dit systeem de prioriteit heeft, immers daar zit de website aan. En ik kan me niet voorstellen dat met 10 sec. wil wachten op het creëren van een pagina

Voor een voorbeeld verwijs ik graag ff naar mijn site: www.aarjan.com/stats Dit is de laaste op Mysql gebaseerde versie. Een versie van Postgresql is te vinden op www.aarjan.com/psqlstats

Voor de rest wil tegen de mensen die hun hulp hebben aangebonden het volgende zeggen: Ik waardeer het erg, maar vind zelf veel te leuk om te doen. Wel hoor ik graag tips/commentaar van jullie!

PS. De huidige Postgresql database versie heeft een ingebouwde dupe-checker: Dus dubbele blokjes worden maar 1 maal in de stats weer gegeven!

[Witlof]

Over het algemeen is het altijd wel beter als maar 1 persoon hieraan werkt aangezien wijzigingen e.d. dan vaak sneller doorgevoerd zijn omdat de persoon precies weet hoe alles in elkaar steekt en waar alles is terug te vinden. Helaas zal hierdoor wel wat meer tijd aan het project besteed worden dan dat je met meerdere mensen samen werkt. In iedergeval is er veel vraag naar 'real-time'-stats maar zeker ook php en sql gebasseerd doordat er dan vaak makkelijker iets aangepast kan worden en stats snel ook in andere pagina's opgenomen kunnen worden.

* Witlof is in iedergeval benieuwd naar het resultaat en wanneer dit gedeelt wordt met de buitenwereld