[asp/xml]Ppstats weergeven

[Phenomenon]

Ok ik ben bezig met een asp script om in xml de stats te laten weergeven, omdat ik ze op onze website kan weergeven.

Nu heb ik al een groot gedeelte af en ik krijg er ook xml uit.
http://www.burnincows.nl/test/index.asp

Dit script wil ik dus hebben draaien bij de mensen die een proxy draaien, maar aangezien ik helemaal niets van dat gebeuren weet kom ik hier maar ff aan.

Die proxy maakt het bestand RC57220030612.log aan.

Nu mijn vragen.

• Waar komt dit bestand te staan
• Kan je aangeven waar de proxy deze neerzet (aangezien ik hem uitlees met de index.asp en daar dus wel toegang toe moet hebben.)
• Zit ik nu niet dubbel werk te doen en bestaat er al zoiets

Oooh als mensen er geintreseerd in zijn, dan zal ik het script wel ff posten.

[pasta]

Supervisor schreef op 12 June 2003 @ 21:29:
Ok ik ben bezig met een asp script om in xml de stats te laten weergeven, omdat ik ze op onze website kan weergeven.

Nu heb ik al een groot gedeelte af en ik krijg er ook xml uit.
http://www.burnincows.nl/test/index.asp

Dit script wil ik dus hebben draaien bij de mensen die een proxy draaien, maar aangezien ik helemaal niets van dat gebeuren weet kom ik hier maar ff aan.

Die proxy maakt het bestand RC57220030612.log aan.

Nu mijn vragen.

• Waar komt dit bestand te staan
• Kan je aangeven waar de proxy deze neerzet (aangezien ik hem uitlees met de index.asp en daar dus wel toegang toe moet hebben.)
• Zit ik nu niet dubbel werk te doen en bestaat er al zoiets

Oooh als mensen er geintreseerd in zijn, dan zal ik het script wel ff posten.

om vraag 1 en 2 tegelijk te beantwoorden
Je kan in de .ini instellen waar de logs naar toe geschreven worden...
Antwoord op vraag 3:
Voor zover ik weet bestaat er nog geen asp/xml versie

[RobzQ]

Goed idee een eigen stats enigine schrijven, het is wel weer tijd voor een nieuwe

RC57220030612.log

Correct me if i'm wrong, maar heet dat bestand niet iedere dag anders

Waar komt dit bestand te staan

Kun je dit niet configurabel maken middels een ini of andere configfile?

Zit ik nu niet dubbel werk te doen en bestaat er al zoiets

Volgens mij nog niet met ASP icm XML, zie onderstaande link voor andere statsscripts, misschien kun je eentje downen en kijken hoe ze daar bijv dir. uitlezen enz?

http://www.distributed.net/download/addon.php en dan onder het kopje 'Personal Proxy Statistics Generators'

[RobzQ]

Oooh als mensen er geintreseerd in zijn, dan zal ik het script wel ff posten.

Zeker doen, en als het echt goed werkt misschien ook even distributed.net sturen?

[Phenomenon]

pastapappie.NET schreef op 12 June 2003 @ 21:39:
[...]

om vraag 1 en 2 tegelijk te beantwoorden
Je kan in de .ini instellen waar de logs naar toe geschreven worden...
Antwoord op vraag 3:
Voor zover ik weet bestaat er nog geen asp/xml versie

Aaah ok, dan gaan we maar ff dapper verder op deze manier
Wat ik van plan ben is dus:

Iedereen die een proxy draait gaat dit script draaien.
Nu komt op de server (waar de website staat) een parse script te draaien, dus dus alle proxy servers bij langs gaat om de data op te halen. Dit maximaal 1 x per kwartier ofzo.
Hierna prop ik het in de database en vandaaruit kan ik statistieken gaan maken.

Zie ik dingen over het hoofd mischien?

[Phenomenon]

Hmm ik zal wel ff posten wat ik nu heb.

Dit komt bij de proxy te draaien. Let wel dat ik er nog maar een paar uurtjes aan gewerkt heb en het nog lang niet klaar is.

ASP:

<%@ Language=VBScript %>
<% Option Explicit %>
<%
Dim str_logfile
Dim datum
Dim str_pad     '//pad naar bestanden toe
Dim fso         '//File system object
Dim bestand     '//File system object - TextStream
Dim My_Array
Dim I           '//Integer

Init()
Write_Header()
Get_Data()
Write_Footer()

Private Function Init()
    datum =YEAR(Date()) & Pd(Month(date()),2) & Pd(DAY(date()),2)    
    str_logfile = "rc572" & datum & ".log"
End Function

Private Function Write_Header()
    Response.ContentType = "text/xml"    
    Response.Write("<?xml version=""1.0"" encoding=""ISO-8859-1""?>") & VbNewLine
    Response.Write("<main>") & VbNewLine
    Response.Write("<contest>RC5-72 Contest</contest>") & VbNewLine
    Response.Write("<team>Burnincows</team>") & VbNewLine   
    Response.Write("<details>") & VbNewLine   
End Function

Private Function Get_Data()
    I = 0
    str_pad = server.mappath(str_logfile)   
    Set fso = Server.CreateObject("Scripting.FileSystemObject")
    If fso.FileExists(str_pad) Then         
        Set bestand = fso.OpenTextFile(str_pad,1,False)
        Do while bestand.AtEndOfLine = False
            My_Array = Split(bestand.ReadLine, ",", -1, 1)          
            Response.Write "<flush id=""" & I & """>"
            Response.Write "<date>" & My_Array(0) & "</date>"
            Response.Write "<ip>" & My_Array(1) & "</ip>"
            Response.Write "<email>" & My_Array(2) & "</email>"
            Response.Write "<hex>" & My_Array(3) & "</hex>"
            Response.Write "<size>" & My_Array(4) & "</size>"
            Response.Write "<cpu>" & My_Array(5) & "</cpu>"
            Response.Write "<os>" & My_Array(6) & "</os>"
            Response.Write "<client>" & My_Array(7) & "</client>"
            Response.Write "<core>" & My_Array(8) & "</core>"
            Response.Write "</flush>"
            I = I + 1
        Loop        
    End If
End Function

Private Function Write_Footer()
    Response.Write("</details>") & VbNewLine   
    Response.Write("</main>") & VbNewLine
End Function 

Function pd(n, totalDigits) 
   If totalDigits > len(n) then 
    pd = String(totalDigits-len(n),"0") & n 
   Else 
        pd = n 
   End If 
End Function 
%>

En het bestand welke op de server komt te draaien.

ASP:

<%@ Language=VBScript %>
<% Option Explicit %>
<%
Dim Http_Obj
Dim Obj_XML
Dim Parse_Error
Dim DocRoot
Dim Obj_Lst
Dim Obj_Hdl
Dim Int
Dim X
Dim Con     'Connection Database
Dim Rst_RcStats 'Stats recordset
Dim Com_RcStats 'Stats Command
Dim str_SQL 'SQL String

Set Con = Server.CreateObject("ADODB.Connection")
Con.ConnectionString = "Driver={MySQL};Server=mysql.burnincows.nl; Database=burnincows; Uid=****; Pwd=****;" 
Con.Open

Set Http_Obj = Server.CreateObject("Microsoft.XMLHTTP")
Http_Obj.Open "GET","http://www.burnincows.nl/test/index.asp",false
Http_Obj.Send()

Set Obj_XML = Server.CreateObject("MSXML2.DomDocument.4.0")
Obj_XML.async = False
Obj_XML.Load(Http_Obj.ResponseXML)

Set Docroot = obj_XML.documentElement
Set obj_Lst = obj_XML.getElementsByTagName("flush")
int = obj_Lst.length

Set Rst_RcStats = Server.CreateObject("ADODB.RecordSet")
Rst_RcStats.CursorType = 2
Rst_RcStats.LockType = 3

Set Com_RcStats =Server.CreateObject("ADODB.Command")
Com_RcStats.ActiveConnection= Con

For X = 0 to (int-1)
    Set obj_Hdl = obj_Lst.Item(X)   
    Rst_RcStats.Open "SELECT * FROM tbl_rcstats WHERE datum='" & obj_Hdl.ChildNodes(0).Text & "' AND user_ip='" & obj_Hdl.ChildNodes(1).text & "' AND hex='" & obj_Hdl.ChildNodes(3).Text & "'" , Con   
    If Rst_RcStats.Eof Then
        Com_RcStats.CommandText = "INSERT INTO tbl_rcstats (datum, user_ip, email, hex) VALUES ('" & obj_Hdl.ChildNodes(0).Text & "', '" & obj_Hdl.ChildNodes(1).Text & "', '" & obj_Hdl.ChildNodes(2).Text & "', '" & obj_Hdl.ChildNodes(3).Text & "')"            
        Com_RcStats.Execute
    End If
    Rst_RcStats.Close()
Next
%>

[ Voor 40% gewijzigd door Phenomenon op 12-06-2003 22:00 ]

[DukeBox]

Niet om je te ontmoedigen, maar veel proxy's draaien linux, waar dus geen asp beschikbaar is. Het zou beter zijn het in php of perl (of andere os onafhankelijke taal) te maken.
Overigens, als je de stats wilt verzamelen, waarom xml ? is bijv csv niet makkelijker ? Het scheelt in ieder geval een boel overhead en de meeste webservers kunnen gzip content leveren. (wget bijv, kan hier weer mee overweg om het op te halen)

[mrsar]

ik ben dus sinds gisteren bezig gegaan met het bedenken van hetzelfde in php,wat dan door een devver op me werk in elkaar gezet wordt.aangezien mijn subteam natuurlijk allerlei verschillende ip's heeft,en ook dynip's moet dus op het moment van flushen het ip vastgelegt worden,want iedereen wil natuurlijk zien wat diegene geflushed heeft.het plan is al uitgedacht en uitgetekend,ik hoop dat hij er volgende week aan kan beginnen,en warschijnlijk zal ik dit dan ook wel hier neer kunnen zetten

i'll keep u all updated

[TGEN]

op Linux is wel ASP, Chilisoft. Maar ASP is ranzig en lelijk (imho), dus pak perl en klussen maar! . Want php is net zo vies .

[Loco-Motiv]

Reactie op DukeBox en TGEN:

Juist voor de diversiteit (hm, raar woord) is het goed dat er ook stats worden gemaakt voor meerdere scriptingtalen.
Niet iedereen zal de beschikking hebben over een *nix server met apach, mysql en php/perl.

[DukeBox]

Loco-Motiv schreef op 13 June 2003 @ 06:25:
Reactie op DukeBox en TGEN:

Juist voor de diversiteit (hm, raar woord) is het goed dat er ook stats worden gemaakt voor meerdere scriptingtalen.
Niet iedereen zal de beschikking hebben over een *nix server met apach, mysql en php/perl.

Dat is juist wat ik bedoel.. op windows kun je ook php gebruiken (en mysql en apache).

tgen: de asp module onder linux komt niet in de buurt van asp onder win.

[ Voor 9% gewijzigd door DukeBox op 13-06-2003 08:59 ]

[Phenomenon]

TGEN schreef op 13 juni 2003 @ 05:01:
op Linux is wel ASP, Chilisoft. Maar ASP is ranzig en lelijk (imho), dus pak perl en klussen maar! . Want php is net zo vies .

Mwaah dat is natuurlijk persoonlijk, je kan niet echt zeggen dat de ene scriptaal beter is dan de andere.

En waarom ik het in asp doen
Alle mensen die een proxy draaien hebben iis draaien. Dus ik hoef er verder geen veranderingen in aan te brengen. Ten tweede ken ik ASP een stuk beter, dan php. Waar ik nog wel aan zit te denken is om in het in asp.net te maken, maar daar ben ik nog niet helemaal over uit.

En waarom xml
Is dit nu net niet hetgeen waar XML voor bedoeld is. Ik ga dus vanaf onze webserver de proxy server oproepen waarvandaan ik de XML parse en in de webserver's database proppen.

Het is mischien niet de best gekozen taal hiervoor, maar voor mij persoonlijk is het wel de beste, dus dat hou ik ook maar zo

[stappel_]

Supervisor schreef op 13 June 2003 @ 09:30:
En waarom ik het in asp doen
Alle mensen die een proxy draaien hebben iis draaien. Dus ik hoef er verder geen veranderingen in aan te brengen.

hoe kam je daar bij? Ongeveer 66% heeft de proxy onder linux draaien. Onder linux geen IIS maar apache. En zelfs onder windows draaien een aantal mensen de proxy onder apache. (en ik kan het weten want ik schrijf ppstats (ok soms dan) en draai het op windows onder apache om te testen).

[DukeBox]

nog een argument (en nee ik wil je echt niet ontmoedigen.. alhoewel het er aardig op begint te lijken ) Voor iss heb je nogal een dure licentie nodig, terwijl er genoeg webservers zijn die onder 2000 draaien die gratis zijn (apache, sambar) deze ondersteunen allemaal perl, php, cf enz.
Voor de rest sluit ik me aan bij stappel_.

Ja xml is op zig daarvoor bedoeld, maar helaas is het lang niet zo geopptimaliseerd als plain text. Je komt op alle DC projecten eigenlijk alleen nog maar plain txt tegen, bijna geen xml.
Hmm er is wel een groot voordeel van xml, en dat is uniformiteit van de stats.

[ColdFusion]

stappel_ schreef op 13 June 2003 @ 09:59:


hoe kam je daar bij? Ongeveer 66% heeft de proxy onder linux draaien. Onder linux geen IIS maar apache. En zelfs onder windows draaien een aantal mensen de proxy onder apache. (en ik kan het weten want ik schrijf ppstats (ok soms dan) en draai het op windows onder apache om te testen).

In de openingspost gaf hij aan het in eerste instantie voor zijn subteam te willen bouwen. Misschien dat hij met die opmerking over IIS het ook over de situatie binnen zijn subteam had

[stappel_]

ColdFusion schreef op 13 juni 2003 @ 10:12:
[...]

In de openingspost gaf hij aan het in eerste instantie voor zijn subteam te willen bouwen. Misschien dat hij met die opmerking over IIS het ook over de situatie binnen zijn subteam had

hmm zo had ik het niet gezien. mijn excusses dan maar.
als het straks rustig is zal ik een kijken of ik niet in ppstats kan hacken en dan ook xml files kan bouwen. (naast de normale html files)

[MeneerKrab]

zeg even vraagje, waarom beginnen we een discussie over welk os het meest gebruikt wordt en waarom asp slecht is etc.... Die jongen had een vraag en dat ging volgens mij niet over os-en en programmeertalen discussies.

dit moest ik ff kwijt.

[Phenomenon]

Jah het is dus idd bedoeld voor mijn eigen team. Van die gegevens ga ik dus ook uit. Hun draaien allemaal IIS en mag het dus geen probleem zijn om het te laten draaien.

[Roel]

En zolang je het gewoon open source maakt zal er vast wel een php of perl versie komen die compatible is

[Phenomenon]

Roel schreef op 13 juni 2003 @ 10:42:
En zolang je het gewoon open source maakt zal er vast wel een php of perl versie komen die compatible is

Zodra het in het geheel draait post ik hier wel hoe ik het gebruik.

Hoewel ik het betwijfel of veel mensen het kunnen gebruiken, maar jah kwaad kan het niet

[TGEN]

Idd, en als het eenmaal goed werkt verdient het imho ook een plaatsje op wdo .

[Phenomenon]

WDO Wat is dat?

[MarkB]

Supervisor schreef op 13 juni 2003 @ 15:36:
WDO Wat is dat?

* MarkB slaps Supervisor around a bit with a large trout

www.dutchpowercows.org

[Phenomenon]

MarkB schreef op 13 June 2003 @ 15:38:
[...]


* MarkB slaps Supervisor around a bit with a large trout

www.dutchpowercows.org

Grapje natuurlijk

[Chaos]

Supervisor schreef op 12 juni 2003 @ 21:44:

Iedereen die een proxy draait gaat dit script draaien.
Nu komt op de server (waar de website staat) een parse script te draaien, dus dus alle proxy servers bij langs gaat om de data op te halen. Dit maximaal 1 x per kwartier ofzo.
Hierna prop ik het in de database en vandaaruit kan ik statistieken gaan maken.

Zie ik dingen over het hoofd mischien?

XML is verschrikkelijk inefficient voor zoiets, een logfile van 2MB gaat in XML al gauw richting de 20MB en dat moet je dan elk kwartier ophalen. Eigenlijk moet je clientside gewoon elke byte die je ook wel kunt missen eruithalen. Het is overigens ook een stuk slimmer om elk kwartier alleen de nieuwe regels uit een logfile over te sturen. En als je het toch in een database wilt hebben is het nog handiger om de clients gelijk naar de database laten connecten.

[DukeBox]

Chaos schreef op 13 June 2003 @ 17:57:
[...]


XML is verschrikkelijk inefficient voor zoiets, een logfile van 2MB gaat in XML al gauw richting de 20MB en dat moet je dan elk kwartier ophalen. Eigenlijk moet je clientside gewoon elke byte die je ook wel kunt missen eruithalen. Het is overigens ook een stuk slimmer om elk kwartier alleen de nieuwe regels uit een logfile over te sturen. En als je het toch in een database wilt hebben is het nog handiger om de clients gelijk naar de database laten connecten.

Ja.. dat bedoelde ik dus

[Phenomenon]

Maar ik denk niet dat je snel aan een logfile van 2mb komt. Het is maar van 1 dag. Laat het eens ten hoogste 200kb zijn, dan zal de XML pak hem beet 700kb zijn.

Ik parse 1 x per uur. Denk niet dat het zo'n ramp is.

Het is idd ook een mogelijkheid om ze gewoon naar de mysql server te laten connecten en het dan in te voegen. Daar kan ik idd eens naar kijken

[pasta]

Supervisor schreef op 13 juni 2003 @ 20:59:
Maar ik denk niet dat je snel aan een logfile van 2mb komt. Het is maar van 1 dag. Laat het eens ten hoogste 200kb zijn, dan zal de XML pak hem beet 700kb zijn.

Ik parse 1 x per uur. Denk niet dat het zo'n ramp is.

Het is idd ook een mogelijkheid om ze gewoon naar de mysql server te laten connecten en het dan in te voegen. Daar kan ik idd eens naar kijken

waarom doe je dan niet gewoon de gegevens uit de log lezen en in een tabel pleuren, om vervolgens die met de XML uit te lezen?

[Phenomenon]

pastapappie.NET schreef op 13 June 2003 @ 21:30:
[...]

waarom doe je dan niet gewoon de gegevens uit de log lezen en in een tabel pleuren, om vervolgens die met de XML uit te lezen?

Eeeehm hier begrijp ik niet helemaal wat je bedoeld

Een situatieschets.

1 Webserver + site
2 Proxy server
3 Proxy server
4 Proxy server

Nu wil ik dus vanaf 1 de logs verzamelen vanaf 2/3/4
Nu laat ik index.asp (XML generator van de log-files) op 2/3/4 draaien. Die poepen dus nu mooi hun stats uit in XML. Via 1 heb ik een parser die dus de XML bestand van 2/3/4 parsed. Deze worden in 1 in een database gepropt en daar maak ik statistieken van.

Hmmm duidelijk zo

[Jive]

* Jive denkt ook even mee ...
Ben wel niet zo goed in devven ... maar wat ik lees komt bij mij over als ....

De proxy servers (allemaal windows met iis in jouw geval als ik het goed begrijp) produceren op een of andere manier een XML file van de stats .... welke dan door jou elke 15 mins gepolled worden vanaf je webservert naar nieuwe regels ... welke dan vervolgens in je dbase gepropt worden om vanaf je webservert statspages te kunnen uitdelen.

Zal op zich best werken ... ietwat omslachtig IMHO, maar werkbaar.
Nu vraag ik mij alleen af of het niet efficienter is om enkel de logfiles direct te pollen van de webserver en daarvan de nieuwe regels in je dbase te proppen .....

En de insteek die Chaos bedoelt van giga-logfiles kan best snel gebeuren als je een proxy draait waarover behoorlijk wat blokjes gaan (zoals de dpc-pub proxies), wat bij jou lang niet gehaald word (gok ik).

En met mijn bepekte kennis van XML ... ben ik het wel eens met de anderen wat betreft de efficiency van platte text ten opzichte van XML ... zeker in deze situatie, gezien je de stats toch weer in een dbase propt .... ( TXT -> XML -> WEBServ -> SQL-dbase import ) of ( TXT -> SQL-dbase import van TXT )

[TGEN]

Natuurlijk moet je ook niet vergeten dat je die data ook kan comprimeren, om bandbreedte te besparen. Vereist wel weer een beetje extra cpupower, maar minder bandbreedte en die is in Nederland niet zo goedkoop...