[FAD] Zelf stats maken aan de hand van de CSV files

[mcB]

Hierbij open ik maar een nieuw topic, want hier zou wel eens nuttige info kunnen komen te staan voor toekomstige statsbouwers voor het project Find A Drug.

Ik ben al bezig geweest met he bouwen van stats voor ons subteam. Dit lukte vrij aardig totdat ik ontdekte dat er iets niet meer klopte in onze stats.

Het bleek dat het (door mij veronderstelde unieke) User ID (kolom 1 van de CSV file) helemaal geen unieke pointer is naar een user.
Wat voor ID dit wel is is mij een raadsel. Tevens blijkt dat een user meerdere keren in de CSV file voor kan komen onder verschillende usernames en verschillende ID's. Bovendien lijken de bijbehorende ID's ook van tijd tot tijd te veranderen.

Kan iemand mij uitleg geven over hoe het zit met de ID's, usernames, emailadressen etc bij FaD.
Het enige dat ik zoek is een unieke aanwijzer naar een user met een bijbehorende score.

[ColdRain]

De user ID bij FaD is in feite de laagste host nummer die bij die user hoort. In mijn geval is dat 1011810, en dat is het ID van een host die niet eens meer bestaat. Host ID's, en dus user ID's, zouden echter wel uniek moeten zijn.

Er zijn een tijdje terug (enkele weken?) draadjes hierover geweest op het FaD forum. Bleek dat, door een bug, een van de servers opnieuw heel lage ID nummers toekende. Dit werd afaik hersteld. Zou het kunnen dat jij nog oude rest-data hebt?

Kan je anders eens de desbetreffende lijnen van zo'n meervoudige user ID posten? Als het er veel zijn evt via een GROUP BY ?

[mcB]

De DB is leeg/FUBAR.

Een voorbeeld; pdipappio heeft in de total.csv de volgende 2 records;
1: 3005597,'pdipappio',2047,51,10,456,97,861,106,1400,14,800,1099743922,5068,3988
2: 7002991,'[CS]~pdipappio',2047,51,84,5676,830,246,820,2860,95,550,1099916866,2774,56

Klik ik op de user [CS]~pdipappio dan zie ik de volgende ID's terugkomen;
3005596,7002904,7002905,7002935 en 7002991

Wat zijn dit voor ID's??

[BwO]

mcB schreef op 09 november 2004 @ 00:55: een heel verhaal wat de layout verneukt als je het quote.

Ik denk dat we beter gewoon een lijst kunnen mailen naar [e-mail] met daarin alle id's die veranderd moeten worden en uitleggen waarom. Volgens mij is het niet veel moeite.

[ Voor 45% gewijzigd door BwO op 09-11-2004 01:14 ]

[ColdRain]

mcB schreef op 09 november 2004 @ 00:55:
Een voorbeeld; pdipappio heeft in de total.csv de volgende 2 records;
1: 3005597,'pdipappio',2047,51,10,456,97,861,106,1400,14,800,1099743922,5068,3988
2: 7002991,'[CS]~pdipappio',2047,51,84,5676,830,246,820,2860,95,550,1099916866,2774,56

Dat zijn 2 verschillende users voor FaD. Je kan support mailen om te vragen ze samen te voegen. Je moet dan wel vermelden welke de juiste is.

Klik ik op de user [CS]~pdipappio dan zie ik de volgende ID's terugkomen;
3005596,7002904,7002905,7002935 en 7002991

Wat zijn dit voor ID's??

Dat zijn de diverse host ID's van die user.
pdipappio heeft blijkbaar meer dan 1 pc op FaD staan, en elke pc heeft een eigen ID. Je vindt die nummer ook hier terug: mja die link lukt niet, denkelijk door de rechte haken in de naam ...
http://stats.findadrug.or...r&Nickname=[CS]~pdipappio

[ Voor 12% gewijzigd door ColdRain op 09-11-2004 01:28 ]

[ColdRain]

BwO schreef op 09 november 2004 @ 01:13:
Ik denk dat we beter gewoon een lijst kunnen mailen naar [e-mail] met daarin alle id's die veranderd moeten worden en uitleggen waarom. Volgens mij is het niet veel moeite.

Dat gaat niet lukken.
Je kan vragen om user's te mergen, tenminste als duidelijk is dat het dezelfde user is. Maar host ID's mergen, ca ne va pas

[Verwijderd]

Nou heb ik ook meerdere PC's op FaD staan en ik sta maar 1 keer in de lijst.

7003090,'NGS0Allied',2047,51,177,5585,1713,708,1351,2681,169,534,1099981463,2118,73

Denk dus niet dat meerdere PC's nou meteen het probleem zou zijn.

[Kristof]

Ik wil wel helpen om het uit te pluizen, maar kan misschien iemand al zeggen welke informatie we al hebben (kwestie van geen dubbel werk te doen)
Wat voor info bevatten de andere velden (ik heb er al enkele kunnen terugvinden door te vergelijken met de fad official statspage)


Ik heb 3 clients draaien. Momenteel kan ik enkel aan 1 aan (ik zal vanavond de andere 2 nakijken), maar de userid in de stats komen niet overeen met de id van de client die ik nu zie (en is de eerste die ik geinstalleerd heb gehad, dus zou imho logisch zijn als ze deze nr als userid zouden nemen).
Dus een andere mogenlijkheid is, dat ze de laatst geregistreerde userid nemen, ofwel diegene die het laatst geflusht heeft?


OK, via de stats een query op mijn nickname gedaan, en daar krijg ik dus inderdaad de 3 id's uit, namelijk: 3005687, 7002884 en 7003089.
Het is de laatste nummer die in de csv file voorkomt.
Ik neem dus aan dat ze de id van de laatste geregistreerde install gebruiken.
Dit verklaart ook het problem van mcB waarom de IDs regelmatig veranderen.

[ Voor 23% gewijzigd door Kristof op 09-11-2004 11:27 ]

[Pyrus]

Wat ik tot nu toe heb kunnen bedenken is dit

code:

1015414, <-id
'Pyrus',<-username
2047,<-teamid
51,
1,<-jobs
64,<-hits
10,
0, <- vandaag ??
19, <- aantal uur CPU-tijd
3109,
3,170, <- totaal score (als dat dus geen twee verschillende dingen zijn)
1097107949, <- Unixtimestamp van de laatste update van deze persoon is geweest
6518,
-23 <- plaatsen gedaald vandaag ??

(Heb mezelf dus als voorbeeld genomen omdat ik daar de info van heb)

[ Voor 15% gewijzigd door Pyrus op 09-11-2004 11:00 ]

[NightBird]

Kristof schreef op 09 november 2004 @ 10:23:
[..]
OK, via de stats een query op mijn nickname gedaan, en daar krijg ik dus inderdaad de 3 id's uit, namelijk: 3005687, 7002884 en 700308.
Het is de laatste nummer die in de csv file voorkomt.
Ik neem dus aan dat ze de id van de laatste geregistreerde install gebruiken.
Dit verklaart ook het problem van mcB waarom de IDs regelmatig veranderen.

Nou staat er eerder in dit draadje een reactie van ColdRain, waar hij uitlegt wat het getal is:

ColdRain schreef op 09 november 2004 @ 00:45:
De user ID bij FaD is in feite de laagste host nummer die bij die user hoort. In mijn geval is dat 1011810, en dat is het ID van een host die niet eens meer bestaat. Host ID's, en dus user ID's, zouden echter wel uniek moeten zijn.

[Kristof]

NightBird schreef op 09 november 2004 @ 10:44:
[...]
Nou staat er eerder in dit draadje een reactie van ColdRain, waar hij uitlegt wat het getal is:
[...]

Kristof schreef op 09 november 2004 @ 10:23:
OK, via de stats een query op mijn nickname gedaan, en daar krijg ik dus inderdaad de 3 id's uit, namelijk: 3005687, 7002884 en 7003089.
Het is de laatste nummer die in de csv file voorkomt.
Ik neem dus aan dat ze de id van de laatste geregistreerde install gebruiken.
Dit verklaart ook het problem van mcB waarom de IDs regelmatig veranderen.

Als je in de csv file zoekt, krijg je bij mijn nickname ([DPC] Kristof) de ID 7003089 te zien. Dit is dus de hoogste host nummer...

[NightBird]

Kristof schreef op 09 november 2004 @ 11:00:
[...]


[...]


Als je in de csv file zoekt, krijg je bij mijn nickname ([DPC] Kristof) de ID 7003089 te zien. Dit is dus de hoogste host nummer...

Ow.. dus het is gewoon een van je ids
Maar in je andere bericht was je de laatste 9 van je id vergeten en was het dus wel het laagste getal

[mcB]

Dat bedoel ik nou,... er lijkt niet echt consistentie in te zitten. Hoogste ID, laagste ID,.. ik weet het niet,...

[Kristof]

@mcB: ik zou die ID laten voor wat het is, en de nickname gebruiken

@Pyrus: veld 7 en 8 gecombineerd geven je het aantal moleculen
en het voorlaatte veld (bij jouw 6518) is de overal rank!
Blijven er dus nog 2 over

[Pyrus]

Got it

Ergens op een achterafhoekje van fdo postte Coldrain:
In verband met die Total.csv:

code:

#grep "ColdRain" Total.csv   
1011810,'ColdRain',2047,9,672,108133,6594,699,6388,2945,1661,192,1099721968,376,1

betekenis vd velden of kolommen (mocht je ze in excel laden):
A - Member number 
B - Name (Bet you didn't guess this one) 
C - Team ID 
D - Country number 
E - Total Jobs 
F - Total Hits 
G - Molecules x 1000 
H - Molecules 
I - Hours 
J - Seconds 
K - Points x 1000 
L - Points 
M - last upload in unix timestamp
N - overall ranking
O - change in ranking

Ivm kolommen K en L (en G en H):
aantal punten = K x 1000 + L
dus 1661 x 1000 + 192 = 1661192

[Kristof]

Merci
Nog 2 vragen:
* Hoe dikwijls wordt deze csv file aangemaakt? 1 keer per dag of meerdere keren per dag?
* (Voor linux newbie) Die timestamp is als ik me niet vergis het aantal seconden sinds 1/1/1970? Is er een methode om die naar werkelijke datum om te zetten? (zonder gebruik van linux)

[Pyrus]

PHP heeft een date() functie, daar kun je de timestamp doorgooien. Andere talen zullen dat zeer zeker ook wel hebben, alleen weet ik die niet

PHP:

echo date("d/m/Y H:i:s", $timestamp);

geeft:
dd/mm/YYYY HH:mm:ss

[ColdRain]

Die timestamp of seconden sedert 1/1/1970 wordt ook wel epoch genoemd.
Een leuke om bij de hand te hebben: http://www.onlineconversion.com/unix_time.htm

[ColdRain]

Verwijderd schreef op 09 november 2004 @ 09:56:
Nou heb ik ook meerdere PC's op FaD staan en ik sta maar 1 keer in de lijst.

7003090,'NGS0Allied',2047,51,177,5585,1713,708,1351,2681,169,534,1099981463,2118,73

Denk dus niet dat meerdere PC's nou meteen het probleem zou zijn.

Total.csv geeft het totaal per user, logisch dus dat je er maar 1 keer in voorkomt

[ColdRain]

Kristof schreef op 09 november 2004 @ 12:30:
* Hoe dikwijls wordt deze csv file aangemaakt? 1 keer per dag of meerdere keren per dag?

Om de 6 uur, dus 4 keer per dag. Let wel, good ol' Brittish time (GMT dus).

[Jis]

Dit is wat ik er uit kon halen tijdje terug:

Total.csv
client id
nickname
teamnumber
Country
Jobs
Hits
Molecules (K)
Molecules (last 3 digits)
HH
SS
Points (K)
Points (last 3 digits)
time (since 1-1-1970)
Rank
Rank change

members.csv
client id
teamnumber
Country
nickname
time (since 1-1-1970)

teams.csv
teamnumber
team homepage
teamname
team captain e-mail

historyxxxx.csv
Query
Job
client id
HH
SS
Molecules (K)
Molecules (last 3 digits)
Hits
time (since 1-1-1970)
Points (K)
Points (last 3 digits)