[Stats] roarnet.nl - meld hier bugs & feature request

[DukeBox]

@Balachmar je moet wel correct taggen, anders krijg ik geen melding
Heb het zelf in diverse DB's gehad, mssql, postgres, maar mysql (maria) is toch wel het makkelijkst met native xml import e.d.

Bubbles schreef op woensdag 29 maart 2017 @ 16:17:
Als die niet vaker wordt geupdate houdt het natuurlijk op.

Seti is vrijwel realtime, zowel de members (wel per team) als de teams zelf.

[Voor 38% gewijzigd door DukeBox op 29-03-2017 17:02]

[Bubbles]

De huidige manier op mijn server voor het ophalen van stats van seti worden via de reguliere boinc plek gedaan: http://setiathome.berkeley.edu/stats/
En die worden schijnbaar niet vaak geupdate, dus daar kan ik weinig aan doen.

[DukeBox]

@Bubbles Waarom haal je niet de site xml stats op dan ?

[Voor 10% gewijzigd door DukeBox op 29-03-2017 22:42]

[Bubbles]

Omdat nu zo ingesteld en ik heb deze stats niet gemaakt.
Misschien is het heel simpel om aan te passen en heeft de parser ook al een manier om de xml stats direct te verwerken, maar misschien ook niet, zo goed ken ik de code niet. En in het laatste geval zal dat waarschijnlijk een aanzienelijke aanpassing vereisen, waar ik zeker voor a.s. zaterdag niet de tijd voor ga hebben.

[DukeBox]

@Bubbles je kan bijv. voor Seti hier om de 6 min ge-update stats halen: https://setiathome.berkel...st.php?xml=1&teamid=30206

Weet niet of er animo voor is maar wil anders wel eens een eenvoudig datamodel met import maken. Voor boinc stelt dat echt niets voor. Het grootste nadeel is dat boinc niet consistent te krijgen is

[Terrible T]

Stats van vandaag (SETI 30/3@13.25) geven mijn punten weer die ik op 28/3 14.00 al had.

Inderdaad, een iets versere versie van de stats zou mooi zijn voor de stampede. Ben helaas zelf niet capabel om zoiets te bakken..

[DigiK-oz]

Er komen aparte stampede-stats beschikbaar : http://shebanian.com/stats/stampede

De stats hier zijn opgezet om de periodieke export van de projecten te lezen, en bij SETI is periodiek gelijk aan 24 uur.

[Anoniem: 321707]

Heeft iemand een app_info.xml voor nvidia GPU?
GPU wordt namelijk maar voor circa 40% belast.
Ik zie ook dat ik CUDA50 taken heb gekrege.

Eh sorry, verkeerde topic.

[Voor 31% gewijzigd door Anoniem: 321707 op 01-04-2017 08:30]

[Anoniem: 321707]

Bubbles op dit moment staat het Sixtrack-project tweemaal in de boeken.
Zowel als "LHC@Home" en als "vLHC@Home".

[DigiK-oz]

Yep, zijn recent samengevoegd dacht ik. Voor DC-Vault is het het handigst om "LHC@Home - sixtrack project" te laten staan en de vLHC weg te mikken.

[Bubbles]

Dank voor de melding, ik zal er eens naar gaan kijken.

Edit: vLHC is eruit.

[Voor 18% gewijzigd door Bubbles op 04-05-2017 21:39]

[DigiK-oz]

Een nieuw project : https://climateathome.info/climateathome/index.php

@Bubbles , kun je die toevoegen? En kan er ook iemand van de crew DPC aanmaken als team?

[Bubbles]

Het project is toegevoegd. Ik zal even in de crew gooien hoe dat zit met een DPC team aanmaken, daar heb ik geen ervaring mee.

[DigiK-oz]

Graag, want ik ga niet "teamloos" dit project testen

[Bubbles]

Even een melding van mijn kant over de statsserver:

Ik ga binnenkort verhuizen wat zal inhouden dat de server ook enige tijd uit de lucht zal zijn. Ik probeer dit tot een minimum te beperken (enkele uren), maar het zou kunnen dat het wat langer duurt (enkele dagen). Internet op mijn nieuwe adres wordt als het goed is a.s. vrijdag opgeleverd, internet op mijn oude adres gaat er een week later uit. Ik denk dat ik volgende week zondag al m'n computers ga verhuizen en hoop op de nieuwe locatie dan de boel zo geconfigureerd te hebben dat ik alleen nog een DNS entry moet wijzigen, waarna de boel met enkele uren of een dag ofzo ook voor de rest van de buitenwereld weer benaderbaar moet zijn. Ik zal nog wel even berichten wanneer dit precies gaat zijn, dat weet ik later volgende week beter.

Bij voorbaad dus alvast excuses voor de aankomende downtime.

[Bubbles]

*Bump*

Even een update. Het internet op het nieuwe adres doet het inmiddels. Planning is dat zondag in de loop van de ochtend de stekker van de server eruit gaat en ik die eind van de middag weer heb aangesloten. Met een beetje geluk is de DNS maandagochtend ook bijgewerkt en zou de boel het weer naar behoren moeten doen.

[Bubbles]

En de boel is bij mij in ieder geval weer bereikbaar. Het zou nog wel kunnen dat de komende paar weken af en toe even een korte downtime is als spullen een definitieve plek krijgen, maar daar zouden jullie niet teveel last van moeten hebben.

[Schnautzi]

Alles inderdaad weer up en running volgens mij; ik zie alle stats,

Thnx for the work done,

[ERBrouwer]

Helaas:

Oeps! Internet Explorer kan geen verbinding maken met roarnet.nl:8080

[Bubbles]

Normaliter zou je ook gewoon gebruik moeten maken van de reguliere port 80.

Het kan zijn dat het voor sommige mensen nog even duurt voordat de DNS wijziging is doorgevoerd bij hun provider/dns-host. Meestal is dat wel binnen een dag ververst.

[ERBrouwer]

De 80 optie werkt inderdaad. Echter het adres dat hier op de eerste pagina in dit draadje wordt aanbevolen geeft de 8080 versie.

[Bubbles]

Nouja, niet helemaal. Als je de zin leest waar die URL in staat, zie je dat dat een alternatief is voor de reguliere variant als die er geen zin in heeft.

Overigens is het via 8080 nu ook weer beschikbaar, ik had die port eerder nog niet in de firewall gezet.

[DaMoUsYs]

@Bubbles Kan het zijn dat de webserver offline is ?

[Bubbles]

Klopt. Er was eerder vandaag een stroomstoring en ben vergeten de server weer aan te zetten.

Anyway, als het goed is, zou die het weer moeten doen, en nu ook via IPv6

[Voor 29% gewijzigd door Bubbles op 22-06-2017 20:50]

[DaMoUsYs]

Nice goed bezig

[Bubbles]

Ik had eerder ook al eens wat geprobeerd met IPv6, maar dat leek toen niet helemaal goed te werken ofzo. Maar nu nieuwe modem met makkelijkere en duidelijkere instellingen daarvoor, dus het zou nu goed moeten gaan. Tenzij ik ergens in de server zelf een instellingen daarvoor nog niet goed heb staan. Maar als iemand weet hoe je kan testen dat het goed werkt, hoor ik het graag.

[AtHomer]

Vraag: Rosetta@home heeft een nieuwe site. Is de bron van de stats misschien ook veranderd? Geen idee hoe ik dat kan vinden...

[jeroenathome]

Op de vernieuwde site heb ik wel kunnen vinden dat hun laatste update van 20 juni is. Dus blijkbaar gaat het bij hun mis.
We moeten maar afwachten tot het daar opgelost is.

[DigiK-oz]

Volgens hun forum staat statistics generation nog uit om de database niet te overbelasten. Even geduld nog dus.

[DigiK-oz]

Nieuw project (Stop@Home) wat op de DC-Vault "watchlist" staat : http://stop.inferia.ru/

@Bubbles Kan deze worden toegevoegd?

[Voor 4% gewijzigd door DigiK-oz op 19-07-2017 07:31]

[Bubbles]

Ga ik één dezer dagen oppakken en toevoegen.

Server is op dit moment niet heel makkelijk bereikbaar in huis, zo in de meterkast. Die moet ik nog een keer naar m'n werkkamer verhuizen, maar dan wil ik daar eerst een netwerkkabel naartoe getrokken hebben, ipv een wifi-repeater...

[Bubbles]

Hij staat in de database erbij, maar de firewall/virusscanner heeft soms nog wel eens moeite met wat projecten, dus als 'ie morgen nog niet in de statspagina's terug te vinden is, weet je waar het aan kan liggen.

[Damic]

Bubbles schreef op woensdag 19 juli 2017 @ 10:40:
Ga ik één dezer dagen oppakken en toevoegen.

Server is op dit moment niet heel makkelijk bereikbaar in huis, zo in de meterkast. Die moet ik nog een keer naar m'n werkkamer verhuizen, maar dan wil ik daar eerst een netwerkkabel naartoe getrokken hebben, ipv een wifi-repeater...

FIIIIIIBER FIIIIIIIIIIIIBER

[DigiK-oz]

En weer een nieuw project als kandidaat voor DC-Vault : https://boinc.drugdiscoveryathome.com/

@Bubbles , kun je deze toevoegen?

[Bubbles]

Je hebt geluk, ik ga over een uurtje op vakantie. Hij staat in de database erbij.

[DigiK-oz]

En weer een mogelijk toekomstige Vault-kandidaat: acoustics@home

@Bubbles , kun je deze toevoegen?

[Bubbles]

Done.

[RobertS69]

https://gathering.tweakers.net/forum/view_message/52650409

Deze melding van Victor was onjuist geaddreseerd, maar de stats van GIMPS liggen er al erg lang uit.
Ik geloof inderdaad dat de stats op een andere plaats moeten worden opgehaald.

[DigiK-oz]

Geen stats

Alle pagina's geven zoiets:

====
Proxy Error

The proxy server received an invalid response from an upstream server.
The proxy server could not handle the request GET /iis/dpc/dcVaultStats.aspx.

Reason: Error reading from remote server
====

Als ik naar de port 8080 versie ga (om de proxy te omzeilen) krijg ik :

====
Serverfout in toepassing /iis/dpc.
Runtime-fout
====

Dus, de proxy is wel OK, maar de database (of de brakke code ) veroorzaakt een probleem

[Bubbles]

DigiK-oz schreef op woensdag 1 november 2017 @ 07:25:
[...]

Dus, de proxy is wel OK, maar de database (of de brakke code ) veroorzaakt een probleem

Vooruit, jij mag dat zeggen.

Maar ik denk dat het windows update is geweest. Die had ik gisteravond aangezet en daar zat iets bij voor .net-frameworks. Even de verplichte reboot uitvoeren en kijken wat er daarna gebeurd.

Edit: fixed!

[Voor 10% gewijzigd door Bubbles op 01-11-2017 07:40]

[DigiK-oz]

Reboot fixes most, if not verything! Thanks!

[KuuKe]

Zou je eens willen kijken naar de Seti-stats? Sinds het ingaan van de wintertijd missen we om de dag een dag. Volgens mij komt dat niet door Berkeley.

[Theadalus]

Constellation, DistrRTgen en EDGeS@Home kunnen er wel uit dacht ik zo...?

[Voor 33% gewijzigd door Theadalus op 11-11-2017 17:57]

[Bubbles]

KuuKe schreef op maandag 6 november 2017 @ 06:32:
Zou je eens willen kijken naar de Seti-stats? Sinds het ingaan van de wintertijd missen we om de dag een dag. Volgens mij komt dat niet door Berkeley.

Ik zie bij wat meer projecten dingen fout lopen. Maar dan zal je altijd zien als je handmatig debugged ineens alles goed gaat. Ik heb er maar even wat extra logging in gezet op de plek waar anders wat fout gaat, zodat ik hopelijk later wel kan zien wat er nou fout gaat.

Theadalus schreef op zaterdag 11 november 2017 @ 17:53:
Constellation, DistrRTgen en EDGeS@Home kunnen er wel uit dacht ik zo...?

Hier zal ik later eens naar kijken. Projecten verwijderen is niet zo makkelijk gedaan: ik moet dan in de goede volgorde in allerlei tabellen data verwijderen.

[RobertS69]

Er kunnen er nog wel een paar meer weg:

ATLAS@home - ondergebracht bij LHC@Home
CAS@home - afgelopen, of werk over 20 jaar
DENIS@Home - wordt nooit meer aan de Vault toegevoegd
distributedDataMining
FiND@Home
Gerasim@home
GoofyxGrid@Home - verwijderd uit de Vault, knoeiproject
Leiden Classic - is verwijderd uit de Vault, maar heeft nog DPC-fans
Majestic-12
Malariacontrol.net - afgelopen
MindModeling
Muon1 DPAD - afgelopen
POEM@Home - afgelopen
primaboinca - uit de Vault gegooid
Riojascience@Home
SAT@Home - al erg lang geen werk
SLinCA@Home - afgelopen
SZTAKI Desktop Grid - uit de Vault, wel nog actief
The Lattice project - afgelopen
Van Der Waerden Numbers - afgelopen
WUProp@Home - geen Vault project, wel populair bij DPC

Tsja

Edit: Enne gaan de stats van GIMPS het nog een keer doen?

[Voor 19% gewijzigd door RobertS69 op 14-11-2017 22:42]

[Theadalus]

Niet-Vault projecten kunnen imho wel blijven, gaat meer om projecten die echt afgelopen zijn (na officiële mededeling van projectleiding), zoals idd:
- Malariacontrol.net
- Van Der Waerden Numbers

(rest van de projecten effe niet gecheckt)

[KuuKe]

@Bubbles : Seti-stats liggen, na je handmatige uitdraaien,nog altijd "plat"

[Bubbles]

Ik had eergisteren even gekeken wat mijn aanpassing van de logging liet zien, maar dat waren uiteindelijk vooral meldingen over dat de remote bestanden op dat moment niet nieuwer waren dan de al reeds gedownloade bestanden. Ik wil dit weekend wat dieper in de code gaan kijken om te wat er nou exact mis gaat. Ik zal dan ook gelijk nog even kijken naar GIMPS.

[DigiK-oz]

quote: SETI topic

Ik snap het even niet meer. Hij heeft gisteren nog nieuwe statsfiles opgehaald, dus logischerwijs zou daar dus vandaag de resultaten van als DPCH beschikbaar moeten kunnnen zijn, maar gisteren is niet in lijst van dagen te selecteren.

Zit er in de userstatsdata tabel wel data van het SETI project met datum 19-11?

Gek genoeg worden de teamstats (meestal?) wél gewoon geupdate op datums dat er geen (SETI) stats zijn (zie de grafieken). Dus de statsfiles worden kennelijk wel opgehaald, maar het verwerken van de user stats gaat fout?

Ik heb de statsengine nog lokaal staan, dus heb ik vanmorgen op mijn lokale PC een statsrun gesimuleerd voor SETI met de huidige statsfile (die dus niet (goed) verwerkt is), maar die ging gewoon goed dus daar kan ik verder niet op debuggen

[DigiK-oz]

En weer een vault-kandidaat :

YAFU http://yafu.myfirewall.org/yafu/

Kun je die toevoegen?

[Theadalus]

Ik moet eerlijk zeggen dat ik het zelf ook niet bijhoud wat er allemaal draait/nieuw is aan projecten, is er een (verzamel)-site met een projecten-overzicht?

Dit project draait ook alweer 6 jaar, wordt weer zweten om een beetje boven in de top te komen...

[DigiK-oz]

Mwah, we staan daar 30e, dat is niet geweldig. Maar voor dc-vault belangrijker : AT staat 6 plaatsen achter ons Op alle "kandidaat"-projecten op 1 na (drugdiscovery) staan we boven AT, dus wat dat betreft is de exacte plaats minder belangrijk.

Overzicht:

Alle projecten : http://boinc.berkeley.edu/wiki/Project_list
Vault-kandidaten : http://www.team-ninja.com/vbulletin/forumdisplay.php?f=120

[Bubbles]

DigiK-oz schreef op dinsdag 28 november 2017 @ 08:06:
En weer een vault-kandidaat :

YAFU http://yafu.myfirewall.org/yafu/

Kun je die toevoegen?

YAFU staat er nu in.

Ik heb afgelopen week overigens ook de database opgeschoont van projecten waarvan de website compleet stuk was. Scheelt een project of 6 in de lijst.

[Bubbles]

Ik heb eerder vandaag wat hostingdingen aangepast. Verkeer loopt nu via Cloudflare en daarmee is alles nu ook netjes officieel certified (en niet self-certified) https. Mocht er iets stuk zijn, dan hoor ik het graag. Hopelijk kan ik op afstand al dingen fixen, en anders wordt het dit weekend. Komende tijd zal ik nog wat optimalizaties daarin doorvoeren, dus het kan zijn dat de boel het af en toe even niet doet.

[Voor 5% gewijzigd door Bubbles op 12-06-2018 23:15]

[AtHomer]

Er gaat iets niet helemaal goed... Deze link geeft een 404-error (bij mij):
https://roarnet.nl/iis/dp...aspx?project=Folding@Home

[Voor 3% gewijzigd door AtHomer op 13-06-2018 08:56]

[Bubbles]

Het lijkt er op dat heel iis plat ligt. Gisteravond kon ik er nog wel gewoon bij. Ik ga zo nog even verder kijken of ik kan vinden wat er precies mis gaat.
---
Edit: zou het nu weer moeten doen. Securityinstelling die ik vanochtend had aangepast was kennelijk net iets te aggressief.

[Voor 33% gewijzigd door Bubbles op 13-06-2018 13:41]

[ERBrouwer]

Bij mij lukt het helaas niet om erin te komen.

[AtHomer]

Dank voor het oplossen, lijkt weer goed te werken nu

[Bubbles]

ERBrouwer schreef op woensdag 13 juni 2018 @ 23:15:
Bij mij lukt het helaas niet om erin te komen.

Wil het bij jou nog steeds niet lukken?
If so:
- heb je ook dit probleem als je naar de root van m'n server gaat?
- welke browser en OS (en van beide de versie) gebruik je?

[ERBrouwer]

Hij doet het nu. Thnx

[KuuKe]

Krijg constant meldingen van Cloudfare: 502: bad gateway etc.
Meestal is een refresh wel voldoende om toch de site voor mijn neus te krijgen. Vanavond lukt dat helaas niet.

[Bubbles]

Er bleek een stroomstoring te zijn geweest. Server stond dus uit, vandaar die melding. Heb de boel net weer aangeslingerd.

[Blah.NET]

Zou RakeSearch toegevoegd kunnen worden? Het is een DC-vault-project maar er is nog geen dedicated stats-pagina voor. http://rake.boincfast.ru/rakesearch/

[Voor 13% gewijzigd door Blah.NET op 19-06-2018 22:15]

[Bubbles]

Blah.NET schreef op dinsdag 19 juni 2018 @ 22:14:
Zou RakeSearch toegevoegd kunnen worden? Het is een DC-vault-project maar er is nog geen dedicated stats-pagina voor. http://rake.boincfast.ru/rakesearch/

Done, zou met een dagje moeten verschijnen.

edit: whoops, foutje in de url gezet, dus wilde geen stats ophalen. Is inmiddels gefixed.

[Voor 13% gewijzigd door Bubbles op 21-06-2018 19:57]

[DaMoUsYs]

Problemen met de stats ?
Sinds 25-6 geen gegevens voor F@H

[Bubbles]

Dan zou ik even de log in de gaten moeten houden. Andere projecten worden wel geupdate, dus het reguliere proces doet het in ieder geval. Ik zag bij de laatste statsrun in ieder geval niet direct een expliciete fout voor F@H.

edit: Bij de tweede run in het uur zie ik wel een fout voorbij komen.

Input string was not in a correct format.

Dat verklaart in ieder geval waarom 'ie geen updates draait. Nu uitzoeken wat er dan veranderd is en de code daarop aanpassen...

edit2: parsing iets aangepast. Zou nu in ieder geval niet meer moeten crashen en gelijk wat extra logging toegevoegd om te kijken welke regel nou de fout veroorzaakt. Over een klein uurtje weten we meer.

edit3: er zijn in ieder geval weer verse stats.

[Voor 57% gewijzigd door Bubbles op 28-06-2018 09:53]

[DaMoUsYs]

Ja klopt inderdaad, alleen er zijn wel users bijgekomen met wat vreemde namen
\Big_Basje
SandStar0\'icked>Cr
En een lege naam ?

[Bubbles]

Het vergt nog wel even wat meer tijd om uit te zoeken wat er nou precies mis ging en hoe ik het kan afvangen. Hopelijk heb ik dit weekend nog even wat tijd en energie om er naar te kijken.

[DaMoUsYs]

Oke helemaal prima.

[AtHomer]

Ik weet niet of het voor iedereen wenselijk is, maar voor statsposters zou het fijn zijn dat de opgevraagde stats default op de datum van "gisteren" staat, en Create RML standaard is ingeschakeld. Dat zou veel wachttijd schelen in elk geval. Regelmatig verschijnt er eerst een error 502-pagina van Cloudflare bij F@h, en na een refresh gaat het dan toch goed. Er is dan meestal al een minuut of meer voorbij. Dan moet nog de datum van de vorige dag worden gekozen, dat duurt weer 10 tot 20 seconden, en vervolgens nog de Create RML-knop, waarna er wederom even geduld gevraagd wordt.

[Bubbles]

Voor statsposters inderdaad handig, voor mensen die een paar keer per dag (ofzo) willen kijken wat hun score op dat moment is, is het natuurlijk minder handig als ze iedere keer "gisteren" voorgeschoteld krijgen. Maar er valt wel wat voor te zeggen om default "gisteren" te gebruiken als de Create RML knop wordt gebruikt. Of dat standaard de RML al is ingevuld en je alleen een andere dag hoeft te selecteren, mits dat niet een grote vertragende actie is. Ik zal eens wat gaan experimenteren. Bovendien zit er nog een kleine bug in de Create RML knop.

Sowieso is de website traag, maar ik ben er nog niet helemaal over uit op welk punt die traagheid wordt veroorzaakt. Somehow vergeet mijn modem nog wel eens de ipv6 forwarding aan te houden, wat mogelijk wachttijd voor een browser oplevert, om het daarna maar in ipv4 te proberen, of dat het de proxy is van Apache naar IIS (of terug), of dat het de database is, die inmiddels aardig groot is* en de code er misschien niet efficient mee omgaat. Of misschien nog wel iets anders....

* Toen Digik-Oz het nog beheerde, had hij niet meer dan 1GB databaseruimte bij zijn hostpartij, zo uit mijn hoofd. Daarom had hij een geschiedenis die niet ouder dan ~een jaar was, en er dus sowieso minder data op te halen was.

Edit: sterker nog, na een jaar de boel bij mij te draaien, moest ik de default databaseinstelling van max 2GB in SQL Server Express** voor een database oprekken. Inmiddels zit er voor ruim 3 jaar aan data in de database. Net ook nog even gauw gekeken, Apache liet snel een pagina zien, IIS liet de meer statische pagina's ook snel zien. Een project met weinig data ging ook nog vrij vlot, maar F@H laadde traag. Lijkt er dus inderdaad op dat vooral de datahoeveelheid voor veel vertraging zorgt met de huidige code. Helaas leest de code niet heel makkelijk, dus dat verbeteren vergt goede concentratie, iets wat ik doordeweeks meestal niet meer heb als ik thuis kom van een werkdag programmeren.

**Ik moet eens gaan kijken om deze te upgraden naar SQL Server Developer. Scheelt misschien ook al iets.

[Voor 26% gewijzigd door Bubbles op 25-07-2018 10:27]

[KuuKe]

De "traagheid" bij het opvragen van de stats is overkomelijk en dat ik een paar kliks moet doen om aan de rml-code te komen is ook geen probleem, de 502-error die Cloudfare die 99 van 100 keer geeft is irritanter. Die is niet gebonden aan de projectstats die je opvraagt maar aan het domein/server. Cloudfare zal vast veel voordelen hebben maar in deze specifieke situatie ook nadelen.Het is dat het stats zijn waar ik op wacht, zou het een "normale" site zijn dan zou ik al lang zijn afgehaakt.

Van de andere kant: drie jaar data in de database is veel, vraag me af hoe vaak die oude stats worden opgevraagd. Data van een jaar lijkt me voldoende?

[Bubbles]

Ik vermoed dat die foutmelding van Cloudflare (deels) te wijten is aan de traagheid van de serverresponse.

Edit: bezig met wat opschoonacties. Alle oude (> 1 jaar) data aan het wegschrijven naar historytabellen en uit de actuele tabellen halen. Oh, en indices rebuilden. 60%-85% fragmentatie daarop zal de snelheid ook niet ten goede komen.

Edit2: dat zou dingen in ieder geval een stuk sneller moeten maken. Eerder vandaag duurde het wisselen van dag bij F@H zo'n 10 seconden voordat ik een nieuwe pagina had. Nu zijn dat er nog maar 2-3.

[Voor 74% gewijzigd door Bubbles op 25-07-2018 21:00]

[KuuKe]

* KuuKe aait Bubbles

[Bubbles]

@AtHomer Kijk eventjes hoe de website de komende paar dagen voor je draait, mocht het dan nog steeds nodig zijn, zal ik dit weekend kijken of ik wat code-optimalisaties of pagina-wijzigingen kan doen.

[AtHomer]

De pagina's laden nu echt een stuk sneller! Heel fijn, bedankt hiervoor

[Bubbles]

De code is destijds geschreven met een kleine database in het achterhoofd (wegens limitaties van de hostingprovider) en loopt dus spaak als er fors meer data is. Ik vermoed dat vooral het pulldownmenu met datums roet in het eten gooit; voor zover ik kon zien, moet die z'n lijst samenstellen uit de tabel waar ook de scores van users per project per dag vemeld staan. Die tabel had gisteren tegen de 20 miljoen records, waarbij de indexen aardig gefragmenteerd waren geraakt (deels veroorzaakt door het verwijderen van projecten die niet meer draaien). Daarna moeten vervolgens alle users (en scores) van dat project op de geselecteerde dag er uit worden gehaald. Dat laatste is onoverkomenelijk, maar dat eerste zou in ieder geval efficienter kunnen, door bijvoorbeeld een aparte tabel te maken met alleen beschikbare statsdatums per project.

Het liefst zou ik eigenlijk alle code naar een recente versie van C# willen porten en gelijk een flinke refactor er overheen voor beter overzicht, maar dat gaat echt veel tijd kosten om uit te zoeken. Eerst maar eens met kleinere stapjes beginnen.

[Damic]

Ik zou wel wille nmee helpen maar ik ken geen c# wel vb.net en php maarja daar ben je niet echt iets mee

[Theadalus]

Hallo Bubbles,

Ondertussen alweer oud nieuws: "GDPR: restricting access to project statistics downloads".

Doe jij hier nog iets mee, ben jij geregistreerd om stats op te halen?

Dit soort "grapjes" kan dus wel het einde inluiden voor DC; ik persoonlijk heb namelijk zoiets van "Geen stats, geen bijdrage!".

F*cking EU met hun GDPR, doet op deze manier meer kwaad dan goed , en dat van mij, iemand die privacy hoog in het vaandel heeft.

[Bubbles]

@Theadalus Huhm.. Dat ik heb ik schijnbaar gemist. Nee, ik heb me daar niet als zodanig geregistreerd. Verklaart ook wel waarom de Einstein stats op m'n server sindsdien niet meer zijn geupdate. Ik zal er nog eens naar kijken, maar zo te zien zou ik dan sowieso al m'n statscollector moeten ombouwen om overweg te kunnen gaan met inloggen.

---

Een andere noot: de stats gaat zodadelijk rond een uurtje of 10 even down (een uurtje ofzo). Moet wat werk doen aan de elektra in huis, dus of m'n internet is uit, of server is uit. Komt wel weer een berichtje als de boel up is.
edit: het wordt een half uurtje later.

[Voor 3% gewijzigd door Bubbles op 02-09-2018 09:37]

[Bubbles]

Boel is weer up.

[Jeroen_R]

@Bubbles Klopt het dat de WCG Badges pagina niet meer wordt bijgewerkt?
Er zijn een tijdje geleden bij WCG wat wijzigingen in de stats doorgevoerd, misschien heeft het daar mee te maken?
https://www.worldcommunit...d,40876_offset,170#593565

[Bubbles]

Jeroen_R schreef op zaterdag 22 september 2018 @ 21:51:
@Bubbles Klopt het dat de WCG Badges pagina niet meer wordt bijgewerkt?
Er zijn een tijdje geleden bij WCG wat wijzigingen in de stats doorgevoerd, misschien heeft het daar mee te maken?
https://www.worldcommunit...d,40876_offset,170#593565

Mogelijk, ik zal eens kijken wat ik kan vinden.

[RobertS69]

Wat nieuwtjes, de volgende projecten zijn niet meer actief:
The Skynet POGS http://www.theskynet.org/index.html

FiND http://findah.ucd.ie/forum_thread.php?id=204

DrugDiscovery@HOME:
Dit project was gehacked en klaarblijkelijk zijn ook alle resultaten verloren gegaan.
Er is nu een nieuwe BOINC-server geïnstalleerd, maar het ziet er uit als een nieuwe start:
DrugDiscovery@HOME 2 http://boinc2.drugdiscoveryathome.com/

[Bubbles]

Thanx, ga ik het aanpassen in m'n database dat 'ie die projecten niet meer hoeft op te halen. Scheelt weer wachten op time-outs.

En ik zal ook nog wel eens even kijken of ik bij Einstein toegang kan aanvragen voor het mogen ophalen van de stats-bestanden. De statsengine heeft nu immers support voor inloggegevens meesturen over https.

[RobertS69]

Sorry je nog een keer te moeten lastig vallen, maar nog enkele bevindingen.
Dit keer heb ik rechtstreeks naar alle projecten in de statsengine gekeken.

ATLAS@home valt tegenwoordig onder LHC@home net zoals SixTrack:
https://lhcathome.cern.ch/lhcathome/apps.php
Er worden geen aparte ATLAS-stats meer gepubliceerd.
https://gridcoinstats.eu/project/atlas@home

Stop@Home: http://stop.inferia.ru/
Ook al een tijd geleden gestopt.
http://www.team-ninja.com/vbulletin/showthread.php?t=59871

Leiden Classical http://boinc.gorlaeus.net/index.php is gestopt
Wikipedia: Leiden Classical

DistributedDataMining http://www.distributeddatamining.org/
https://boincstats.com/si/forum/8/11939,1

MUON1 DPAD is gestopt
http://www.stephenbrooks.org/muon1/

SZTAKI http://szdg.lpds.sztaki.hu/ is gestopt
Wikipedia: SZTAKI Desktop Grid

[Bubbles]

Zo, database is in ieder aangepast dat van bovenstaande projecten niet meer wordt geprobeerd stats op te halen. Ik laat ze nog wel (in ieder geval een tijdje) erin zitten voor het archief.

[RobertS69]

Kan Distributed Hardware Evolution Project wellicht worden toegevoegd?
https://www.dhep.ga/boinc/

Dit is een wat apart project met erg lange werkeenheden, maar elke 15 minuten een checkpoint.
De credits krijg je ook tijdens het runnen van die erg lange WU's.
Het gebruikt Java en er bestaat ook een niet BOINC-versie: https://www.dhep.ga/download.php

[Bubbles]

@RobertS69 Is erbij gezet, dus stats zullen als het goed is snel beschikbaar komen.

[Theadalus]

Het doel ontgaat mij even van DHEP.

Ik vind het er ook niet serieus uitzien allemaal...

[RobertS69]

Dank Bubbles!

@Theadalus: Ik weet ook niet wat ik van dit project moet vinden, maar het gaat wellicht toegevoegd worden aan de Vault: http://www.team-ninja.net/vbulletin/showthread.php?t=61097

[DPCquatar]

Bubbles schreef op zondag 23 september 2018 @ 08:02:
[...]

Mogelijk, ik zal eens kijken wat ik kan vinden.

Bubbles, Heb je er al een keer naar gekeken? Ik zou het persoonlijk erg leuk vinden als het totaal overzicht van de WCG badges het weer zou doen.

[Bubbles]

DPCquatar schreef op zondag 12 mei 2019 @ 23:38:
[...]


Bubbles, Heb je er al een keer naar gekeken? Ik zou het persoonlijk erg leuk vinden als het totaal overzicht van de WCG badges het weer zou doen.

Ik heb er toen even naar gekeken, maar zag niet direct iets raars waarom het niet goed zou werken. Volgende week heb ik ruim tijd om er eens goed naar te kijken.

[Bubbles]

DPCquatar schreef op zondag 12 mei 2019 @ 23:38:
[...]


Bubbles, Heb je er al een keer naar gekeken? Ik zou het persoonlijk erg leuk vinden als het totaal overzicht van de WCG badges het weer zou doen.

Excuses voor de vertraging. Probleem is gevonden en opgelost. Een stukje regex die de website van wcg bekeek, werkte niet meer omdat die betreffende pagina een iets andere opmaak had gekregen.

[DPCquatar]

Dank voor het oplossen

[jeroenathome]

Zou je even naar de stats van Folding@Home kunnen kijken. De resultaten van teams worden niet meer geupdate. Vanaf februari zijn de team resultaten niet meer geüpdatet.Verder terug niet gecontroleerd. Het is wel frappant dat de resultaten van deelnemers zonder problemen werken.

[Bubbles]

Ik heb toen wat moeten aanpassen in de parse-code omdat er ergens iets van wat characters voorkwamen waar 'ie van op z'n bek ging. Het verhielp in ieder geval het op z'n bek gaan, maar het introduceerde schijnbaar wel wat andere problemen. Ik zal binnenkort er nog eens induiken en kijken wat nou het exacte probleem is en hopelijk dan wel goed kunnen oplossen. Dank in ieder geval voor de reminder, was het alweer helemaal vergeten.

[jeroenathome]

Het was mij niet eens opgevallen. In het topic van week 31 gaf theadales aan dat dit al een tijdje niet goed werkte.

[RobertS69]

Hoi Bubbles, ik denk dat de locatie waar de DC-Vault stats gehaald moeten worden, is gewijzigd.
Het is nu waarschijnlijk: https://dc-vault.hard-dc.net/index.php

[Theadalus]

RobertS69 schreef op maandag 9 september 2019 @ 09:23:
Hoi Bubbles, ik denk dat de locatie waar de DC-Vault stats gehaald moeten worden, is gewijzigd.
Het is nu waarschijnlijk: https://dc-vault.hard-dc.net/index.php

Ik heb het idee dat deze nog niet up-to-date is; zo staat DHEP er niet in (en heeft er ook nooit ingestaan)...