[Rosetta@Home] Problemen rond nieuw credit systeem

[Kristof]

De afgelopen dagen was er hier wat opschudding over het nieuwe creditsystem.
Daarom heb ik even in alle rust, en zo objectief mogelijk, alles op papier gezet.
Het artikel kan je vinden op http://www.dutchpowercows.org/doc.php?id=488

Ik wil nog even herhalen dat ik met de DPCcrew overeengekomen ben om voorlopig geen acties te ondernemen. Iedereen heeft wel eens een minpuntje, en ook een project kan een dipje hebben. We vertrouwen erop dat er spoedig een rationele en diplomatieke oplossing zal komen vanuit het Rosetta-projectteam.
Je clients van je systemen verwijderen, of naar andere projecten overlopen, is dus zeker niet de bedoeling. Uiteraard staat iedereen vrij om eventueel een buffer van een week in te laden, die te laten crunchen met zijn netwerkverbinding dicht. Dit als een signaal.

Uiteraard hou ik jullie op de hoogte van zodra er verder nieuws is!

[DigiK-oz]

Mooi artikel, Kristof. Hoewel ik al een tijdje niet veel meer op Rosetta doe, heb ik deze hele situatie wel gevolgd (inclusief de inmiddels verwijderde thread op het Rosetta forum). Jouw verhaal is zo ongeveer de eerste genuanceerde berichtgeving die ik tegenkom.

Zoals ik het nu zie is het dus niet de nieuwe puntentelling an sich die de paniek veroorzaakt, omdat de meeste mensen hier wel vóór zijn, mits de kinderziektes er nog even uit worden gehaald. De ellende is dus meer veroorzaakt door een dikke flamewar op het Rosetta forum over dit onderwerp.

In dat geval kun je de projectorganisatie weinig verwijten (behalve misschien dat ze niet of te laat hebben ingegrepen op het forum). En dus kan ik me wel vinden in de beslissing om voorlopig geen drastische akties te doen. Maar goed, dat moet natuurlijk ieder voor zich weten.

[trenza]

Aan zo'n PV heb je wat. Een duidelijk verhaal.

De nieuwe puntentelling zal nog verbeterd moeten worden.
Wat ik nu zie, is een niet te volgen puntentoekenning per WU.
Als ik de puntentoekenning van twee WU's, door dezelfde computer berekend, waarover ongeveer evenlang is gedaan met elkaar vergelijk, dan zie ik een verschil van meer dan 50% in de puntentoekenning, dan klopt er iets nog niet.
Voorbeeld:
1e WU: 9.675,41 seconden, oude systeem 89,69 nieuwe systeem 42,38 punten
2e WU: 9.654,20 seconden, oude systeem 89,49 nieuwe systeem 63,88 punten.

Zoals Kristof al aangeeft, laten we nog maar even de ontwikkelingen afwachten.

[Verwijderd]

trenza schreef op zaterdag 19 augustus 2006 @ 16:59:
Aan zo'n PV heb je wat. Een duidelijk verhaal.

De nieuwe puntentelling zal nog verbeterd moeten worden.
Wat ik nu zie, is een niet te volgen puntentoekenning per WU.
Als ik de puntentoekenning van twee WU's, door dezelfde computer berekend, waarover ongeveer evenlang is gedaan met elkaar vergelijk, dan zie ik een verschil van meer dan 50% in de puntentoekenning, dan klopt er iets nog niet.
Voorbeeld:
1e WU: 9.675,41 seconden, oude systeem 89,69 nieuwe systeem 42,38 punten
2e WU: 9.654,20 seconden, oude systeem 89,49 nieuwe systeem 63,88 punten.

Zoals Kristof al aangeeft, laten we nog maar even de ontwikkelingen afwachten.

Bij mij is het vergelijknaar. De ene WU geeft bij het nieuwe systeem ongeveer 50% minder punten, de andere dan weer 20% minder punten etc.
Een nieuw systeem is voor mij geen probleem, zolang ze er maar voor zorgen dat de puntentoekenning fair gebeurt.
Verder blijf ik wachten bij R@H op een geoptimaliseerde science app die gebruik maakt van de geavanceerde instructies van de cpu (zoals bijvoorbeeld nu al in Seti gebruikt wordt). Zo zullen ze veel meer werk kunnen doen dan er nu gebeurt.

Ik ging nu toevallig toch eens veranderen van project om te zien wat nog leuk is om draaien, maar ik kom terug (niet dat mijn puntjes zo gemist gaan worden )

[Verwijderd]

De 'geoptimaliseerde' instructie set herkenning is pas in BOINC ingebouwd v.a. versies 5.5.x....draai nu 5.5.13. De gebruikmaking van die extra instructie sets brengt weer andere problemen op tafel......zie ROMworld....hij is een van de bij BOINC ontwikkeling betrokkenen. Pas als de science en de BOINC agent gesynchroniseerd zijn in de (h)erkenning, zal het zijn weerspiegeling vinden in de evenredige credit toewijzing.

BOINC Application Optimization: The Good, the Bad, and the Ugly
BOINC Application Optimization: The Good, the Bad, and the Ugly, Part II

PS...de Teddies zijn bij WCG aangekomen. Was wel even schrikken voor ze, dat nu de hoogste en laagste score weggestreept wordt en ieder de credit krijgt van de middelste claim...en nog protesteren er in de nieuwe behuizing team draad die het niet eens zijn dat ze maar 22 krijgen als ze een opgeblazen 101 claimen als alle 3 er 2 uur over doen. De zotheid wedergeboren met als topper een die 67 credit per CPU uur wilde

[DigiK-oz]

Een quote van David Baker over het Rosetta score-systeem :


To answer a question which came up on the boards--we will NOT be backdating credit totals. The new system will go into place early next week, adding on to the current totals.

Bestaande scores blijven behouden dus, en ergens volgende week gaat het nieuwe systeem "live". De meeste problemen lijken opgelost, iets wat bij een (korte) test met non-optimized client die ik heb gedaan lijkt te kloppen. Scores t.o.v. het "oude" systeem zijn soms wat lager, soms wat hoger, maar steeds binnen redelijke grenzen (plus of min 25%, en vrijwel net zoveel plus als min).

Oftewel, spoel de optimized clients maar door de plee, ze hebben zeer binnenkort geen zin meer.

[mcB]

Eeehm, door de plee spoelen? Ik mag toch aannemen dat mijn huidige optimized client gewoon blijft werken... toch?

[DigiK-oz]

Tuurlijk wel, maar het heeft geen voordeel qua punten meer op de non-optimized client. En sneller je WUs afwerken doet het ook al niet. De optimized client is BOINC zelf, die doet niet het echte rekenwerk, maar bepaalt wel je benchmark-scores....Die binnenkort dus niet meer van belang zijn.