[OGR] Informatie

[Verwijderd]

Zoals jullie gemerkt hebben is er inmiddels begonnen met een nieuwe fase van OGR. Mijn excuses dat er niet eerder wat informatie naar buiten is gebracht. Ik sta nu zelf op de drupa en draai zo'n beetje 16 uur per dag, en heb daardoor niet meegekregen dat het uitbrengen van fase 2 naar voren is opgeschoven.

Project
Door de client en de proxy wordt deel 2 afgehandeld als een nieuw project, dat wil dus zeggen dat er extra code voor is toegevoegd, en de oude cores e.d. gewoon blijven functioneren.
Hierdoor is het technisch ook mogelijk OGR-P1 werk te doen met de nieuwe client (voor zolang de blokjes nog geaccepteerd worden)

Proxies
De minimale proxy versie voor OGR fase 2 is 341. De officiele downloads zijn hier te vinden: http://www.distributed.net/download/prerelease.php
Een mirror voor de downloads is inmiddels te vinden op http://www.dutchpowercows.org/downloads/

Mensen die al een proxy hebben draaien kunnen gewoon het programma vervangen en het OGR-P2 deel uit de meegeleverde .ini in hun eigen .ini overzetten en aanpassen. In principe zou het zo moeten zijn dat de proxy dat zelf ook doet, maar ik heb geen kans gehad dat te testen.

De nieuwe proxies zullen kunnen verbinden met oude proxies voor het ophalen van RC5 en OGR-P1. Om aan OGR-P2 te komen zal verbinding gemaakt moeten worden met een nieuwe proxy. Proxybeheerders kunnen er gerust op zijn dat er sowieso voor afhandeling van reeds lopende projecten geen bugs naar voren komen, aangezien daarin niets veranderd is.

Clients
De minimaal benodigde clientversie is 490 om OGR-P2 te draaien. Ook aan de client is niets veranderd inzake RC5 en OGR-P1, dus nieuwe cores, optimalisaties of bugfixes zullen daar niet te vinden zijn.

De client maakt, aangezien er extra instellingen in de .ini file gezet moeten worden voor OGR-P2, zelf extra instellingen voor OGR-P2 aan.
Standaard staat OGR-P2 bij een opgewaardeerde client dus AAN. Mensen die RC5 draaien moeten er dus even op letten of na upgrade nog RC5 door de client wordt gedaan.

Met deze basisinformatie kan iedereen aan de slag met OGR-P2. Voor degenen die meer info willen: http://www.dutchpowercows.org/doc.php?id=321

[YakuzA]

bij de client bestaat die .ini verandering alleen uit:

[misc]
project-priority=RC5-72,OGR,OGR-P2

hier komt dus een extra OGR-P2 bij

[NightBird]

Hier een stuk 'diff' zodat striplog2.pl ook de p2-logs meeneemt. Eerst een stukje wat ik heb toegevoegd om niet elke keer het hele pad te hoeven neerzetten:

code:

  # Lees striplog2.txt voor info.

+ $path = "/home/rikkert/dnet/proxy/";
+
  # 1: projecten
[..]
! $rc5log = $path."pproxyrc5";
! $r72log = $path."pproxyr72";
! $ogrlog = $path."pproxyogr";
[..]
! $rc5small = $path."out/pproxyrc5";
! $r72small = $path."out/pproxyr72";
! $ogrsmall = $path."out/pproxyogr";

En dan de veranderingen voor ogrp2

code:

  $rc5 = 0;
  $r72 = 1;
  $ogr = 1;
+ $ogrp2 = 1;

  # 2: maak deze gelijk aan wat achter:
  # 'logfilekeyblock='
  # staat in je proxyper.ini (kijk bij [RC5] en [OGR] in je proxyper.ini)
  $rc5log = $path."pproxyrc5";
  $r72log = $path."pproxyr72";
  $ogrlog = $path."pproxyogr";
+ $ogrp2log = $path."pproxyogrp2";
[..]
    if ($ogr) {
        $biglog  = $ogrlog   . $curdate . ".log";
+       $bigp2log= $ogrp2log . $curdate . ".log";
        $smallog = $ogrsmall . $curdate . ".log";
        if (!-e $smallog && !$oudelogs) {
            $oudelogs = 1;
        }
+       if (!$ogrp2) {
+           proclog($biglog, $smallog);
+       } else {
+           proclog($biglog, $smallog, $bigp2log);
+       }
    }
[..]
sub proclog {
  undef %full;
  undef %final;
+ my @data;

! my($voor, $na, $voorp2) = @_;

  open (LEES, '<'."$voor") or print "Kan de proxylogs niet lezen: $voor\n";
  while (defined($entry = <LEES>)) {
    chomp($entry);
+   push @data, $entry;
+ }
+ close LEES;
+
+ if ($voorp2) {
+   open (LEES2, '<'."$voorp2") or print "Kan de proxylogs niet lezen: $voorp2\n";
+   while (defined($entry = <LEES2>)) {
+       chomp($entry);
+       push @data, $entry;
+   }
+   close LEES2;
+ }
+
+ foreach $entry (@data) {
    $entry =~ tr/A-Z/a-z/;
    ($datetime, $ipaddr, $email, $block, $nkeys, $os, $cpu, $ver, $space) = split(/,/, $entry);

Hopelijk is dit een beetje duidelijk, de regels met een '+' zijn dus nieuw, de regels met een '!' zijn gewijzigd. Waar ik '[..]' heb neergezet is een sprongetje in de code die gelijk blijft, dat heb ik niet allemaal overgenomen.

Succes!

[stappel_]

Voor mensen die hun oude proxyper.ini met eigen instellingen willen behouden kan dit ook. deze dienen wel het volgdende stukje toe te voegen

code:

[ogrp2]
logfilekeyblock=pproxyogrp2
logfilekeyblockrotation=daily
minkeysready=10
maxkeysready=20
maxkeysdone=3

[ColdFusion]

Dat is nog eens snelle service Nightbird Hoeft er in ppstats overigens niets aangepast te worden? Hier draait de oude proxy nog, morgen gaat ie over.

[Robinski]

ik zal vanmiddag ppstats ffies goed patchen (die versie die op ppstats.keyserver.org staat) had me eigen al wel gepatched, maar daar zaten wat dingetjes anders in voor me eigen situatie.

edit:
en ik had hem al voor de middag gepatched
ik heb alleen de veranderde files in de zip gezet
http://www.rharmsen.nl/files/ppstats-ogrp2-7.2.zip

[ Voor 30% gewijzigd door Robinski op 10-05-2004 11:37 ]

[NightBird]

ColdFusion schreef op 10 mei 2004 @ 11:20:
Dat is nog eens snelle service Nightbird Hoeft er in ppstats overigens niets aangepast te worden? Hier draait de oude proxy nog, morgen gaat ie over.

Nee, niet voor de stats wanneer je deze striplog-patch gebruikt. De bufferstand op de server.html pagina ziet natuurlijk die ogrp2 buffer niet, daarvoor moet je ppstats wel aanpassen.

[Jive]

Is dutchman al over ?

[reiker]

Wat is er inhoudelijk veranderd aan ppstats-ogr.ini om m geschikt te maken voor ogrp2? Is wellicht ook makkelijk ivm. behouden van instellingen...

offtopic:
edit: Woei! Post nr. 1000

[ Voor 17% gewijzigd door reiker op 10-05-2004 11:50 ]

[stappel_]

er zijn twee wijzigingen nodig om ppstats aan de praat te krijgen voor phase2 OGR. in ppstats-ogr.pl

code:

if ($project eq "ogr") {

moet worden:

code:

if ($project eq "ogrp2") {

en in ppstats-ogr.ini

code:

LogPre = "pproxyogr"

moet worden:

code:

LogPre = "pproxyogrp2"

Maar dan wordt de output in dezelfde directory als phase 1 gezet. Het advies is dan ook om HtmlDir in ppstats-ogr.ini aan te passen naar een nieuwe directory.

[Robinski]

stappel_ schreef op 10 mei 2004 @ 12:18:
er zijn twee wijzigingen nodig om ppstats aan de praat te krijgen voor phase2 OGR. in ppstats-ogr.pl

code:

if ($project eq "ogr") {

moet worden:

code:

if ($project eq "ogrp2") {

en in ppstats-ogr.ini

code:

LogPre = "pproxyogr"

moet worden:

code:

LogPre = "pproxyogrp2"

Maar dan wordt de output in dezelfde directory als phase 1 gezet. Het advies is dan ook om HtmlDir in ppstats-ogr.ini aan te passen naar een nieuwe directory.

ja zo ongeveer, ik had nog een paar andere dingetjes anders zodat je apparte ini hebt ook voor ogrp2

[DSmarty]

Ik ga vandaag alle proxies updaten.

[ColdFusion]

stappel_ schreef op 10 mei 2004 @ 12:18:
er zijn twee wijzigingen nodig om ppstats aan de praat te krijgen voor phase2 OGR. <knip>

Misschien een stomme vraag, maar als je bovenstaande wijzigingen doorvoert, geeft ppstats dan wel nog werk van ogr-p1 weer?

[reiker]

ColdFusion schreef op 10 mei 2004 @ 12:36:
[...]

Misschien een stomme vraag, maar als je bovenstaande wijzigingen doorvoert, geeft ppstats dan wel nog werk van ogr-p1 weer?

Als ik er naar kijk heb ik het idee dat als je alleen die regels vervangt/toevoegt, de logs van ogrp1 genegeerd worden. Vandaar waarschijnlijk het advies van stappel_ om de HtmlDir te wijzigen.

[Robinski]

reiker schreef op 10 mei 2004 @ 12:48:
[...]


Als ik er naar kijk heb ik het idee dat als je alleen die regels vervangt/toevoegt, de logs van ogrp1 genegeerd worden. Vandaar waarschijnlijk het advies van stappel_ om de HtmlDir te wijzigen.

klopt, daarom had ik dus een nieuwe perl file met nieuwe ini gemaakt
in die ini moet je dan gewoon ff je instellingen doen

[stappel_]

1) je pakt je huidge ppstats-ogr versie en maakt een copy in een nieuwe directory
2) past de 3 wijzigingen van mij hierboven toe
3) en voegt hem toe aan je scheduler.
klaar.

je hebt nu een nieuwe stats omgeving voor phase 2 en dit heeft geen invloed op de oude.

[SlinkingAnt]

En wat als je gewoon wilt doortellen, dus de results van zowel OGR-P1 en P2 gewoon bij elkaar op ?

[NightBird]

SlinkingAnt schreef op 10 mei 2004 @ 13:26:
En wat als je gewoon wilt doortellen, dus de results van zowel OGR-P1 en P2 gewoon bij elkaar op ?

Dan zijn er 2 mogelijkheden:
1. Je verwijst in de pproxy.ini de ogrp2-logfile naar de ogr-logfile, zodat het maar 1 file is (kweenie of dat werkt).
2. Je voegt de logs samen vlak voor je ze analyseert in ppstats. Dat kan bijvoorbeeld door de door mij aangedragen wijzigingen door te voeren in striplog.

[SlinkingAnt]

NightBird schreef op 10 mei 2004 @ 13:28:
[...]

Dan zijn er 2 mogelijkheden:
1. Je verwijst in de pproxy.ini de ogrp2-logfile naar de ogr-logfile, zodat het maar 1 file is (kweenie of dat werkt).
2. Je voegt de logs samen vlak voor je ze analyseert in ppstats. Dat kan bijvoorbeeld door de door mij aangedragen wijzigingen door te voeren in striplog.

Great, vanmiddag meteen even proberen :-)

Is er al bekend hoe groot de pakketje ong. zijn?

[Robinski]

SlinkingAnt schreef op 10 mei 2004 @ 13:40:
[...]

Great, vanmiddag meteen even proberen :-)

Is er al bekend hoe groot de pakketje ong. zijn?

ik heb nu zelf 4 OGR-24 paketjes afgerond, en die waren gemiddeld 60 GNodes

[Jive]

Gaat DNet zelf ook doortellen, of komen er ogr-p2 stats ??

[MarkB]

Geachte heer Stappel_, wilt u zo vriendelijk zijn om contact met mij op te nemen via icq of mail. Alvast bedankt

[Verwijderd]

Robinski schreef op 10 mei 2004 @ 14:25:
[...]
ik heb nu zelf 4 OGR-24 paketjes afgerond, en die waren gemiddeld 60 GNodes

Ik had er vier van 35 GNodes... Straks nog even twee andere machines overzetten.

[Qwerty-273]

Dit zijn de volgende grotes tot zo ver die ik heb gehad in OGR-P2 met 24 en 25:

OGR-P2: Completed 24/1-20-2-25 (66.89 stats units)
OGR-P2: Completed 24/1-20-2-26 (67.16 stats units)
OGR-P2: Completed 24/8-5-54-11 (6.64 stats units)
OGR-P2: Completed 24/8-11-24-22 (32.91 stats units)
OGR-P2: Completed 25/1-7-5-29-11-27 (88.47 stats units)
OGR-P2: Completed 25/1-7-5-29-11-28 (70.33 stats units)
OGR-P2: Completed 25/1-7-5-6-30-27 (82.67 stats units)

[Mobster]

Komt er nu ook weer een OGR-24 hitparade???

[Mobster]

DSmarty schreef op 10 mei 2004 @ 12:32:
Ik ga vandaag alle proxies updaten.

[May 11 07:28:10 UTC] 1 cruncher has been started.
[May 11 07:28:21 UTC] The perproxy does not support OGR-P2.
[May 11 07:28:23 UTC] OGR: Retrieved 22 packets from server.

Dutchman nog niet over??

[Jive]

DSmart =/ Dutchman

[Mobster]

Dat snap ik, maar er staat ALLE proxies.... Dus ik nam aan dat hij alle DPC keyservers zou coordineren/regelen.

[[eNeRGy]]

De mijne is over, maar mijn upstream nog niet

[DSmarty]

Mobster schreef op 11 mei 2004 @ 10:30:
Dat snap ik, maar er staat ALLE proxies.... Dus ik nam aan dat hij alle DPC keyservers zou coordineren/regelen.

Lol, ik beheer alleen mijn eigen proxies. Met alle proxies bedoelde ik dus de dagflush, de weekflush en van een subteam.

[ Voor 14% gewijzigd door DSmarty op 11-05-2004 14:35 ]

[BwO]

Ik snap alleen nog niet helemaal waar de stats ervan zijn
Wordt dat bij het huidige OGR-25 en 24 bijgeteld?

edit: whaha lol hoe bedoel je equalminded maar bedankt kristofvt!!

[ Voor 25% gewijzigd door BwO op 11-05-2004 18:19 ]

[Wortelsoep]

Jive schreef op 10 mei 2004 @ 15:01:
Gaat DNet zelf ook doortellen, of komen er ogr-p2 stats ??

Ik schop deze vraag even omdat ik dat ook wel heel graag wil weten


/edit teammate BwO was me voor

[ Voor 9% gewijzigd door Wortelsoep op 11-05-2004 18:13 ]

[Verwijderd]

uit http://www.dutchpowercows.org/doc.php?id=321

Aangezien OGR-P2 gezien wordt als een apart project en een apart bufferformaat hebben, zijn de huidige PPstats niet bruikbaar voor OGR-P2 op dit moment.
Ook bij distributed.net zijn de stats nog niet aangepast op het nieuwe project, maar dat zal binnen enkele dagen worden opgelost.

Tenzij er zeer drastische wijzigingen zijn geweest in de afgelopen dagen waardoor het technisch niet mogelijk is, worden de behaalde scores met de nieuwe client gewoon bijgeteld op de oude statspagina's.

----
blijkbaar lopen ze bij dnet nog wat achter met de nieuwe stats

[Verwijderd]

De nieuwe stats worden gewoon bij de oude opgeteld.

De nieuwe stats staan klaar ervoor, maar dat gaat pas gebeuren (met terugwerkende kracht) zodra OGR-P1 gesloten is.

Een deel van de achterstand bij RC5-72 is ook veroorzaakt door de huidige recycle rate van OGR-P1, waardoor er overwogen wordt om vandaag nog P1 te stoppen.

De eventuele paar honderd stubs die dan overblijven zullen intern worden afgewerkt.

Dat er nu snel over wordt gegaan op OGR-P2, en P1 wordt afgesloten, betekent dus wel dat IEDEREEN MET SPOED ZIJN CLIENTS EN PROXIES MOET UPDATEN!!!

http://www.distributed.net/download/prerelease.php

[Robinski]

als je nu in de plans van Decibel kijkt, dan kan je zien dat pass1 vanaf 00:00 GMT gesloten gaat worden (dus stuur nu snel alles nog in)

vanaf dan is alleen pass2 nog in te sturen

zie ook hier: bij 11 Mei
http://n0cgi.distributed....t-finger.cgi?user=decibel

[ Voor 24% gewijzigd door Robinski op 11-05-2004 18:55 ]

[Verwijderd]

Inderdaad, het is zover... Ik zal maar even een nieuw topic maken dan

[Robinski]

Verwijderd schreef op 11 mei 2004 @ 18:59:
Inderdaad, het is zover... Ik zal maar even een nieuw topic maken dan

als ik nu in me Personal Proxy ogr op closed zet, kunnen mijn clients dan eigelijk nog wel hun huidige stub flushen?

[Verwijderd]

nope...

svp verder in andere topic
[rml][ OGR] Fase 1 afgerond[/rml]

[ Voor 42% gewijzigd door Verwijderd op 11-05-2004 19:27 ]

[DSmarty]

Dan gooien we deze ff dicht.