[Distributed.net] Stats-server gecrasht

[Mobster]

* Mobster hoopt niet dat dadelijk alle DPCH's van alle 'gemiste' dagen gepost gaan worden

De casebadge zit er weer op. Time to get moving. Ik ben benieuwd of de Hongaren al ingehaald zijn (OGR-25) en of Polen al langszij is gekomen (RC5)

[IceStorm]

Woei

Mooi bakje ook.

[gp500]

Tielemans schreef op 08 april 2004 @ 08:55:
* Tielemans hoopt dat er van het weekend weer stats zijn.
_{Zou ogr24 al afgelopen zijn in de tussentijd?}

Ik zeggen NEE, maar ik weet het gewoon niet meer.


Ziet er goed uit die nieuwe kast.
Maar er het is nieuw en moet dus nog wel even de beproefing door.

[Webgnome]

Ik ben zeer benieuwd naar de prestaties van de russen/polen

[Anoniem: 102434]

Webgnome schreef op 08 april 2004 @ 11:33:
Ik ben zeer benieuwd naar de prestaties van de russen/polen

Wat denk je van onze prestatie?

Ik zou wel willen weten wat DPC nu per dag doet

[YakuzA]

Anoniem: 102434 schreef op 08 april 2004 @ 12:18:
[...]


Wat denk je van onze prestatie?

Ik zou wel willen weten wat DPC nu per dag doet

denk vrij weinig, ivm spaarders ;x

[Witlof]

Anoniem: 102434 schreef op 08 april 2004 @ 12:18:
[...]


Wat denk je van onze prestatie?

Ik zou wel willen weten wat DPC nu per dag doet

Waarschijnlijk 2x de helft

Ben ook benieuwd waar we inmiddels staan qua daily-output met teams en subteams

[MarkB]

Mobster schreef op 08 april 2004 @ 09:36:
* Mobster hoopt niet dat dadelijk alle DPCH's van alle 'gemiste' dagen gepost gaan worden

Waarom niet

[ColdFusion]

MarkB schreef op 08 april 2004 @ 12:33:
Waarom niet

Het is al 21 dagen geleden dat er voor het laatst een DPCH verscheen. Dus dat worden dan 21 * 2 (OGR) = 42 DPCH's, waarin dan toch overwegend nauwelijks reacties worden geplaatst.

Misschien een idee om ze per week in 1 topic te gooien? Dan zijn het er maar 3 of 4 * 3 (RC5, OGR-25, OGR-24).

[Witlof]

ColdFusion schreef op 08 april 2004 @ 12:44:
[...]

Het is al 21 dagen geleden dat er voor het laatst een DPCH verscheen. Dus dat worden dan 21 * 2 (OGR) = 42 DPCH's, waarin dan toch overwegend nauwelijks reacties worden geplaatst.

Misschien een idee om ze per week in 1 topic te gooien? Dan zijn het er maar 3 of 4 * 3 (RC5, OGR-25, OGR-24).

42 DPCH's voor RC5 en OGR

Maar inderdaad zal er vrij weinig in gepost gaan worden maar toch is het wel fijn als ze nog terug te vinden zijn als aparte topics voor het nageslacht

[CaLeX]

YakuzA schreef op 08 april 2004 @ 12:28:
[...]
denk vrij weinig, ivm spaarders ;x

stille hint naar een team??

[UTM]

Witlof schreef op 08 april 2004 @ 12:48:
[...]

42 DPCH's voor RC5 en OGR

Maar inderdaad zal er vrij weinig in gepost gaan worden maar toch is het wel fijn als ze nog terug te vinden zijn als aparte topics voor het nageslacht

hehe Vooral die 42 DPCH's spreken me errug aan
* UTM krijgt geen genoeg van stats

[polo1987]

bijna weer stats
dus dadelijk weer lekker flushen.
de proxy heeft nu al 5.000 blocks die staan te popelen om naar Dnet te gaan.

[YakuzA]

CaLeX schreef op 08 april 2004 @ 12:48:
[...]

stille hint naar een team??

nope, gewoon in ut algemeen. Net zogoed dat ik normaal niet flush bij TSC als stats daar down zijn

[Anoniem: 59448]

polo1987 schreef op 08 april 2004 @ 19:16:
bijna weer stats
dus dadelijk weer lekker flushen.
de proxy heeft nu al 5.000 blocks die staan te popelen om naar Dnet te gaan.

Niet echt slim, aangezien floppus dit schreef:

Anoniem: 27535 schreef op 21 maart 2004 @ 18:55:
Iedereen wordt aangeraden om gewoon door te flushen zoals gewoonlijk; de stats staan los van alle andere systemen.

Als we nu alles op gaan sparen en straks alles erdoor gooien, dan leggen we weer andere systemen plat: lijkt me niet de bedoeling

[Anoniem: 75580]

Jah maar die 5k maken ook niet zoveel uit. Wij als grote teams hebben ongeveer het 4-voudige per dag, dus.... of dat dan ook weer zo'n probleem moet zijn.

Maar * Anoniem: 75580 kijkt ook naar het weekend uit.

[ Voor 24% gewijzigd door Anoniem: 75580 op 08-04-2004 21:07 ]

[NightBird]

Anoniem: 75580 schreef op 08 april 2004 @ 21:06:
Jah maar die 5k maken ook niet zoveel uit. Wij als grote teams hebben ongeveer het 4-voudige per dag, dus.... of dat dan ook weer zo'n probleem moet zijn.

1x 5k niet nee, maar als iedereen dat denkt hebben we toch een serieus probleem. Het wordt echt niet voor niets gezegd, je mag best mensen geloven als ze iets zeggen. Niet sparen dus, iig niet voor langer dan 2 weken. Dat is nou eenmaal de regel en die geldt ook als de statsmachine down is.

[ph3n1x]

gewoon niet de eerste dagen flushe als de stats terug online komen.
doe ik hier ook
k wacht nog een paar dagen voor ik mn ogr-25 stubs terug naar d.net stuur.
en ik flush maar 1 bak/dag

[Webgnome]

hoezo, er is toch duidelijk gemaakt dat de statsserver los staat (op het statserveren na) van het ontvangen van blocs?

[UTM]

Webgnome schreef op 09 april 2004 @ 00:18:
hoezo, er is toch duidelijk gemaakt dat de statsserver los staat (op het statserveren na) van het ontvangen van blocs?

Jah maar ja, als er weer zon leet flush komt (mischien nog een aantal lieve buffers ) dan kunnen die servers natuurlijk weer de lol op. En aangezien iedereen stats wil, heeft men zoiets van: We doen wel even rustig aan.

offtopic:
Team Elst daar in tegen

[Wendy-tje]

NightBird schreef op 08 april 2004 @ 21:19:
[...]
1x 5k niet nee, maar als iedereen dat denkt hebben we toch een serieus probleem. Het wordt echt niet voor niets gezegd, je mag best mensen geloven als ze iets zeggen. Niet sparen dus, iig niet voor langer dan 2 weken. Dat is nou eenmaal de regel en die geldt ook als de statsmachine down is.

sorry, maar wij hebben ons echt wel aan de 2 weken regel gehouden, want we hadden vorige week zaterdag al bijna 10.000 geflusht (toen lag de server precies 2 weken down) en nu zijn we weer een week verder (6 dagen) dus we mogen nog 8 dagen sparen. of de server er nou uit ligt of niet.

[polo1987]

Wendy-tje schreef op 09 april 2004 @ 22:01:
[...]


sorry, maar wij hebben ons echt wel aan de 2 weken regel gehouden, want we hadden vorige week zaterdag al bijna 10.000 geflusht (toen lag de server precies 2 weken down) en nu zijn we weer een week verder (6 dagen) dus we mogen nog 8 dagen sparen. of de server er nou uit ligt of niet.

eh.. dat zei ik dus. (was ingelogd onder mijn vriendins naam )

[Anoniem: 1019]

Je kunt ook gewoon door blijven flushen en niet sparen (heb ik ook gedaan)

[Anoniem: 75580]

Je kan er gewoon heel kort over zijn: hou je normale flush gedrag aan. Klaar .


Maar tis weekend, en nog geen stats , op naar het volgende weekend

[UTM]

Anoniem: 75580 schreef op 10 april 2004 @ 10:31:
Maar tis weekend, en nog geen stats , op naar het volgende weekend

Doe jij eens niet zo gek Morgen zijn de stats er

[Wessie]

Ik ben wel heel benieuwd eigenlijk

[Loco-Motiv]

Woei!

Kan ik eindelijk DPC joinen... wilde dat namelijk net doen toen de stats eruit knalden

[Gijsh]

Ja hopelijk zijn ze er snel.
En Loco-Motiv ik denk dat ik zo de eerste ben die je welkom kan heten

[Acidrain]

Nog een week, ik weet niet of ik dat nog langer uit ga houden
stilletjes ga ik zitten hopen dat er eerste paasdag weer stats zijn

offtopic:
polo en zijn team hadden al (in dit topic) aangegeven om te sparen en 5000, ik denk niet dat die server daar wakker van gaat liggen.
en dan die mooie qoute die elke keer weer terug komt: ja maar als elk team dat nou ging doen...
punt 1 niet elk team doet het
punt 2 als elk team maar 5000 spaart dat kan die proxy server wel aan (okee als er een paar echt grote teams gingen sparen en tegelijk flushen das een ander verhaal)

[JustMe]

lama, slecht plan

[ Voor 96% gewijzigd door JustMe op 10-04-2004 21:46 ]

[NightBird]

Acidrain schreef op 10 april 2004 @ 21:26:
Nog een week, ik weet niet of ik dat nog langer uit ga houden
stilletjes ga ik zitten hopen dat er eerste paasdag weer stats zijn

offtopic:
polo en zijn team hadden al (in dit topic) aangegeven om te sparen en 5000, ik denk niet dat die server daar wakker van gaat liggen.
en dan die mooie qoute die elke keer weer terug komt: ja maar als elk team dat nou ging doen...
punt 1 niet elk team doet het
punt 2 als elk team maar 5000 spaart dat kan die proxy server wel aan (okee als er een paar echt grote teams gingen sparen en tegelijk flushen das een ander verhaal)

Het gaat niet om de hoeveelheid, maar om de spaartijd.

[Pim.]

Acidrain schreef op 10 april 2004 @ 21:26:
polo en zijn team hadden al (in dit topic) aangegeven om te sparen en 5000, ik denk niet dat die server daar wakker van gaat liggen.
en dan die mooie qoute die elke keer weer terug komt: ja maar als elk team dat nou ging doen...
punt 1 niet elk team doet het
punt 2 als elk team maar 5000 spaart dat kan die proxy server wel aan (okee als er een paar echt grote teams gingen sparen en tegelijk flushen das een ander verhaal)

zoals je zegt, het probleem zal niet die 5000 blokkies zijn, maar ik denk dat er wel iets anders is om aan te denken.
We hebben in het verleden grote problemen met D.net gehad (MF's, illigale clients enz) dit is sinds een tijdje weer een stuk beter oa. door dat floppus ook in de D.net crew is opgenomen.
We hebben met D.net dan ook goed afspraken gemaakt en in de FAQ gezet, als jij aangeeft dat je een lange tijd gaat sparen en dan weinig flushed ga je rechtstreeks tegen deze afspraken in en geef je het voorbeeld voor anderen.

Wat weerhoudt iemand anders dan op het zelfde hellende vlak te gaan zitten ?? want wat jij mag dat mag iemand anders natuurlijk ook. De kans zit er dan ook best in dat we over een jaar grote teams hebben die maanden sparen (even dik overdreven natuurlijk ).
We moeten denk ik altijd alert blijven dat we geen sneeuwbaleffect krijgen

[CaLeX]

* CaLeX is spelbreker

klik

5k maakt niet uit 180k wel

en dat van een team waar de modjes in zitten en de PV

[/schenenschopperij]

[ Voor 5% gewijzigd door CaLeX op 11-04-2004 01:24 ]

[Anoniem: 27535]

Acidrain schreef op 10 april 2004 @ 21:26:

offtopic:
polo en zijn team hadden al (in dit topic) aangegeven om te sparen en 5000, ik denk niet dat die server daar wakker van gaat liggen.
en dan die mooie qoute die elke keer weer terug komt: ja maar als elk team dat nou ging doen...
punt 1 niet elk team doet het
punt 2 als elk team maar 5000 spaart dat kan die proxy server wel aan (okee als er een paar echt grote teams gingen sparen en tegelijk flushen das een ander verhaal)

Ik heb op dit tijdstip, en met de items die nog te doen staan, en met de frequentie waarmee het eerder al uitgelegd is, écht geen zin om dit nogmaals uit te leggen. Kijk daarom nog maar eens hier: [rml][ RC5-72] Nieuwe Flushrichtlijnen[/rml]

Jou mooie quote: "ik denk niet dat..." is dé houding! Laat ik over één ding duidelijk zijn: ook al leveren flushes (nog) geen problemen op bij de statsservers, maar ik of iemand anders bij d.net merken dat er gewoon richtlijnen doelbewust genegeerd worden, dan kan die deelnemer zijn account vaarwel zeggen.

D.net is het behoorlijk zat (geweest) dat the limit steeds maar verder werd gepushed. Op een gegeven moment is het zelfs zover gekomen dat DPC als geheel op punt van verwijderen stond. De richtlijnen zijn opgesteld om dit soort dingen te voorkomen, en er zal hard worden opgetreden als overtredingen worden geconstateerd.
Dit is ook één van de redenen dat destijds al is aangegeven dat het op prijs wordt gesteld als mensen er even een melding van maken als ze echt niet in staat zijn binnen 2 weken te flushen.

CaLeX schreef op 11 april 2004 @ 01:23:
* CaLeX is spelbreker

klik

5k maakt niet uit 180k wel

en dat van een team waar de modjes in zitten en de PV

[/schenenschopperij]

Deze mooie melding van Calex: Laten we even voorop stellen dat ik als deelnemer van BVD geheel los sta van mijn functie bij DPC. Mijn functie bij DPC staat weer geheel los van mijn functie bij distributed.net.
Ik heb al aangegeven dat dit niet mijn keuze was geweest. (méérmalen zelfs, steeds aan NC members). De voorwaarde die ik aan BVD heb gesteld is dat de spaaractie (waarvan de blokjes niet ouder worden dan 14 dagen) niet geflusht gaat worden voordat ik aangeef dat de stats en flushes weer gestabiliseerd zijn.
Ik zou het ten zeerste waarderen dat NC, in deze Calex, voortaan een keuze maken om dingen óf met mij te communiceren en daar genoegen mee te nemen zoals ze ook deden in een 1:1 gesprek, of de hele discussie dan maar openbaar houden.

Je benaming "schenenschopperij" is goed gekozen; laat ik het niet wéér zien!

[ Voor 27% gewijzigd door Anoniem: 27535 op 11-04-2004 01:31 ]

[CaLeX]

opmerking over PV, en Modjes neem ik graag terug....

maar blijf bij het feit dat sparen gewoon NOT DONE was

[Acidrain]

okee laat mij duidelijkheid scheppen want dat is geloof ik wel even nodig
(door 1 opmerking en pim en floppus op je dak )

allereerst ons team (T7E) heeft gewoon door geflusht, we zaten er wel aan te denken om op sparen te gaan maar door de post van flopus hebben we het niet gedaan

ik ben het er ook mee eens dat sparen aan regels gebonden moet zijn (en 2 weken vind ik een hele goede norm) maar zoals polo al aan geeft heeft hij netjes binnen die 2 weken geflusht en gaat hij binnenkort weer netjes binnen die 2 weken flushen (ga ik ff van uit) dus is er volgens de regels nix aan de hand...
maar dan krijg je toch nog de opmerking ja maar er is gezegt dat sparen niet.... enz.
je hebt soms een reden nodig om te gaan sparen (binnen de norm) voor sommige teams is dat wanneer ze binnen +/- 3000 blokjes van het bovenstaande team af zijn, voor sommige is dat wanneer er bijna iemand jarig is, en voor sommige is dat wanneer de stats server plat ligt, maar een reden zal er bedacht en gebruikt worden.

de eigenlijke reden is meestal om het sub team een mentale boost te geven zo van "kom op jongens we zijn er bijna" (of iets dergelijks)
hoe dan ook meestal doet het het goed voor het desbetreffende subteam, en zolang ze binnen de regels blijven is er toch nix aan de hand?

kortom begrijp mij niet verkeerd, ik ben het compleet eens met de regels die er nu gelden en wil ze op geen enkele manier dwarsbomen of afkraken (ik ben zelfs degene die alles over zich heen gekotst kreeg toen ik de nieuwe regels op ons forum poste)

maar moest gewoon ff kwijt dat als een team aangeeft te gaan sparen (binnen de norm) dat dat gewoon moet kunnen, welke reden ze ook opgegeven hebben

ik vind het al heel wat dat ze zelfs door gegeven hebben dat ze gingen sparen (zie ergens in het begin van deze draad) meestal weet je van nix en moet je maar afwachten of een team is genokt of dat ze aan het paren zijn.

maar goed, waar bemoei ik me mee tis niet eens mijn team ik hoef mij nergens voor te verandwoorden behalve voor mijn idiote en niet overdachte posts zoals hierboven, en die verantwoording heb ik bij deze genomen

laten we er verder geen woorden over vuil maken.
al hoewel, we hebben toch nix beters te doen nu er geen stats zijn

nee, laten we toch maar rustig gaan wachten tot de stats het weer doen en welke teams er dan uit gaan springen wat sparen betreft

[Anoniem: 27535]

Laat ik even zo eerlijk zijn mijn bovenstaande post wat te nuanceren, daar deze een behoorlijk zware reactie is (2x) die mogelijk beter via e-mail plaats had kunnen vinden.

Anderen hebben in het verleden een wat gematigder reactie gehad. Dat deze behoorlijk fel was is niets persoonlijks, maar heeft meer te maken met een opeenstapeling van dingen via forum, IRC en E-mail (Niet alleen bij DPC maar ook bij D.net). Op een gegeven moment is dan de emmer vol, en zijn toevallig jullie degenen geweest over wie de "duidelijkheid" is heengegooid.

En CaLeX; Je weet het BVD forum te vinden. Daar vind je de mensen die de proxy beheren en de spaarbeslissingen nemen (die nog steeds volgens de richtlijnen gebeurt, ook al gaat het tegen het d.net verzoek in, waardoor ze een extra maatregel opgelegd hebben gekregen niet te mogen flushen voor door d.net aangegeven wordt dat e.e.a weer gestabiliseerd is.).

[ Voor 26% gewijzigd door Anoniem: 27535 op 11-04-2004 13:06 ]

[Pim.]

Acidrain schreef op 11 april 2004 @ 05:05:
okee laat mij duidelijkheid scheppen want dat is geloof ik wel even nodig
(door 1 opmerking en pim en floppus op je dak )

Ik zit zeker niet op je dak, ik probeer iets te verduidlijken, ben niet boos/teleurgesteld enz enz

allereerst ons team (T7E) heeft gewoon door geflusht, we zaten er wel aan te denken om op sparen te gaan maar door de post van flopus hebben we het niet gedaan

Ach 14 dagen had dus best gekunt

ik ben het er ook mee eens dat sparen aan regels gebonden moet zijn (en 2 weken vind ik een hele goede norm) maar zoals polo al aan geeft heeft hij netjes binnen die 2 weken geflusht en gaat hij binnenkort weer netjes binnen die 2 weken flushen (ga ik ff van uit) dus is er volgens de regels nix aan de hand...
maar dan krijg je toch nog de opmerking ja maar er is gezegt dat sparen niet.... enz.
je hebt soms een reden nodig om te gaan sparen (binnen de norm) voor sommige teams is dat wanneer ze binnen +/- 3000 blokjes van het bovenstaande team af zijn, voor sommige is dat wanneer er bijna iemand jarig is, en voor sommige is dat wanneer de stats server plat ligt, maar een reden zal er bedacht en gebruikt worden.

Nogmaals, geen kritiek op dit punt hoor

de eigenlijke reden is meestal om het sub team een mentale boost te geven zo van "kom op jongens we zijn er bijna" (of iets dergelijks)
hoe dan ook meestal doet het het goed voor het desbetreffende subteam, en zolang ze binnen de regels blijven is er toch nix aan de hand?

kortom begrijp mij niet verkeerd, ik ben het compleet eens met de regels die er nu gelden en wil ze op geen enkele manier dwarsbomen of afkraken (ik ben zelfs degene die alles over zich heen gekotst kreeg toen ik de nieuwe regels op ons forum poste)

maar moest gewoon ff kwijt dat als een team aangeeft te gaan sparen (binnen de norm) dat dat gewoon moet kunnen, welke reden ze ook opgegeven hebben

ik vind het al heel wat dat ze zelfs door gegeven hebben dat ze gingen sparen (zie ergens in het begin van deze draad) meestal weet je van nix en moet je maar afwachten of een team is genokt of dat ze aan het paren zijn.

maar goed, waar bemoei ik me mee tis niet eens mijn team ik hoef mij nergens voor te verandwoorden behalve voor mijn idiote en niet overdachte posts zoals hierboven, en die verantwoording heb ik bij deze genomen

laten we er verder geen woorden over vuil maken.
al hoewel, we hebben toch nix beters te doen nu er geen stats zijn

nee, laten we toch maar rustig gaan wachten tot de stats het weer doen en welke teams er dan uit gaan springen wat sparen betreft

Niets aan toe te voegen

[Loco-Motiv]

Gijsh schreef op 10 april 2004 @ 14:38:
Ja hopelijk zijn ze er snel.
En Loco-Motiv ik denk dat ik zo de eerste ben die je welkom kan heten

Ik ben zeker niet nieuw hiero (heb nog aan RC5-64 en ECCp-109 mee gedaan). Maar ben nu voor het eerst 'echt' in mijn eentje. Dus niet in een subteam bv...

Evengoed bedankt

[YakuzA]

simpel rekensommetje dus,

if( totaal laatste 14 dagen < buffer)
foei!!!!

[TGEN]

Hmm, maar de (zeer korte) spaarperiode die we voor onze 6-de verjaardag afgelopen week hebben gehouden is dus wel gedoogd. Ik hoop maar dat daar aparte stats van komen?

[Pim.]

TGEN schreef op 11 april 2004 @ 19:21:
Hmm, maar de (zeer korte) spaarperiode die we voor onze 6-de verjaardag afgelopen week hebben gehouden is dus wel gedoogd. Ik hoop maar dat daar aparte stats van komen?

Zodra D.net weer up is zullen alle stats gepost worden. Dit uit historisch overzicht (het terug kunnen vinden van dpch's) en we gunnen iedereen zijn mijlpaaltjes en superflushes

[maontje]

< dom> FF een domme vraag. Alle flushes die tot nu gedaan zijn worden toch wel meegeteld. </dom>

[Pim.]

maontje schreef op 11 april 2004 @ 22:13:
< dom> FF een domme vraag. Alle flushes die tot nu gedaan zijn worden toch wel meegeteld.

Yup, de keyservers ontvangen alle blokkies en maken daar log files van, dat gaat dus wel gewoon door.
Alleen worden er op dit moment geen stats van gebakken, zodra die bak er weer is komen die dus gewoon terug

[Webgnome]

hoelang zou dat btw gaan duren? het bakken van die stats dus ik bedoel het doornemen van alle logfiles

[reiker]

http://n0cgi.distributed.net/cgi/dnet-finger.cgi?user=nugget

:: 11-Apr-2004 14:51 CDT (Sunday) ::
The new statsbox is built out and I've got the backup of the statsdb loaded
and audited. Apache and PHP are up and running and I've got our admin
scripts loaded and going.

I've done some preliminary tuning of PostgreSQL and I'm not seeing any
disk-based sort_memory used during the normal stats processing process.

Some timing comparisons between blower and the new box:

Sample run from blower's logs (45 minutes total):
00:49 (statsbox-iii/r72) Beginning daily processing routines
01:10 (statsbox-iii/r72) Daily processing for 20040121 has completed
01:10 (statsbox-iii/ogr) Beginning daily processing routines
01:34 (statsbox-iii/ogr) Daily processing for 20040121 has completed

On the new box (9 minutes total):
19:40 (statsbox-iv/r72) Beginning daily processing routines
19:46 (statsbox-iv/r72) Daily processing for 20040205 has completed
19:46 (statsbox-iv/ogr) Beginning daily processing routines
19:49 (statsbox-iv/ogr) Daily processing for 20040205 has completed

I'm seeing raw hourly log import times in the 20-30 second range. Overall
it's taking the new box ~32 minutes to import an entire day's worth of logs
for both projects combined.

This is giving us a total daily processing time of 41 minutes with log
saturation from the keymaster. At that rate, stats should be current
before too long.

Thanks again for your patience, everyone. We're plugging away at getting
this box up and available again.

Dit ziet er toch veelbelovend uit

[UTM]

reiker schreef op 11 april 2004 @ 23:36:
http://n0cgi.distributed.net/cgi/dnet-finger.cgi?user=nugget


[...]


Dit ziet er toch veelbelovend uit

Whoehoei * wij krijgen lekker stahats

19:40 (statsbox-iv/r72) Beginning daily processing routines
19:46 (statsbox-iv/r72) Daily processing for 20040205 has completed

wh00t eindelijk, dacht dat ik het nooit te zien kreeg

[ Voor 37% gewijzigd door UTM op 12-04-2004 00:19 ]

[Gijsh]

Hèhè

Lekker om mee te gaan slapen!

Dusuuh, morgen weer stats?

[Pim.]

Gijsh schreef op 12 april 2004 @ 00:34:
Hèhè

Lekker om mee te gaan slapen!

Dusuuh, morgen weer stats?

Dachtut nie

[UTM]

Pim. schreef op 12 april 2004 @ 01:08:
[...]


Dachtut nie

Nouhou Pim, you ev0l brenger
Ik hoopte eigenlijk ook op morgen, maar wanneer denk jij dan? (aangezien jij dichter bij het 'vuur' zit?)

[ Voor 4% gewijzigd door UTM op 12-04-2004 01:14 ]

[Webgnome]

ik denk zo rond eind deze week begin volgende week maar dat kan natuurlijk ook langer duren..

[Anoniem: 27535]

De box wordt nog gefinetuned, en is nog niet teruggeplaatst op de snelle verbinding bij UD. Op dit moment lopen er wel updates (tot nu toe tot 27-02).
Omdat de stats-updates nu lopen terwijl de pagina's niet bereikbaar zijn, kan dat wel eens lastig worden met genereren van de stats van de periode dat de box uit de lucht was.

Dit wil niet zeggen dat de aantallen niet kloppen, maar dat de dagelijkse DPCH niet gemaakt kan worden. Ik probeer nog wat te regelen met een mogelijke live rerun van de stats vanaf die periode, maar ik neem aan dat jullie ook wel begrijpen dat er nu wel andere prioriteiten zijn.

[Anoniem: 4681]

Anoniem: 27535 schreef op 12 april 2004 @ 09:47:
De box wordt nog gefinetuned, en is nog niet teruggeplaatst op de snelle verbinding bij UD. Op dit moment lopen er wel updates (tot nu toe tot 27-02).
Omdat de stats-updates nu lopen terwijl de pagina's niet bereikbaar zijn, kan dat wel eens lastig worden met genereren van de stats van de periode dat de box uit de lucht was.

Dit wil niet zeggen dat de aantallen niet kloppen, maar dat de dagelijkse DPCH niet gemaakt kan worden. Ik probeer nog wat te regelen met een mogelijke live rerun van de stats vanaf die periode, maar ik neem aan dat jullie ook wel begrijpen dat er nu wel andere prioriteiten zijn.

ik zou zeggen doe je best, een hoop tweakertjes zullen je dankbaar zijn als het lukt

[ge-flopt]

De stats server is zover ingericht en men is bezig met wat tests:

:: 11-Apr-2004 14:51 CDT (Sunday) ::
The new statsbox is built out and I've got the backup of the statsdb loaded
and audited. Apache and PHP are up and running and I've got our admin
scripts loaded and going.

I've done some preliminary tuning of PostgreSQL and I'm not seeing any
disk-based sort_memory used during the normal stats processing process.

Some timing comparisons between blower and the new box:

Sample run from blower's logs (45 minutes total):
00:49 (statsbox-iii/r72) Beginning daily processing routines
01:10 (statsbox-iii/r72) Daily processing for 20040121 has completed
01:10 (statsbox-iii/ogr) Beginning daily processing routines
01:34 (statsbox-iii/ogr) Daily processing for 20040121 has completed

On the new box (9 minutes total):
19:40 (statsbox-iv/r72) Beginning daily processing routines
19:46 (statsbox-iv/r72) Daily processing for 20040205 has completed
19:46 (statsbox-iv/ogr) Beginning daily processing routines
19:49 (statsbox-iv/ogr) Daily processing for 20040205 has completed

I'm seeing raw hourly log import times in the 20-30 second range. Overall
it's taking the new box ~32 minutes to import an entire day's worth of logs
for both projects combined.

This is giving us a total daily processing time of 41 minutes with log
saturation from the keymaster. At that rate, stats should be current
before too long.

Thanks again for your patience, everyone. We're plugging away at getting
this box up and available again.

Zo te zien is de nieuwe server "iets" sneller

[DSmarty]

Define "iets"

[ge-flopt]

9 minuten tegen over 34 minuten.... verschil van 3.7

[NightBird]

ge-flopt schreef op 12 april 2004 @ 12:55:
9 minuten tegen over 34 minuten.... verschil van 3.7

9 minuten tegenover 45 minuten.... verschil van 5.0

[UTM]

Naja, we wachten wel weer We wachten ten slot van rekening toch al een tijdje

[gp500]

Woooooooooooot, gaat het voor hun ook wat makkelijker.

Hierdoor zullen die stats-outs ook makkelijker op te lossen zijn.

Al denk ik dat dat niet zo gauw gebeuren zal.

als ik 't zo even snel uitrkeen zouden de stats om ongeveer 16:00 uptodate moeten zijn.
Dan nog de bak weer op zijn plaats etc.

[Anoniem: 27535]

gp500 schreef op 12 april 2004 @ 13:23:
Woooooooooooot, gaat het voor hun ook wat makkelijker.

Hierdoor zullen die stats-outs ook makkelijker op te lossen zijn.

Al denk ik dat dat niet zo gauw gebeuren zal.

als ik 't zo even snel uitrkeen zouden de stats om ongeveer 16:00 uptodate moeten zijn.
Dan nog de bak weer op zijn plaats etc.

Je neemt daarbij het importeren van de verschillende full-server logs niet mee
De gehele statsrun duurt nu iets meer dan 30 minuten, en we zijn nu bij 04-03

[polo1987]

Zozo, ik heb een hele discussie over het sparen weer aangewakkert, dat was helemaal niet mijn bedoeling. mijn excuses daarvoor.

maar volgens de richtlijnen mag je 14 dagen sparen, en daar zullen wij ons ook echt aan houden.
Mocht daar onduidelijk over ontstaan zijn, ook mijn excuses daarvoor.

En verder, ik lees net dat de stats server gearriveerd is en dat ze de stats up-to-date aan het brengen zijn, dus dat zal vandaag of morgen wel voormekaar zijn, hoop ik
(ik denk eigenlijk eerder nog wat later, ken Distributed al langer dan vandaag, maar toch; Goed werk van alle mensen bij Distributed.)

[ge-flopt]

NightBird schreef op 12 april 2004 @ 13:06:
[...]

9 minuten tegenover 45 minuten.... verschil van 5.0

Beetje verkeerd gereken... voutje

[JustMe]

polo1987 schreef op 12 april 2004 @ 17:08:
Zozo, ik heb een hele discussie over het sparen weer aangewakkert, dat was helemaal niet mijn bedoeling. mijn excuses daarvoor.

maar volgens de richtlijnen mag je 14 dagen sparen, en daar zullen wij ons ook echt aan houden.
Mocht daar onduidelijk over ontstaan zijn, ook mijn excuses daarvoor.

En verder, ik lees net dat de stats server gearriveerd is en dat ze de stats up-to-date aan het brengen zijn, dus dat zal vandaag of morgen wel voormekaar zijn, hoop ik
(ik denk eigenlijk eerder nog wat later, ken Distributed al langer dan vandaag, maar toch; Goed werk van alle mensen bij Distributed.)

Floppus zit daar nu heh, dus het gaat allemaal rete-snel nu!

[Webgnome]

volgens mij duurt het nog wel een weekje hoor..

[.Frank]

Webgnome schreef op 12 april 2004 @ 19:40:
volgens mij duurt het nog wel een weekje hoor..

Zeker! Maak ik een denkfout als ik het volgende bereken: ~32 minuten per dag, project loopt ~450 dagen --> nog 10 dagen?

[MadMan81]

Anoniem: 27535 schreef op 12 april 2004 @ 09:47:
De box wordt nog gefinetuned, en is nog niet teruggeplaatst op de snelle verbinding bij UD. Op dit moment lopen er wel updates (tot nu toe tot 27-02).
...

Hieruit haal ik dat ze niet het hele project hoeven te parsen, maar alleen vanaf 27 feb tot nu.

[.Frank]

Dat zijn ~46 dagen --> een totale updatetijd van 24,5 uur. De post in de .plan is van gisteren 14:51 u, dus die tijd is reeds ruim overschreden

[Webgnome]

TheExecutor schreef op 12 april 2004 @ 23:44:
[...]


Zeker! Maak ik een denkfout als ik het volgende bereken: ~32 minuten per dag, project loopt ~450 dagen --> nog 10 dagen?

mis ik nou wat? het is toch 9 minuten per dag? dus dan is het bij 450 dagen 4050 minuten.. is 2.8 dagen ongeveer.. maar aangezien het niet over 450 dagen gaat maar over een dagje of 50 dan is het dus 7.5 uur als alles goed gaat..

[.Frank]

quote: .plan

This is giving us a total daily processing time of 41 minutes with log
saturation from the keymaster. At that rate, stats should be current
before too long.

Interpreteer ik dat dan verkeerd? En verder: als ze maar 7,5 uur nodig zouden hebben zouden ze onderhand wel klaar zijn (of er moet zich een onvoorzienigheid hebben voorgedaan ).

[Webgnome]

oh ja nee wacht dat had ik wel gelezen maar begeep ik niet helemaal wil dat nou zeggen at er 41 minuten p/d bij komen of dat er bij die 7,5 uur 41 bij komt? dus 48,5 uur

[.Frank]

Dat klinkt plausibel, dan zouden we nu nog tot 14:00 vandaag (dinsdag) moeten wachten.

Wie heeft er superieure interpretatievaardigheden en kan deze aanname bevestigen danwel ontkrachten?

[Anoniem: 27535]

De rerun is gestart vanaf 02-02-'04, volgens mijn berekening zou het morgen bij moeten zijn.
(wat overigens niet betekent dat dan ook de stats direct up zijn; er zijn nog meer dingen te herstellen en controleren dan alleen stats, en de server moet daarna nog teruggeplaatst worden op locatie)

Data shown reflects all blocks received as of 2004-03-19 at 23:59 UTC

[ Voor 19% gewijzigd door Anoniem: 27535 op 13-04-2004 08:36 ]

[Witlof]

Anoniem: 27535 schreef op 13 april 2004 @ 08:34:
..., en de server moet daarna nog teruggeplaatst worden op locatie)

Wanneer hebben ze volgens planning wat tijd om dit te gaan doen

[ Voor 0% gewijzigd door Witlof op 14-04-2004 07:59 . Reden: Als de stats namelijk bijgewerkt zijn zou ik ze ook wel graag willen zien ;) ]

[Anoniem: 27535]

Data shown reflects all blocks received as of 2004-04-06 at 23:59 UTC

Tegen de tijd dat de stats bij zijn worden ze in Amerika wakker; ik verwacht eigenlijk dat ergens in het "Amerikaanse vandaag" de server naar UD gebracht wordt.*

* Tenzij er zich nog problemen voordoen.

[ Voor 11% gewijzigd door Anoniem: 27535 op 14-04-2004 08:36 ]

[Witlof]

Anoniem: 27535 schreef op 14 april 2004 @ 08:35:
[...]


Tegen de tijd dat de stats bij zijn worden ze in Amerika wakker; ik verwacht eigenlijk dat ergens in het "Amerikaanse vandaag" de server naar UD gebracht wordt.*

* Tenzij er zich nog problemen voordoen.

Dit zou geweldig zijn

Helaas dan alleen maar stats van gisteren waarschijnlijk en alle tussen liggende dagen niet maar als er maar weer stats zijn ben ik al blij genoeg

[SlinkingAnt]

Witlof schreef op 14 april 2004 @ 09:11:
[...]
Dit zou geweldig zijn

Helaas dan alleen maar stats van gisteren waarschijnlijk en alle tussen liggende dagen niet maar als er maar weer stats zijn ben ik al blij genoeg

Pim. schreef op 11 april 2004 @ 20:25:
Zodra D.net weer up is zullen alle stats gepost worden. Dit uit historisch overzicht (het terug kunnen vinden van dpch's) en we gunnen iedereen zijn mijlpaaltjes en superflushes

[Anoniem: 27535]

Zo is het in het verleden ook altijd geweest. Misschien dat het ook dit keer nog gaat lukken om als alles weer draait en rerun te doen, maar reken er in ieder geval niet op.

Bij de weg; ik had volgens mij het woord problemen niet moeten noemen... De stats staan al sinds vanochtend stil op 6 april...

[UTM]

Zou heel erg mooi zijn

Bij de weg; ik had volgens mij het woord problemen niet moeten noemen... De stats staan al sinds vanochtend stil op 6 april...

Floppus, you

[pt0x]

Als ik nu denk aan deze crash moet ik niet verder gaan denken aan de crashes die er nog kunnen ontstaan. Deze crash was hardnekkig maar niet dodelijk. alles draaid immers nog en de stats zijn ook niet nodig voor de operatie zelf zoals je de afgelopen tijd hebt kunnen merken, want we flushen allemaal nog steeds.

stel dat er straks een storing ontstaat die ervoor zorgd dat heel het project een tijd down ligt, (ik weet niet hoe het in zijn werk gaat precies, maar ik denk bijvoorbeeld aan de server waar alle key logs op staan?)
Ik kijk even naar de hardware van D.net en zie daar over het algemeen oude apparaten staan! Tapes zullen ze natuurlijk wel gebruiken voor backups maar de kans op totale uitval is dus ook zeker niet uitgesloten waardoor het hele project de soep ik kan lopen. Geld is bij D.net een moeilijke zaak wat ik kan begrijpen, maar is er dan niet een andere mogelijkheid tot DR zoals de oude blower ("If Fixable") redundant laten draaien aan bv de ?logserver?

Of is hier al een soort van DR voor gerealizeerd waardoor het eigenlijk al safer is als tape alleen, en mijn bericht overbodig is

[Anoniem: 27535]

Kort gezegd: ja je bericht is overbodig

De server die nu gecrashed is, is ALLEEN maar voor het genereren van de statistieken. De statistieken zijn niet essentieel voor het doordraaien van het project, terwijl het wel zo'n beetje om de zwaarste server vraagt.

De keyserver draait "redundant", bovendien wordt er gebruik gemaakt van meerdere fullproxies: deze fullproxies hebben altijd ruimschoots voldoende werk op voorraad.

Normaal gesproken verbindt je client ook met één van deze proxies (tenzij je een eigen proxy hebt, of eentje in je subteam). Als een proxy niet bereikbaar is, dan zal de client zal naar een andere proxy proberen te verbinden.

Al met al is het praktisch ondenkbaar dat het project voor hoe weinig tijd dan ook plat zou liggen (theoretisch kan natuurlijk alles). Wat betreft het "moeilijke punt" geld; als non-profit organisatie zijn we afhankelijk van donaties en inkomsten van banners en dergelijke. Voordat deze nieuwe server werd gekocht (ik geloof voor ca. $5.800,=) was er nog iets van $20K in kas. Intussen zijn ook diverse giften binnengekomen om te ondersteunen in de kosten van de statsserver.

[ Voor 19% gewijzigd door Anoniem: 27535 op 14-04-2004 18:08 ]

[gp500]

maar floppus nu vergeet je helemaal te vertelen of het updaten weer door draaid

[Anoniem: 27535]

ach... Je moet er een beetje spanning inhouden

De statsrun van 2004-04-09 is zojuist begonnen

[Kapitein Edward]

Waar staan al die servers eigenlijk?

[Pim.]

code:

10:17:13 <@Floppus> Dnet stats zijn weer bij :)
10:17:23 <@Pim> Floppus: woeiii

[ge-flopt]

thijz schreef op 15 april 2004 @ 10:15:
Waar staan al die servers eigenlijk?

Ik heb begrepen, op dezelfde lokatie als D2ol. Ik kan me hierin overigens vergissen

[Anoniem: 27535]

*kuch* bij UD *kuch*

Overigens zijn de stats weer bij, maar is de server dus nog niet terug op locatie, en zijn allerlei andere zaken en tools nog in opbouw. Maar zoals altijd: nieuws volgt

[pt0x]

Anoniem: 27535 schreef op 14 april 2004 @ 18:04:
Kort gezegd: ja je bericht is overbodig

De server die nu gecrashed is, is ALLEEN maar voor het genereren van de statistieken. De statistieken zijn niet essentieel voor het doordraaien van het project, terwijl het wel zo'n beetje om de zwaarste server vraagt.

De keyserver draait "redundant", bovendien wordt er gebruik gemaakt van meerdere fullproxies: deze fullproxies hebben altijd ruimschoots voldoende werk op voorraad.

Normaal gesproken verbindt je client ook met één van deze proxies (tenzij je een eigen proxy hebt, of eentje in je subteam). Als een proxy niet bereikbaar is, dan zal de client zal naar een andere proxy proberen te verbinden.

Al met al is het praktisch ondenkbaar dat het project voor hoe weinig tijd dan ook plat zou liggen (theoretisch kan natuurlijk alles). Wat betreft het "moeilijke punt" geld; als non-profit organisatie zijn we afhankelijk van donaties en inkomsten van banners en dergelijke. Voordat deze nieuwe server werd gekocht (ik geloof voor ca. $5.800,=) was er nog iets van $20K in kas. Intussen zijn ook diverse giften binnengekomen om te ondersteunen in de kosten van de statsserver.

Ah leuk stukje info

moet trouwens zeggen dat ik die server nog_wel_redelijk_goedkoop_vind.

[ Voor 3% gewijzigd door pt0x op 15-04-2004 11:50 ]

[ge-flopt]

Anoniem: 27535 schreef op 15 april 2004 @ 10:34:
*kuch* bij UD *kuch*

dank je. heb ik het toch ergens verkeerd begrepen.

[iisschots]

Dus als het goed gaat hebben we dit weekend weer stats ???
Ben wel benieuwd hoe DPC er voorstaat ten opzichte van de polen en de russen.

[Anoniem: 75580]

iisschots schreef op 15 april 2004 @ 18:33:
Dus als het goed gaat hebben we dit weekend weer stats ???
Ben wel benieuwd hoe DPC er voorstaat ten opzichte van de polen en de russen.

Wie niet .

Maar afijn... vorige week werd dit ook al door andere mensen gezien (don't blame anybody) maar toen ging het feest ook niet door.

* Anoniem: 75580 wacht het gewoon weer rustig af

[Anoniem: 27535]

Het gaat zo snel als dat het gaat, en er wordt echt zo hard mogelijk aan gewerkt.

Om overspannen leden te voorkomen alvast een voorproefje van de RC5-72 stats per 15-4:

code:

#  Naam:                                        Overall:           Dag:
1  Dutch Power Cows                           63,774,826        155,267 
2  BugTraq.Ru Team. United power of xUSSR.    50,118,015        144,716 
3  RC5 Polish Team                            38,252,328        184,687 
4  German Hardware Network                    26,791,817         70,115 
5  ---xlr8yourmac.com---                      24,748,110         74,697

[Anoniem: 59448]

Oe... spannend!

Is er vanuit D.Net land al enig zicht op een plaatsing van de server?
Is Floppus er al in geslaagd de laatste DPC stats te aanschouwen en durft hij deze hier te posten in compacte vorm?

Ik ben benieuwd, maar begin nu toch wel zenuwachtig te worden aangezien het uur S toch dichterbij komt!

(De S van Stats)

[Anoniem: 27535]

Het gaat zo snel als dat het gaat, en er wordt echt zo hard mogelijk aan gewerkt.

[iisschots]

Anoniem: 27535 schreef op 16 april 2004 @ 08:01:

code:

#  Naam:                                        Overall:           Dag:
1  Dutch Power Cows                           63,774,826        155,267 
2  BugTraq.Ru Team. United power of xUSSR.    50,118,015        144,716 
3  RC5 Polish Team                            38,252,328        184,687 
4  German Hardware Network                    26,791,817         70,115 
5  ---xlr8yourmac.com---                      24,748,110         74,697

dit was die van 18 maart

code:

1.  ()  219.688 RC5 Polish Team 32.512.772  (3)
2.  ()  176.564 BugTraq.Ru Team. United power of xUSSR. 46.271.447  (2)
3.  ()  168.876 Dutch Power Cows    59.925.539  (1)

De polen hebben 2 mil op ons ingehaald
Met de russen zijn we ongeveer gelijk gebleven

[UTM]

Whoei, * UTM ruikt de stats alweer.
En we met zun allen naar de stats, en we met zun allen naar de stats hiephoi

[JustMe]

Zijn de stats nou straks ook gezuiverd van blokjes die door de gehackte client (die supersnelle client zeg maar) zijn gegraast? Of gaat dat niet meer gebeuren?

[TrekDr0p]

is het werkelijk waar is NC TEAMBVD weer voorbij

Dat kan niet he

das niet mogenlijk
das das das das niet toegestaan

[YakuzA]

$eik0 schreef op 17 april 2004 @ 01:59:
is het werkelijk waar is NC TEAMBVD weer voorbij

Dat kan niet he

das niet mogenlijk
das das das das niet toegestaan

haha, *mompelt iets over geiten*

[radial]

mmm dubbelpost,............ tis nog vroeg en ben gestopt met het is dus zwaar smorgens

[ Voor 75% gewijzigd door radial op 17-04-2004 08:25 ]

[TGEN]

PRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRT! Hup Hup Hoera!