Een heikel stats punt

[Verwijderd]

Oke om direct met de deur in huis te vallen. De stats van DPC.. Wat is hier mis mee?

1. tadah, layout perfect.. maar over de rest niets meer dan slechts. Enorme lange inlaadtijden. zelfs vaak helemaal niets. En weinig tot geen backup van de statsbouwer.

2. marcelloz. Stats zijn anders kwa punten dan bv tadah. waarom?? dat weet ik niet, iemand anders misschien wel. Marcelloz heeft duidelijk de werking voorrang gegeven aan het uiterlijk en zo moet het ook.

3. Dukebox. Weinig kwaad over te zeggen. Hoge uptime en ook snel altijd op je scherm

4. Killerog ( DPAD) al weken plat om onbekende redenen. Het is dat kuuke html rechten heeft anders waren hier al wekenlang geen stats voor .

5. Nightbird. Voor de projecten die hij doet voorbeeldige stats. Zeer hoge uptime en anders in no-time gefixed.

Wat ik nu hier mee zeggen?
Iets heel simpel.. Het is 5 voor 12 's nachts als het om betrouwbare en werkende stats gaat. De ene statsbouwer is nog beschermender voor zijn statscode dan de andere. Tijd om 1 statsbouwer te omarmen en deze volledige stats te laten bouwen voor alle projecten binnen DPC.

Deze moeten dan op een centrale server komen OF op een betrouwbare server elders buiten DPC.

Het is nu al maanden lang ellende op sommige projecten en zo gaat de fun van het grazen er voor velen heel snel af.

Just mijn 2 eurocentjes...

[Lord_Nemesis]

Dan moet die ene te verkiezen "uitverkorene" statsbouwer daar ook maar net zin en tijd voor hebben om het voor alle projecten te doen. Zie ik zo 1.2.3. niet gebeuren.

Daarnaast is dit ook wel erg demotiverend voor de andere statsbakkerts om zo, na (voor de meesten) vele jaren vrijwilligers werk, aan de kant geschoven te worden.

Ik ben wel weer voor een uniforme layout en (naast de huidige statsservers) een centrale statsserver. Dat dan weer wel.

[NLSchutP]

Ik ben het er zeker mee eens dat de stats wel degelijk gefixed moeten worden voor sommige projecten.... momenteel loopt het voor FAH ook zeker uit de hand, gezien de vele errors... Er wordt op kunstzinnige wijze door sommigen mee gespeeld, maar dit mag niet baten in het algeheel plezier.

Ik ben zeker een voorstander van een centrale server, met daarop de statsengines voor alle projecten, waarbij bijvoorbeeld een backup van alle stats worden gedraaid op de decentrale servers (van de statsdevelopers bijvoorbeeld). Ook een uniforme layout zou ten goede komen (lijkt mij) van DPC, om zo voor alle projecten duidelijkheid te scheppen.

Wat betreft een "uitverkoren statsbakker" dit gaat _nooit_ gebeuren.... Er zijn altijd "eigenwijze" andere statsbakkerts die dan weer hun eigen stats bouwen. Wanneer je er echter voor kiest om een groep statsbakkerts bij elkaar te zetten, zullen ze er mogelijk ook niet uitkomen, aangezien een ieder zijn eigen aanpak heeft. Ook zouden in een dergelijke situatie heel duidelijke richtlijnen moeten worden opgesteld voor het bouwen van stats voor "nieuwe projecten".

Bij al deze punten heb ik nog niet eens gesproken over hetgeen Lord_Nemesis ook al aangeeft: hoe zou je je voelen als je op deze wijze aan de kanten wordt geschoven? Jarenlang je best gedaan, veel successen behaald, om tot slot gewoon de deur gewezen te krijgen... niet direct een mooie beloning voor alle tijd en moeite die je er in hebt gestoken!

Misschien zou je in dat geval de statsbakkerts, die momenteel actief zijn voor DPC, en de DPC crew bij elkaar moeten brengen, zodat ze met elkaar een uniform systeem kunnen ontwikkelen voor het bouwen van de stats... Misschien dat ze als gecombineerde groep dan concrete stappen kunnen ondernemen.

[Chaos]

Je zou om te beginnen eens een centrale database kunnen bouwen met een mooie interface om data aan te bieden. Dan heb je het probleem van layout en backups al opgelost. Dan blijft alleen het parsen van de HTML over, dat blijft altijd per project verschillen. Maar daar kun je als basis al een paar mooie Perlscripts aanbieden aan toekomstige statsbouwers. (En nee, PHP was nooit bedoeld om grote hoeveelheden data te parsen, Perl wel.)

[FreezeXJ]

Het is een probleem, da's duidelijk, maar er zitten een flink aantal haken en ogen aan oplossingen.

We hebben nog geen nieuwe server, (wordt aan gewerkt ), en de oude heeft het druk genoeg. Ergo moeten de stats voorlopig nog even ergens anders draaien.
Op het DPC-forum wordt er nagedacht over oplossingen, zie hier

Stats komen van elk project op een andere manier, en om hier iets leesbaars van te bakken zijn er veel trucs verzonnen, die je niet zomaar even overzet. Mensen aan de kant schuiven klinkt nogal cru, en doen we dus ook liever niet. Niet-werkende stats zijn ook niet populair, dus tja...
Wie de geniale oplossing heeft mag het zeggen, maar er wordt over nagedacht.

[LauPro]

Zorg er in ieder geval voor dat alle stats op een uniforme manier op de DPC server komen te staan, en geef vervolgens de statbakkers toegang tot deze data om hier mooie grafiekjes van te maken. In het belang van DPC lijkt het me toch handig dat hier wat meer controle op komt.

[Verwijderd]

FreezeXJ schreef op zaterdag 22 september 2007 @ 20:27:
Het is een probleem, da's duidelijk, maar er zitten een flink aantal haken en ogen aan oplossingen.

We hebben nog geen nieuwe server, (wordt aan gewerkt ),

ik heb tot vermoeiens toe mijn server al zovaak aangeboden en nimmer een reactie gehad.

server = dual opteron 2x 500gb hd meer dan genoeg ecc geheugen en hangt aan 100mbits.

[Oet]

Verwijderd schreef op zaterdag 22 september 2007 @ 20:36:
[...]


ik heb tot vermoeiens toe mijn server al zovaak aangeboden en nimmer een reactie gehad.

server = dual opteron 2x 500gb hd meer dan genoeg ecc geheugen en hangt aan 100mbits.

Tja, er zijn er meer die dat doen (waaronder ik) maar ik denk dat die mensen die nu de stats draaien gewoon niet willen delen met anderen...

[iisschots]

Ik weet dat de code van de stats van Speedkikker op verzoek te verkrijgen is. Er zijn op dit moment genoeg servers in de aanbieding. Wat we nodig hebben is een aantal programeurs die stats kunnen maken.

Zie ook het topic waar FreezeXJ naar verwijst. Daar is para begonnen zoiets op te zetten.

[X-G]

Als ik dan een persoon zou moeten kiezen zou ik (persoonlijk) voor Dukebox gaan. Ik vind zijn stats gewoon tot nu toe nog altijd subliem en layout technisch (ook voor GoT zelf) gewoon super in orde. Verder geen afbreuk doende aan het harde werk van anderen hoor.

Vind persoonlijk de layout van Speedkikker de minst mooiste, maar goed, dat komt eerder omdat ik een minimalist ben haha.

[Verwijderd]

iisschots schreef op zaterdag 22 september 2007 @ 22:05:
Ik weet dat de code van de stats van Speedkikker op verzoek te verkrijgen is. Er zijn op dit moment genoeg servers in de aanbieding. Wat we nodig hebben is een aantal programeurs die stats kunnen maken.

Zie ook het topic waar FreezeXJ naar verwijst. Daar is para begonnen zoiets op te zetten.

die code is gewoon van zijn site te halen, alleen om het dan werkend te krijgen.........

[sweetdude]

Soulmaster je slaat de spijker op de kop. Er zouden inderdaad generieke stats per project moeten komen vanaf 1 server met 1 of 2 back-ups

Dit had ik zelf ook al in gedachten in het topic "toekomst server DPC". Omdat we als Switch bij veel projecten voorbij komen zie je ook de verschillen in de stats. De een met grafiekjes de ander zonder, wel inhaal lijsten geen inhaal lijsten etc. etc. Het mooiste zou zijn dat deze generieke stats zouden dan ook zo aangeboden worden dat deze ook geschikt zijn voor het posten op de fora van de verschillende teams. Daardoor is namelijk vaak de versplintering van de huidige statsbakkers gekomen. Dit zijn meestal de mensen die al de stats maakten voor het eigen team.

[Marc H]

Laat ik eens even aan de rem trekken.

Waarom "moet" er weer wat veranderd worden?? Er zijn door vele mensen uren(dagen/weken) werk, apparatuur, en stroom beschikbaar gesteld om de overzichten te maken. En dat iedereen zijn eigen methode heeft heeft wel zijn charme.

Een statsbouwer voor alle projecten is gewoon een no go. Ten eerste wie heeft er de tijd voor omdat te kunnen doen? en als diegene ermee stopt mag diegene die het overneemt eerst eens een tijd gaan zitten studeren om uit te vogelen hoe de code vooor al die verschillende projecten in elkaar zit. En ik kan je garanderen, als er 1 officiele statsbouwer komt, blijf je er nog steeds een groep statsbouwers over die hun onofficiele statsmachines online houden, en die sommige mensen/projecten blijven gebruiken vanwege bepaalde mogelijkheden die de "officiele" niet heeft.

Ten tweede, als er maar een centrale server is, wat gebeurt er als die machine down gaat? En waarom moeten de stats er voor alle projecten er uniform uitzien? Een beetje variatie kan imho geen kwaad. Sterker nog, ik zou liever nog meer statsbouwers/machines per project willen zien, zolang de statistieken maar kloppen. Krijg je een beetje competitie wie de beste/meest overzichtelijke, meeste data kan leveren. En als er dan een uitvalt, is het geen probleem.

En als er een paar dagen geen stats zijn van een project, is dat dan zo'n ramp? Gewoon even kijken op de site van het project, en je weet al genoeg.

Als bedrijf zou je het misschien af kunnen dwingen, maar als hobbyclubje, gaat niet lukken.

[Crack]

Marc H schreef op zondag 23 september 2007 @ 13:28:
Waarom "moet" er weer wat veranderd worden?? Er zijn door vele mensen uren(dagen/weken) werk, apparatuur, en stroom beschikbaar gesteld om de overzichten te maken. En dat iedereen zijn eigen methode heeft heeft wel zijn charme.

Een statsbouwer voor alle projecten is gewoon een no go. [...]

Het gaat er om, dat het mogelijk wordt om één backend te maken. Hoe de stats in de frontend gemaakt worden doet niet ter zake. Momenteel gebeurt er weinig op DPCO, maar met een mooie backend op DPCO wordt die pagina meteen een stuk aantrekkelijker om te bezoeken.

Voor een mooie backend is het noodzakelijk dat alle stats in het zelfde dataformaat worden aangeleverd. Een gevolg daarvan is dat de stats op /5 ook automatisch min of meer het zelfde er uit zullen zien.

[Reinstein]

Marc H schreef op zondag 23 september 2007 @ 13:28:
Waarom "moet" er weer wat veranderd worden?? Er zijn door vele mensen uren(dagen/weken) werk, apparatuur, en stroom beschikbaar gesteld om de overzichten te maken. En dat iedereen zijn eigen methode heeft heeft wel zijn charme.

Werk weggooien is idd vervelend, maar niet dodelijk. Het voordeel van een uniform systeem is de continuïteit. Je moet natuurlijk niet één persoon dat laten doen maar een team. Z'n plan geeft nu natuurlijk de nodig problemen maar ik denk dat het voor de toekomst wel het beste is.

Ik heb al een aantal keer meegemaakt dat ik een tijd aan een stuk code gewerkt heb, en dat vervolgens na een korte tijd blijkt dat het toch heel anders moet. Dan kun je twee dingen doen: Voet bij stuk houden en het niet aanpassen / beetje aanpassen. Of je kunt er voor kiezen om te zeggen, het is jammer, maar opnieuw bouwen is beter. Het 2e is natuurlijk niet makkelijk, maar meestal op lange termijn wel beter. Zelf kies ik voor de het 2e, ik geef er namelijk de voorkeur aan om te zorgen dat een stuk code goed is opgezet, work-arounds ben ik op tegen. Dit heeft dan wel als gevolg dat je soms uren werk moet weg doen, maar dat is dan niet anders, daar kom je wel overheen

p.s. Ik ben momenteel bezig aan complete rebuild van een website (vrijwillig) erg druk mee, maar als er een generiek stats systeem komt, dan ben ik wel geïnteresseert in deelname aan het ontwikkel team.

[Verwijderd]

het hele verhaal gaat om het feit dat we nu verschillende statsservers hebben waarvan er 1 gewoon niet te bereiken of ontzettend traag is. is niet de eigenaar zijn schuld maar door de vele verzoeken kan zijn db het gewoon niet meer aan. Daarom tijd voor een centrale server. En 1 die gewoon alle projecten draait.

Trek alle statsbouwer bijelkaar in een vergadering en maak van alle goede punten van elke statsbouwer 1 geweldige statsserver.. Op F@H zijn ze dankzij smooktweeduizend nu weer stats beschikbaar maar vraag hiet naar de manier waarom deze te krijgen zijn.

Tadah heeft gelukkig een struise haan die HTML rechten heeft en deze kan posten. Anders waren daar al weken en weken geen stats meer te zien

[Pete]

Ik heb mijn gedachten eens over dit laten gaan (als betrekkelijke nieuweling) en deze gepost alhier. Wat is trwns dé plek van discussie? Hier of op het dutchpowercows.org forum?

[Verwijderd]

dunno, ik discussieër hier. nog even en we moeten op 10 verschillende site's discussieëren. Hier bereik je wel meer leden van DPC

[Reinstein]

Verwijderd schreef op zondag 23 september 2007 @ 17:51:
Trek alle statsbouwer bijelkaar in een vergadering en maak van alle goede punten van elke statsbouwer 1 geweldige statsserver..

Idd, niet de meest makkelijke oplossing (niks doen is makkelijker) maar wel de beste vind ik. Ik deel Soulmaster's mening.

Verwijderd schreef op zondag 23 september 2007 @ 18:08:
dunno, ik discussieër hier. nog even en we moeten op 10 verschillende site's discussieëren. Hier bereik je wel meer leden van DPC

vind ik ook

[Pete]

Ok, dan zal ik mijn denklijn samengevat hier ook vertellen.

Ik denk dat het beste is dat met elkaar een format afgesproken word voor het uitwisselen van data. Daarna wordt er voor ieder project een statsbouwer aangesteld die verantwoordelijk is voor een (open source) script dat data van de projecten omzet in het dpc-formaat. Aan de templateside word er ook iemand aangesteld die verantwoordelijk is voor het maken van de generieke DPC layout waarin altijd gepost moet worden. Tussen deze twee stappen spreek je af wie er allemaal welke data backuped om niet van 1 persoon of server afhankelijk te zijn.
(Het hele verhaal is dus te lezen op http://forum.dutchpowercows.org/viewtopic.php?t=1748)


Nu even reactie op hier aangedragen voorstellen:

Verwijderd schreef op zondag 23 september 2007 @ 17:51:
Trek alle statsbouwer bijelkaar in een vergadering en maak van alle goede punten van elke statsbouwer 1 geweldige statsserver.. Op F@H zijn ze dankzij smooktweeduizend nu weer stats beschikbaar maar vraag hiet naar de manier waarom deze te krijgen zijn.

Is dit haalbaar, betrouwbaar, beheersbaar? Ik weet niet hoeveel statsbouwers er zijn, maar zijn deze op 1 lijn te zetten voor 1 engine? Of komt het er dan op neer dat 1 iemand uiteindelijk de beheerder wordt en dat als die persoon wegvalt er toch een probleem is met de code? En wat als die ene geweldige statsserver toch even niet zo geweldig is? Wat gebeurt er dan, een week geen stats?

Daarnaast, gaat men dan voor alle subteams en anderen die van de data gebruik willen maken netjes templates maken? Wie gaat dat dan doen en wie bepaalt welke templates/datadoorsnedes gemaakt mogen worden zonder dat de server op zijn gat gaat?

Chaos schreef op zaterdag 22 september 2007 @ 20:13:
Je zou om te beginnen eens een centrale database kunnen bouwen met een mooie interface om data aan te bieden. Dan heb je het probleem van layout en backups al opgelost. Dan blijft alleen het parsen van de HTML over, dat blijft altijd per project verschillen. Maar daar kun je als basis al een paar mooie Perlscripts aanbieden aan toekomstige statsbouwers. (En nee, PHP was nooit bedoeld om grote hoeveelheden data te parsen, Perl wel.)

Die interface is ook mijn idee. Ik denk echter niet dat de db hierachter vast moet liggen. Ook talen hoeven niet vast te liggen omdat iedereen zijn eigen script mag en kan maken..

[ParaNoiMia]

Verwijderd schreef op zondag 23 september 2007 @ 18:08:
dunno, ik discussieër hier. nog even en we moeten op 10 verschillende site's discussieëren. Hier bereik je wel meer leden van DPC

FDO is gekozen als de plek om over de statsengine te gaan discussieren. Daar zitten ook al de huidige statsbouwers en andere mensen met statsbouw ervaring. Door dit topic hier te starten krijgen we dan weer een afsplitsing, terwijl er centraal een probleem aangepakt moet worden.

Het probleem aanslingeren hier is wel ok, alleen dat had ook in [FDO] DPCH discussies gekund.

Technische bijdragen dus zeer graag op FDO.

[Pim.]

De DPC server zou het nu ook gewoon moeten kunnen doen maar het bouwen van een rotsvaste statsenigne die ook vrij verdeelbaar is (niet die van duke dus) en de server niet op een hoge load gooit (speedkikker) is in al die jaren niet echt makkelijk gebleken

[LauPro]

Als de stats goed opgeslagen zijn dan lijkt het me dat je die bijna realtime moet kunnen genereren. Dus als je gaat cachen zou dat absoluut geen performance issue mogen zjin.

[joh14vers6]

Verwijderd schreef op zondag 23 september 2007 @ 17:51:
het hele verhaal gaat om het feit dat we nu verschillende statsservers hebben waarvan er 1 gewoon niet te bereiken of ontzettend traag is. is niet de eigenaar zijn schuld maar door de vele verzoeken kan zijn db het gewoon niet meer aan. Daarom tijd voor een centrale server. En 1 die gewoon alle projecten draait.

Als er 1 van de statsservers slecht en traag te bereiken is door de vele verzoeken kan de db, is het niet slim om alles op één centrale server te zetten. Ivm de workload is het dan slimmer om meerdere servers te hebben.

[NLSchutP]

Zou kunnen, tenzij deze ene statsserver is uitgerust met voldoende capaciteit voor alle aanvragen... Daarbij kun je je gaan afvragen of het programmeerwerk (met alle respect voor de eerste programmeur) getweaked of zelfs opnieuw geschrevenkan worden, zodat het efficienter met aanvragen om gaat.