Cookies op Tweakers

Tweakers maakt gebruik van cookies, onder andere om de website te analyseren, het gebruiksgemak te vergroten en advertenties te tonen. Door gebruik te maken van deze website, of door op 'Ga verder' te klikken, geef je toestemming voor het gebruik van cookies. Je kunt ook een cookievrije versie van de website bezoeken met minder functionaliteit. Wil je meer informatie over cookies en hoe ze worden gebruikt, bekijk dan ons cookiebeleid.

Meer informatie


  • AHBdV
  • Registratie: mei 2006
  • Laatst online: 10:42
De titel zegt vermoedelijke genoeg... ;)

Na alle discussies over gemiddelde vs. mediaan, en wat dat voor invloed zou hebben om de moderatie scores, was ik heel verheugd toen ik crisp post in december las:
quote:
crisp schreef op zondag 09 december 2012 @ 00:21:
[...]
Ja, ik heb de uiteindelijke aangepaste functie hier al liggen en zal ik eens in een ticket submitten ;)
Je had het weliswaar klein geschreven, maar ik heb het toch lekker gezien! :D


Ik merk op de frontpage dat er nog steeds met gemiddelde en niet met mediaan wordt gerekend.... Je aangepaste functie is blijkbaar nog niet geimplementeerd...

Zijn er nog problemen, of is met het gewoon vergeten?

We zitten hier echt op te wachten! De mismods die goede +2 en +3 posts in één klap met een (gebooste) -1 naar +1 (of lager) halen zijn echt heel ernstig aan het worden.

  • Kixtart
  • Registratie: mei 2004
  • Laatst online: 26-08 13:53

Kixtart

T.net PowerMod

Destruction = Improvement

-> LD
Iets voor de devvers om antwoord op te geven :)

☻/
/▌
/ \


  • Misha
  • Registratie: augustus 2010
  • Laatst online: 19:43

Misha

Was-Product Manager

Comic sans rocks.

Er was intern nog wat discussie hierover. Het is de vraag of het veel zin heeft. Met een schaal van minimaal -1 en maximaal +3 zitten er geen noemenswaardige uitschieters in. Wellicht verkleinen we hiermee zelfs de kans op een -1 of +3. Maar het is denk ik wel iets wat het uitproberen waard is. Mocht het niet het gewenste effect hebben dan draaien we het weer terug. Anyhow, ik verwacht de aanpassing binnen een paar weken ivm ons releaseschema :)

Nog even ter aanvulling: we zijn bezig met een beta-tool waarmee we dit soort dingen kunnen testen. Dat betekent dat een bepaalde groep al gebruik kan maken van nieuwe zaken, maar dan met live-data. Het fijne weet ik er ook niet precies van, dus kan niet veel over de tool zelf vertellen :+

Misha wijzigde deze reactie 17-01-2013 11:24 (24%)

“Wat hebben de NOS, RTL etc gemeen? Als ze uitleg over technologie willen, dan checken ze Tweakers”


  • crisp
  • Registratie: februari 2000
  • Laatst online: 16:33

crisp

Devver / Moderator DevschuurŽ

Pixelated

Dit is wel iets wat nogal intensief om te zetten is naar een A/B-test omdat je dan ook dubbele geagregeerde data moet gaan bijhouden :P

Intentionally left blank


  • AHBdV
  • Registratie: mei 2006
  • Laatst online: 10:42
quote:
Misha schreef op donderdag 17 januari 2013 @ 11:13:
Er was intern nog wat discussie hierover. Het is de vraag of het veel zin heeft. Met een schaal van minimaal -1 en maximaal +3 zitten er geen noemenswaardige uitschieters in.
Het zijn natuurlijk geen uitschieter van een factor 10 of 100... Maar een -1 op een score die alleen +2 en +3 ontvangen heeft, levert toch wel degelijk een uitschieter die een significante invloed heeft op de eindscore, in de zin dat bijvoorbeeld een +3 eindscore tot +2 wordt teruggebracht.

Een post met 4x +3 en 2x +2 (en dus overduidelijke +3 eindscore) krijgt door een 2x -1 midmod, een gemiddelde van slechts 1,75. Bij een mediaan krijgt het een gemiddelde van 2,5. Een reuze verschil.

En juist bij hoge kwaliteit reacties is het uiterst ongewenst dat een paar mismodders het gemiddelde zo snel naar beneden kunnen trekken! (Helaas gebeurt dat heel erg vaak... en niet alleen bij controversiele topics)
quote:
Wellicht verkleinen we hiermee zelfs de kans op een -1 of +3.
Integendeel, je verhoogt juist de kans op -1's en +3's enorm. Wanneer het merendeel van de mods een reactie een uiterste waarde geeft, dan zal een enkele uitschieter de andere kant op, helemaal geen invloed hebben.

Wanneer je het gemiddelde neemt, dan zal een enkele 2x -1 moderatie, een 13x +3 moderatie nog tot +2 eindscore naar beneden trekken! (Gemiddelde 2,46) Je moet 14 (!) +3 moderaties hebben, om die -1 mismod ver genoeg tegen te gaan, om de post nog net op +3 te behouden. (gemiddelde 2,5).

Bij de mediaan heb je slechts de helft + 1 moderaties nodig om 'm op +3 te houden....

Beetje extreem voorbeeld, maar het laat goed zien dat het gemiddelde veel meer de neiging heeft naar de middelste waarden te gaan, terwijl de mediaan makkelijker bij uitersten blijft...

In principe zou het ook ongewenst kunnen zijn dat de mediaan veel makkelijker naar uitersten gaat... maar dat is alleen mogelijk wanneer meer dan de helft van de mods een verkeerde uiterste score geven. In dat geval is het mod systeem sowieso nutteloos...

NB: De mediaan implementaties interpoleren i.h.a. wel.... Bij een moderatie 2x +1 en 2x +3 neemt de mediaan als eindresultaat +2. Bij 2x +1 en 4x +3 wordt het dan wel +3...
quote:
Maar het is denk ik wel iets wat het uitproberen waard is. Mocht het niet het gewenste effect hebben dan draaien we het weer terug. Anyhow, ik verwacht de aanpassing binnen een paar weken ivm ons releaseschema :)
Prachtig!
quote:
Nog even ter aanvulling: we zijn bezig met een beta-tool waarmee we dit soort dingen kunnen testen. Dat betekent dat een bepaalde groep al gebruik kan maken van nieuwe zaken, maar dan met live-data. Het fijne weet ik er ook niet precies van, dus kan niet veel over de tool zelf vertellen :+
Ik meld me bij deze aan voor de beta groep! :)

  • AHBdV
  • Registratie: mei 2006
  • Laatst online: 10:42
*bump*

Zien we de mediaan ooit nog geimplementeerd worden?

Vandaag weer zo'n mooi voorbeeld:
(WhatsappHack in 'nieuws: Linux Foundation brengt bootbestanden voor secure boot uit')

Overduidelijke flaimbait, krijgt derhalve aan duidelijke -1 van vrijwel alle moderators...

4x +3
4x +1
6x 0
45x -1

Maar omdat we een gemiddelde nemen, krijgen we alsnog een score 0 in plaats van -1....

En dat komt dus door slechts 2 (!) mismodders, zelfs zonder dat ze een boost gebruiken! Gewoon omdat de +3 dusdanig ver van -1 af ligt, dat hun scores net zo zwaar wegen als al die anderen.

  • Osiris
  • Registratie: januari 2000
  • Niet online
't Is gemiddeld een -0,55, dus sowieso beetje raar om 'em naar 0 af te ronden eigenlijk.

edit:
Tenzij d'r een veel fancier algoritme achter zit natuurlijk dan gewoon deze getalletjes bij elkaar optellen en delen door 't totaal :P

Osiris wijzigde deze reactie 11-02-2013 15:05 (45%)


  • Hooglander1
  • Registratie: september 2003
  • Niet online

Hooglander1

Tweakers abonnee Tweakers abonnementen

Zot intellegent

quote:
Osiris schreef op maandag 11 februari 2013 @ 15:03:
't Is gemiddeld een -0,55, dus sowieso beetje raar om 'em naar 0 af te ronden eigenlijk.

edit:
Tenzij d'r een veel fancier algoritme achter zit natuurlijk dan gewoon deze getalletjes bij elkaar optellen en delen door 't totaal :P
Je vergeet dan de 6x0 ;)

4x3 + 4x1 + 45x -1 = -29

Aantal stemmen is 59, dus gemiddelde = -0,4915...

Hooglander1 wijzigde deze reactie 11-02-2013 15:07 (9%)

Lid van de Tweakers Kenwood TTM-312 club.


  • ShadowBumble
  • Registratie: juni 2001
  • Nu online

ShadowBumble

Professioneel Prutser

quote:
Hooglander1 schreef op maandag 11 februari 2013 @ 15:05:
[...]

Je vergeet dan de 6x0 ;)

4x3 + 4x1 + 45x -1 = -29

Aantal stemmen is 59, dus gemiddelde = -0,4915...
Volgens Wiskunde blijf 0 == 0 en zou je buiten je berekening moeten laten omdat het niks positief en niks negatiefs brengt, het mee rekenen van stemmen met een waarde 0, zou je dus een valse inschatting geven van moderatie, omdat ze dan gemiddeld worden met een positief of negatief getal terwijl het neutraal dient te zijn.
quote:
Osiris schreef op maandag 11 februari 2013 @ 15:03:
't Is gemiddeld een -0,55, dus sowieso beetje raar om 'em naar 0 af te ronden eigenlijk.
een 0.55 word afgerond naar 0.5
0.5 word weer afgerond naar 0

Beetje dubbel op maar 0.55 zit nog steeds dicht in de buurt bij de 0 dan bij een -1
( 0.55 naar 0 is een verschil van 0.45 terwijl hij een 0.55 verschil heeft naar -1. )

Dat je gevoel spreekt dat het een -1 zou moeten zijn zal niemand ontkennen maar een computer kent geen gevoel en zal het dus op de objectieve cijfers baseren.

ShadowBumble wijzigde deze reactie 11-02-2013 15:11 (47%)

Diablo3--LoL--Twitch Stream


  • Hooglander1
  • Registratie: september 2003
  • Niet online

Hooglander1

Tweakers abonnee Tweakers abonnementen

Zot intellegent

quote:
Misha schreef op donderdag 17 januari 2013 @ 11:13:
Wellicht verkleinen we hiermee zelfs de kans op een -1 of +3.
Geef mij één casus waarbij iets geen -1 of +3 zou zijn, waarbij het in de oude situatie die wel is ;)

Maar goed dat het er aan zit te komen :)

* Hooglander1 deelt de ergernis van AHBdV

quote:
ShadowBumble schreef op maandag 11 februari 2013 @ 15:07:
[...]
Volgens Wiskunde blijf 0 == 0 en zou je buiten je berekening moeten laten omdat het niks positief en niks negatiefs brengt, het mee rekenen van stemmen met een waarde 0, zou je dus een valse inschatting geven van moderatie, omdat ze dan gemiddeld worden met een positief of negatief getal terwijl het neutraal dient te zijn.
8)7 Dus als 1000 man vind dat het de post een 0 is en 1 iemand een +3, dan is volgens jou beredenering de post een 3.

0 is hier wél een waardering en moet zeker mee geteld worden in het gemiddelde. Maar dat moet het sowieso in de wiskunde, dus waar je je verhaal vandaan haalt 8)7. Maar laten we daar verder hier niet de discussie verder zetten, als je meer hierover kwijt wilt, dump het maar in DM.

Hooglander1 wijzigde deze reactie 11-02-2013 15:29 (53%)

Lid van de Tweakers Kenwood TTM-312 club.


  • Osiris
  • Registratie: januari 2000
  • Niet online
quote:
Hooglander1 schreef op maandag 11 februari 2013 @ 15:05:
[...]

Je vergeet dan de 6x0 ;)

4x3 + 4x1 + 45x -1 = -29

Aantal stemmen is 59, dus gemiddelde = -0,4915...
Oh crap 8)7 Ja die tellen natuurlijk alsnog mee natuurlijk :$

Ennuh, ShadowBumble zit overduidelijk te trollen natuurlijk Hooglander1.. Althans, dat hoop ik voor 'em :X

  • ShadowBumble
  • Registratie: juni 2001
  • Nu online

ShadowBumble

Professioneel Prutser

quote:
Osiris schreef op maandag 11 februari 2013 @ 16:19:
Ennuh, ShadowBumble zit overduidelijk te trollen natuurlijk Hooglander1.. Althans, dat hoop ik voor 'em :X
:P Ja natuurlijk een 0 geven is neutraal maar dat betekend natuurlijk niet dat het niet mag mee gerekend worden wiskunde technisch werkt het wel zo ( Immers 6x0==1x0 het blijft namelijk 0 ), echter lijkt mij dat ook niet de bedoeling van een moderatie stem er zit dus een klein nuance verschil in waarbij je hier WEL de 0 stem mee wil tellen.

Sorry ik dacht eigenlijk dat het overduidelijk was :D

Diablo3--LoL--Twitch Stream


  • Osiris
  • Registratie: januari 2000
  • Niet online
Ja, dat je overduidelijk aan 't trollen bent. Als je een gemiddelde uitrekent, tellen uiteraard ook de elementen met waarde 0 mee. Probeer maar in Excel.

En dat andere verhaal over dat -0,55 afgerond 0 zou zijn i.p.v. -1 is al helemaal een troll :X Dat je zo niet mag afronden, leer je al op de basisschool.

  • pino85
  • Registratie: mei 2007
  • Laatst online: 31-08 09:22

pino85

FP ProMod Tweakers abonnementen

Im just a Bird in the Sky

offtopic:
Mja ik weet iet zeker of wat ik nu ga posten er helemaal op aansluit maar ik merk vooral dat posts die ten onrechte +2's en +3's krijgen in bepaalde gevallen extreem moeilijk op de juiste score terecht kunnen komen als de reactie een -1 waard is..
Veel meer -1's wegen vaak niet op tegen een kleine minderheid van +2's en +3's.. en dat is vind ik persoonlijk erg frustrerend in bepaalde gevallen..
Hoe dit exact in elkaar zit of hoe dit kan geen idee, maar gevoelsmatig is het gewoon vervelend als er zo veel moeite nodig is om dit soort posts recht getrokken te krijgen..
Voor sommigen werkt dit niet erg motiverend, maar we zien de aanpassingen tegemoet wellicht dat dit aangepakt kan worden.

pino85 wijzigde deze reactie 11-02-2013 18:40 (40%)


  • crisp
  • Registratie: februari 2000
  • Laatst online: 16:33

crisp

Devver / Moderator DevschuurŽ

Pixelated

quote:
pino85 schreef op maandag 11 februari 2013 @ 17:56:
offtopic:
Mja ik weet iet zeker of wat ik nu ga posten er helemaal op aansluit maar ik merk vooral dat posts die ten onrechte +2's en +3's krijgen in bepaalde gevallen extreem moeilijk op de juiste score terecht kunnen komen als de reactie een -1 waard is..
Veel meer -1's wegen vaak niet op tegen een kleine minderheid van +2's en +3's.. en dat is vind ik persoonlijk erg frustrerend in bepaalde gevallen..
Hoe dit exact in elkaar zit of hoe dit kan geen idee, maar gevoelsmatig is het gewoon vervelend als er zo veel moeite nodig is om dit soort posts recht getrokken te krijgen..
Voor sommigen werkt dit niet erg motiverend, maar we zien de aanpassingen tegemoet wellicht dat dit aangepakt kan worden.
Daarom schakelen we ook over van het gemiddelde om de uiteindelijke score te berekenen naar de mediaan; hierdoor vallen excessieve scores sneller 'buiten de boot' :)

Ter voorbeeld: 9 x -1 en 3 x +3 geeft een gemiddelde van 0, maar een mediaan van -1

crisp wijzigde deze reactie 11-02-2013 21:15 (4%)

Intentionally left blank


  • CaptJackSparrow
  • Registratie: februari 2009
  • Niet online

CaptJackSparrow

x07 - License to Tweak.

Gaat dat mediaanalgoritme dan ook met terugwerkende kracht alle oude waarderingen herberekenen? Om het effect te beoordelen kan dat sowieso interessant zijn om te kijken welke beoordelingen daar dan door gewijzigd worden. Als je dat in een testomgeving kunt doen kun je vooraf het effect meteen aardig inschatten.

  • pino85
  • Registratie: mei 2007
  • Laatst online: 31-08 09:22

pino85

FP ProMod Tweakers abonnementen

Im just a Bird in the Sky

quote:
crisp schreef op maandag 11 februari 2013 @ 21:12:
[...]

Daarom schakelen we ook over van het gemiddelde om de uiteindelijke score te berekenen naar de mediaan; hierdoor vallen excessieve scores sneller 'buiten de boot' :)

Ter voorbeeld: 9 x -1 en 3 x +3 geeft een gemiddelde van 0, maar een mediaan van -1
Ah duidelijk, dat zou dan in ieder geval een goede toevoeging kunnen zijn, nog afwachten hoe het in de praktijk zal gaan werken. :)

pino85 wijzigde deze reactie 11-02-2013 21:53 (3%)


  • crisp
  • Registratie: februari 2000
  • Laatst online: 16:33

crisp

Devver / Moderator DevschuurŽ

Pixelated

quote:
CaptJackSparrow schreef op maandag 11 februari 2013 @ 21:28:
Gaat dat mediaanalgoritme dan ook met terugwerkende kracht alle oude waarderingen herberekenen? Om het effect te beoordelen kan dat sowieso interessant zijn om te kijken welke beoordelingen daar dan door gewijzigd worden. Als je dat in een testomgeving kunt doen kun je vooraf het effect meteen aardig inschatten.
Nee, we zijn niet van plan om met terugwerkende kracht alle scores te gaan herberekenen. In feite is dit een experiment; als het slaagt dan zullen we dat in de toekomst misschien alsnog doen. We verwachten niet dat er erg veel scores heel anders zullen uitvallen. Als ik tijd over hou op het ticket wil ik daar echter wel een steekproef op los laten :)

Intentionally left blank


  • ACM
  • Registratie: januari 2000
  • Niet online

ACM

Lead developer

Werkt hier

quote:
Hooglander1 schreef op maandag 11 februari 2013 @ 15:08:
Geef mij één casus waarbij iets geen -1 of +3 zou zijn, waarbij het in de oude situatie die wel is ;)
Het punt was vooral dat de mediaan heel veel helpt als een grote groep datapunten hebt die dicht bij elkaar liggen met enkele grote uitschieters (denk 10, 10, 10, 1000 waarbij de mediaan 10 is en het gemiddelde 257,5). Dan ligt de mediaan in de centrale groep en het gemiddelde er ver voorbij.

Maar op het moment dat je de datapunten beperkt van -1 tot en met +3 heb je natuurlijk geen noemenswaardige uitschieters in de getalswaarden. Op zich kan je dan natuurlijk nog steeds wel verschuivingen van 1 punt zien als ergens een mediaan net wat anders uitkomt dan het gemiddelde. En jullie hebben sowieso gelijk dat als je hele getalsbereik in totaal maar van -1 t/m +3 ligt, dat dan een verschuiving van 1 punt best veel is. Maar omgekeerd is de mediaan ook niet heilig: als je 5x +1, 2x +2 en 2x +3 hebt dan is het afgeronde gemiddelde +2 (1,875) en de mediaan +1.

Hoedanook, vziw komt het er binnenkort aan.
quote:
ShadowBumble schreef op maandag 11 februari 2013 @ 17:18:
:P Ja natuurlijk een 0 geven is neutraal maar dat betekend natuurlijk niet dat het niet mag mee gerekend worden wiskunde technisch werkt het wel zo ( Immers 6x0==1x0 het blijft namelijk 0 ), echter lijkt mij dat ook niet de bedoeling van een moderatie stem er zit dus een klein nuance verschil in waarbij je hier WEL de 0 stem mee wil tellen.
Dat is onzin. Wiskudig gezien is het gemiddelde domweg SUM(numbers) / COUNT(numbers). En bij de sum doen die 0-en niet zoveel, maar bij de count wel. Een 0 geven is bovendien niet neutraal bij ons, sowieso is de +1 het middelpunt van de cijfers bij de moderatie :P

Saai uitzicht in je tuin? Hang er een foto voor!


  • AHBdV
  • Registratie: mei 2006
  • Laatst online: 10:42
Grappig dat er nog steeds mensen zijn die denken dat nul een bijzonder getal is...

Voor de Romeinen was dat inderdaad nog een problemen.... maar we weten nu toch ongeveer 1500 (?) jaar dat nul gewoon een getal is als alle anderen... hetgeen heel duidelijk wordt, wanneer je er bijvoorbeeld 10 bij optelt.

-1, 0, +1, +2 en +3, worden dan simpelweg 9, 10, 11, 12 en 13. En niemand die dan zegt dat je de 10 weg moet laten in een gemiddelde berekening!


Maar terug ontopic... ik hoop dat we snel een implementatie krijgen!
Go crisp, Go !! *O*

  • crisp
  • Registratie: februari 2000
  • Laatst online: 16:33

crisp

Devver / Moderator DevschuurŽ

Pixelated

Ik heb zojuist even een steekproef gehouden voor een random (door-de-weekse) dag:

Totaal: 1828 gemodereerde reacties
Totaal aantal waar mediaan afwijkt van gemiddelde: 83
Breakdown: (afgerond gemiddelde -> mediaan)
0 -> -1		26
0 -> 1		26
1 -> 0		11
1 -> 2		13
2 -> 1		4
2 -> 3		3

Intentionally left blank


  • Femme
  • Registratie: juni 1999
  • Laatst online: 19:55

Femme

Hardwareconnaisseur

Official Jony Ive fan

Dat zijn in principe wel leuke verschuivingen (meer spreiding, meer +2's en +3's) ook al gaat het om minimale verschillen op het totaal.

  • Osiris
  • Registratie: januari 2000
  • Niet online
Toch 5 % van de reacties hoor. :) Da's niet weinig IMO.

  • AHBdV
  • Registratie: mei 2006
  • Laatst online: 10:42
Wanneer er correct gemodereerd wordt, dan zal de mediaan vrijwel dezelfde score opleveren als het gemiddelde. Maar wanneer er gemismod wordt, dán zal de mediaan daar totaal ongevoelig voor zijn, terwijl het gemiddelde extreem gevoelig is. 5% mag op het totaal aantal moderaties niet zo veel zijn, maar als dat bijvoorbeeld 90% van de mismods ongedaan maakt, dan is het dus verschrikkelijk veel!

Verder moet je eens kijken naar het aantal +2 en +3 mods... Als ik even snel tel, dan kom ik vandaag op:
nul +3's, en 26x +2. Met de mediaan heb ik dan drie extra +3's, en 11 extra +2's.

Betekent dus 50% meer +2's, en oneindig meer +3's !!
En dát lijkt me toch een zeer groot verschil!

  • crisp
  • Registratie: februari 2000
  • Laatst online: 16:33

crisp

Devver / Moderator DevschuurŽ

Pixelated

Overigens heb ik het ticket vandaag opgepakt en staat het nu in UAT :)

Intentionally left blank


  • Hooglander1
  • Registratie: september 2003
  • Niet online

Hooglander1

Tweakers abonnee Tweakers abonnementen

Zot intellegent

quote:
crisp schreef op dinsdag 12 februari 2013 @ 10:53:
Ik heb zojuist even een steekproef gehouden voor een random (door-de-weekse) dag:

Totaal: 1828 gemodereerde reacties
Totaal aantal waar mediaan afwijkt van gemiddelde: 83
Breakdown: (afgerond gemiddelde -> mediaan)
0 -> -1		26
0 -> 1		26
1 -> 0		11
1 -> 2		13
2 -> 1		4
2 -> 3		3
Heb je ook de data van het aantal reacties wat al op een bepaalde stand stond? Ben wel benieuwd of je de oneindige vergroting van het aantal +3's dan ook bij jouw steekproef terug zou kunnen zien namelijk.

Want we doen het niet voor de 0 of de +1 die op het randje zit, dit is juist om de -1's en de +3's er uit te trekken :)

Lid van de Tweakers Kenwood TTM-312 club.


  • crisp
  • Registratie: februari 2000
  • Laatst online: 16:33

crisp

Devver / Moderator DevschuurŽ

Pixelated

Jep:

voor:
Array
(
    [-1] => 98
    [0] => 544
    [1] => 1097
    [2] => 88
    [3] => 1
)

na:
Array
(
    [-1] => 119
    [0] => 508
    [1] => 1104
    [2] => 93
    [3] => 4
)


Zit een klein verschil in tov de eerdere verschuivingen omdat ik daar nog niet de regel "indien geen expert-score is gegeven mag een uiteindelijke score geen -1 of +3 worden" geimplementeerd had.

Intentionally left blank


  • crisp
  • Registratie: februari 2000
  • Laatst online: 16:33

crisp

Devver / Moderator DevschuurŽ

Pixelated

Is af en komt volgende week dinsdag online :)

Intentionally left blank


  • zeef
  • Registratie: januari 2000
  • Laatst online: 19:57

zeef

Community manager

back on track

En is inmiddels gerealiseerd : plan: Development-round-up - Iteratie #30

Curry zegt:
[21:40:35] Curry: vieze koorbal dat je bent
[21:40:36] zeef: knor
Curry zegt: strakke timing

Pagina: 1

Dit topic is gesloten.



Populair: Desktops Samsung Smartphones Processors Sony Microsoft Games Apple Politiek en recht Consoles

© 1998 - 2014 Tweakers.net B.V. Tweakers is onderdeel van De Persgroep en partner van Computable, Autotrack en Carsom.nl Hosting door True

Beste nieuwssite en prijsvergelijker van het jaar 2013