Programming Contest Nieuwe Stijl: Contest 4 *Score-update*

Ja.

quote:

NMe schreef op dinsdag 02 juni 2009 @ 14:25:
[...]

Bij gebrek aan beter (defecte pc for the lose), dezelfde pc die de vorige contests gerund heeft:
AMD Athlon 64 X2 4400+
2GB RAM
Windows XP 32-bit (sorry )

Python 2.6 voor de Python-inzending, de meest recente Java client-VM voor Java

Ik vind het jammer dat na zo lang, de scores niet gerund zijn op een fatsoenlijke pc. Om aan te geven dat een bovengemiddelde consumenten pc in mijn optiek 4Gb heeft hier een paar feitjes uit de BBG's:
Sinds november 2007 - alle workstations 4Gb (daarvoor ook al soms)
Sinds juli 2008 - alle multimedia pc's 4Gb
Sinds juni 2009 - zelfs het budget systeem heeft 4Gb


Alle comments die aangeven dat het onzin is dat mijn applicatie zoveel geheugen gebruikt: Ik heb er op gerekend, mee gerekend en mijn applicatie op gebaseerd. Dat anderen het met minder geheugen kunnen, leuk, maar zijn hebben niet zulke mooie scores als ik.

Nu blijkt dat modernere pc's de rangschikking veranderen hoop ik dat de organisatie de resultaten opnieuw berekend met de in de starpost genoemde pc. Ook met de gevraagde instellingen en libraries (dus bijvoorbeeld server vm). Dit zal 18x15 = 4,5 uur processortijd kosten en moet dus binnen een redelijke termijn te doen zijn. De officieële/nette resultaten zullen dan een goede representatie zijn van de inzendingen.

Ik snap je redenatie, alleen vind ik dat je wel een beetje aan het doordraven bent. Het is toch maar een spelletje, ik bedoel, het is hoogstens voor de eer.

Alle inzendingen zijn op dezelfde PC uitgevoerd en met dezelfde instellingen. Je kan ook de CERN even bellen, die hebben ATM toch weinig te doen. Misschien mag je hun mainframe wel 15 minuten lenen.

Deze gasten doen het ook maar voor hun plezier en in hun vrije tijd; Dat moet je respecteren imo.

Tevens zegt NMe hier (NMe in "Programming Contest Nieuwe Stijl: Contes...") dat 1GB RAM waarschijnlijk geen probleem zal zijn!

Dat, en een PC voor tweakers is niet hetzelfde als een gemiddelde consumenten PC. Tweaker != gemiddelde consument.

Dat overal dezelfde VM instellingen gebruikt moet worden lijkt me duidelijk. Alleen dan krijg je nette resultaten. Verder runnen alle entries op dezelfde PC. Oprekken naar 1.5GB zou nog kunnen maar ik denk eerlijk gezegd niet dat de overige entries zoveel geheugen hebben gebruikt. Om dan vervolgens te gaan roepen dat het aan de hoeveelheid geheugen ligt dat je nu niet wint en anders wel vindt ik persoon gewoon zeuren om niks. Blijkbaar kunnen we het gewoon niet goed doen (en daar baal ik goed van....).

Het doel is een leuke competie. Qua snelheid draait het om wie het beste algoritme kan vinden. Dat betekent optimaliseren. En niet optimaliseren voor 1 specifieke PC. En then again, het draait om de lol. Neem je het nu niet een beetje te serieus?

Creepy wijzigde dit bericht 02-06-2009 21:55 (19%)

quote:

NMe schreef op dinsdag 02 juni 2009 @ 20:01:
Ja.

Uhm durf het eigenlijk niet te vragen, maar uhh als je hem uberhaupt aan de praat krijgt wanneer krijg ik de uitslag

Sowieso maakt dat geheugen volgens mij echt geen drol uit. De server instelling destemeer. De client VM kun je niet eens runnen met rond de 2 GB.

quote:

Pete schreef op dinsdag 02 juni 2009 @ 21:16:
Ik vind het jammer dat na zo lang, de scores niet gerund zijn op een fatsoenlijke pc.

De specificaties van de jury-PC waren dan ook open gelaten. Niemand wist precies op wat voor systeem gebenchmarkt zou worden. Ik heb niet het idee dat het uiteindelijke jurysysteem te slecht was om van een eerlijke en redelijke uitslag te kunnen spreken.

Om je stelling dat het beschikbare geheugen veel uitmaakt te testen, heb ik nog even getest met 1GB heap size (die NME dus ook had ingesteld) en dit zijn de resultaten over vijf runs:

Run	Pete 6 GB	Pete 1 GB	DaCoTa 6 GB
1	40093600	39836550	40333400
2	40201000	40167700	40041500
3	40565500	40096450	40419350
4	40153500	40073850	40352600
5	40150400	39998300	40303750
Gemiddeld:	40232800	40034570	40290120
Relatief:	100%	99,51%	100,14%

(Merk op dat dit op een acht core systeem geldt, dus wellicht dat met slechts twee cores het verschil nog kleiner is; hangt een beetje van je implementatie af. Ik zag bijvoorbeeld dat DaCoTa een aantal threads spawnt gelijk aan twee keer het aantal cores.)

Het lijkt er dus op dat je met een heap van 6 GB ipv 1 GB ongeveer een half procentje hoger scoort. Van mij mag je in NMe's tabel 0,5% bij je score optellen, maar daar verandert je positie niet mee. (Overigens lijkt die 0,5% vooral door een uitschieter te komen; het verschil tussen de medianen is slechts 0,2%.)

edit:
Bonuspuntje voor .oisyn; het maakt vrij weinig uit.

edit2:
Voor de lol ook vijf runs van DaCoTa erbij gezet...

Soultaker wijzigde dit bericht 02-06-2009 22:38 (10%)

Ik vind het zelf een klein beetje jammer dat er niet met de server JVM is gewerkt, dat had mij misschien ook weer een plekje gescheeld. De hoeveelheid geheugen was bij mij minder cruciaal, aangezien er nauwelijks vooruitgekeken werd.

Toch is het misschien wel beter om van te voren af te spreken hoeveel geheugen er aanwezig zal zijn, en hoeveel cpu's/cores. Op dat moment weet iedereen precies waar hij aan toe is. Wat mij betreft is dat een klein verbeterpuntje voor een volgende contest. Moet kunnen toch?


Over mijn eigen stommiteit (score in de outputfiles): aan mn svn logs te zien was dat de enige verandering in die hele file sinds de initial commit, en heb ik dat 1 dag voor inzending veranderd.

Wel frappant dat het verschil tussen DaCoTa's entry en Pete's entry bij jou veel minder verschil zit dan bij de uitslag gepost door NMe. Pete's implementatie schaalt dus wel beter dan die van DaCoTa met meer cores. Maar nog steeds niet genoeg om het te winnen

quote:

zwippie schreef op dinsdag 02 juni 2009 @ 22:42:
Ik vind het zelf een klein beetje jammer dat er niet met de server JVM is gewerkt, dat had mij misschien ook weer een plekje gescheeld.

Misschien, maar misschien gebruiken je concurrenten ook Java en die hadden dan natuurlijk ook profijt gehad van de server VM.

quote:

.oisyn schreef op dinsdag 02 juni 2009 @ 22:43:
Pete's implementatie schaalt dus wel beter dan die van DaCoTa met meer cores. Maar nog steeds niet genoeg om het te winnen

Inderdaad, de CPU use uit de eerdere tabel suggereerde dat ook (hoewel CPU-tijd gebruiken niet per se wil zeggen dat 'ie ook nuttig besteed wordt natuurlijk). Overigens vind ik dat DaCoTa ook niet echt overtuigend wint met een 0,1% hoger gemiddelde over vijf runs.

Jammer dat je mijn entry niet kan runnen... Kun je niet even Windows XP x64 installeren op die bak?

Nee helaas, het zijn niet mijn eigen servers, dus even Windows erop is geen optie.

Ik zal 'm eens met Wine runnen. Wellicht is dat qua performance niet ideaal, maar het geeft allicht een ondergrens. (Ik neem aan dat je uit performance-overwegingen toch al niet al te veel system calls doet.) Overigens heb je gelukkig een 32-bit binary gesubmit, want 64-bit Wine staat helemaal in de kinderschoenen.

edit:
Toegevoegd aan mijn lijstje met een score van 35714400. Niet slecht, maar natuurlijk niet echt een eerlijke vergelijking... (d.w.z. het was op Windows waarschijnlijk hoger geweest, maar hoeveel precies is moeilijk te zeggen)

Soultaker wijzigde dit bericht 03-06-2009 01:04 (28%)

quote:

Pete schreef op dinsdag 02 juni 2009 @ 21:16:
[...]

Ik vind het jammer dat na zo lang, de scores niet gerund zijn op een fatsoenlijke pc.

Ik zal de volgende keer dat ik tijd heb maar géén goeie pc tot mijn beschikking heb lekker in de zon gaan zitten en jullie nog vrolijk een maandje laten wachten. Happy?

Ik run alle Java-inzendingen nog een keer met de server-JVM, en ik zal de geheugengrens zo ver opschroeven als ik kan op dit systeem. Afgezien van dat zul je het hiermee moeten doen.

NMe wijzigde dit bericht 03-06-2009 00:46 (20%)

quote:

Soultaker schreef op woensdag 03 juni 2009 @ 00:36:
Ik zal 'm eens met Wine runnen. Wellicht is dat qua performance niet ideaal, maar het geeft allicht een ondergrens. (Ik neem aan dat je uit performance-overwegingen toch al niet al te veel system calls doet.) Overigens heb je gelukkig een 32-bit binary gesubmit, want 64-bit Wine staat helemaal in de kinderschoenen.

edit:
Toegevoegd aan mijn lijstje met een score van 35714400. Niet slecht, maar natuurlijk niet echt een eerlijke vergelijking... (d.w.z. het was op Windows waarschijnlijk hoger geweest, maar hoeveel precies is moeilijk te zeggen)

Geh. Wat ik me afvraag, gebruikt ie in Wine wel alle cores? Onder Win XP x64 op een quad core heeft hij een CPU utilization van ~80%. Dit itt die van Pete, die slechts rond de 72% gebruikte (en 55% op de client VM ). Maar jouw 261% vind ik dramatisch slecht moet ik zeggen... (hoe moet ik dat interpreteren, als 261/8 = 32% total load?)

OMG I fucking love Google Chrome. M'n bak rebootte net spontaan terwijl ik deze post aan het tikken was, en na het opnieuw opstarten van Chrome zei ie dat niet alles correct was afgesloten en of ik de windows wilde herstellen, en mijn hele post stond er gewoon nog

.oisyn wijzigde dit bericht 03-06-2009 01:31 (16%)

Hij gebruikt in ieder geval meer dan één core, dus ik neem aan dat 'ie in principe alle cores zou kunnen gebruiken. GetProcessAffinityMask() returnt ook gewoon 255. Ik vermoed dat het optimaliseren van de throughput van multicore applicaties niet heel hoog op het prioriteitenlijstje staat van de Wine developers (en wel op dat van de Microsoft developers) waardoor je gewoon niet dezelfde bezetting haalt als je onder Windows zou hebben.

(Het helpt waarschijnlijk ook niet dat allerlei primitieven die onder Windows in de kernel zitten, door Wine noodzakelijkerwijs in usermode geëmuleerd moeten worden.)

Ter vergelijking heb ik ook de Windows versie van mijn inzending eens gerunt onder Wine; die scoret ook merkbaar slechter, maar het verschil valt nog wel enigzins mee. Maar mijn oplossing doet niets met multithreading, dus dan is de overhead ook minder.

quote:

Maar jouw 261% vind ik dramatisch slecht moet ik zeggen... (hoe moet ik dat interpreteren, als 261/8 = 32% total load?)

Ja, 32% gemiddeld per core. Single-threaded is 100% en optimaal zou 800% zijn (dan gebruik je alle acht cores continue). Overigens kun je dan ook nog best 90% van de tijd aan het spinlocken zijn in theorie (dat bedoelde ik eerder toen ik zei dat meer CPU tijd besteden niet per se betekent dat er ook wat zinnigs uitgerekend wordt).

Soultaker wijzigde dit bericht 03-06-2009 01:47 (38%)

quote:

Matis schreef op dinsdag 02 juni 2009 @ 21:28:
Ik snap je redenatie, alleen vind ik dat je wel een beetje aan het doordraven bent. Het is toch maar een spelletje, ik bedoel, het is hoogstens voor de eer.

Wees gerust, het is voor mij ook maar een spelletje, en een leuke. Ik wil alleen graag dat iedereen een gelijke kans heeft en dat de gegeven regels gevolgd worden.

quote:

Alle inzendingen zijn op dezelfde PC uitgevoerd en met dezelfde instellingen. Je kan ook de CERN even bellen, die hebben ATM toch weinig te doen. Misschien mag je hun mainframe wel 15 minuten lenen.

Lees de thread, er is nogal verschil met java/C(++). Nu er toch inzendingen opnieuw gerund moeten worden vraag ik alleen of het misschien mogelijk is op een snelle pc.

quote:

Deze gasten doen het ook maar voor hun plezier en in hun vrije tijd; Dat moet je respecteren imo.

Daar heb ik respect voor, en ik find het fijn dat ze hun vrije tijd hier voor opofferen. Ik vind echter niet dat je dit moet gebruiken om te proberen de discussie mee af te kappen.

quote:

Tevens zegt NMe hier (NMe in "Programming Contest Nieuwe Stijl: Contes...") dat 1GB RAM waarschijnlijk geen probleem zal zijn!

Dat heb ik gezien. Maar imo beloofde men meer met het "bovengemiddelde consumentenpc"

quote:

Creepy schreef op dinsdag 02 juni 2009 @ 21:50:
Dat, en een PC voor tweakers is niet hetzelfde als een gemiddelde consumenten PC. Tweaker != gemiddelde consument.

Maar Tweaker == bovengemiddelde consument

quote:

... Om dan vervolgens te gaan roepen dat het aan de hoeveelheid geheugen ligt dat je nu niet wint en anders wel vindt ik persoon gewoon zeuren om niks. Blijkbaar kunnen we het gewoon niet goed doen (en daar baal ik goed van....).

Het doel is een leuke competie. Qua snelheid draait het om wie het beste algoritme kan vinden. Dat betekent optimaliseren. En niet optimaliseren voor 1 specifieke PC. En then again, het draait om de lol. Neem je het nu niet een beetje te serieus?

Nee ik neem het niet te serieus. Ik hoop ook niet dat je je echt aangevallen voelt, ik vind dat jullie een goede contest hebben. Er zijn echter dingen die beter kunnen. Is het goed nu? Ja. Kan het beter? Zeker!

Ik heb nergens geroepen dat ik nu verlies door de instellingen of door de pc. Ja, dat ik er op achteruit ben gegaan en misschien wel daardoor lager sta dan dat ik kon is denk wel aangetoond. Ik stel gewoon de vraag of men het opnieuw kan runnen. Als ik eerste had gestaan en het zou mijn plek kunnen kosten had ik het misschien niet gesuggereerd, maar wel de vraag van iemand anders ondersteund.

quote:

NMe schreef op woensdag 03 juni 2009 @ 00:45:
[...]

Ik zal de volgende keer dat ik tijd heb maar géén goeie pc tot mijn beschikking heb lekker in de zon gaan zitten en jullie nog vrolijk een maandje laten wachten. Happy?

Ik proef hier dat je je aangevallen voelt. Mijn vraag is niet bedoeld als een aanval.

Het aanbod van Woy doet blijken dat er in de crew wel de computing power beschikbaar was. Het is daarom jammer dat dit niet eerder bij jullie overlegd was.

quote:

Ik run alle Java-inzendingen nog een keer met de server-JVM, en ik zal de geheugengrens zo ver opschroeven als ik kan op dit systeem. Afgezien van dat zul je het hiermee moeten doen.

Super! Ik denk dat dat de eerlijkheid van deze uitslagen al super vergroot.

quote:

Pete schreef op woensdag 03 juni 2009 @ 05:51:
Ik proef hier dat je je aangevallen voelt. Mijn vraag is niet bedoeld als een aanval.

We hebben maandenlang geen tijd kunnen vinden om dit af te handelen en daar (terecht) commentaar op gehad. Ik vond het op het moment dat ik wél tijd had (of eigenlijk: tijd kon maken) belangrijker dat er resultaten kwamen met behulp van een acceptabel systeem dan dat ik de gelegenheid voorbij liet gaan om een beter systeem bij elkaar te kunnen schrapen.

quote:

Het aanbod van Woy doet blijken dat er in de crew wel de computing power beschikbaar was. Het is daarom jammer dat dit niet eerder bij jullie overlegd was.

Er is genoeg overlegd maar dit aanbod is nieuw voor me. Daarnaast: een remote desktop-opstelling lijkt me nou niet echt super-optimaal.

quote:

Super! Ik denk dat dat de eerlijkheid van deze uitslagen al super vergroot.

DaCoTa's inzending is ook in Java gemaakt, en gerund met dezelfde instellingen als jouw inzending. Hij wist evenveel van het systeem waarop gedraaid werd als jij en blijkbaar kon hij daar beter mee overweg. De hele reden dat we, zelfs als we dat kunnen, van tevoren geen gegevens vrijgeven over het systeem waar we op draaien, is dat we jullie daarmee dwingen om keuzes te maken die je applicatie op élk systeem optimaal laten werken. In alle eerlijkheid heeft DaCoTa daar beter aan voldaan.

quote:

NMe schreef op woensdag 03 juni 2009 @ 10:53:
[...]

DaCoTa's inzending is ook in Java gemaakt, en gerund met dezelfde instellingen als jouw inzending. Hij wist evenveel van het systeem waarop gedraaid werd als jij en blijkbaar kon hij daar beter mee overweg. De hele reden dat we, zelfs als we dat kunnen, van tevoren geen gegevens vrijgeven over het systeem waar we op draaien, is dat we jullie daarmee dwingen om keuzes te maken die je applicatie op élk systeem optimaal laten werken. In alle eerlijkheid heeft DaCoTa daar beter aan voldaan.

Nee, ik heb de applicatie geschreven voor de java server vm. Ik verwacht min of meer dat het verschil tussen Dacota en mij op hetzelfde systeem maar met de server vm veel kleiner zal zijn. Dan kunnen we zien welke applicatie optimaler werkt op elk systeem.

quote:

Pete schreef op woensdag 03 juni 2009 @ 05:51:
[...]
Het aanbod van Woy doet blijken dat er in de crew wel de computing power beschikbaar was. Het is daarom jammer dat dit niet eerder bij jullie overlegd was.

Ik ben dan ook pas mod geworden nadat de contest afgelopen was, dus eerder overleg had het niet opgelost , en bovendien ben ik de afgelopen maand bezig geweest met mijn PC fatsoenlijk te installeren, dus voor deze contest was het niet echt een oplossing.

Het grote probleem nu was vooral dat het al zo lang duurde, dat er gewoon echt een keer een uitslag moest komen. Dat het NMe dan even niet lukt om een machine met meer geheugen te regelen, of om het op een Server VM te draaien is misschien jammer, maar het is ieder geval beter dan nog een maand moeten wachten.

Voor een volgende contest is het denk wel handig om een wat duidelijkere indicatie te geven van het platform waarop het gedraaid word. ( Maar dan bedoel ik zeker niet de complete specificatie ).

Woy wijzigde dit bericht 03-06-2009 12:02 (21%)

quote:

Pete schreef op woensdag 03 juni 2009 @ 05:51:
Ik heb nergens geroepen dat ik nu verlies door de instellingen of door de pc. Ja, dat ik er op achteruit ben gegaan en misschien wel daardoor lager sta dan dat ik kon is denk wel aangetoond.

Erm? Ik meen dat ik overtuigend heb aangetoond dat je oplossing nauwelijks gebaat is bij meer geheugen, zeker niet in zo'n mate dat het een plaats zou schelen, dus het zou fijn zijn als je in ieder geval toegeeft op dat punt niet tekort gedaan te zijn.

Los hiervan hebben waarschijnlijk alle Java inzendingen in zekere mate baat bij het runnen in de server VM, dus het is goed dat NMe daar nog een keer tests mee gaat runnen, maar dan nog heb jij specifiek weinig te klagen omdat .oisyn de enige niet-Java-contestant is die boven je staat.

quote:

Woy schreef op woensdag 03 juni 2009 @ 11:54:
Voor een volgende contest is het denk wel handig om een wat duidelijkere indicatie te geven van het platform waarop het gedraaid word.

Daar kan niemand tegen zijn, maar persoonlijk vond ik de huidige gang van zaken niet zo'n groot probleem. Er zijn altijd een aantal onvoorspelbare variabelen (zoals ook de gebruikte speelset, waar ik verbazingwekkend genoeg nog niemand over heb horen klagen) en daar rekening mee houden is part of the game naar mijn mening.

Als we overigens wensen voor een volgende contest aan het listen zijn, wil ik ook een bescheiden verzoek indienen voor het beschikbaar maken van een vergelijkbaar Linux platform naast Windows; dat moet bij ontwikkelaars toch ook populair zijn. (Met vergelijkbaar bedoel ik dat als je voor 32-bits Windows kiest, je ook een 32-bits versie van pak-em-beet Ubuntu neemt.)

Soultaker wijzigde dit bericht 03-06-2009 14:01 (34%)

quote:

Soultaker schreef op woensdag 03 juni 2009 @ 13:51:
maar dan nog heb jij specifiek weinig te klagen omdat .oisyn de enige niet-Java-contestant is die boven je staat.

En dan deed ik niet eens officieel mee wegens te laat inleveren
Maar volgens mij heeft Bomberboy ook een native implementatie? En die stond in NMe's lijstje ook boven Pete.

Oh, zou kunnen ja, ik heb van Bomberboy nog steeds geen code gezien, en die staat ook behoorlijk dicht boven Pete dus die zouden wel eens van plaats kunnen wisselen...

Nou ja, NMe's on it, dus ik vermoed dat het uiteindelijk allemaal wel duidelijk wordt...

quote:

Soultaker schreef op woensdag 03 juni 2009 @ 13:51:
[...]

Erm? Ik meen dat ik overtuigend heb aangetoond dat je oplossing nauwelijks gebaat is bij meer geheugen, zeker niet in zo'n mate dat het een plaats zou schelen, dus het zou fijn zijn als je in ieder geval toegeeft op dat punt niet tekort gedaan te zijn.

Ik praat niet enkel over de geheugen instelling. Je eerste lijstje zet dacota en mij aan top, wat voor mij aangeeft dat de resultaten met de client vm niet representatief zijn. Zodra de server vm resultaten er zijn voel ik mij niet tekort gedaan.

quote:

Los hiervan hebben waarschijnlijk alle Java inzendingen in zekere mate baat bij het runnen in de server VM, dus het is goed dat NMe daar nog een keer tests mee gaat runnen, maar dan nog heb jij specifiek weinig te klagen omdat .oisyn de enige niet-Java-contestant is die boven je staat.

Check your facts. Het is er 1 zijn er 2. En jouw lijstje geeft aan dat mijn programma veel meer baat heeft bij server dan Dacota's.

Stond er niet eerst: er staan 2 java inzendingen boven je?

Pete wijzigde dit bericht 03-06-2009 14:22 (3%)
Reden: Verkeerd om gezegd

Nee het zijn er twee, dat zei ik net al. Jij zegt precies wat Soultaker zegt.

Woei! Dat had ik niet verwacht, het scheelt allemaal wel heel erg weinig in de top 5!

Heb net even de hele discussie gelezen, volgens mij is voor alle java implementaties het verschil tussen client en server vm verwaarloosbaar. Het lijstje van Soultaker geeft aan dat Pete's oplossing idd beter schaalt naar een octocore. Verbaast me overigens wel, wellicht dat er bij zoveel cores toch een boel overhead in zit in mijn inzending. Maar ik wacht lekker de tweede runs af. Zijn trouwens de andere beoordelingen (code nivo en crashbestendigheid) ook afgerond, of vooralsnog alleen de scores?