Kan ChatGPT je WK-poule laten winnen?

[dataanerd]

Ik liet ChatGPT (5.3), Claude (Opus 4.7) en Gemini op 1 mei alle 72 WK-groepswedstrijden voorspellen. Verse chat per model, identieke prompt.

ChatGPT voorspelde Ivoorkust-Curaçao binnen één antwoord twee keer: eerst 2-0, vier regels later 1-0. Door dat duplicaat ontbraken Duitsland-Ivoorkust en Ecuador-Curaçao volledig uit de output. Verifieerbaar via de gedeelde sessie.

Op de 66 vergelijkbare wedstrijden:
- 19/66 alle drie identiek
- 23/66 oneens over wie wint
- 14/66 drie verschillende scores

Toen ik in een tweede ronde de FIFA-loting, wedstrijdvolgorde én puntentelling letterlijk in de prompt plakte, bleven de drie modellen op 18 van de 72 wedstrijden een andere winnaar geven. 1 op 4, ook met maximale context.

Niet schokkend voor wie weet hoe LLMs werken, maar wel een aardig reproduceerbaar voorbeeld van zero self-consistency over 30 regels gestructureerde output. Methodiek en de Excel staan op pouletips.nl/ai-experiment.

Benieuwd of iemand de duplicate-bug op dezelfde prompt kan reproduceren.

[Hahn]

Waarom heb je wel de nieuwste Opus (4.7) gebruikt, maar ben je bij ChatGPT voor 2 versies ouder gegaan (5.3 ipv 5.5)?

[dataanerd]

Terecht punt! 5.3 Instant was op 1 mei de default voor alle ChatGPT-gebruikers, ook gratis-accounts. Vier dagen later (5 mei) heeft OpenAI overgeschakeld naar 5.5 Instant als nieuwe default. Mijn test viel dus net voor die switch, maar ik wil het richting het WK nog een keer draaien met beter modellen.

[eheijnen]

Misschien ze ook eens de lotto laten invullen ....

[MueR]

Ik zie niet wat dit in de Devschuur te zoeken heeft, dus even een schopje naar Client software algemeen