Mercury 3

[Madelijn]

Inception is net uitgekomen met Mercury 3, en de claim in veel berichten is dat het Pareto-beter is dan de bestaande producten op de markt. Welnu, een kleine test bewijst dat dat totaal niet klopt.

Op hun website hebben we de tot dusver vrijgegeven delen van de serie Jan Arend upgeload, en daarna om een recensie gevraagd. Dat is een bestand van bijna 800.000 tokens, dus geschikt om een 1M token context window mee te testen. De ePub-versie is hier te downloaden.
Ten eerste de snelheid: inderdaad is de tokengeneratie razendsnel - maar wel na minutenlang nadenken.
Dan de kwaliteit. We gebruiken deze tekst al geruime tijd als benchmark, en in Gemini Pro 3.1 en Gemini Flash 3.8 krijgen we antwoorden die getuigen van een degelijke grip op de tekst. Er zijn wel foutjes (complexe chronologie blijft moeilijk voor LLMs), maar in grote lijnen "snapt" Gemini goed wat de tekst vertelt. Claude heeft meer moeite, maar weert zich toch dapper. Zelfs Perplexity heeft in grote lijnen door wat er speelt. Mercury heeft geen idee - de recensie schijnt zich te beperken tot de eerste paar bladzijden, en toen we helemaal geen vraag stelden begon 'ie spontaan over een wereldvredesprijs te wauwelen.

[Madelijn]

Als ik de tekst in drie delen upload gaat het een stuk beter, maar in allerlei details gaat het mis. Een beetje het niveau van Claude, en lang niet dat van Gemini.

Als ik dieper doorvraag (bijvoorbeeld: analyseer de preken van de dominee) confabuleert 'ie hevig (in dit geval: hij bespreekt preken die nergens in de boeken staan, en schrijft alsof de serie een prekenbundel is).

Het fijne van Jan Arend als test-tekst is dat het zich niet laat categoriseren - en mindere LLMs gaan dan prompt mis door "tropes" te zien waar die niet zijn. Daar heeft Mercury ook danig last van.

[ Voor 56% gewijzigd door Madelijn op 21-10-2026 16:15 ]