AI-architectuur die weigert te gokken

[Barthark]

Oké Tweakers, ik heb iets dat misschien wat controversieel, maar denkwaardig is.We praten al jaren over LLM’s en grote taalmodellen, maar bijna niemand durft het harde punt te maken:

Wat als AI moet antwoorden als het het niet weet?
En wat als AI zichzelf kan herstructureren bij internal conflict in plaats van te gokken?

Ik hobbie aan een prototype van een AI-architectuur die fundamenteel anders werkt dan transformers:

Belangrijkste principes
Conflict-detectie: Als inputs intern tegenstrijdig zijn → geen output.
Structurele groei: In plaats van training/updaten zoals we nu kennen, ontstaan nieuwe modules (cells) pas wanneer er spanningen zijn.

Consensus-logica: Er wordt alleen een antwoord geaccepteerd als alle relevante interne processen overeenkomen.

Weiger-modus: Geen hallucinaties, geen producties van onzin — alleen output íf er consensus is.

Je kunt het hobbie model vergelijken met een traditionele recurrent-achtige dynamiek of graph-netwerk, maar met expliciete logica én structurele adaptatie.

Wat het nu laat zien

In experimenten ziet het systeem er zo uit dat het bij een conflict rustiger stabiliseert en niet zomaar doorgaat met gokken zoals een transformer dat doet. Dit is geen LLM-hack, maar een fundamenteel andere structuur.

Ik ben benieuwd…

Is er een bestaand model dat iets vergelijkbaars doet?
Of hebben we het hier over een pad richting AI die betrouwbaarder, veiliger en verklaarbaarder is dan wat we nu hebben?

Kan een AI-systeem beter zijn door te weigeren wanneer er onzekerheid is?

Laat maar horen wat jullie denken. Feitelijk is dit níet zomaar een nieuwe model-variant, maar een totaal andere architectuurfilosofie.

[99ruud99]

De basis van de hele oude chatbot is dit toch?
Die gaat heel strikt om met wat je vraagt, en geeft heel vaak "ik begrijp niet wat je bedoelt, kan je je vraag anders formuleren" . Enerzijds omdat je vraag niet specifiek is, maar ook omdat hij het antwoord niet weet.

Deze chatbots zijn ingesteld om enkel en alleen als ze het antwoord ingeprogrammeerd hebben te antwoorden.

Nadeel: je krijgt een heel erg vervelend gesprek, omdat alles wat niet ingeprogrammeerd is dus ook niet beantwoord kan worden... en dat vinden mensen vervelend is gebleken afgelopen jaren. (heb je wel eens met een oude chatbot +- 5 jaar terug moeten praten?)

[Barthark]

Goede vergelijking, en je raakt hier ook een belangrijk punt.
Oude rule-based chatbots konden inderdaad weigeren (“ik begrijp je niet”), maar dat gebeurde omdat ze niets wisten buiten wat expliciet geprogrammeerd was.

Het verschil waar ik naar kijk zit op een ander niveau:

Die oude chatbots weigeren omdat ze niets herkennen

Dit prototype weigert terwijl er wél kennis/activatie is, maar die intern niet consistent blijkt

Met andere woorden:
de weigering komt hier niet door gebrek aan kennis, maar door interne tegenspraak.

Daarnaast gebeurde er bij oude chatbots niets na die weigering.
Hier is weigering juist een signaal:

conflict → geen output

conflict blijft bestaan → interne structuur past zich aan

pas daarna mag er weer een antwoord komen

Dus geen “ik snap het niet, probeer opnieuw”,
maar: “ik zie dat dit niet klopt, ik moet eerst intern iets oplossen.”

Je hebt gelijk dat mensen het vervelend vinden als een systeem vaak weigert.
De vraag die ik probeer te onderzoeken is daarom niet of weigeren fijn is, maar:

is een soms weigeren systeem uiteindelijk betrouwbaarder
dan een systeem dat altijd iets zegt, ook als het gokt?

Dat spanningsveld vind ik interessant — zeker buiten chatgebruik,
bijvoorbeeld in beslissingsondersteuning, veiligheid of analyse.

[99ruud99]

Op die vraag is het antwoord duidelijk een ja;
Al in mijn opleiding leerden we de computer afwijkende cellen te herkennen in biopten.
25% wist hij zeker, 25% vraagteken en 50 % onbekend (negatief).

In medische wereld is het handig dat je weet wanneer iets zeker is. Fout positief (en in mindere mate fout negatief) geeft behoorlijke gevolgen. Vandaar dat er nu ook nog geen behandeling start zonder een paar menselijke ogen. Maar het feit dat de pc al aangeeft waar in het biopt afwijkingen zijn helpt al een hoop met rond zoeken .

[Barthark]

Dat is een heel goed voorbeeld, en precies het soort domein waar dit principe al impliciet wordt toegepast.

Wat jij beschrijft (zeker / twijfel / onbekend) laat eigenlijk zien dat het probleem niet is óf een systeem moet kunnen weigeren, maar waar en hoe die weigering plaatsvindt.

In veel medische systemen zit die onzekerheid:

als outputcategorie of als confidence-score achteraf

Wat mij interesseert, is of het nuttig is om die onzekerheid eerder en dieper in het systeem te leggen:
niet pas bij de classificatie-uitgang, maar als een interne blokkade wanneer verschillende interne signalen elkaar tegenspreken.

In jouw voorbeeld:

de PC weet iets (er is activatie)

maar weet ook dat die kennis niet consistent genoeg is om een harde uitspraak te doen

en markeert daarom gericht waar menselijke aandacht nodig is

Dat lijkt sterk op wat ik probeer te modelleren:
niet “ik weet het niet”, maar
“ik zie iets dat niet klopt, dit vraagt om extra interpretatie of structuur.”

En je raakt ook een belangrijk punt:
zelfs als zo’n systeem niet autonoom mag beslissen, kan het zoekruimte, aandacht en risico drastisch verkleinen.

Ik denk dat dit soort architecturen vooral waarde hebben naast menselijke besluitvorming, niet in plaats daarvan — zeker in medische en veiligheidskritische contexten.

[Kurkentrekker]

Misschien ben ik een leek als het om de onderliggende technologie gaat, dus lees dit vooral met een korreltje zout (of een beetje goodwill, ik ben geen expert):

Is die fundamentele interne onzekerheid wel te voorkomen als je met een op grote hoeveelheden taal getraind model werkt? In 99,99% van de trainingsdata zul je lezen dat Amsterdam de hoofdstad van Nederland is, maar er is vast ergens een bron die Den Haag schrijft, al is het alleen in beeldspraak. Wat zou jouw model dan antwoorden op de vraag wat de hoofdstad van Nederland is? En zou dat veranderen als 10% van de trainingsdata iets afwijkends bevat? Of 50%?

Het risico met dingen 'zeker' te willen weten, is dat je uiteindelijk niets meer weet. Misschien als je met heel concreet gescreende trainingsdata gaat werken, maar dan wordt het bijna 'hard' programmeren in plaats van een model trainen. Of begrijp ik het nu fundamenteel verkeerd?

[Barthark]

Dat is helemaal geen gekke vraag, en je redenatie klopt ook grotendeels — zeker voor hoe huidige taalmodellen werken.

Wat je beschrijft (Amsterdam vs. Den Haag, percentages in trainingsdata) is precies hoe LLM’s “kennis” representeren: als statistische waarschijnlijkheid, niet als waarheid in een logische zin. In dat kader is interne onzekerheid inderdaad onvermijdelijk.

Het verschil waar ik naar kijk, zit niet zozeer in of onzekerheid bestaat, maar hoe een systeem ermee omgaat.

In jouw voorbeeld:

een klassiek LLM zal vrijwel altijd “Amsterdam” antwoorden, omdat dat statistisch domineert

zelfs als er 10% of 50% afwijkende data is, blijft het model meestal iets zeggen

Het systeem dat ik probeer te modelleren zou niet primair kijken naar frequentie, maar naar interne consistentie tussen verschillende signalen.
Niet: “wat komt het vaakst voor?”
Maar eerder: “zijn mijn interne representaties hierover coherent genoeg om hier iets over te zeggen?”

Belangrijk daarbij: dit betekent niet dat het systeem constant zou weigeren bij normale, stabiele feiten.
Bij iets als “hoofdstad van Nederland” is de interne overeenstemming in de praktijk extreem hoog, dus er is geen conflict om te detecteren.

Waar het interessant wordt, is juist bij:

ambigu geformuleerde vragen

domeinen met tegenstrijdige bronnen

nieuwe of zeldzame situaties

medische of veiligheidscontexten

En daar raak je ook een belangrijk punt:
dit soort architecturen zijn waarschijnlijk niet geschikt om alles te weten, en ook niet bedoeld om menselijke kennis te vervangen.

De waarde zit vooral in:

het expliciet maken van twijfel

het verkleinen van zoekruimte (“hier zit iets geks, kijk hier”)

en het voorkomen dat een systeem doet alsof het zeker is

In die zin zie ik het niet als een vervanging van trainen of programmeren, maar als een extra laag:
niet wat het systeem weet, maar wanneer het verstandig is om te spreken.

Dus nee — je begrijpt het niet fundamenteel verkeerd.
Je benoemt juist precies de grens waar dit soort ideeën relevant (en ook riskant) worden.

[hbsJR]

Is dit niet gewoon iets wat al onderzocht is en dat mensen bij o.a. openAI mee bezig zijn? https://arxiv.org/pdf/2509.04664

Daarnaast leeft er een gedachte dat een AI iets weet, maar een AI weet niks. Het is een statistisch model wat de hoogst mogelijke kans bij elkaar zet en dit heel goed doet. https://appleinsider.com/...not-reason?utm_medium=rss

Wat ik tot nu toe heb begrepen in AI land is dat ze niet goed snappen waarom ze het hele idee van hallucination niet kunnen stoppen. Er is zelfs een theorie (en ik kan even geen bron vinden), dat hallucinaties of liegen juist een positief eigenschap is. Dat door het "belonen" van nep berichten we laten zien dat we het wel fijn vinden dat ie eindeloos blijft door lullen.

[Barthark]

Goede punten, en je raakt hier meerdere kernvragen tegelijk.

Ten eerste: ja, hier wordt absoluut aan gewerkt, ook bij partijen als OpenAI. Het paper dat je linkt gaat inderdaad over manieren om onzekerheid, zelfreflectie en correctie in modellen te krijgen. Waar mijn interesse net iets anders ligt, is waar dat mechanisme zit. In veel van dit soort werk blijft het nog steeds binnen hetzelfde paradigma:
één model, één forward pass (of meerdere), en daarna heuristieken of policies om het resultaat te beoordelen of bij te sturen.

Wat ik probeer te verkennen is niet zozeer betere zelfreflectie binnen een model, maar een architectuur waarin “geen output” een natuurlijke systeemtoestand kan zijn zolang interne processen niet tot rust komen. Dat is een subtiel verschil, maar wel een belangrijk: het gaat minder om “het model weet dat het onzeker is” en meer om “het systeem kán fysiek/structureel niet spreken zolang het intern niet coherent is”.

Dan je tweede punt — en die klopt helemaal:
een AI “weet” niets in menselijke zin. Het is een statistisch model dat patronen samenstelt. Ik probeer dat ook nergens te ontkennen. Juist dát is voor mij de aanleiding voor dit idee. Omdat het model zelf geen begrip of waarheid heeft, is het extra riskant dat we het dwingen altijd iets te zeggen. Mijn vraag is niet “kan AI weten?”, maar:
wanneer is het verantwoord dat een statistisch systeem überhaupt iets uitspreekt?

Over hallucinaties: ook hier heb je gelijk dat men nog niet goed begrijpt waarom ze fundamenteel zo hardnekkig zijn. En de theorie dat “liegen” of hallucineren een bijproduct (of zelfs nuttig effect) is van hoe generatieve modellen werken, hoor je inderdaad vaker. Als je een systeem optimaliseert op vloeiendheid en plausibiliteit, dan moet het soms bluffen — dat is bijna onvermijdelijk.

Precies daarom zie ik hallucinaties minder als een bug die je volledig kunt wegpatchen, en meer als een signaal van een dieper architectuurprobleem: het systeem wordt beloond voor altijd doorgaan, ook als zijn interne representaties eigenlijk conflicteren.

Wat ik met dit prototype probeer te onderzoeken is niet “hoe stoppen we hallucinaties volledig”, maar:

kunnen we ze eerder zichtbaar maken

kunnen we ze koppelen aan interne spanning

en kunnen we een systeem ontwerpen dat bij zulke spanning liever stilvalt dan improviseert

Dat maakt hallucinatie niet onmogelijk, maar wel minder onzichtbaar en minder vanzelfsprekend.

Dus samengevat:
ja, dit raakt bestaand onderzoek; nee, het is niet volledig nieuw; maar ik denk dat de architecturale invalshoek (conflict → geen output → structurele aanpassing) nog relatief weinig expliciet wordt onderzocht. En ik zie dit ook niet als een vervanging van LLM’s, maar als een aanvullende laag voor situaties waar “een mooi antwoord” minder belangrijk is dan “een verantwoord antwoord”.