AI-architectuur die weigert te gokken V2 Entropy-gated

[Barthark]

Heeft dit toekomst.

Vrijwel alle LLM’s delen één harde eigenschap:

Ze móéten altijd een token produceren.

Zelfs bij interne twijfel.
Zelfs bij ondergespecificeerde vragen.
Zelfs bij tegenstrijdige redeneringen.

Wat als een AI eerst moet beslissen óf het mag antwoorden?

Ik hobbie aan een prototype-architectuur (geen transformer-variant) die precies dat probeert te modelleren.
Niet:“Wat is het meest waarschijnlijke volgende token?”
Maar: “Is mijn interne toestand stabiel genoeg om een conclusie vrij te geven?”

Architectuur in het kort
In plaats van één enkele inference-lijn: Input → Model → Output
werkt dit prototype met: Parallel Reasoning Nodes → Consensus Aggregator →Conflict & Entropy Analysis → Decision Controller →{ ANSWER | VERIFY | REQUEST_CLARIFICATION | WITHHOLD }

Afbeeldingslocatie: https://tweakers.net/i/ja...BlP.png?f=fotoalbum_large


Output is dus niet de standaard eindtoestand.
Er is een expliciete beslislaag bovenop reasoning.

1 Multi-node consensus
Het systeem genereert meerdere interne redeneerlijnen (nodes).

Elke node produceert:

Een antwoordkandidaat
Een gewicht / confidence
Een impliciete consistentiestructuur

Daarna meten we:

Conflict score
Mate van inhoudelijke divergentie tussen nodes.

Consensus score
Hoeveel nodes ondersteunen hetzelfde antwoord.

Dit is geen majority voting, maar een gewogen aggregatie.

2 Entropie als stabiliteitsmaat
We gebruiken Shannon entropy over de genormaliseerde antwoordverdeling: Afbeeldingslocatie: https://tweakers.net/i/Yj...0Nbu5KVN.png?f=user_large

Interpretatie:
Lage H → stabiele interne toestand
Hoge H → verdeeldheid / epistemische instabiliteit

In traditionele LLM’s leidt hoge onzekerheid nog steeds tot output (hoogste waarschijnlijkheid wint).

Hier geldt:
Als H > threshold → geen automatische vrijgave. Dat threshold is nu nog handmatig, later mogelijk adaptief.

3 Vier expliciete toestanden
Het systeem kent vier mogelijke eindbeslissingen:
et systeem kent vier mogelijke eindbeslissingen:

ANSWER – stabiele consensus
VERIFY – conflict maar oplosbaar via interne test
REQUEST_CLARIFICATION – ontbrekende informatie
WITHHOLD – blijvende instabiliteit

REQUEST_CLARIFICATION – constraint density detectie
Als een vraag ondergespecificeerd is (bijv. “Is dit veilig?” zonder context): Dan detecteert het systeem lage constraint-dichtheid.
In plaats van aannames te doen, kiest het voor: REQUEST_CLARIFICATION. Dus actief terugvragen in plaats van probabilistisch invullen.

VERIFY – interne hypothese-falsificatie
Als twee nodes verschillende maar intern consistente antwoorden geven:

Dan activeert het systeem een verificatie-lus:

Genereer implicaties van antwoord A
Genereer implicaties van antwoord B
Zoek contradicties
Herbereken entropy

Pseudo:
while H > threshold and attempts < N:
generate_counterfactual_tests()
recompute_conflict()

Als stabiliteit stijgt → ANSWER
Blijft instabiel → WITHHOLD

Dit is geïnspireerd op hypothese-falsificatie (Popper-achtig denken) en counterfactual reasoning.

4 Structurele groei (“cells”)

Een experimenteel onderdeel: Nieuwe modules (“cells”) ontstaan alleen wanneer structurele spanning niet oplosbaar is binnen bestaande nodes.

Dus:

Geen constante parameter-update
Geen brute-force retraining
Alleen uitbreiding bij blijvende interne instabiliteit

Meer dynamisch systeem / graph-geïnspireerd dan transformer-gebaseerd.

Theoretische inspiratie

Dit is geen volledig uitgewerkt academisch model, maar het leunt op ideeën uit:

Shannon entropy – informatie-onzekerheid
Decision theory – expliciete nul-actie (weigeren als legitieme keuze)
Active Inference (Karl Friston) – minimaliseren van epistemische onzekerheid
Bounded rationality (Herbert Simon) – beslissen onder beperkte resources
Hypothesis falsification (Karl Popper) – testen i.p.v. aannemen
Meta-cognitie / self-evaluation in cognitieve modellen

Het systeem probeert epistemische onzekerheid (model weet het niet) te scheiden van aleatorische onzekerheid (ruis in data).

Wat dit níet is

Geen GPT-vervanger
Geen benchmark-resultaten
Geen formeel bewijs-systeem
Geen schaaltest
Thresholds nog handmatig

Geen wiskundige garantie tegen hallucinatie

Dit is een architectuur-experiment.

De onderliggende hypothese

Misschien zit betrouwbaarheid niet primair in:Grotere modellen ,Meer data, Betere fine-tuning,

Maar in een expliciete beslislaag die:Interne conflict meet, Stabiliteit kwantificeert,Actief verifieert, Of weigert wanneer nodig


Misschien optimaliseren we nu voor het verkeerde objective:

P(token∣context)

In plaats van:

Stability(answer∣internalconflict,informationcompleteness)

Ik ben benieuwd naar jullie technische blik:

Is entropy hier een valide proxy?
Is dit gewoon een dure wrapper rond probabilistische modellen?

[MueR]

Bedankt voor je (AI generated?) TED talk. Ik snap er geen hout van, en gezien de topicreports de rest ook niet. Als je een concreet punt wil bespreken stel ik voor dat je een concrete post maakt in een nieuw topic. Zonder AI, want daar doen we niet aan. Deze wartaal gaat op slot.

Oh ja, en wat was er onduidelijk aan de vorige 2 keren dat je verteld is dat het zo niet werkt hier?

[ Voor 15% gewijzigd door MueR op 22-02-2026 22:06 ]