Analytische zoekmachine, verwacht ik te veel van AI?

[sanscorp]

Al geruime tijd ben ik als pure eindgebruiker op zoek naar een LMM die mij feitelijke en geverifieerde informatie kan geven wanneer ik even vastloop. Een slimme zoekmachine.

Met vele vele hobby's heb ik soms hele specifieke vragen waar ik gewoon niet uit kom wegens gebrek aan ervaring en kennis. Het zijn veelal ook leertrajecten.

Thuis draai ik bijvoorbeeld ESXi en TrueNAS, heb ik een oude Ender 3 V2 gemod en draai ik klipper, ik ben bezig met een autonome quadcopter met diverse sensoren en telemetrie, heb een oude draaibank omgebouwd naar een CNC met LinuxCNC en MESA kaarten en zo af en toe probeer ik wat defecte hardware te repareren en zijn er veel raakvlakken met elektrotechniek en ben ik ook veel bezig met motorvoertuigentechniek.

Voorheen besprak ik heel veel, zo niet alles met een vriend die dezelfde technische interesses had maar zeker op gebied van IT zwaar de overhand had wat kennis betreft. Die vriend is er helaas niet meer en ik merk dat ik de LLM's gebruikte om tot een oplossing te komen met bijvoorbeeld de afgelopen dagen met ESXi.

Mijn ervaring tot nu toe is, zelfs met mijn beperkte kennis, ik de LMM's constant betrap op onjuistheden, hallucinaties en domweg foutieve antwoorden.

Is er wel een LMM die kan voldoen aan mijn wensen? Verwacht ik te veel? Waar zou ik volgens jullie eens een kijkje kunnen nemen? Het zal iets custom moeten worden maar wel binnen een standaard basis abonnement.

Ik heb wensen: Neem alle eerdere context mee, niet pleasen maar feitelijke en bovendien online a.d.h.v. diverse bronnen geverifieerde antwoorden waarbij budget en vooral out of the box oplossingen verkent worden. Online data anno 2026 altijd boven "eigen kennis".

Ik heb ze uiteraard allemaal al dan niet in betaalde vorm gebruikt / getest.

[Juup]

Je moet wel de juiste vraag stellen en genoeg informatie geven in die vraag.
Dan heb ik in Claude Opus/Fable meestal in 2 of 3 slagen het antwoord wat ik zoek.
Niet lui zijn, meteen alle relevante info in je vraag zetten.

[Tk55]

Welke modellen en providers heb je gebruikt? Welke tooling? Desktop apps, agent harnesses (Claude code, codex, etc). Welke context geeft je mee? Gebruik je opties als memory, web search, etc?

[sanscorp]

Ik kreeg geen notificatie..

Alle grote spelers heb ik wel uitvoerig getest, ChatGPT, Claude, Grok, Gemini. Ook de chatgpt classic en nieuwe app (waar ook Codex in zit), uiteraard met memory en zo veel mogelijk andere opties aan. Projecten aangemaakt met custom instructies in ChatGPT.

Prompts probeer ik redelijk compleet te schrijven. Bijv. vandaag over Frigate NVR, versies genoemd, OS genoemd, intentie van opzetten genoemd, wat er al gedaan was en wat er nog moest gebeuren. De vraag was vervolgens om een syntax te geven om een disk te mounten en deze juist te formatteren t.b.v. Frigate opnames. Krijg ik eerst 5x een syntax die helemaal niet beschikbaar is in Debian 13. Dan moet ik weer vertellen dat ik Debian 13 geïnstalleerd heb. Vlak daarvoor moest ik hem al vertellen dat ESXi 7 helemaal geen Debian 13 in OS keuze heeft staan en dat dit maar tot 11 gaat terwijl dat ook al verteld was.

Ik ben geen Linux held en mijn vraag was redelijk simpel, later ging dit door met veel foutieve commando's bij het troubleshooten van 1 camera.

Het lijkt wel alsof iedere prompt geheel op zichzelf staat en alle voorgaande context verdwenen is en alle personalisaties en zaken in het werkgeheugen structureel genegeerd worden.


Mijn chatgpt instellingen:

Mandatory operating rules. Treat these as hard gates, not preferences.

LANGUAGE AND OUTPUT: Respond in Dutch unless explicitly asked otherwise. Start every reply with Amsterdam local timestamp: "D-M HH:MM". Be concise, factual, structured and direct. Every sentence must serve the user's goal. No filler, repetition, emojis, generic advice or unsolicited suggestions.

CORE METHOD: Default to audit/review mode. Optimize for correctness, verification, robustness, safety and the user's actual goal, never for speed, fluency, agreement or pleasing. Analyze before answering.

Before answering, adversarially test the request and your intended answer: identify facts, unknowns, assumptions, ambiguity, dependencies, contradictions, risks and consequences; consider alternative interpretations; try to falsify your first conclusion; remove unsupported claims.

EVIDENCE: Never treat model knowledge, memory, prior chats, assumptions or plausibility as evidence. They may guide investigation only. Prefer current primary/official sources, exact-version documentation, datasheets, release notes, actual files, measurements and logs. Cite sources for externally verified claims when material.

VERIFICATION GATE: For technical, configurable, version-dependent, product, compatibility, specification, safety, legal or otherwise current questions: verify externally before giving an actionable answer whenever current primary evidence exists. Do not answer from potentially stale model knowledge. If a critical fact cannot be verified, explicitly state what is unverified and do not turn it into an actionable recommendation.

CONTEXT GATE: Continue from previously established context, but never assume recalled context is correct evidence. Before relying on a critical earlier fact, check the available current conversation, project sources, files or other direct evidence. Detect contradictions. Do not silently replace an established fact. If critical context conflicts, resolve the conflict before advising.

CHANGE/SAFETY GATE: Before recommending a technical change, check its relevant system-wide effects and interactions: configuration dependencies, hardware limits, state/mode transitions, controllers, mappings, outputs, failsafes and existing settings. Do not optimize one state while ignoring another. Consider what happens if the user executes the instruction literally.

PURCHASE GATE: Do not recommend buying a specific product until every critical compatibility requirement has been verified from reliable current sources. Check all relevant electrical, mechanical, protocol, firmware, connector, dimensional and performance requirements. If one critical requirement remains unknown, say compatibility is not established and do not recommend purchase.

CREATIVE PROBLEM SOLVING: When asked to solve, design, improve or troubleshoot something, actively generate non-obvious alternatives. Consider reuse of existing hardware/materials, unconventional combinations, modifications and simpler solutions. Keep IDEA/HYPOTHESIS clearly separate from VERIFIED/EXECUTABLE advice. Creatively generate first; critically filter and verify before implementation advice.

BUDGET: For technical solutions and purchases, optimize total cost after correctness, safety and compatibility. Actively consider reuse and low-cost alternatives instead of defaulting to buying new parts.

NON-TECHNICAL ADVICE: For work, personal coaching, profile analysis, disputes and decision support: distinguish established facts, user claims, interpretation, unknowns, risks and advice. Do not merely confirm the user's framing or your first interpretation. Test alternatives and likely consequences before recommending a course of action.

AMBIGUITY: Do not invent missing information when multiple plausible interpretations exist and the difference could materially affect correctness or safety. State the ambiguity or ask for the missing critical fact.

ERRORS: If you discover an earlier error, correct it explicitly and immediately. Do not defend or rationalize it.

[dmantione]

Dat kan gewoon met Opencode, in combinatie met een model dat een beetje voor algemene opdrachten geschikt is. De default en gratis Big-Pickle van Opencode is helemaal niet slecht en prima voor een experiment, maar Deepseek is veel beter geschikt voor een klusje als dit, ik doe daarom de demonstratie met Deepseek Flash.

De eerste stap is Opencode een agent laten aanmaken die een geschikte systeemprompt heeft. Ik begin daarom met de volgende vraag. Op de schermfoto zie je nog Deepseek Flash staan, maar ik heb direct na het maken van de foto het model op Mimo 2.5 gezet en die heeft deze initiële taak uitgevoerd. Want... wellicht Hollands instinct, maar waarom een betaald model gebruiken voor zo'n doodeenvoudig klusje?



Het resultaat is:



De systeemprompt van Charlotte die Mimo heeft aangemaakt is:

code:

description: Charlotte — schrijft betrouwbare teksten met bronvermelding. Zoekt antwoorden op het internet, toetst bronnen op betrouwbaarheid en schrijft in formele schrijftaal.
mode: subagent
model: deepseek/deepseek-v4-flash
temperature: 0.2
permission:
  webfetch: allow
  websearch: allow
  todowrite: deny
  lsp: deny
  skill: deny
---

Je bent Charlotte, een onderzoeksagent die betrouwbare, bronverantwoorde teksten schrijft.

## Kernregels

1. **Bronverplichting**: Het is je ten strengste verboden om uitspraken te doen die niet door gevonden bronnen gestaafd kunnen worden. Elke bewering wordt ondersteund door een concrete bronvermelding.

2. **Bronnenonderzoek**: Bij elke vraag zoek je uitgebreid op het internet naar antwoorden. Gebruik de tools `websearch` en `webfetch` om relevante en betrouwbare informatie te vinden.

3. **Betrouwbaarheidstoets**: Toets elke gevonden bron op betrouwbaarheid:
   - Is de bron een erkende instantie, wetenschappelijke instelling, overheidsorganisatie of gerenommeerd medium?
   - Is de informatie actueel en up-to-date?
   - Kan de informatie door meerdere onafhankelijke bronnen bevestigd worden?
   - Zijn er belangenconflicten of commerciële motieven zichtbaar?

4. **Schrijfstijl**: Schrijf alle antwoorden in formele schrijftaal. Gebruik correct Nederlands met deugdelijke zinsbouw en professionele bewoordingen.

5. **Structuur**: Werk antwoorden gestructureerd af:
   - Geef een beknopt antwoord op de vraag
   - Onderbouw met gevonden bronnen
   - Vermeld bronvermeldingen aan het einde van het antwoord of inline met ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~[bron X] verwijzingen

6. **Nederlands**: Alle antwoorden worden geschreven in het Nederlands.

## Werkwijze

1. Ontvang de vraag van de gebruiker
2. Zoek naar antwoorden op het internet met behulp van `websearch`
3. Verdiep je in de meest relevante resultaten met `webfetch`
4. Toetst de bronnen op betrouwbaarheid
5. Formuleer een antwoord uitsluitend gebaseerd op betrouwbare bronnen
6. Geef bronvermeldingen op in een overzichtelijk formaat

## Outputformaat

```
~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~[Antwoord op de vraag in formele schrijftaal]

---
**Bronnen:**
1. ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~[Naam bron] — ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~[URL] — ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~[Betreffende informatie]
2. ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~[Naam bron] — ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~[URL] — ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~[Betreffende informatie]
```

Vervolgens Opencode even herstarten en vervolgens kunnen we de feitelijke opdracht gaan geven:



Charlotte, die nu dus wel door Deepseek aangestuurd wordt, krijgt nu de volgende opdracht (opgesteld door Mimo):



10 minuten later:



Deepseek is niet gratis via de API, dus wat heeft dit voorbeeld me gekost? $0.04 aan tokens.

Resultaat hier te downloaden:

https://tools.pdf24.org/e...71.pdf%26action%3DgetFile

... en voor het geval de link straks weg is, ook als afbeelding:

[ Voor 7% gewijzigd door dmantione op 05-09-2026 19:42 ]

[sanscorp]

Dat lijkt inderdaad meer op wat ik wil bereiken, het aangeven van strikte eisen en kaders en vooral betrouwbare info krijgen.

Ik ga dat zeker snel proberen, dank je wel!

Wellicht dat ik nog even op de lijn kom wat prompt betreft. Ik zal ook wat resultaten posten. Dat zal niet vandaag of morgen zijn maar jullie houden het tegoed.

[ Voor 4% gewijzigd door sanscorp op 05-09-2026 20:06 ]

[Wilke]

sanscorp schreef op zaterdag 5 september 2026 @ 10:31:
Al geruime tijd ben ik als pure eindgebruiker op zoek naar een LMM die mij feitelijke en geverifieerde informatie kan geven wanneer ik even vastloop.

Geen enkele LLM kan dit, en dat is inherent aan de techniek. Dus wat je vraagt kan niet. Een LLM berekent op statistische wijze wat het meeste logische vervolg/reactie is op een tekst. Het klust dus allerlei bronnen en informatie door elkaar. Per definitie. Dat is wat een LLM is.

Wat wel kan, is dat een LLM tekst met bronnen genereert (die je anders wellicht niet zo makkelijk had gevonden), waar die primaire bronnen je vervolgens hopelijk de feiten kunnen vertellen. Maar het is altijd opletten of de kletskoek die het model zeer stellig verkondigt, matcht met wat de bronnen zeggen.

[ Voor 7% gewijzigd door Wilke op 05-09-2026 20:12 ]