Hoe ver zijn we eigenlijk nog van een assistent zoals in Her

[illya89]

Laatst Her weer eens gekeken en het is interessant hoe anders die film nu voelt dan in 2013. Toen was Samantha pure sciencefiction, nu zit een deel ervan gewoon op je telefoon. LLM's voeren prima gesprekken, spraakmodi klinken steeds natuurlijker en agents kunnen zelfstandig dingen regelen op je pc.

Toch zit er nog een flink gat tussen wat we nu hebben en Samantha. Denk aan een persistent geheugen over maanden of jaren, echt proactief gedrag in plaats van alleen reageren op prompts, en betrouwbaarheid bij complexe taken zonder dat je alles moet controleren. Om over de vraag of zo'n systeem iets "ervaart" nog maar te zwijgen.

Benieuwd hoe anderen hier tegenaan kijken. Wat is volgens jullie de grootste technische bottleneck: geheugen, context, betrouwbaarheid, rekenkracht? Hoe lang duurt het nog voordat zoiets mainstream is? En zou je het überhaupt willen, gezien alle privacy-implicaties van een assistent die letterlijk alles van je weet?

Ben benieuwd naar de inschattingen.

[Wilke]

AI "companions" bestaan al als betaalde dienst, als je even naar artikelen daarover zoekt.

Hier eentje uit NRC, voor de eerste tien mensen die er op klikken:

Deze mensen hebben een ‘relatie’ met een chatbot, gaat ook over hoe zo'n goed idee dat (dus niet) is.

[Zorg]

Ik ben er zelf mee bezig, gewoon uit interesse. Wat begon als tijdens de vakantie gewoon in te spreken in chatgpt waar en hoe het gaat op mijn werk, waar ik naar toe wil groeien, wat mijn valkuilen zijn, welke personen mij verder kunnen helpen en welke me tegenwerken. Dat is uiteindelijk uitgegroeid tot een soort van assistent maar ook eentje die executors kan aansturen. Omdat ik ook veel vibe code aan hobby projecten leek me dat ook interessant dat ik tegen de assistent kan zeggen zorg dat xyz aan app b gemaakt wordt. En dan dacht ik, ja maar een assistent is ook een executor, maar dan een lichtere variant: emails samenvatten, excel en PowerPoint werk. Dus zeg maar een combi tussen ChatGPT & Codex/Claude gecombineerd.

Dus een soort combinatie. Een assistent die "alles" weet plus eentje die andere agents kan aansturen voor development maar zelf ook taken kan uitvoeren.

"Alles" is natuurlijk ruim, ik bespreek bijvoorbeeld hoe mijn week gegaan is, welke meetings ik heb gehad en dat wordt opgeslagen. Maar niet elke chat die ik in bijv chatgpt gooi wordt gesynchroniseerd, enkel wanneer ik dat wil typ/zeg ik stuur door en dan gaat het naar mijn orchestration laag. Ik kan ook rechtstreeks een sessie starten via ElevenLabs (betere audio) waarbij ik op voorhand aangeef of die sessie wordt verwerkt.

[dmantione]

Ik denk dat we er dichtbij zijn. Je kunt met de huidige modellen al een eind komen om zoiets te bouwen, alleen de huidige harnassen werken niet zo. Een harnas wat een langetermijngeheugen beheert en relevante delen daarvan in context plaatst is denkbaar. Proactief reageren is mogelijk als een harnas regelmatig het model laat beoordelen of proactief reageren gegeven de huidige situatie nodig is.

Ik denk niet dat er grote technische obstakels zijn, wel denk dat kennis hoe zo'n langetermijngeheugen opgebouwd moet worden en beheerd, zich nog aan het ontwikkelen is.

[illya89]

Zorg schreef op donderdag 24 september 2026 @ 18:12:
Ik ben er zelf mee bezig, gewoon uit interesse. Wat begon als tijdens de vakantie gewoon in te spreken in chatgpt waar en hoe het gaat op mijn werk, waar ik naar toe wil groeien, wat mijn valkuilen zijn, welke personen mij verder kunnen helpen en welke me tegenwerken. Dat is uiteindelijk uitgegroeid tot een soort van assistent maar ook eentje die executors kan aansturen. Omdat ik ook veel vibe code aan hobby projecten leek me dat ook interessant dat ik tegen de assistent kan zeggen zorg dat xyz aan app b gemaakt wordt. En dan dacht ik, ja maar een assistent is ook een executor, maar dan een lichtere variant: emails samenvatten, excel en PowerPoint werk. Dus zeg maar een combi tussen ChatGPT & Codex/Claude gecombineerd.

Dus een soort combinatie. Een assistent die "alles" weet plus eentje die andere agents kan aansturen voor development maar zelf ook taken kan uitvoeren.

"Alles" is natuurlijk ruim, ik bespreek bijvoorbeeld hoe mijn week gegaan is, welke meetings ik heb gehad en dat wordt opgeslagen. Maar niet elke chat die ik in bijv chatgpt gooi wordt gesynchroniseerd, enkel wanneer ik dat wil typ/zeg ik stuur door en dan gaat het naar mijn orchestration laag. Ik kan ook rechtstreeks een sessie starten via ElevenLabs (betere audio) waarbij ik op voorhand aangeef of die sessie wordt verwerkt.

Cool, ik ben ook een soort assistent aan het maken die toegang heeft tot mijn agenda en maar dan lokaal. Maar het zou toch handig zijn moest ik die overal kunnen meenemen ,:)

[Zorg]

Mijn systeem heeft een verbinding naar mijn onedrive voor documenten opslag maar ook agenda en email. Elke dag (of wanneer ik wil) krijg een overzicht van mijn mail (tov laatste keer) en kan ook dingen in mijn agenda zetten.

Werkt als webapp (pca) op mijn mobiel/pc met speech2speech, speech2text, en text2text afhankelijk waar ik zin in heb. Als ik in de auto zit v2v, als ik aan het wandelen ben met de hond v2t (lees sneller dan ik luister) en als ik op het werk ben dan veelal t2t

Net nog even gekeken, heeft ongeveer 75 opdrachten uitgevoerd in de afgelopen 2 maanden. Circa 60 development taken (app development) en 15 assistant taken (dagelijkse email opvolging niet meegerekend)

[ Voor 17% gewijzigd door Zorg op 24-09-2026 20:57 ]

[Zorg]

dmantione schreef op donderdag 24 september 2026 @ 18:51:
Ik denk dat we er dichtbij zijn. Je kunt met de huidige modellen al een eind komen om zoiets te bouwen, alleen de huidige harnassen werken niet zo. Een harnas wat een langetermijngeheugen beheert en relevante delen daarvan in context plaatst is denkbaar. Proactief reageren is mogelijk als een harnas regelmatig het model laat beoordelen of proactief reageren gegeven de huidige situatie nodig is.

Ik denk niet dat er grote technische obstakels zijn, wel denk dat kennis hoe zo'n langetermijngeheugen opgebouwd moet worden en beheerd, zich nog aan het ontwikkelen is.

Precies dit, hetgeen ik doe zijn ze bij openai, Anthropic elk ander natuurlijk ook wel mee bezig op één of andere manier. Het langetermijngeheugen zijn bij hun natuurlijk de chats die ze al hebben. Proactief reageren is natuurlijk niet zo heel moeilijk, eens het de juiste kennis makkelijk kan raadplegen kan het heel proactief reageren.

[dmantione]

De kwestie van het geheugen is natuurlijk heel wat complexer dan simpelweg alle logs bewaren: Dan is de 1 megabyte aan context van de huidige modellen volstrekt onvoldoende. De kunst is de logs analyseren en op een goede manier indexeren en dan op het moment dat het nodig is de juiste fragmenten uit het geheugen halen en in het contextvenster plaatsen. Wat ik de KI-reuzen tot nog toe heb zie doen is nog niet zo indrukwekkend, maar ze zijn er zeker mee bezig.

[Zorg]

dmantione schreef op donderdag 24 september 2026 @ 21:44:
De kwestie van het geheugen is natuurlijk heel wat complexer dan simpelweg alle logs bewaren: Dan is de 1 megabyte aan context van de huidige modellen volstrekt onvoldoende. De kunst is de logs analyseren en op een goede manier indexeren en dan op het moment dat het nodig is de juiste fragmenten uit het geheugen halen en in het contextvenster plaatsen. Wat ik de KI-reuzen tot nog toe heb zie doen is nog niet zo indrukwekkend, maar ze zijn er zeker mee bezig.

Het hoeft ook niet indrukwekkend te zijn om effectief te zijn. Ik laat elke (volledige context van een taak) in het geheel analyseren icm eerdere analyses. Hierbij wordt er een summary met key words weggeschreven. Details zijn altijd nog opvraagbaar maar wordt niet meegenomen (anders teveel context). Dit zorgt ervoor dat een volgend verzoek een index meekrijgt en de context om eerst te bepalen of het er in zit, zoja dan verder dat gedeelte te bekijken en dan pas beginnen aan een taak.

Maar gaat niet altijd even goed, is ook maar een tooltje voor mezelf, als het dan verkeerd gaat (pakt het bijv niet op) dan check ik waarom niet en stuur ik bij. En soms gewoon expliciet zeggen je werkt op Y, wil daarbij A toevoegen werkt al voldoende. Zo zou het ook zijn bij een collega, dan kan je ook niet zeggen ik wil A, maar die kan dat natuurlijk veel beter.

Een mens kan met een klein beetje context heel snel juiste conclusies maken. Ooit in een cursus machine learning een leuk voorbeeld gehad. Drie plaatjes met subtiele afwijking van klimharnassen (voor bergbeklimmers) ondanks dat wij geen ervaring met dit materiaal hebben, als je een 4e ziet met een licht andere afwijking, weten we direct ah! Klimharnas
Terwijl een ML model veel meer nodig heeft (ok was wel prettig LLM tijdperk).