Kunstmatige Intelligentie. Is het gevaarlijk?

[JER00N]

Er bestaat nog geen perfecte Kunstmatige intelligentie (AI (= Artificial Intelligence)). Waarschijnlijk zou het gebruikt worden in spellen, maar ook in robots die bepaalde klusjes moeten doen.

Maar als die AI nou in een spel zou zitten, zou het zich dan zo kunnen ontwikkelen en uitbreiden dat het gevaarlijk word voor de (computer-)wereld?

Stel bijvoorbeeld, er is een soort Red Alert-achtig strategie spel met computer tegenstanders met een vrij goede AI. Zou het dan kunnen dat die kunstmatige intelligentie ervoor kan zorgen dat de vijand-pc-speler als het ware 'ontsnapt' uit het spel en een eigen leven gaat leiden op de pc waar het spel op draait? Daarna gaat het natuurlijk het Internet op, en hackt het misschien een hele hoop computer systemen, omdat het supersnel kan denken, en ook superslim kan zijn.

Het klinkt allemaal een beetje science-fiction achtig, maar het zou toch kunnen...

Ik ben niet tegen vooruitgang in de technologie ofzo, of ontwikkeling van AI, maar we moeten dan wel de mogelijkheden van die AI-gestuurde speler beperken.

Wat denk jij erover? Geef je mening!

[WFvN]

Op dinsdag 26 maart 2002 21:25 schreef Silvermonkey123 het volgende:
[heleboel tekst]

Best mogelijk, maar ik denk dat dat nog heel ver weg is. Als je kijkt hoeveel processoren je nodig hebt om het menselijk brein te evenaren qua capaciteiten, heb je echt een hele vracht nodig.

En dan nog... die intelligentie maken is ook geen koud kunstje

Kortom... voorlopig zie ik dat absoluut niet gebeuren. Je zal toch echt een zeer intelligent zelflerend programma moeten hebben wil je echt problemen krijgen....

[supakeen]

Als dit ooit zou gebeuren is de mens ook technologisch een stuk verder. Eigenlijk is het dus niet te voorspellen wat er dan zou gebeuren.

Mijn gedachtengang is dat er vast wel een reset knop of iets dergelijks ingebouwd wordt. Zodat je da AI uit kan zetten voordat het echt gevaarlijk wordt

[Verwijderd]

de mens is geeneens perfect, dus kunnen we ook niet een perfecte robot bouwe, dus is het gevaarlijk....

[Varienaja]

Ik zie zo 1,2,3 nog geen gevaar.

Een programma (ook als er A.I. inzit) is wat de programmeur schreef. En als een programmeur een schaakprogramma maakt, dan zit daar code in om te schaken, en geen val-andere-computers-aan-en-wordt-alleenheerser-over-de-wereld-code.

Mochten de ontwikkelingen zover komen dat er werkende self-modifying code komt voor A.I., dan lijkt het me verstandig om ervoor te waken dat een self-modifying programma maar kan kiezen uit een beperkte instructieset. Of laat zulke programma's draaien in een virtuele machine (Java).

In het uiterste geval modified een programma z'n code zo dat 't 'gevaarlijke' dingen kan doen. De enige manier van verspreiden is dan achterdeuren vinden, of gebruik maken van de buffer-overflows in programma's op computers die in verbinding staan met de besmette computer.

Mocht 't inderdaad zover komen als in het laatste geval, dan denk ik dat de regeringen er goed aan doen om vitale (digitale) delen van de wereld (electriciteits-centrales etc.) los te laten staan van internet. Maar ach, tegen die tijd zijn de OS'en vast wel weer stukken beter beveiligd dan tegenwoordig.

[Verwijderd]

het wordt volgens mij pas gevaarlijk als machines andere maken zonder tussenkomst van mensen.
hoever komt immers een machine zonder energie

[almightyarjen]

AI wordt gevaarlijk als machines een zelfbewustzijn krijgen, net zoals mensen. En dat is nog wel (als je het mij vraagt) 50 jaar ver weg...

[Verwijderd]

Je kan altijd de stekker eruit trekken en de ups uit zetten

[Christiaan]

Computers worden, zoals gesteld, pas echt gevaarlijk als ze zich kunt voortplanten. Vooral als ze zelf kunnen bepalen welke onderdelen in de nieuwe generatie wel en niet nodig zijn. Dan ontstaat er een evolutainere ladder waar wij het einde niet van kunnen zien.

NASA heeft al plannen voor dergelijke scout-bots. Deze worden gelanceerd en landen vervolgens op planeten (binnen of buiten ons zonnestelsel). Daar aangekomen maken ze gebruik van de aanwezige grondstoffen om zich 'voort' te planten. Er worden speciale verkenners, terraformers, etc gebouwd. De plannen zijn nog jong en de techologie is daar nog lang niet klaar voor - maar toch....we moeten wel heel goed beseffen dat computers dan HEEL ver kunnen gaan komen.

De wetten van Isaac Isamov beschermen, indien goed toegepast, tegen eenvoudige problemen. Zo morgen Robots hun makers niet vernietigen, ze mogen geen acties uitvoeren die indirect nadeling voor de makers zijn en ze mogen de regels niet zelf aanpassen. Maar wie zegt dat een robot die van een heuvel afkukelt niet een 'storing' krijgt waardoor deze regels niet meer of maar gedeeltelijk van toepassing blijven.

Je moet niet denken aan intelligente computers die net zo stabiel zijn als Windows. Met alle respect: Windows is mijns insziens een goed pakket (en daar gaan we ook niet verder over discussieren), maar er zitten veel fouten in. Wie zegt dat er niet veel meer en bovendien veel ernstigere fouten gemaakt worden in AI programmatuur? Die is veel en veel complexer en bovendien is debuggen nogal pittig aangezien je alle mogelijke situaties moet nabootsen.

Maar we snappen onszelf nog niet eens...

Zoals een eerdere poster schrijft (vrije interpretatie) 'de computer doet wat zijn code hem opdraagt. Hij voert deze stappen braaf uit en wacht op verdere instructies. Wie zegt niet dat mensen ook niet een opstapeling van simpele instructies zijn? Mensen zijn vreselijk onvoorspelbaar en ook wij maken oorlog. Wat mij betreft is het schijn-veiligheid om te denken dat computers die beschikken over veel code (en dus complex zijn) niet in staat zijn om menselijke trekken te gaan vertonen.

[almightyarjen]

Op woensdag 27 maart 2002 13:24 schreef ChristiaanVerwijs het volgende:

Zoals een eerdere poster schrijft (vrije interpretatie) 'de computer doet wat zijn code hem opdraagt. Hij voert deze stappen braaf uit en wacht op verdere instructies. Wie zegt niet dat mensen ook niet een opstapeling van simpele instructies zijn? Mensen zijn vreselijk onvoorspelbaar en ook wij maken oorlog. Wat mij betreft is het schijn-veiligheid om te denken dat computers die beschikken over veel code (en dus complex zijn) niet in staat zijn om menselijke trekken te gaan vertonen.

AI is er trouwens nog lang niet, aangezien we de computer nog geen eens een random getal kunnen laten geven. In programma's (winamp, cd-speler) lijkt het wel dat-ie random een nummer uitkiest, maar het is in feite eigenlijk een complexe berekening die hij uitvoerd, en het antwoord hiervan wordt dan gebruikt om een nummer te kiezen. Vraag me niet precies hoe het werkt, maar dit zijn de globale lijnen...

[Glacier]

Ik vraag me altijd af hoe slim zo'n zelflerende AI wordt...als die AI merkt dat hij gelimiteerd is, zou hij dan proberen daar aan wat te doen?
Als je dat krijgt, dan wordt het gevaarlijk, maar dat is voorlopig nog ver weg....

[RobzQ]

Op dinsdag 26 maart 2002 21:25 schreef Silvermonkey123 het volgende:
Zou het dan kunnen dat die kunstmatige intelligentie ervoor kan zorgen dat de vijand-pc-speler als het ware 'ontsnapt' uit het spel en een eigen leven gaat leiden op de pc waar het spel op draait?

Antwoord op bovenstaande vraag: Nee!!

Een botje met wat AI algoritmes niet in ieder geval, die heeft namelijk geen idee wat er zich in de wereld buiten het spel afspeelt en kan er waarschijnlijk niet eens bij.

Bot is een AI simulatie in een afgeschermde omgeving (het spel)

Wat niet wil zeggen dat dit in de toekomst niet mogelijk is, maar dan in ieder geval niet op de manier waarop nu veel AI programma's werken.

[JaWa]

het wordt onveilig zodra je een AI geen grenzen meer voorschrijft of wanneer een AI in staat is grenzen te verleggen of te overschreiden.
Ik denk dat een lerende AI. potentieel gevaarlijk kan worden
want als een programma kan leren kan het eigenlijk alles.

[Verwijderd]

Zou het dan kunnen dat die kunstmatige intelligentie ervoor kan zorgen dat de vijand-pc-speler als het ware 'ontsnapt' uit het spel en een eigen leven gaat leiden op de pc waar het spel op draait?

Nee, een AI algoritme is niet echt 'heel slim', het AI algoritme is 'heel slim opgezet'. Maar de wendingen die een computer, aangestuurd door zo'n algoritme, zal nemen zijn altijd gelimiteerd tot de doelstellingen en de context van het algoritme. Als het algoritme alleen regels vastlegt in termen van (we blijven even in Red Alert denken) tanks hier, factories daar, eigenschappen van units, en doel = tegenstander moet dood, dan zal dat de uitvoerder van dat algoritme (een domme computer) nooit buiten die regels treden en eigen, nieuwe acties verzinnen. 'Buiten het spel om' bestaat niet voor die AI.

Dit is volgens mij ook een fundamenteel verschil tussen AI (hoe krachtig ook) en menselijke intelligentie. Aan echte intelligentie ligt een bepaalde fantasie ten grondslag, die ervoor zorgt dat er werkelijk nieuwe stappen worden genomen, stappen die echt compleet buiten het tot dusver bekende (denk-)terrein liggen.

AI wordt gevaarlijk als machines een zelfbewustzijn krijgen, net zoals mensen. En dat is nog wel (als je het mij vraagt) 50 jaar ver weg...

Denk je echt dat computers ooit zelfbewust worden? Moet je eens nagaan wat dat echt betekent he, een zooi transistors waar per stuk wel of geen stroom op staat, en een domme processor die niets anders kan dan volgens een vast patroon al deze bitjes afwerken. En daarin zou dan iets 'groeien' / onstaan waardoor het bewust van zijn eigen aard wordt? Ik denk het niet.

NASA heeft al plannen voor dergelijke scout-bots. Deze worden gelanceerd en landen vervolgens op planeten (binnen of buiten ons zonnestelsel). Daar aangekomen maken ze gebruik van de aanwezige grondstoffen om zich 'voort' te planten. Er worden speciale verkenners, terraformers, etc gebouwd. De plannen zijn nog jong en de techologie is daar nog lang niet klaar voor - maar toch....we moeten wel heel goed beseffen dat computers dan HEEL ver kunnen gaan komen.

Dit idee van de Nasa is ook wel bekend als een 'von Neumann machine', naar het idee van John von Neumann. Ik meen dat hij een slordige halve eeuw geleden had berekend dat op deze manier het universum binnen korte tijd 'op' zou zijn

[Christiaan]

Op woensdag 27 maart 2002 15:12 schreef Juggalin_Juggalo het volgende:
Nee, een AI algoritme is Dit idee van de Nasa is ook wel bekend als een 'von Neumann machine', naar het idee van John von Neumann. Ik meen dat hij een slordige halve eeuw geleden had berekend dat op deze manier het universum binnen korte tijd 'op' zou zijn

Dat klopt, maar NASA heeft dat veel verder uitgewerkt intussen. In een vrij recente KIJK! (ik zou het moeten opzoeken) stond een mooi verhaal over dit onderwerp.

[JER00N]

Almightyaryen: wat betreft dat randomg getal: dat wordt o.a. berekend aan de hand van de tijd en datum op dat moment.

---------------
aan de rest:
Ik bedoel dan niet AI die gewoon random dingen doet ofzo, maar die echt net als een mens levenservaring heeft en ook leert enzo.
Als die AI uit dat Red Alert-spel waar ik het over had nou echt zou zijn, zou het dus eerst in het spel zitten.
Daarna gaat het tijdens een internet sessie kijken of het zich kan uitbreiden. Daarna kan het harde schijven wissen.
Dat doet hij niet omdat hij 'slecht' is en dat ook niet wil zijn, maar gewoon omdat het per ongeluk gaat, hij heeft geen benul van het verschil tussen goed en kwaad, maar dat kan hij altijd nog leren.

[Verwijderd]

Ik denk niet dat het gevaarlijk is. Het is natuurlijk een beetje de vraag hoe z'n AI reageert op bepaalde dingen maar het zal waarschijnlijk uit een hele zooi complexe en ingewikkelde algoritmes bestaan. Ik zie niet in waarom zoiets dan tegen zijn makers zou keren, tenzij het een bepaald doel heeft en wij echt duidelijk in z'n weg staan. Misschien dat ze dan hun eigen code fout gaan interpreteren.

[Verwijderd]

Op woensdag 27 maart 2002 13:33 schreef almightyarjen het volgende:

[..]

AI is er trouwens nog lang niet, aangezien we de computer nog geen eens een random getal kunnen laten geven.

Dat kunnen wij ook niet dus dat heeft er niks mee te maken.

[Verwijderd]

Op woensdag 27 maart 2002 15:12 schreef Juggalin_Juggalo het volgende:


Denk je echt dat computers ooit zelfbewust worden? Moet je eens nagaan wat dat echt betekent he, een zooi transistors waar per stuk wel of geen stroom op staat, en een domme processor die niets anders kan dan volgens een vast patroon al deze bitjes afwerken. En daarin zou dan iets 'groeien' / onstaan waardoor het bewust van zijn eigen aard wordt? Ik denk het niet.

Volgens mij bestaan onze hersenen ook uit dit soort schakelingen. Maar wel schakelingen met veel meer mogelijkheden dan alleen 0 of 1.

[buzz]

Zodra het een oordeel krijgt zal het zichzelf gaan verbeteren, maar wat je er niet in stopt krijg je er ook niet uit.

[Verwijderd]

Ik denk dat de sleutel ligt in een soort AI die als basis een aantal simpele dingen kan en daarbij een zeer uitgebrijd systeem dat de AI in staat stelt dingen te leren. Dus ongeveer net als de mens dingen leert.

Als je grenzen aan z'n AI stelt bijv "dood geen mensen" kan ie zijn hele AI misschien naar een stuk schijfbaar geheugen kopieren op die regels waar hij vanaf wil na en dan dat aangepaste stuk geheugen op het beschijfbare geheugen runnen. Maar dan moet hij eerst snappen hoe hij zelf in elkaar zit enzo. Maar de vraag is of zoiets de wil kan hebben mensen te doden terwijl nog in de code staat dat het niet mag.

[Verwijderd]

tsja, het is nu eenmaal een feit dat het onwaarschijnlijk handig zou zijn als de comp zelf oplossingen zou zoeken voor z'n problemen,voor de wetenschap zou dat onbetaalbaar zijn, we zouden véééééééééél sneller vooruitgang kunnen maken.volgens mij is het ook perfect mogelijk om zo'n AI te creëren, aangezien onze hersenen ook met elektriciteit werken.Onze geest werkt ook min of meer booleaans, waarbij een stroomstoot 1 en is en geen stroomstoot 0.alleen heeft onze geest onwaarschijnlijk veel deeltjes die zo'n stroomstoot kunnen voortbrengen, maar eenmaal dat dit aantal ingehaald wordt door computers....

[Verwijderd]

Volgens mij bestaan onze hersenen ook uit dit soort schakelingen. Maar wel schakelingen met veel meer mogelijkheden dan alleen 0 of 1.

Ja, dat denk ik ook. Maar ik geloof dat het bewustzijn van de mens in iets anders schuilt dan die stoffelijke prut in je hoofd.

[Verwijderd]

Ja als je in een geest, ziel of andere spiriuele kracht gelooft die deel uitmaakt van je intelligentie heb je een probleem.

De hersenen bestaan dus ook uit schakelingen waarover electrische stroompjes lopen maar dit zijn alleen geen boolean schakelingen. Dat komt door een of ander proces met chemicalien die de schakelingen beinvloeden. Dus heb je veel meer mogelijkheden in een schakeling.

[Verwijderd]

Op woensdag 27 maart 2002 16:25 schreef BuzzerCrAsH het volgende:
Zodra het een oordeel krijgt zal het zichzelf gaan verbeteren, maar wat je er niet in stopt krijg je er ook niet uit.

Dus wel als je er een leerproces inbouwt, ligt een beetje aan de structuur van z'n proces maar de basis is toch om code aan jezelf toe te voegen. En aangezien ik denk dat het zonder zelfleerproces een AI te maken die in de buurt van dat van een mens komt onmogelijk is zal het dus wel een probleem kunnen worden.

[Verwijderd]

een interessante link die ik in eeen dergelijke discussie wel eens eerder heb geplaatst is die van Karl Sims (http://www.biota.org/ksims/blockies/index.html). Voor alle mensen die hier beweren dat AI altijd datgene zal zijn wat de prorgammeur heeft geschreven en bedacht: deze man heeft software geschreven die zelf creaturen "verzint" en laat evolueren. Hierin heeft hij dus zelf absoluut niet de hand gehad, hij heeft slechts de mogelijkheid hiertoe gecreeerd.

De bewegende "beesten" die hieruit komen (zie de filmpjes) zijn erg koel, de oplossingen die ze hebben verzonnen om voort te bewegen net zo: sommige manieren herken je terug van dieren, andere zijn compleet nieuw...

Natuurlijk heeft dit nog weinig met echte AI te maken, maar dit is om aan te geven dat software zelf kan groeien (genetic programming) en dingen kan doen die niet zijn ingeprogrammeerd....

[Verwijderd]

Ah ja, die beesten. Erg interessant om te zien, leuke visualisatie van AI in action

Voor alle mensen die hier beweren dat AI altijd datgene zal zijn wat de prorgammeur heeft geschreven en bedacht

Hell no, denk maar aan een schaakprogramma: een programmeur hoeft niet meer dan de schaakregels te kennen, en kan best als een n00b door elke kleuter van het bord geveegd worden, om toch een zeer sterk schaakprogramma te maken.

Wat ik trouwens wel beweer is dat AI altijd binnen de grenzen en context blijft van wat er door de maker van het algoritme is opgesteld. Strikter genomen, wat AI 'bedenkt' (liever gezegd wat er uit het AI algoritme volgt) is altijd een eindige combinatie van de regels.

Echte intelligentie heeft, naar mijn idee, de eigenschap 'over de rand van het systeem te gaan' om zodoende met werkelijk geheel nieuwe oplossingen te komen die niet uit het voorgaande volgen. Dat is wat ik bedoelde met fantasie.

[Verwijderd]

Je kunt dus wel random processen laten uitvoeren waardoor je later verrast wordt. Een AI kan zeker wel van tevoren niet bedachte dingen doen.

[Verwijderd]

Er wordt hier enorm veel gespeculeert over AI, maar het feit is dat we niets zeker kunnen zijn, omdat we tot nog toe er niet in geslaagd zijn een perfecte AI te maken. De tegenwoordige AI is inderdaad beperkt door een eindige reeks regels, maar een perfecte AI zou dan weer zelf zo'n regels kunnen bijschrijven in z'n source-code, om zo weer terug nieuwe dingen te kunnen leren.

En waarom zou een AI als hij op het internet kan direct harde schijven ed gaan wissen? Zou hij niet eerst onderzoeken wat erop staat om terug bij te leren? Een perfecte AI zou namelijk in principe ALLES willen weten wat er maar te weten valt, en zou na een tijdje door geen enkel menselijk brein nog kunnen bijgehouden worden, aangezien er geen enkele mens is die alles weet. Ok, een computer heeft ook maar een beperkte schijfruimte, en die geraakt ook vol, maar wat houdt een AI tegen om zelf op zijn eentje aan distributed computing te doen en z'n info hier en daar op te slaan. Dat heb je als het ware een 'ultieme megacomputer' die alles weet en nog intelligent is ook.

en nu terug wat realistischer : Stel dat microsoft AI inbouwt in Windows XX. Dat zou prachtig zijn. Elke BSOD kan je dan slechts 1 keer krijgen, aangezien de AI doorheeft dat er een fout gebeurt is en dat hij die zelfs hersteld en zorgt dat hij niet meer gebeurt. Een perfect foutloos OS dus. Zaaaalig zou dat zijn...

[QUILIX]

Ik denk niet dat een AI zelf een eigen bewustzijn kan krijgen door niet-biologische technologie. Hij doet namelijk wat de programmeur wenst.

Maar ik denk dat door biologische chips of een ander soort biologisch controle systeem de AI wel een eigen bewustzijn kan ontwikkelen.

[Verwijderd]

Ik denk dat tegen de tijd dat men een zelfbewuste AI kan maken de grens tussen biologische en mechanische apperatuur zo vervaagd is dat je niet meer over het verschil daartussen kunt spreken.

[Verwijderd]

Je kunt dus wel random processen laten uitvoeren waardoor je later verrast wordt. Een AI kan zeker wel van tevoren niet bedachte dingen doen.

Jawel, tuurlijk. Maar die 'nieuwe' dingen zijn wel altijd combinaties die je krijgt door een eindig aantal keer de bekende (door de AI-maker verzonnen) regels toe te passen.

De tegenwoordige AI is inderdaad beperkt door een eindige reeks regels, maar een perfecte AI zou dan weer zelf zo'n regels kunnen bijschrijven in z'n source-code, om zo weer terug nieuwe dingen te kunnen leren.

Om dezelfde reden zijn die nieuwe regels combinaties van de originele regels, en acties die uit de nieuwe regels volgen zijn derhalve evengoed combinaties bestaande uit alleen maar de originele regels.

Ik denk dat tegen de tijd dat men een zelfbewuste AI kan maken de grens tussen biologische en mechanische apperatuur zo vervaagd is dat je niet meer over het verschil daartussen kunt spreken.

Hmm ja, dat idee heb ik ook een beetje, maar ergens begrijp ik het niet. Ok, 'biologische AI' (voor zover we daar al iets concreet over kunnen zeggen) zal wel net als de menselijke hersens niet binair werken maar analoog (ik bedoel dat wat jij eerder ook al aangaf: een neuron kan niet domweg 0 of 1 zijn, maar een hele hoop stappen). Zou die eigenschap dan zo cruciaal zijn voor 'echte intelligentie'?

Gisteren heb ik het 3e deel gezien van 'Testing God', daarin vertelde o.a. een gast die 20 jaar onderzoek deed naar de aard van intelligentie, dat volgens hem niet-exactheid of niet-100%-zekerheid een essentieel onderdeel was. Zouden wij daarom intelligenter zijn dan computers, omdat onze neuronen geen exacte waarden hebben (wellicht terug te voeren tot gevolg van het onzekerheidsprincipe van Heisenberg?), terwijl onze computers alleen maar domweg dat 100%-zekere pad kunnen volgen?

[Verwijderd]

Op donderdag 28 maart 2002 10:56 schreef Juggalin_Juggalo het volgende:
Jawel, tuurlijk. Maar die 'nieuwe' dingen zijn wel altijd combinaties die je krijgt door een eindig aantal keer de bekende (door de AI-maker verzonnen) regels toe te passen.

Allereerst vind ik het al heel erg knap dat je nu al kan zeggen dat dat altijd zo zal zijn, zeker gezien het feit dat computers (en programmeertalen) amper 50 jaar bestaan.

Het is misschien eens interessant om iets te lezen over chaos en zelf-organiserende systemen; over "systemen" die zichzelf kunnen ordenen en patronen kunnen scheppen zonder dat er ook maar iets van regels of wat dan ook inzit (zie het weer, de economie, celstructuren, etc). Het is gebleken dat dat soort zelfregulerende eigenschappen in het systeem zelf zit, als deze maar genoeg afonzderlijk deeltjes heeft die invloed opelkaar hebben. Ik denk dat software uiteindelijk die kant opgaat en zeker wel zelfbewust kan worden...

[Verwijderd]

Op donderdag 28 maart 2002 16:06 schreef MrShaggy het volgende:

[..]

Allereerst vind ik het al heel erg knap dat je nu al kan zeggen dat dat altijd zo zal zijn, zeker gezien het feit dat computers (en programmeertalen) amper 50 jaar bestaan.

Het is misschien eens interessant om iets te lezen over chaos en zelf-organiserende systemen; over "systemen" die zichzelf kunnen ordenen en patronen kunnen scheppen zonder dat er ook maar iets van regels of wat dan ook inzit (zie het weer, de economie, celstructuren, etc). Het is gebleken dat dat soort zelfregulerende eigenschappen in het systeem zelf zit, als deze maar genoeg afonzderlijk deeltjes heeft die invloed opelkaar hebben. Ik denk dat software uiteindelijk die kant opgaat en zeker wel zelfbewust kan worden...

Muchos Respect but... in weer zit geen patroon, weer word bepaald door chaos-theorie (ik denk dat jij het daar ook al over had). Maar om even weer op het forum titeltje te komen: Ja, ik denk dat er best programma's ontwikkeld kunnen worden die zichzelf kunnen uitbreiden en nog meer van die enge dingen (is trouwens een heel leuke X-Files aflevering over )