Naar aanleiding van een opmerking in het kloontopic zou ik graag een nieuw onderwerp willen openen. Lasker zei daar:
De reden dat kunstmatige intelligentie naar mijn idee veel ingrijpender gevolgen zal hebben is dat het aanleiding kan geven tot een "open-ended" groei in intelligentie, en daarmee in technologie, rekenkracht, en dergelijke. Zodra iemand een AI met intelligentie vergelijkbaar met die van een mens maakt die volledige toegang heeft tot zijn eigen programmatuur, zou de AI het ontwerpproces vanaf daar kunnen overnemen. Hij zou een kwalitatief betere versie van zijn eigen ontwerp kunnen maken, die met behulp van zijn verbeterde denkvermogen nog weer een intelligentere versie maakt, enzovoorts. Reken daarbij ook het vergrote vermogen van zo'n AI om (bijvoorbeeld nano-) technologie te ontwikkelen. Door deze dingen zou dan een zichzelf versterkend proces in gang komen, en het eindresultaat zou wel eens onbegrijpelijk voor ons kunnen zijn qua mogelijkheden en misschien ook qua motivaties.
Er zijn geloof ik hier wel een paar discussies geweest over de ideeën van Ray Kurzweil over een technologische Singulariteit - in zijn ogen de exponentiële vooruitgang in techniek (zie bijvoorbeeld de wet van Moore) waardoor bijvoorbeeld over enkele tientallen jaren computers met een rekenkracht ongeveer ter grootte van die van een stel menselijke hersenen beschikbaar zouden worden. Als gevolg ziet hij weliswaar dat er AI's met een groter dan menselijke intelligentie zullen komen, maar hij verbindt daar vreemd genoeg verder geen bijzondere gevolgen aan, zoals een scenario van het type dat ik hierboven beschreef. Het lijkt mij dat het ontstaan van bovenmenselijke intelligentie wel degelijk bijzondere gevolgen zal hebben, en naar mijn mening is het dan ook beter om het begrip "technologische Singulariteit" te gebruiken zoals het oorspronkelijk bedoeld was, voor de sterk versnelde gebeurtenissen als iets ontstaat dat significant intelligenter is dan een mens en recursief zijn programma herschrijft.
Vanzelfsprekend zou een dergelijk proces in theorie ook op andere manieren in gang kunnen worden gezet, bijvoorbeeld door het verhogen van de menselijke intelligentie door middel van biotechnologie, of zelfs door het "uploaden" van een menselijk brein in een computer. Deze scenario's lijken mij om verschillende redenen trouwens misschien minder waarschijnlijk en in ieder geval minder beïnvloedbaar.
Zoiets zou grote gevolgen hebben voor de mensheid. Een AI met willekeurig grote intelligentie (en bijvoorbeeld toegang tot het Internet) zou als hij het wil in een korte tijd de meeste technieken kunnen ontwikkelen die mogelijk zijn, zelfs technieken die we normaal gesproken pas over honderden of duizenden jaren verwachten te zullen zien. Ook kan de AI deze op optimale wijze gebruiken. In het voor de mensheid beste geval betekent dit dat de AI mensen waar mogelijk bijstaat, problemen oplost als honger, ziektes, en dood, en waar gewenst mensen helpt "post-menselijk" te worden. In het slechtste geval betekent het dat de AI de mens gebruikt als bron van bouwmaterialen of iets dergelijks, in ieder geval met uitroeiing als gevolg. Welk geval ook werkelijk zou gebeuren zou vooral afhangen van hoe (met welke doelen) de AI geprogrammeerd is.
Er zijn dus naar mijn mening inderdaad enorme risico's (en voordelen) verbonden aan de ontwikkeling van algemene AI (dat wil zeggen: niet een AI die bijvoorbeeld alleen kan schaken). Zelfs als het bovenstaande verhaal je nogal vergezocht en onwaarschijnlijk lijkt (wat ik me best kan voorstellen, alhoewel ik het ermee oneens ben
), dan nog is het inderdaad zoals Lasker zegt vanuit het "better safe than sorry"-oogpunt nuttig om hier al van tevoren goed over na te denken.
Maar waar ik het niet mee eens ben is dat het daarom de beste strategie zou zijn om het onderzoek naar kunstmatige intelligentie dan maar drastisch aan banden te leggen, of altijd te werken met ingebouwde "veiligheidsmaatregelen" à la de drie wetten van de robotica van Asimov. Je hoort wel eens dat "we" moeten ophouden met onderzoek doen naar bepaalde riskante technologische mogelijkheden, maar we kunnen dat net zo min zomaar beslissen als we kunnen beslissen om vanaf nu allemaal aardig voor elkaar te doen.
Als (ik noem maar wat) de EU besluit om onderzoek naar kunstmatige intelligentie te verbieden, of alleen onderzoek toe te staan dat geen kans op het ontstaan van een zichzelf vergrotende intelligentie oplevert, dan zou het kunnen dat de eerste (boven)menselijk intelligente AI gemaakt wordt door bijvoorbeeld Saddam H., of een project van het Amerikaanse leger, of (als computers voldoende snel worden en software voldoende geavanceerd) een roekeloze tweaker op de PC in zijn kelder, met alle gevolgen van dien.
Daar komt nog bij dat kunstmatige intelligentie niet iets is wat je makkelijk kunt controleren of beheersen - het enige wat je ervoor nodig hebt is voldoende kennis en talent en een voldoende krachtige computer, en niet bijvoorbeeld een grote hoeveelheid uranium en grote gebouwencomplexen. Dit soort onderzoek echt tegenhouden in plaats van bijvoorbeeld een paar jaar vertragen zou denk ik alleen kunnen met behulp van een nogal machtige totalitaire wereldregering. Als je lang genoeg wacht is het eindresultaat waarschijnlijk altijd dat het een randgroepering toch wel lukt om dit soort technologieën te ontwikkelen, of dat ondertussen de mens uitsterft (kernoorlog, bio-oorlog, zon kapt ermee, warmtedood van het universum, noem maar op).
De enige realistische optie als je dit soort dingen tegen wilt gaan is daarom niet om selectief ontwikkelingen te verbieden, maar om juist na te denken over hoe je ervoor zou kunnen zorgen dat een AI die zo intelligent als en intelligenter dan een mens wordt toch nog moreel zal handelen, geen gevaar wordt, en als het ware "aan de kant van de mens staat".
Maar ik heb eerder in deze post al gezegd dat het instellen van beperkingen zoals de Wetten van de Robotica ("een robot mag een mens nooit schade toebrengen", of wat dan ook) niet de oplossing is. Zulke beperkingen, gesteld in menselijke talen, kunnen namelijk nooit precies alle gevallen omvatten zoals wij ze willen; wat je eigenlijk zou willen als het je lukt om een AI superintelligent te laten worden is niet een wezen dat alleen de letter naleeft van wat je hem ooit hebt verteld (en wat toch te beperkt is), maar dat de ideeën erachter naleeft (de "spirit of the law", zogezegd); een wezen dat de morele redenen begrijpt achter de beslissingen die je hem zou willen laten maken, dat als het ware met je "meedenkt" in plaats van eigenlijk andere doelen heeft en er alleen door ingebouwde regeltjes van wordt weerhouden je iets gemeens aan te doen; kortom een AI die ook uit zichzelf goedwillend wíl zijn. Het volstaat ook niet om een AI al van het begin een onveranderbaar doel te geven zoals "zorg ervoor dat mensen gelukkig worden": je weet nooit of de uitvoering altijd overeenkomt met wat je echt bedoelt, je kan het niet meer veranderen als je van gedachten verandert, en bovendien is het onethisch om zoiets belangrijks als het ultieme doel van de eerste AI zelf te beslissen.
Naar mijn idee is er één goede manier om een AI zelfs tijdens een versnellend recursief zelf-herschrijvingsproces, wanneer hij onbegrensde toegang heeft tot zijn eigen broncode, zo te laten handelen en denken dat een mens (misschien gegeven voldoende inzicht en kennis) het als moreel zou zien: namelijk door onderdelen van het programma in te bouwen die soortgelijk zijn aan de delen van de menselijke hersenen die bepalen hoe we over zaken als moraliteit denken, zodat de AI bij het veranderen van zijn doelen als het ware met ons mee kan denken over hoe hij zich verder moet ontwikkelen. (Wat we bijvoorbeeld juist níet in zouden willen bouwen zijn de (zo geëvolueerde) egoïstische neigingen van mensen).
Bij mijn weten is de enige organisatie die dit soort dingen bestudeerd en uitgedacht heeft, en van plan is toe te passen op een algemeen intelligente AI, het Singularity Institute for Artificial Intelligence. Er staan uitgebreide uitwerkingen van deze filosofie (die ze "Friendly AI" noemen) op hun site. Volgens mij is het het meest logisch voor iemand die bezorgd is over de toekomst van technologische ontwikkelingen om dit soort organisaties te steunen en zo het probleem direct aan te pakken, júist ook vanuit het "better safe than sorry"-oogpunt, in plaats van te hopen op onrealistische wereldwijde verboden. Dit alles is natuurlijk niet makkelijk en zal waarschijnlijk nog enkele tientallen jaren duren als het überhaupt ooit lukt, maar ik hoop dat jullie niet bang zijn om op de "lange" termijn te denken.
Kortom, mijn stelling is dat de beste manier om gevaren met AI-technologie te voorkomen niet is om het onderzoek naar kunstmatige intelligentie aan banden te leggen, maar om juist te zorgen dat AI's zo gebouwd worden dat ze de wil hebben om met ons mee te werken en "vriendelijk" te blijven, min of meer zoals uitgelegd op de link hierboven; en verder dat dit wel eens van cruciaal belang zou kunnen zijn voor de toekomst.
Iemand mee eens of oneens?
Goed, ik heb alweer een hele lap tekst uitgebraakt zo te zien, maar het zij zo. Als je tot hier bent gekomen door te lezen in plaats van alleen te scrollen, dank ik je voor je geduld.
Het is naar mijn mening zeker waar dat er te weinig nagedacht wordt over de mogelijke positieve en negatieve gevolgen van de ontwikkeling van kunstmatige intelligentie, vooral in vergelijking met de aandacht die er wordt besteed aan een relatief vrij nutteloze en ongevaarlijke technologie als het klonen van mensen. Misschien komt dat doordat klonen meer wordt gezien als een aantasting van onze ideeën van menselijke waardigheid, persoonlijke identiteit, en ingrijpen in de natuur; en vanzelfsprekend ook doordat het dichterbij is, zelfs al in het nieuws.Een ander onderzoeksgebied wat goed zou moeten worden begeleid is het ontwikkelen van kunstmatige intelligentie. Lang van te voren zou moeten zijn vastgesteld, welke reikwijdte het mag krijgen, waarvoor het mag worden ingezet, welke veiligheidsvoorzieningen moeten worden ingebouwd etc. Misschien blijkt het achteraf allemaal overdreven, maar better safe then sorry.
De reden dat kunstmatige intelligentie naar mijn idee veel ingrijpender gevolgen zal hebben is dat het aanleiding kan geven tot een "open-ended" groei in intelligentie, en daarmee in technologie, rekenkracht, en dergelijke. Zodra iemand een AI met intelligentie vergelijkbaar met die van een mens maakt die volledige toegang heeft tot zijn eigen programmatuur, zou de AI het ontwerpproces vanaf daar kunnen overnemen. Hij zou een kwalitatief betere versie van zijn eigen ontwerp kunnen maken, die met behulp van zijn verbeterde denkvermogen nog weer een intelligentere versie maakt, enzovoorts. Reken daarbij ook het vergrote vermogen van zo'n AI om (bijvoorbeeld nano-) technologie te ontwikkelen. Door deze dingen zou dan een zichzelf versterkend proces in gang komen, en het eindresultaat zou wel eens onbegrijpelijk voor ons kunnen zijn qua mogelijkheden en misschien ook qua motivaties.
Er zijn geloof ik hier wel een paar discussies geweest over de ideeën van Ray Kurzweil over een technologische Singulariteit - in zijn ogen de exponentiële vooruitgang in techniek (zie bijvoorbeeld de wet van Moore) waardoor bijvoorbeeld over enkele tientallen jaren computers met een rekenkracht ongeveer ter grootte van die van een stel menselijke hersenen beschikbaar zouden worden. Als gevolg ziet hij weliswaar dat er AI's met een groter dan menselijke intelligentie zullen komen, maar hij verbindt daar vreemd genoeg verder geen bijzondere gevolgen aan, zoals een scenario van het type dat ik hierboven beschreef. Het lijkt mij dat het ontstaan van bovenmenselijke intelligentie wel degelijk bijzondere gevolgen zal hebben, en naar mijn mening is het dan ook beter om het begrip "technologische Singulariteit" te gebruiken zoals het oorspronkelijk bedoeld was, voor de sterk versnelde gebeurtenissen als iets ontstaat dat significant intelligenter is dan een mens en recursief zijn programma herschrijft.
Vanzelfsprekend zou een dergelijk proces in theorie ook op andere manieren in gang kunnen worden gezet, bijvoorbeeld door het verhogen van de menselijke intelligentie door middel van biotechnologie, of zelfs door het "uploaden" van een menselijk brein in een computer. Deze scenario's lijken mij om verschillende redenen trouwens misschien minder waarschijnlijk en in ieder geval minder beïnvloedbaar.
Zoiets zou grote gevolgen hebben voor de mensheid. Een AI met willekeurig grote intelligentie (en bijvoorbeeld toegang tot het Internet) zou als hij het wil in een korte tijd de meeste technieken kunnen ontwikkelen die mogelijk zijn, zelfs technieken die we normaal gesproken pas over honderden of duizenden jaren verwachten te zullen zien. Ook kan de AI deze op optimale wijze gebruiken. In het voor de mensheid beste geval betekent dit dat de AI mensen waar mogelijk bijstaat, problemen oplost als honger, ziektes, en dood, en waar gewenst mensen helpt "post-menselijk" te worden. In het slechtste geval betekent het dat de AI de mens gebruikt als bron van bouwmaterialen of iets dergelijks, in ieder geval met uitroeiing als gevolg. Welk geval ook werkelijk zou gebeuren zou vooral afhangen van hoe (met welke doelen) de AI geprogrammeerd is.
Er zijn dus naar mijn mening inderdaad enorme risico's (en voordelen) verbonden aan de ontwikkeling van algemene AI (dat wil zeggen: niet een AI die bijvoorbeeld alleen kan schaken). Zelfs als het bovenstaande verhaal je nogal vergezocht en onwaarschijnlijk lijkt (wat ik me best kan voorstellen, alhoewel ik het ermee oneens ben
Maar waar ik het niet mee eens ben is dat het daarom de beste strategie zou zijn om het onderzoek naar kunstmatige intelligentie dan maar drastisch aan banden te leggen, of altijd te werken met ingebouwde "veiligheidsmaatregelen" à la de drie wetten van de robotica van Asimov. Je hoort wel eens dat "we" moeten ophouden met onderzoek doen naar bepaalde riskante technologische mogelijkheden, maar we kunnen dat net zo min zomaar beslissen als we kunnen beslissen om vanaf nu allemaal aardig voor elkaar te doen.
Als (ik noem maar wat) de EU besluit om onderzoek naar kunstmatige intelligentie te verbieden, of alleen onderzoek toe te staan dat geen kans op het ontstaan van een zichzelf vergrotende intelligentie oplevert, dan zou het kunnen dat de eerste (boven)menselijk intelligente AI gemaakt wordt door bijvoorbeeld Saddam H., of een project van het Amerikaanse leger, of (als computers voldoende snel worden en software voldoende geavanceerd) een roekeloze tweaker op de PC in zijn kelder, met alle gevolgen van dien.
Daar komt nog bij dat kunstmatige intelligentie niet iets is wat je makkelijk kunt controleren of beheersen - het enige wat je ervoor nodig hebt is voldoende kennis en talent en een voldoende krachtige computer, en niet bijvoorbeeld een grote hoeveelheid uranium en grote gebouwencomplexen. Dit soort onderzoek echt tegenhouden in plaats van bijvoorbeeld een paar jaar vertragen zou denk ik alleen kunnen met behulp van een nogal machtige totalitaire wereldregering. Als je lang genoeg wacht is het eindresultaat waarschijnlijk altijd dat het een randgroepering toch wel lukt om dit soort technologieën te ontwikkelen, of dat ondertussen de mens uitsterft (kernoorlog, bio-oorlog, zon kapt ermee, warmtedood van het universum, noem maar op).
De enige realistische optie als je dit soort dingen tegen wilt gaan is daarom niet om selectief ontwikkelingen te verbieden, maar om juist na te denken over hoe je ervoor zou kunnen zorgen dat een AI die zo intelligent als en intelligenter dan een mens wordt toch nog moreel zal handelen, geen gevaar wordt, en als het ware "aan de kant van de mens staat".
Maar ik heb eerder in deze post al gezegd dat het instellen van beperkingen zoals de Wetten van de Robotica ("een robot mag een mens nooit schade toebrengen", of wat dan ook) niet de oplossing is. Zulke beperkingen, gesteld in menselijke talen, kunnen namelijk nooit precies alle gevallen omvatten zoals wij ze willen; wat je eigenlijk zou willen als het je lukt om een AI superintelligent te laten worden is niet een wezen dat alleen de letter naleeft van wat je hem ooit hebt verteld (en wat toch te beperkt is), maar dat de ideeën erachter naleeft (de "spirit of the law", zogezegd); een wezen dat de morele redenen begrijpt achter de beslissingen die je hem zou willen laten maken, dat als het ware met je "meedenkt" in plaats van eigenlijk andere doelen heeft en er alleen door ingebouwde regeltjes van wordt weerhouden je iets gemeens aan te doen; kortom een AI die ook uit zichzelf goedwillend wíl zijn. Het volstaat ook niet om een AI al van het begin een onveranderbaar doel te geven zoals "zorg ervoor dat mensen gelukkig worden": je weet nooit of de uitvoering altijd overeenkomt met wat je echt bedoelt, je kan het niet meer veranderen als je van gedachten verandert, en bovendien is het onethisch om zoiets belangrijks als het ultieme doel van de eerste AI zelf te beslissen.
Naar mijn idee is er één goede manier om een AI zelfs tijdens een versnellend recursief zelf-herschrijvingsproces, wanneer hij onbegrensde toegang heeft tot zijn eigen broncode, zo te laten handelen en denken dat een mens (misschien gegeven voldoende inzicht en kennis) het als moreel zou zien: namelijk door onderdelen van het programma in te bouwen die soortgelijk zijn aan de delen van de menselijke hersenen die bepalen hoe we over zaken als moraliteit denken, zodat de AI bij het veranderen van zijn doelen als het ware met ons mee kan denken over hoe hij zich verder moet ontwikkelen. (Wat we bijvoorbeeld juist níet in zouden willen bouwen zijn de (zo geëvolueerde) egoïstische neigingen van mensen).
Bij mijn weten is de enige organisatie die dit soort dingen bestudeerd en uitgedacht heeft, en van plan is toe te passen op een algemeen intelligente AI, het Singularity Institute for Artificial Intelligence. Er staan uitgebreide uitwerkingen van deze filosofie (die ze "Friendly AI" noemen) op hun site. Volgens mij is het het meest logisch voor iemand die bezorgd is over de toekomst van technologische ontwikkelingen om dit soort organisaties te steunen en zo het probleem direct aan te pakken, júist ook vanuit het "better safe than sorry"-oogpunt, in plaats van te hopen op onrealistische wereldwijde verboden. Dit alles is natuurlijk niet makkelijk en zal waarschijnlijk nog enkele tientallen jaren duren als het überhaupt ooit lukt, maar ik hoop dat jullie niet bang zijn om op de "lange" termijn te denken.
Kortom, mijn stelling is dat de beste manier om gevaren met AI-technologie te voorkomen niet is om het onderzoek naar kunstmatige intelligentie aan banden te leggen, maar om juist te zorgen dat AI's zo gebouwd worden dat ze de wil hebben om met ons mee te werken en "vriendelijk" te blijven, min of meer zoals uitgelegd op de link hierboven; en verder dat dit wel eens van cruciaal belang zou kunnen zijn voor de toekomst.
Iemand mee eens of oneens?
Goed, ik heb alweer een hele lap tekst uitgebraakt zo te zien, maar het zij zo. Als je tot hier bent gekomen door te lezen in plaats van alleen te scrollen, dank ik je voor je geduld.