Onzinclaims Turingtest

[Verwijderd]

Ik zou hier een epistel kunnen schrijven over de fabelachtige (letterlijk) claims over het doorstaan van de Turing test, maar lees gewoon deze reactie en het bijgegeven linkje en doe iets met dit frontpage artikel.

Verwijderd in 'nieuws: 'Chatbot Eugene Goostman doorstaat Turing-test''

[Ossebol]

De Turing-test is en blijft een test naar interpretatie, waar inderdaad weinig algemene afspraken over zijn gemaakt. Dit is ook de zwakte van de test, vind ik. Daarover kunnen we een hele interessante, wetenschappelijke discussie houden, maar dat ga ik hier niet doen.

Het klopt dat er in het verleden hogere scores zijn bereikt met de Turing-test. Maakt dat die tests betrouwbaarder dan die werd uitgevoerd door de University of Reading? Ik betwijfel het. Zo doorstond Cleverbot de Turing-test ook ooit, maar werkte de bot tijdens die test lokaal, waardoor het programma veel sneller antwoorden kon opzoeken en ook zo relevantere antwoorden kon geven in vergelijking met de onlinevariant.

Zoals je al aangaf is de zwakte van de Turing-test dat er geen algemene, concrete afspraken over zijn gemaakt. Er staat nergens omschreven hoe bijvoorbeeld de metingen moeten worden uitgevoerd en hoeveel participanten er moeten zijn. Dit maakt de Turing-test naar mijn idee in zijn geheel interpretatiegevoelig. Dat is ook de reden waarom ik het artikel met voorbehoud heb geschreven. Alle feitelijke claims schrijf ik toe naar de universiteit. Daarnaast benoem ik dat er over het aantal participanten niets bekend is.

De reden waarom ik dit, weliswaar onder voorbehoud, toch heb gebracht is het volgende. De University of Reading is aangesloten bij RoboLaw, een consortium waarbij verschillende faculteiten van universiteiten zijn aangesloten. RoboLaw streeft uniform experimenteel onderzoek na. Om die reden vond ik het experiment betrouwbaar genoeg om te brengen. En verder: aan het onderzoek deden meerdere bots mee. Het was een eerste grote test waarbij tegelijkertijd meerdere chatbots aan de Turing-test werden onderworpen, wat mijns inziens de geldigheid van een dergelijk experiment vergroot.

Het is inderdaad goed mogelijk dat de participanten van tevoren werden beïnvloed door het karakter van de chatbot, dat ontken ik ook niet. Anderzijds zou je kunnen zeggen dat – als ze het van tevoren wisten – ze de bot er makkelijker en sneller uit hadden kunnen pakken, waardoor de Turing-test sowieso niet was geslaagd. Hiernaar kunnen we gissen, omdat hierover niets bekend is gemaakt.

Desondanks ben ik het niet eens met het argument dat de bot, door zijn fictieve leeftijd, ‘vals’ kon spelen. Bij de Turing-test komt het neer op interpretatie, zoals ik al eerder aangaf. Als een bot goed kan doen overkomen dat het een tiener is en hij lijkt hiermee realistisch, dan slaagt hij simpelweg voor de test – ongeacht of de antwoorden goed of fout zijn.

De Turing-test is natuurlijk een instrument om de ‘menselijkheid’ van computerprogramma’s te testen, maar is natuurlijk niet heilig. Dat beweer ik ook niet. Desondanks vind ik in het kader van de ontwikkeling van kunstmatige intelligentie dat elk – enigszins betrouwbaar - onderzoek dat de ‘menselijkheid’ van een computer kan meten en kan aantonen, zinnig is en daarom kan worden gebracht.

[ Voor 4% gewijzigd door Ossebol op 10-06-2014 16:57 ]

[Verwijderd]

Desondanks vind ik in het kader van de ontwikkeling van kunstmatige intelligentie dat elk – enigszins betrouwbaar - onderzoek dat de ‘menselijkheid’ van een computer kan meten en kan aantonen, zinnig is

Ik denk dat we daar verschillen van mening

Is het wellicht een idee een keer een editorial te schrijven waarin je wat ontwikkelaars van AI systemen ondervraagt over hun mening over de Turing test. Er zijn nogal wat mensen te vinden in die tak van sport die hoofdschuddend weglopen als je over die test begint.
Een artikel waarin beide standpunten aan bod komen en er wat dieper wordt ingegaan op het wat wie en waarom van zo'n Turing test zou niet misstaan op een site als deze.

[JHS]

Allereerst, volgens mij is het zeker nieuwswaardig en ik vind het een interessant en goed geschreven artikel.

In het artikel van Techdirt worden volgens mij echter wel een aantal terechte kanttekeningen geplaatst bij het artikel. Nu kun je daar natuurlijk van mening over verschillen, maar ik denk wel dat het een nuttige toevoeging zou zijn aan Turingtest-artikelen om die kanttekeningen te maken.

Ik denk daarbij met name aan dat het onderzoek niet optimaal is (niet vergelijkend, niet gerandomiseerd, niet dubbelblind), dat er is 'valsgespeeld' door het een jonge leeftijd te geven en dat (ook t.o.v. de oorspronkelijke Turing test) dit helemaal niet per sé aangeeft dat er AI bereikt is. Ook de kanttekening bij de uitvoerende onderzoeker vind ik opvallend, maar die kan ik niet op waarde schatten.

Een paragraafje met dergelijke toevoegingen zou het artikel volgens mij verder verbeteren .

[Ossebol]

Verwijderd schreef op woensdag 11 juni 2014 @ 10:44:
[...]

Ik denk dat we daar verschillen van mening

Is het wellicht een idee een keer een editorial te schrijven waarin je wat ontwikkelaars van AI systemen ondervraagt over hun mening over de Turing test. Er zijn nogal wat mensen te vinden in die tak van sport die hoofdschuddend weglopen als je over die test begint.
Een artikel waarin beide standpunten aan bod komen en er wat dieper wordt ingegaan op het wat wie en waarom van zo'n Turing test zou niet misstaan op een site als deze.

Een goed idee! Ik speel het door naar de nieuwscoördinator, Olaf

JHS schreef op woensdag 11 juni 2014 @ 11:23:
Allereerst, volgens mij is het zeker nieuwswaardig en ik vind het een interessant en goed geschreven artikel.

In het artikel van Techdirt worden volgens mij echter wel een aantal terechte kanttekeningen geplaatst bij het artikel. Nu kun je daar natuurlijk van mening over verschillen, maar ik denk wel dat het een nuttige toevoeging zou zijn aan Turingtest-artikelen om die kanttekeningen te maken.

Ik denk daarbij met name aan dat het onderzoek niet optimaal is (niet vergelijkend, niet gerandomiseerd, niet dubbelblind), dat er is 'valsgespeeld' door het een jonge leeftijd te geven en dat (ook t.o.v. de oorspronkelijke Turing test) dit helemaal niet per sé aangeeft dat er AI bereikt is. Ook de kanttekening bij de uitvoerende onderzoeker vind ik opvallend, maar die kan ik niet op waarde schatten.

Een paragraafje met dergelijke toevoegingen zou het artikel volgens mij verder verbeteren .

Ik heb een paragraaf toegevoegd en zal dit in toekomstige artikelen voortaan ook meenemen. Bedankt voor de feedback!

[ Voor 48% gewijzigd door Ossebol op 11-06-2014 11:49 ]

[JHS]

Top !