(Nederlands) AI-Model om auteurschap in te schatten?

[Bernard0343]

Hoi Allemaal,

Een kennis van mij is begonnen aan de biografie van een niet geheel onbekende nederlandse auteur (...Nee, ik noem zijn naam nu niet... ). Ik help haar wat met de research (lees, online archieven doorspitten).

In deze zoektocht zijn wij gestruikeld over een stapeltje (korte) teksten waarvan het heel goed mogelijk is dat deze geschreven zijn door de auteur in kwestie. Natuurlijk zijn we druk met het graven in de archieven, op zoek naar documenten (opdrachtbevestigingen, betaalbewijzen of andere correspondentie), waarmee we het auteurschap definitief kunnen vaststellen.

In aanvulling op dit archiefonderzoek zou het natuurlijk mogelijk zijn om deze teksten te vergelijken met andere teksten waarvan we wél zeker weten dat deze door hem geschreven zijn. Naast dit door mensen te laten doen zou het natuurlijk ook goed zijn om dit door AI te laten doen (wetende dat AI geen honderd procent zekerheid kan geven). Alleen... op een vraagje aan ChatGPT / Google Gemini stellen na , heb ik weinig met AI te maken gehad.

Tuurlijk heb ik wat gegoogled, ik kom de applicaties JGAAP en Stylo tegen, waarmee tekstanalyses gedaan kunnen worden. Waarschijnlijk / misschien krijg ik deze applicaties ook nog wel aan de gang. Maar het kunnen opstarten van een applicatie, betekent bepaald nog niet dat ik er enigszins betrouwbare analyses mee kan maken, net als het kunnen installeren van een spreadsheetprogramma van mij geen accountant maakt.

Om kort te gaan, dit gaat écht boven mijn pet. Een klus als deze moet gedaan worden door lieden die verstand (hiervan) hebben. Niet door iemand die, op dit gebied, volslagen nieuw is. Maar voor dat ik random universiteiten (TU-Eindhoven?), onderzoeksclubs (TNO?) en bedrijven ga bellen, heeft iemand hier enig idee welke partijen in het Nederlands taalgebied hier mee bezig zijn?

Alvast bedankt voor het meedenken!

offtopic:
@RobIII Duidelijker zo? Het is een wat wonderlijke vraag, maar geen idee waar op GoT ik deze anders kwijt kan...

[ Voor 44% gewijzigd door Bernard0343 op 23-10-2024 15:05 ]

[RobIII]

Ik zie even niet wat dit met Softwareontwikkeling van doen heeft Behalve in de titel komt het woord AI niet meer terug in je topic en is je vraag: "is er een onderzoeksgroep, bedrijf of andere club in het Nederlands taalgebied, die bezig is met iets wat in de buurt komt van 'forensische taalkundige analyses' (of iets dergelijks)". Daar zit weinig Softwareontwikkeling in

Softwareontwikkeling > Algemene zaken

Verder wil ik je vriendelijk verzoeken je topicstart nog even aan te vullen met wat je zelf al gezocht/gevonden had

[F_J_K]

Als het gaat over de NL taal zou ik een polsen bij https://meertens.knaw.nl/

Bernard0343 schreef op woensdag 23 oktober 2024 @ 10:41:
waarmee we het auteurschap definitief kunnen vaststellen.

Hier wil je je verwachtingen bijstellen. Zekerheid geeft geen enkele AI. Per definitie niet, zou ik durven stellen.

[Bernard0343]

F_J_K schreef op woensdag 23 oktober 2024 @ 12:33:
Als het gaat over de NL taal zou ik een polsen bij https://meertens.knaw.nl/


[...]

Hier wil je je verwachtingen bijstellen. Zekerheid geeft geen enkele AI. Per definitie niet, zou ik durven stellen.

Dank! Ga ik zeker doen! En liever vinden we natuurlijk ook in een archief een stuk papier waarmee we het auteurschap kunnen aantonen. Maar mochten zulke documenten verloren zijn gegaan, dan zou een tekstanalyse door AI een aanvulling kunnen zijn op 'menselijke' analyses.

[Archer_VC10]

Ik zou een AI analyse niet zo snel als 'aanvulling' kenmerken. We weten nog helemaal niet zo goed hoe betrouwbaar AI voor dit soort zaken is. Je vraagt een statistiekprogramma naar een statistische bepaling, maar doordat AI redelijk ondoorzichtig is geeft dit geen uitsluitsel over de gebruikte analysemethode of de waarde van de uitkomst. Je hebt het ook over korte teksten. Bedenk dat bij een korte tekst het ook heel moeilijk is om genoeg aanknopingspunten te vinden voor een betrouwbare vergelijking. Bij een bekende auteur heb je op zich genoeg materiaal om als basis te dienen, maar het zou mij niet verbazen als je met verschillende AI tools zeer verschillende resultaten kan krijgen. De techniek die gebruikt wordt heet in het Engels 'Stylometry' dus je zou eens kunnen zoeken naar wetenschappelijke artikelen over dit onderwerp en de toepassing van AI in dit gebied.

[pagani]

Ik zou (mede door bovenstaande) erg voorzichtig zijn met iets labelen als "tekst van persoon x" zonder dat dit daadwerkelijk ooit door persoon x is erkend.

"zou het natuurlijk mogelijk zijn", nou, zelfs op basis van een taalexpert zou ik het niet aandurven deze aannames te maken.

[Bernard0343]

@Archer_VC10 , @pagani , Uiteraard realiseer ik me dat een AI-analyse (nog?) niet (geheel) betrouwbaar is. Zoals eerder gezegd, een 'paper trail' dat dit zou bewijzen heeft uiteraard de voorkeur (en daar wordt keihard naar gezocht).

Er zijn op dit moment al heel sterke aanwijzingen dat deze teksten door deze auteur geschreven zijn (schrijfstijl, andere kenmerken van de teksten, de ondertekening etc...). Maar iedere wijze waarop we het auteurschap kunnen uitsluiten of bevestigen, is natuurlijk van harte welkom!

[nachtnet]

Hoe belangrijk zijn de teksten tov het gehele oeuvre van de auteur? Heeft het echt belang om deze teksten mee te nemen in de biografie?

[Kurkentrekker]

Wat nu als je een AI vindt die zegt 'dit is met 100% betrouwbaarheid een schrijfsel van deze auteur', wat dan? Geloof je die dan?

Ik denk dat je dat niet zou moeten doen, zo lang je die AI niet volledig kunt doorgronden. En dat kun je vaak niet. Zeker niet als die AI gebaseerd is op large language models van de 'grote' techboeren.

Ik heb AI detectietools overigens zien falen door te stellen dan delen van Plato's Republic door AI geschreven zouden zijn, dus zo goed zijn die tools echt niet.

[Bernard0343]

nachtnet schreef op woensdag 23 oktober 2024 @ 16:13:
Hoe belangrijk zijn de teksten tov het gehele oeuvre van de auteur? Heeft het echt belang om deze teksten mee te nemen in de biografie?

Deze teksten werpen een nieuw licht op de vroege carrière van deze auteur. Je zou het kunnen vergelijken met de nieuwsstorm die zou uitbreken als ontdekt wordt dat Vincent van Gogh 'Zigeunerkind met traan' geschilderd heeft.

[Bernard0343]

Kurkentrekker schreef op woensdag 23 oktober 2024 @ 16:19:
Wat nu als je een AI vindt die zegt 'dit is met 100% betrouwbaarheid een schrijfsel van deze auteur', wat dan? Geloof je die dan?

Ik denk dat je dat niet zou moeten doen, zo lang je die AI niet volledig kunt doorgronden. En dat kun je vaak niet. Zeker niet als die AI gebaseerd is op large language models van de 'grote' techboeren.

Ik heb AI detectietools overigens zien falen door te stellen dan delen van Plato's Republic door AI geschreven zouden zijn, dus zo goed zijn die tools echt niet.

Nogmaals, het is écht niet het enige bewijs, de teksten hebben, volgens kenners, enorme overeenkomsten, ze zijn ondertekend met 'pietje', terwijl de schrijver later alles met 'Pieter' tekent, etc.... Dus zónder AI gebruikt te hebben, durf ik mijn hand er wel voor in het vuur te steken.

[Kurkentrekker]

Bernard0343 schreef op woensdag 23 oktober 2024 @ 16:26:
[...]


Nogmaals, het is écht niet het enige bewijs, de teksten hebben, volgens kenners, enorme overeenkomsten, ze zijn ondertekend met 'pietje', terwijl de schrijver later alles met 'Pieter' tekent, etc.... Dus zónder AI gebruikt te hebben, durf ik mijn hand er wel voor in het vuur te steken.

Ok, dan nogmaals mijn vraag: wat voegt een score uit een AI model dan nog toe, ook als die 100% 'match' zegt? Gebruik je dat dan om je vermoeden kracht bij te zetten, en zo ja, waar moet die AI dan aan voldoen?

Of ben je juist op zoek naar bewijs om je eigen hypothese te verwerpen (wat de gangbare methode zou moeten zijn voor iemand die zekerder wil zijn van zijn zaak).

[Bernard0343]

Kurkentrekker schreef op woensdag 23 oktober 2024 @ 16:29:
[...]

Ok, dan nogmaals mijn vraag: wat voegt een score uit een AI model dan nog toe, ook als die 100% 'match' zegt? Gebruik je dat dan om je vermoeden kracht bij te zetten, en zo ja, waar moet die AI dan aan voldoen?

Of ben je juist op zoek naar bewijs om je eigen hypothese te verwerpen (wat de gangbare methode zou moeten zijn voor iemand die zekerder wil zijn van zijn zaak).

Als we geen briefje vinden waarin direct hiernaar verwezen wordt (wat écht plan A is), is het natuurlijk fijn als we tenminste alle middelen hebben ingezet onze vermoedens te ontkrachten of te bevestigen. Er ligt een behoorlijke stapel indirect bewijs, je zou kunnen zeggen dat we de auteur op exact het goede moment aan zijn schrijftafel zien zitten en we weten dát hij iets schrijft. We weten ook dat er uit die tijd niets anders bekend is. Lieden die het werk van deze auteur heel goed kennen, herkennen de schrijfstijl en durven dit ook te bevestigen. Wat zou er dan verkeerd aan zijn om nog een laatste, aanvullende, middel in te zetten?

[ Voor 5% gewijzigd door Bernard0343 op 23-10-2024 16:49 ]

[Kurkentrekker]

Bernard0343 schreef op woensdag 23 oktober 2024 @ 16:39:
[...]


Als we geen briefje vinden waarin direct hiernaar verwezen wordt (wat écht plan A is), is het natuurlijk fijn als we tenminste alle middelen hebben ingezet onze vermoedens te ontkrachten of te aan te tonen. Er ligt een behoorlijke stapel indirect bewijs, je zou kunnen zeggen dat we de auteur op exact het goede moment aan zijn schrijftafel zien zitten en we weten dát hij iets schrijft. We weten ook dat er uit die tijd niets anders bekend is. Lieden die het werk van deze auteur heel goed kennen, herkennen de schrijfstijl en durven dit ook te bevestigen. Wat zou er dan verkeerd aan zijn om nog een laatste, aanvullende, middel in te zetten?

Er is niets verkeerds aan, maar ik probeer het alleen in perspectief te stellen. Wat voegt een analyse door een AI toe als je geen enkele manier hebt om de betrouwbaarheid van die AI te toetsen, omdat je niet weet hoe het model werkt, waar het op getraind is, etc.

Het zou mij juist zeggen dat iemand die bereid is om dergelijk bewijs te accepteren, zelf met een korreltje zout genomen moet worden omdat zijn beoordelingsvermogen blijkbaar niet al te kritisch staat afgesteld ten aanzien van bewijsmiddelen ;-)

[Bernard0343]

Kurkentrekker schreef op woensdag 23 oktober 2024 @ 16:52:
[...]


Er is niets verkeerds aan, maar ik probeer het alleen in perspectief te stellen. Wat voegt een analyse door een AI toe als je geen enkele manier hebt om de betrouwbaarheid van die AI te toetsen, omdat je niet weet hoe het model werkt, waar het op getraind is, etc.

Het zou mij juist zeggen dat iemand die bereid is om dergelijk bewijs te accepteren, zelf met een korreltje zout genomen moet worden omdat zijn beoordelingsvermogen blijkbaar niet al te kritisch staat afgesteld ten aanzien van bewijsmiddelen ;-)

Vandaar mijn aanvankelijke vraag, wie is hier, in Nederland, op een verantwoorde manier mee bezig? Dan kan ik de vraag dáár voorleggen. En mocht het antwoord daar dan zijn dat een betrouwbare analyse op dit moment niet gemaakt kan worden, is dat ook prima. Wat ik wel weet, is dat überhaupt aan tafel komen bij zo'n club niet 'even' geregeld is, en daarom nu alvast mijn vraag.

Maar goed, de kans isnog steeds heel groot dat we op een andere manier deze vraag beantwoord krijgen. We moeten nog aardig wat archieven doornemen en, met een beetje geluk, vinden we daar het antwoord op deze vraag.