Beleid reacties geschreven door LLM's

[theblindman]

Af en toe kom ik op de frontpage reacties tegen die duidelijk door een LLM zijn geschreven of opgepoetst.
Vaak herken ik die reacties aan dat ze bovengemiddeld lang zijn, autoriteit uitstralen en eindigen met een samenvatting. Ook kun je in de post history van een gebruiker vaak oudere berichten terugvinden in een hele andere schrijfstijl.

Is er beleid over wat te doen met dit soort reacties? Het lijkt er op dat maar weinig mensen deze reacties herkennen als geschreven door AI.
Is het een idee om deze reacties te voorzien van een label in de trand van "Vermoedelijk AI"? Willen we dit soort reacties zien op de frontpage?

[wodkabuikje]

Ik moest even aan ChatGPT vragen wat een LLM was . En dat was serieus.

Ik zie overigens het probleem niet. AI is here to stay en ik gebruik het dagelijks. Niet dat ik het gedaan heb maar ik kan begrijpen dat iemand eerst meer informatie vraagt omtrent het onderwerp en dan deze bevindingen deelt.

[Wild Chocolate]

Als ik wollig geschreven reacties zonder een duidelijk punt tegenkom, denk ik ook vaak dat iemand het uit ChatGPT gehaald heeft. Ik vraag me op zich af wat voor toegevoegde waarde dat heeft voor een discussieforum. Maar of je er beleid op moet maken, weet ik niet. Meestal ga ik na een paar regels gelezen te hebben, gewoon door naar de volgende reactie.

[Dirk]

Voor het forum is die vraag ook al wel eens gesteld: Gonadan in "AI als antwoord"

Oftewel, tenzij er extra duiding bij gegeven wordt is tekst uit een tekstgenerator gewoon ongewenst, want uit niet blijkt of het goed of fout is en de kans op foutieve informatie is best groot.

[theblindman]

Voor de duidelijkheid: ik ben niet per sé tegen LLM's of tegen AI, maar wat ik wel problematisch vind is dat deze reacties over het algemeen vrij positief beoordeeld worden door moderators, mijns inziens omdat ze autoriteit uitstralen.

Om even een voorbeeld poster aan te halen die ik laatst tegen kwam:
- deniz280 in 'Twee onderzeese datakabels mogelijk opzettelijk beschadigd in Oostzee'
- deniz280 in 'Twee onderzeese datakabels mogelijk opzettelijk beschadigd in Oostzee'
- deniz280 in 'Twee onderzeese datakabels mogelijk opzettelijk beschadigd in Oostzee'
- deniz280 in 'Twee onderzeese datakabels mogelijk opzettelijk beschadigd in Oostzee'

[Dirk]

Dat is inderdaad het soort teksten wat op zijn minst verdacht is: veel tekst, weinig inhoud.

[zonoskar]

Misschien is het iemand die geen NLs schrijft en chatGPT gebruikt om te vertalen?

[graceful]

wodkabuikje schreef op woensdag 20 november 2024 @ 19:17:
Ik moest even aan ChatGPT vragen wat een LLM was . En dat was serieus.

Ik zie overigens het probleem niet.

Die twee samen zijn precies het probleem, het is geen A.I. het is een autocorrect op steroids. Het wordt steeds beter, mooier en prachtiger, maar het is geen logisch denken. Er komen dus verhalen uit die helemaal niet waar hoeven te zijn, maar wel op dergelijke wijze geschreven is dat het dermate overtuigend is.

Blijkbaar valt ML onder de term AI, al ben ik het daar sterk mee oneens Blijft dat het gevaarlijk is om dergelijke reacties als waar te zien omdat het lappen-teksten zijn die dermate overtuigend kunnen overkomen.

[ Voor 16% gewijzigd door graceful op 21-11-2024 02:00 ]

[JJ Le Funk]

Probleem met AI geleende reacties is dat ze niet authentiek en maximaal gedifferentieerd zijn. Geen echte mening dus maar geordende informatie. wat afbreuk doet aan discussie-gehalte en toch +1's krijgt omdat het uitgebreid en on topic is.

[jdh009]

graceful schreef op woensdag 20 november 2024 @ 22:40:
[...]


Die twee samen zijn precies het probleem, het is geen A.I. het is een autocorrect op steroids. Het wordt steeds beter, mooier en prachtiger, maar het is geen logisch denken. Er komen dus verhalen uit die helemaal niet waar hoeven te zijn, maar wel op dergelijke wijze geschreven is dat het dermate overtuigend is.

Ehm... ik wil je geen lezing geven over de term kunstmatige intelligentie, maar LLM's zijn, net als beeldherkenning en spraakherkenning of natuurlijke taalverwerking, gewoon onderdeel van de brede categorie en het onderzoeksgebied AI. Net zoals rekenen en algebra onder de paraplu van wiskunde vallen.

Maar ontopic: Wat mij vaak meer stoort aan dit soort berichten, doelende op de LLM-output, is dat ze copy-paste lijken te zijn, of gewoon zonder bronnen maar wel wat roepen, of totaal niet goed onderbouwd zijn. Uiteindelijk is het zonder extra input zo onbetrouwbaar en onwenselijk als een lmgtfy-/Wikipedia-linkje zonder context. Nu hoef je wat mij betreft geen uren in een reactie te steken, maar als je echt alleen maar copy-paste doet, is het wat mij betreft vaak ongewenst. In mijn ogen is het belangrijk dat je aan een reactie kunt zien dat het echt de gebruiker is die spreekt en niet een AI, en dat de inhoud ook van die persoon komt en niet vanuit zo'n bot.

Er zal naar de toekomst toe wel iets van beleid moeten komen om de moderatie goed te maken, want ik heb in het mismoderatietopic ook al meldingen voorbij zien komen van gebruikers die onrechtmatig werden beticht van klakkeloos kopiëren, terwijl je duidelijk kon zien dat die berichten dat niet waren. En, je wilt ook geen heksenjacht creëren op gebruikers die deze tool op een goede manier gebruiken, net zoals men zoekt met Google of informatie op Wikipedia opzoekt en dit in een nette post verwerkt. Blame the user, not the tool, gezien die uiteindelijk verantwoordelijk is voor wat die hier (FP of GoT) plaatst.

Edit: verkeerde persoon gequote.

[ Voor 16% gewijzigd door jdh009 op 20-11-2024 23:42 ]

[RoD]

jdh009 schreef op woensdag 20 november 2024 @ 23:34:
[...]

Ehm... ik wil je geen lezing geven over de term kunstmatige intelligentie, maar LLM's zijn, net als beeldherkenning en spraakherkenning of natuurlijke taalverwerking, gewoon onderdeel van de brede categorie en het onderzoeksgebied AI. Net zoals rekenen en algebra onder de paraplu van wiskunde vallen.

Maar ontopic: Wat mij vaak meer stoort aan dit soort berichten, doelende op de LLM-output, is dat ze copy-paste lijken te zijn, of gewoon zonder bronnen maar wel wat roepen, of totaal niet goed onderbouwd zijn. Uiteindelijk is het zonder extra input zo onbetrouwbaar en onwenselijk als een lmgtfy-/Wikipedia-linkje zonder context. Nu hoef je wat mij betreft geen uren in een reactie te steken, maar als je echt alleen maar copy-paste doet, is het wat mij betreft vaak ongewenst. In mijn ogen is het belangrijk dat je aan een reactie kunt zien dat het echt de gebruiker is die spreekt en niet een AI, en dat de inhoud ook van die persoon komt en niet vanuit zo'n bot.

Er zal naar de toekomst toe wel iets van beleid moeten komen om de moderatie goed te maken, want ik heb in het mismoderatietopic ook al meldingen voorbij zien komen van gebruikers die onrechtmatig werden beticht van klakkeloos kopiëren, terwijl je duidelijk kon zien dat die berichten dat niet waren. En, je wilt ook geen heksenjacht creëren op gebruikers die deze tool op een goede manier gebruiken, net zoals men zoekt met Google of informatie op Wikipedia opzoekt en dit in een nette post verwerkt. Blame the user, not the tool, gezien die uiteindelijk verantwoordelijk is voor wat die hier (FP of GoT) plaatst.

Edit: verkeerde persoon gequote.

Ik denk dat het beleid al aardig omschreven is door Dirk hierboven. Maar wat het wellicht lastig maakt is dat niet iedereen dergelijke teksten herkend als door AI gegenereerd.