OpenAI gebruiken tijdens programmeerassessment: Verstandig?

[Ralfefernandes1]

Hallo Tweakers,

Ik ben geconfronteerd met een interessant vraagstuk en ik zou graag jullie gedachten en advies willen horen.

Tijdens het solliciteren voor een backend developer functie, heb ik een programmeerassessment moeten afleggen. Ik heb in dit proces niet gebruik gemaakt van OpenAI, maar de vraag is in me opgekomen: zou het verstandig, of zelfs ethisch, zijn om gebruik te maken van AI-hulpmiddelen zoals OpenAI tijdens dergelijke assessments?

Aan de ene kant kunnen tools zoals OpenAI nuttig zijn om je denkproces te stimuleren en nieuwe oplossingen voor problemen te vinden. Ze kunnen helpen om efficiënter te werken en misschien zelfs betere code te schrijven.

Aan de andere kant vraag ik me af of het gebruik van deze tools als oneerlijk zou kunnen worden beschouwd. Zou het kunnen dat het gebruik ervan de daadwerkelijke programmeervaardigheden en het probleemoplossend vermogen van een kandidaat verdoezelt?

Ik ben benieuwd naar jullie meningen hierover. Wat zijn jullie gedachten over het gebruik van AI-hulpmiddelen zoals OpenAI in programmeerassessments?

Bedankt,
Fernando

[CyBeRSPiN]

Ik zou beide doen om aan te tonen dat je het zelf kan, maar ook aangeeft de laatste ontwikkelingen omtrent AI te volgen, en dus open bent over het gebruik van AI.
Voor mijn werkgever is het een absolute no-go overigens, omdat van deze tools onduidelijk is op basis van welke bronnen er geleerd is. Kan licentie/copyright issues opleveren.
Ook voldoet gegenereerde code vaak niet aan secure coding standards.

[ Voor 5% gewijzigd door CyBeRSPiN op 26-05-2023 08:25 ]

[CornermanNL]

CyBeRSPiN schreef op vrijdag 26 mei 2023 @ 08:25:
Ik zou beide doen om aan te tonen dat je het zelf kan, maar ook aangeeft de laatste ontwikkelingen omtrent AI te volgen, en dus open bent over het gebruik van AI.
Voor mijn werkgever is het een absolute no-go overigens, omdat van deze tools onduidelijk is op basis van welke bronnen er geleerd is. Kan licentie/copyright issues opleveren.
Ook voldoet gegenereerde code vaak niet aan secure coding standards.

In hoeverre is het anders dan op een forum, in een boek of elders een oplossing zoeken voor een probleem en dat als inspiratie gebruiken voor je eigen oplossing. Blind copy pasten is nooit een goede oplossing geweest immers.

Beetje onzin om te stellen dat OpenAI hierin anders is. Behalve dat het wat sneller kan zijn en je gerichter door kan vragen.

Er zijn maar weinig programmeurs die alles altijd paraat hebben en nooit eens iets opzoeken.

[CyBeRSPiN]

CornermanNL schreef op vrijdag 26 mei 2023 @ 08:39:
[...]


In hoeverre is het anders dan op een forum, in een boek of elders een oplossing zoeken voor een probleem en dat als inspiratie gebruiken voor je eigen oplossing. Blind copy pasten is nooit een goede oplossing geweest immers.

Beetje onzin om te stellen dat OpenAI hierin anders is. Behalve dat het wat sneller kan zijn en je gerichter door kan vragen.

Er zijn maar weinig programmeurs die alles altijd paraat hebben en nooit eens iets opzoeken.

Iets opzoeken vereist ook skills, zoekresultaten interpreteren, waarderen.
Een AI tool is tegenwoordig zo goed dat het een compleet project kan genereren, dus zo'n onzin vind ik dat niet om te stellen dat het toch echt van een andere orde is. Het is niet "wat sneller", afhankelijk van de opdracht kan het uren/dagen schelen.
Maar idd, als je aan kan tonen dat het AI-gegenereerde project 100% juist is dan is dat ook wat waard. Dan heb je de skills om eigen werk te testen tov de specificaties

[ Voor 13% gewijzigd door CyBeRSPiN op 26-05-2023 08:48 ]

[Woy]

Ik zie niet in waarom het niet goed zou zijn. Het wordt gewoon onderdeel van het werk, dus je kunt de tools die er zijn beter gewoon gebruiken. Het is daarbij natuurlijk wel belangrijk dat je snapt wat er gebeurt, en de juiste prompts gebruikt. Je zult immers ook het resultaat nog moeten kunnen verklaren en aangeven waar de mogelijke problemen nog zitten.

[Sissors]

CornermanNL schreef op vrijdag 26 mei 2023 @ 08:39:
[...]


In hoeverre is het anders dan op een forum, in een boek of elders een oplossing zoeken voor een probleem en dat als inspiratie gebruiken voor je eigen oplossing.

Omdat je dan data naar de AI stuurt, en veel grotere bedrijven zitten daar niet op te wachten.

Dat gezegd hebbende zie ik voor zoiets niet direct een probleem, zolang je het als ondersteuning gebruikt. Als ze vragen dan waarom je regel 48 op die manier hebt gedaan, en je enige antwoord is: "Dat zei de AI", tja.

[Ralfefernandes1]

Sissors schreef op vrijdag 26 mei 2023 @ 09:17:
[...]

Omdat je dan data naar de AI stuurt, en veel grotere bedrijven zitten daar niet op te wachten.

Dat gezegd hebbende zie ik voor zoiets niet direct een probleem, zolang je het als ondersteuning gebruikt. Als ze vragen dan waarom je regel 48 op die manier hebt gedaan, en je enige antwoord is: "Dat zei de AI", tja.

Maar je stuurt toch geen data? Je stelt normaalgesproken een vraag hoe je bijvoorbeeld een api van Framework A kan toepassen op Framework B

En als het om data gaat om je werk te testen, dan maak je toch gebruik van fake data?

[ Voor 7% gewijzigd door Ralfefernandes1 op 26-05-2023 09:21 ]

[CornermanNL]

Uiteindelijk is het bedenken van de oplossing en begrijpen hoe je keuzes tot stand zijn gekomen belangrijker dan de code an sich.

Het typen van de code is dat het uitwerken ervan, uiteraard hebben we dan bij voorkeur mooie code die de beste oplossing is voor het probleem.

En dan kan AI best een aardige start geven aan het saaie deel ervan.

Maar het belangrijkste blijft het begrijpen waarom je iets doet, ook wel zo handig voor de toekomst ivm veranderingen en onderhoud 😉

Het klakkeloos overtypen van gevonden stukjes code zonder het echt te begrijpen is nooit goede reclame.

[Hydra]

Hoe je aan de informatie komt is niet zo belangrijk. Wat wel belangrijk is, is dat je zelf tot een oplossing komt. Anders ga je nogal snel nat als je de oplossing niet uit kunt leggen. En dat zie je nu ook al, bij mensen die gewoon bestaande oplossingen vanaf het internet copy-pasten.

[Azer]

Het ligt eraan hoe je het gebruikt. Neem jij klakkeloos de voorgestelde oplossing van het AI platform over? Of gebruik je AI om advies te vragen of voorbeeldcode te genereren die je vervolgens je eigen maakt? Het tweede is wenselijk, het eerste niet.

Gebruik AI om je oplossing te verfijnen of repeterende taken te automatiseren. Gebruikt het niet om code te genereren die je zelf niet snapt. Als bedrijf wil je niet dat je modules of classes in de codebase hebt die gegenereert zijn door een AI, maar niet onderhouden kunnen worden door mensen.

[Sissors]

Ralfefernandes1 schreef op vrijdag 26 mei 2023 @ 09:20:
[...]


Maar je stuurt toch geen data? Je stelt normaalgesproken een vraag hoe je bijvoorbeeld een api van Framework A kan toepassen op Framework B

En als het om data gaat om je werk te testen, dan maak je toch gebruik van fake data?

Dan stuur je toch de data dat jij bezig bent met Framework A op Framework B toepassen?

En is de data dat jij wil weten hoe je een script schrijft om priem getallen te berekenen, tja dat is niet zo gevoelig. Is de data dat jij een Samsung engineer bent (gebaseerd op je IP adres), en dat je wil weten hoe je een probleem met ECG meten via een smartwatch kan oplossen, dan is dat natuurlijk dingen waarvan je als bedrijf niet wil dat het bij random andere bedrijven ligt waar geen NDA mee is afgesproken.

Ik denk dat het allemaal niet zo spannend is voor kleine bedrijven, OpenAI gaat echt niet informatie over een kleine IT'er die ondersteuning levert voor webshops in Nederland doorspelen. Maar ik vermoed dat er ondertussen zo goed als geen één groot tech bedrijf is die het toestaat dat je werk gerelateerde vragen aan ChatGPT stelt.

[CVTTPD2DQ]

ChatGPT werkt goed voor zaken waar veel openbare documentatie voor is. Je moet vooral bij jezelf te rade gaan: als ChatGPT echt dingen kan die je niet binnen vijftien minuten zelf had kunnen uitzoeken, ben je waarschijnlijk niet geschikt voor de functie.

Vooral omdat je in de praktijk vrijwel nooit met zo'n perfect gedocumenteerd framework werkt waar een miljoen tutorials over te vinden zijn, maar met eoa. intern systeem dat vijf jaar geleden is achtergelaten door je collega.

[mannowlahn]

CVTTPD2DQ schreef op vrijdag 26 mei 2023 @ 11:22:
ChatGPT werkt goed voor zaken waar veel openbare documentatie voor is. Je moet vooral bij jezelf te rade gaan: als ChatGPT echt dingen kan die je niet binnen vijftien minuten zelf had kunnen uitzoeken, ben je waarschijnlijk niet geschikt voor de functie.

Vooral omdat je in de praktijk vrijwel nooit met zo'n perfect gedocumenteerd framework werkt waar een miljoen tutorials over te vinden zijn, maar met eoa. intern systeem dat vijf jaar geleden is achtergelaten door je collega.

Dat is een beetje flauw. Die assessments zijn vaak veels te groot, ben je zo een paar uur mee bezig. Als chatgpt alvast de meuk voor je doet scheelt dat een hoop. bv unit testen schrijven en alvast het meerendeel schrijven. De logica doe je zelf en hoe je je solution inricht ook. Daar kijkt me ook vaak naar.

Op zich wel grappig het is allemaal vrij zwart wit, of mensen die het omarmen of anderen die alleen maar er tegen aan trappen. je moet weten hoe je chatgpt gebruitk en wat je zelf moet valideren. maar ik verwacht eigenlijk wel van developers dat ze inmiddels weten hoe ze chatgpt moeten integreren in hun workflow.

[CVTTPD2DQ]

mannowlahn schreef op vrijdag 26 mei 2023 @ 12:26:
Dat is een beetje flauw. Die assessments zijn vaak veels te groot, ben je zo een paar uur mee bezig. Als chatgpt alvast de meuk voor je doet scheelt dat een hoop. bv unit testen schrijven en alvast het meerendeel schrijven. De logica doe je zelf en hoe je je solution inricht ook. Daar kijkt me ook vaak naar.

Zoals ik al zei, als je het gebruikt om jezelf tijd te besparen is het prima. Op het moment dat ChatGPT dingen doet die je boven de pet gaan ben je jezelf aan het bedriegen.

Verder zou ik voor een stuk productiecode unit tests juist niet aan ChatGPT overlaten, maar voor een assessment kan ik het wel begrijpen.

Om maar even een zijstraat in te gaan: ChatGPT kan veel beter Vietnamees schrijven dan ik. Op het moment dat ik ChatGPT zou gebruiken om te solliciteren op een vacature als vertaler Vietnamees ben ik de boel aan het flessen. Want ik kan namelijk niet eens beoordelen of de output van ChatGPT iets betekent.

[mannowlahn]

CVTTPD2DQ schreef op vrijdag 26 mei 2023 @ 12:47:
[...]


Zoals ik al zei, als je het gebruikt om jezelf tijd te besparen is het prima. Op het moment dat ChatGPT dingen doet die je boven de pet gaan ben je jezelf aan het bedriegen.

Verder zou ik voor een stuk productiecode unit tests juist niet aan ChatGPT overlaten, maar voor een assessment kan ik het wel begrijpen.

Om maar even een zijstraat in te gaan: ChatGPT kan veel beter Vietnamees schrijven dan ik. Op het moment dat ik ChatGPT zou gebruiken om te solliciteren op een vacature als vertaler Vietnamees ben ik de boel aan het flessen. Want ik kan namelijk niet eens beoordelen of de output van ChatGPT iets betekent.

Dan zou ik idd niet op Vietnamese vacatures solliciteren idd.

Maar in principe is chatgpt niet veel anders dan stackoverflow. Zolang je kan beargumenteren en valideren is het een perfecte tool om je workflow te versnellen. Daar is niks mis mee en verwacht wel dat developers dit beheersen. Iemand die het wiel self gaat uitvinden heb je ook niks aan.

En unit testen zijn niet environment specifiek? Je kan prima door die testen heenlopen. Los daarvan ik mag hopen dat je collega’s ook je werk valideren met pull requests. Dus dit is een non argument imho l.

[CVTTPD2DQ]

mannowlahn schreef op vrijdag 26 mei 2023 @ 12:56:
En unit testen zijn niet environment specifiek? Je kan prima door die testen heenlopen. Los daarvan ik mag hopen dat je collega’s ook je werk valideren met pull requests. Dus dit is een non argument imho l.

Unit tests horen juist te testen of de code aansluit op de functionele specificatie/verwachtingen. ChatGPT kan dat fundamenteel niet, en zelf de code controleren die door ChatGPT gecontroleerd wordt is kwalitatief niet hetzelfde als code die door twee onafhankelijke personen gereviewd wordt.

En daarom vind ik dat voor een assessment wat minder kwalijk; de output van een assessment zal bij de meeste bedrijven in het ronde archief verdwijnen, en nooit als productierijpe code worden uitgerold.

[Sito]

Lijkt me niet handig om te doen. Je houdt jezelf echt voor de gek.

Om je vaardigheden met AI te laten zien, zou je ChatGPT kunnen gebruiken om code voor een deel van het assessment te laten uitspugen, om vervolgens alle fouten eruit te halen. Je zou ook een voorbeeld kunnen aanhalen waarin het wél gebruikt kan worden, bijvoorbeeld een POCO genereren op basis van de response van een API.

[Davidshadow13]

Ik zit aan de andere kant. Ik ben bij ons bedrijf verantwoordelijk voor de assessment opdrachten.

Wij hebben als standpunt ingenomen dat je prima AI tools zoals Co-Pilot, ChatGPT, Bard e.d. mag gebruiken. Dit staat expliciet in de opdracht.

Omdat dit in weze gewoon productivity tools zijn net zoals de IDE met extensions die de boilerplate voor je doet. Uiteindelijk moet de kandidaat een oplossing uitleggen en vraagt de assessor waarom voor een bepaalde oplossing is gekozen en niet voor een andere. Dan haal je de copy-paste gevallen er snel uit of dit nu via StackOverflow of ChatGPT is gegenereerd.

[D4NG3R]

Het mooie van tools als ChatGPT is dat je er snel wat boilerplate-achtige meuk mee kan genereren en mee kan sparren. Het zal echter sterk verschillen per assessment/assessor of het gebruik ervan gewaardeerd wordt, dat is een mooi iets om eigenlijk vooraf bij het sollicitatiegesprek al achter te komen.

Het scheelt gewoon tijd om zulk soort meuk bijvoorbeeld niet uit te hoeven tikken:


Het zou niks meer of minder moeten zijn dan een stuk gereedschap in je beschikbare gereedschapskist, maar daar moet je de assessor wel van (kunnen) overtuigen. Net zoals dat je je assessor van de rest van je denk/werkprocess moet overtuigen.

[ Voor 10% gewijzigd door D4NG3R op 26-05-2023 14:31 ]

[eric.1]

Lijkt me weinig uitmaken eerlijk gezegd. De assessments die ik heb gedaan gaan eigenlijk amper over wat je precies als output genereert, maar hoe en waarom. Als je dat niet kan uitleggen of als je geen verbeterpunten weet te herkennen of bugs weet te constateren en er niet on-the-fly een oplossing voor weet te bedenken - dan zou je toch niet zo ver komen in het process.

Dus ja, het gaat er gewoon over of je snapt wat je doet. En dat kan best mét behulp van AI.

[Orangelights23]

CVTTPD2DQ schreef op vrijdag 26 mei 2023 @ 11:22:
ChatGPT werkt goed voor zaken waar veel openbare documentatie voor is. Je moet vooral bij jezelf te rade gaan: als ChatGPT echt dingen kan die je niet binnen vijftien minuten zelf had kunnen uitzoeken, ben je waarschijnlijk niet geschikt voor de functie.

Vooral omdat je in de praktijk vrijwel nooit met zo'n perfect gedocumenteerd framework werkt waar een miljoen tutorials over te vinden zijn, maar met eoa. intern systeem dat vijf jaar geleden is achtergelaten door je collega.

Daarmee kijk je naar slechte 5% van de use cases. Ik gebruik het voor het schrijven van rapporten, uitvoeren van analyses, structureren en labelen van data, en ga zo maar verder. Het gaat veel en veel verder dan iets oplossen wat je zelf binnen 15 minuten zou kunnen doen.

Binnen mijn organisatie (zit zelf in de security) hebben we in enkele pocs al tientallen uren bespaard. Per persoon (in een maand tijd). En ik werk met de besten in dit vak, zware seniors, waarbij we rapporteren aan aardig wat autoriteiten in verschillende landen. Deze technologie is onwijs sterk en het gaat, nogmaals, veel en veel verder dan alleen zaken waar documentatie voor beschikbaar is.

[CVTTPD2DQ]

Orangelights23 schreef op vrijdag 26 mei 2023 @ 16:31:
Binnen mijn organisatie (zit zelf in de security) hebben we in enkele pocs al tientallen uren bespaard. Per persoon (in een maand tijd). En ik werk met de besten in dit vak, zware seniors, waarbij we rapporteren aan aardig wat autoriteiten in verschillende landen.

Dat is goed mogelijk. Medewerkers van toezichthouders geven geen Syntax error on line 53; missing '(' als er ergens een komma of punt verkeerd staat, of als je opsomming van de top drie problemen ineens vier items lang is. ChatGPT is ontworpen om door mensen geschreven tekst na te bootsen, en mensen zijn vergevingsgezind en weinig precies.

Als programmeur werk je de andere kant op. Onbeduidende fouten, kleine inconsistenties en begrijpelijke omissies worden door de machine meedogenloos afgestraft. Maakt niet uit of je een "Zware senior" bent, of "de beste in je vak" (dat soort dingen kun je toch niet met droge ogen over jezelf en je collega's zeggen?) Aandacht maakt echt alle verschil tussen iets wat jarenlang foutloos werkt en spul wat eindeloos handmatig beheer, aanpassingen en onderhoud nodig heeft.

En precies aandacht is wat ChatGPT (nog) niet heeft.

[Division]

Gezien je een assessment hebt gedaan ga ik er even vanuit dat het een junior rol is, en daar wordt doorgaans veel waarde gehecht aan snel kunnen leren en experimenteren. Dus als je met dit soort nieuwe tools kan werken, kan je hier achteraf iets over vertellen. Bonuspunten als je ook de risico's kan inschatten.

Persoonlijk sta ik achter de tech, maar zou ik voorzichtig zijn met de belangen achter hun tech. Vaak wordt je input gebruikt voor hun commerciele doeleinden; en dat wil je doorgaans niet. Vaak mag het niet eens van je werkgever/opdrachtgever.

[Ralfefernandes1]

Division schreef op vrijdag 26 mei 2023 @ 17:04:
Gezien je een assessment hebt gedaan ga ik er even vanuit dat het een junior rol is, en daar wordt doorgaans veel waarde gehecht aan snel kunnen leren en experimenteren. Dus als je met dit soort nieuwe tools kan werken, kan je hier achteraf iets over vertellen. Bonuspunten als je ook de risico's kan inschatten.

Persoonlijk sta ik achter de tech, maar zou ik voorzichtig zijn met de belangen achter hun tech. Vaak wordt je input gebruikt voor hun commerciele doeleinden; en dat wil je doorgaans niet. Vaak mag het niet eens van je werkgever/opdrachtgever.

Nee, ik ben geen Junior en ik heb ook geen gebruik van gemaakt

[Orangelights23]

CVTTPD2DQ schreef op vrijdag 26 mei 2023 @ 16:55:
[...]


Dat is goed mogelijk. Medewerkers van toezichthouders geven geen Syntax error on line 53; missing '(' als er ergens een komma of punt verkeerd staat, of als je opsomming van de top drie problemen ineens vier items lang is. ChatGPT is ontworpen om door mensen geschreven tekst na te bootsen, en mensen zijn vergevingsgezind en weinig precies.

Als programmeur werk je de andere kant op. Onbeduidende fouten, kleine inconsistenties en begrijpelijke omissies worden door de machine meedogenloos afgestraft. Maakt niet uit of je een "Zware senior" bent, of "de beste in je vak" (dat soort dingen kun je toch niet met droge ogen over jezelf en je collega's zeggen?) Aandacht maakt echt alle verschil tussen iets wat jarenlang foutloos werkt en spul wat eindeloos handmatig beheer, aanpassingen en onderhoud nodig heeft.

En precies aandacht is wat ChatGPT (nog) niet heeft.

Klopt, er is andere tooling om dat soort fouten te identificeren en deels te repareren. Natuurlijk ontwikkelt veel ook vis de SDD-wijze Stackoverflow Driven Development Ik ben het met je eens hoor, maar omdat eerst werd geschreven dat ChatGPT en andere taalmodellen iets doen wat men in 15 minuten zou kunnen, wilde ik daar graag op reageren.

Wat betreft zware seniors, waarom zou ik dat niet over mijn team kunnen zeggen? Ik neem mensen aan die €200K-€300K per jaar verdienen, als mentor werken voor anderen en presentaties geven over onze prestaties. Ik prijs me gelukkig dat ik zo’n slim team heb, van developers tot aan data scientists. En we zijn ook niet zomaar de eerste de beste organisatie die maar wat doen met de gemiddelde medewerker. Maar goed, we dwalen af

[Gropah]

Ralfefernandes1 schreef op vrijdag 26 mei 2023 @ 09:20:
[...]


Maar je stuurt toch geen data? Je stelt normaalgesproken een vraag hoe je bijvoorbeeld een api van Framework A kan toepassen op Framework B

En als het om data gaat om je werk te testen, dan maak je toch gebruik van fake data?

Naja, dat hangt er vanaf. Als je puur om een algoritme vraagt, dan kan het waarschijnlijk geen kwaad. Maar op het moment dat je om testcases gaat vragen om een bedrijfsproces te valideren, dan ga je dus wel bedrijfsgevoelige info naar zo'n AI sturen. Niet ieder bedrijf is daar ok mee. Ik zou dan ook afhankelijk van of het bedrijf daar ok mee is, zo'n AI wel of niet gebruiken.

[Arator]

CVTTPD2DQ schreef op vrijdag 26 mei 2023 @ 16:55:
[...]


Dat is goed mogelijk. Medewerkers van toezichthouders geven geen Syntax error on line 53; missing '(' als er ergens een komma of punt verkeerd staat, of als je opsomming van de top drie problemen ineens vier items lang is.

Ik was wat aan het spelen met ChatGPT en VBA-code. Ik kreeg een foutmelding, gaf die foutmelding door aan ChatGPT, en die gaf mooi aan wat de oorzaak kon zijn, en stelde een andere code voor.