Je levert een essay in waar je weken aan hebt gewerkt, en een paar dagen later krijg je een mail. Volgens een AI-check zou je tekst door ChatGPT geschreven zijn. Dat overkomt steeds meer studenten, nu docenten en examencommissies vaker detectietools gebruiken. Hoe betrouwbaar zijn die tools eigenlijk? NU.nl zette het op 11 oktober op een rij, met als conclusie dat zo’n check vaak klopt, maar op zichzelf geen bewijs is. Wat betekent dat als jij wordt verdacht?
Hoe een AI-check werkt
De bekendste tool op dit moment is Pangram. De Volkskrant gebruikte hem onlangs om te laten zien dat berichten van premier Rob Jetten met hulp van AI waren geschreven. Pangram zoekt naar patronen die vaak in AI-teksten voorkomen, zoals voorspelbare woordkeuzes en een herkenbare zinsbouw. Op basis daarvan berekent de tool hoe waarschijnlijk het is dat een tekst door AI is geschreven, en dat getal verschijnt als percentage.
Belangrijk om te snappen is dat het dus een kans is, geen vaststelling. De tool ziet niet wie er achter het toetsenbord zat. Hij ziet alleen of jouw zinnen lijken op zinnen die een taalmodel ook zou maken.
Eerder schreven we over het onzichtbare watermerk dat OpenAI in ChatGPT-teksten stopt. Dat is een ander middel. Een watermerk zit in de tekst zelf, een detectietool raadt op basis van stijl. Juist dat raden maakt het verschil als je ten onrechte wordt beschuldigd.
Hoe vaak zit zo’n check ernaast?
Niet vaak, zegt AI-lector Stefan Leijnen van de Hogeschool Utrecht tegen NU.nl. Vooral bij langere teksten heeft Pangram meestal gelijk. Maar nooit voor honderd procent. Pangram zegt zelf dat 0,0041 procent van de gecheckte teksten niet klopt. Dat klinkt als bijna niets, maar bij miljoenen checks zijn dat nog steeds honderden teksten die onterecht als AI worden aangemerkt, rekent Leijnen voor. Zijn oordeel is duidelijk. In een rechtszaal zou de uitkomst van alleen Pangram geen stand moeten houden.
Er zijn ook situaties waarin de score minder zegt dan hij lijkt. Gebruik je AI om een zin te verbeteren of een lastige term uit te leggen, dan verwatert de score, schrijft NU.nl. En wie toevallig woorden kiest die een taalmodel ook zou kiezen, heeft de schijn tegen. Dat overkwam de Franse schrijver Thélyson Orélien, die van de longlist van een boekenprijs werd gehaald na een hoge Pangram-score, terwijl hij volhoudt dat hij alles zelf schreef.
Techniekfilosoof Joris Krijger wijst op de grootste blinde vlek. Een detector kan niet zien of het oorspronkelijke idee van de schrijver zelf komt. En dat is precies wat een docent wil weten.
Wat je doet als je wordt verdacht
Blijf rustig, en zie de mail als het begin van een gesprek, niet als een vonnis. Een melding van een docent gaat bij de meeste opleidingen naar de examencommissie, die beslist of er sprake is van fraude. Jij hebt het recht om gehoord te worden voordat er een besluit valt.
- Vraag waar de verdenking op is gebaseerd. Is het alleen een percentage uit een tool, of zijn er andere aanwijzingen? Vraag om de uitslag op papier en welke tool is gebruikt.
- Zoek de regels van je opleiding op. Kijk in de onderwijs- en examenregeling en de fraudeprocedure wat er over AI staat. Mocht je AI gebruiken voor spellingscontrole of brainstormen? Dan maakt dat uit voor je verdediging.
- Verzamel je werkproces. Daarover hieronder meer, want dit is je sterkste bewijs.
- Bied aan om je werk mondeling toe te lichten. Wie zijn eigen tekst kan uitleggen, de keuzes kan verdedigen en de bronnen kent, laat zien dat hij hem zelf heeft geschreven.
- Neem iemand mee. Een studentendecaan, vertrouwenspersoon of iemand van de studentenraad kan je helpen en meelezen.
Krijg je toch een sanctie die je onterecht vindt, dan kun je in beroep. Hoe dat werkt bij het College van Beroep voor de Examens, lees je in ons stuk over bezwaar maken tegen een cijfer.
Zo toon je aan dat je het zelf schreef
Het beste moment om je te verdedigen, is voordat er iets aan de hand is. Wie zijn werkproces bewaart, kan later laten zien hoe een tekst is gegroeid.
- Versiegeschiedenis. Schrijf in Google Docs of in Word met automatisch opslaan in de cloud. Daar zie je per versie wat er is veranderd en wanneer. Een tekst die in één keer verschijnt, is verdachter dan een tekst die over weken is gegroeid.
- Aantekeningen en kladversies. Bewaar je mindmap, je opzet, je eerste ruwe versie. Ook foto’s van aantekeningen op papier tellen mee.
- Bronnenlijst met data. Houd bij welke artikelen je wanneer las. Een geschiedenis in je literatuurprogramma of browser helpt ook.
- Feedback van anderen. Mails met je begeleider of opmerkingen van een medestudent laten zien dat je tekst een proces doorliep.
- Wees open over AI-gebruik. Gebruikte je wel AI, bijvoorbeeld voor een spellingscheck of om een begrip te snappen, en mag dat bij jouw opleiding? Zet het dan zelf in een korte verantwoording. Dat wekt meer vertrouwen dan zwijgen.
Wat je hier uit meeneemt
Een AI-check is een signaal, geen bewijs. Een docent mag hem gebruiken als reden om vragen te stellen, maar een sanctie alleen op basis van een percentage staat zwak. Wij raden iedere student aan om vanaf vandaag zijn werkproces te bewaren, ook als je nergens van wordt verdacht. Het kost je bijna niets, en als die mail ooit komt, heb je meteen iets in handen.
