Amerika heeft een Pangram-probleem
Vrijwel elke recente bekende beschuldiging van iemand die AI-gegenereerde tekst als eigen werk presenteert, is begonnen op dezelfde manier: met een tool genaamd Pangram. Terwijl paniek over AI-gegenereerde tekst toeneemt, staat Pangram aan de basis.
In maart werd een horrornovel van een groot uitgeverij slechts dagen voor de geplande Amerikaanse release ingetrokken, deels omdat Pangram, een AI-detectieprogramma, de tekst als AI-gegenereerd had aangemerkt. Anderen hebben tekst in Pangram ingevoerd om te suggereren dat chatbots zijn gebruikt om artikelen in grote kranten zoals The New York Times te schrijven, meerdere korte verhalen die een prestigieuze literatuurprijs hebben gewonnen, en onlangs significante delen van paus Leo XIV's encycliek over de gevaren van AI. Het programma wordt ook door universiteiten gebruikt om studentenwerk te controleren en door wetenschappelijke associaties om onderzoeksartikelen te scannen.
Tot voor enkele jaren leek het mogelijk dat het nooit zou lukken om onmiddellijk en betrouwbaar vast te stellen of een tekst door een bot of een persoon was geschreven. In 2023 verklaarde één detectietool, ZeroGPT, de Amerikaanse Constitutie als AI-geschreven; datzelfde jaar beëindigde OpenAI zijn AI-detector vanwege een 'lage nauwkeurigheid'. En dit was toen de schrijfkwaliteit van ChatGPT aanzienlijk slechter was dan nu. Maar detectietools zijn recentelijk veel beter geworden—en Pangram in het bijzonder is naar voren gekomen als de gouden standaard: plak een stuk tekst in Pangram en het model bepaalt welke delen 'AI Generated', 'AI Assisted' of 'Human Written' waren.
Toch kan een AI-detector die meestal betrouwbaar is, op sommige manieren gevaarlijker zijn dan een kapotte. Terwijl Pangram de macht accumuleert om reputaties en carrières te beëindigen, maakt het programma fouten, mogelijk in grotere mate dan momenteel wordt begrepen. AI-beschuldigingen zouden zeer snel kunnen escaleren in een heksenjacht.
Pangram zegt dat zijn algoritme zo nauwkeurig is dat het tekst slechts ongeveer eenmaal per 10.000 keer onjuist als AI-uitvoer aanmerkt. 'Er is een grote verantwoordelijkheid, een enorm gewicht in het zeggen dat iets AI-gegenereerd is,' zei Max Spero, CEO van Pangram, tegen mij. 'De enige reden dat wij dit doen is omdat we extreem zeker zijn.' Verschillende onafhankelijke analyses hebben ook bevestigd dat het erg goed werkt. Één onderzoek van de Universiteit van Chicago vond dat Pangram op ongeveer 3.000 voorbeeldteksten van ongeveer 500 tot 1.000 woorden vrijwel geen valse positieven had.
Maar Pangramms vermogen om te garanderen dat iets door een mens is geschreven, is wankeler. Spero wees mij op een test die aantoont dat Pangramms onwaar-negativiteit, of hoe vaak het model tekst onjuist als menselijk aanmerkt, dichter bij eenmaal per 70 ligt (hoewel sommige andere evaluaties zeggen dat het nauwkeuriger is).
Een deel van het probleem is dat Pangram in een wapenrace verwikkeld is met de grote AI-labs, die belang hebben bij het maken van het schrijven van ChatGPT en Claude zo natuurlijk en menselijk mogelijk. En tegelijkertijd moet Pangram omgaan met AI-'humanizers'—programma's ontworpen om AI-tekst expliciet te vermommen als je eigen werk. Reddit-gebruikers zweren bij een humanizer genaamd Walter Writes AI, die ik besloot zelf te testen. Ik liet ChatGPT en Claude korte artikelen schrijven en plakte ze vervolgens in Walter Writes AI. Het programma, zoals andere humanizer-tools, doet wat verzachtende herformulering, vervangt één onhandig transisieclausule voor een ander, en introduceert grammaticale vreemdigheden.
