Anthropic dringt aan op pauze AI-ontwikkeling, waarschuwt voor verlies controle

Het bedrijf achter de Claude-chatbot stelde donderdag in een blogpost voor dat, naarmate geavanceerde AI steeds sneller taken kan uitvoeren, "het goed zou zijn voor de wereld om de mogelijkheid te hebben om" de ontwikkeling ervan "af te remmen of tijdelijk stil te leggen".

Anthropic stelt voor dat zijn interne onderzoeksinstituut het vraagstuk in samenwerking met anderen zal onderzoeken en "maatregelen" zal nemen om systemen voor een geloofwaardige vertraging of pauze op te bouwen, zonder meer specifieke details te geven.

Anthropic-concurrent OpenAI pleitte woensdag voor een ander aanpak in een rapport, stellende dat "democratische regeringen — niet alleen bedrijven die alleenhandig optreden — uiteindelijk de regels, waarborgen en verantwoordingsmechanismen" moeten bepalen.

"Ons standpunt is dat beslissingen over het tempo van AI-innovatie niet aan één lab, bedrijf of belangengroep mogen worden overgelaten", aldus het rapport.

AI-modellen worden sneller, met snelle toenames in hoe snel zij hun eigen taken kunnen uitvoeren, zoals zelfstandig coderen, stelde Anthropic in zijn bericht. Op basis van huidige trends en gegeven voldoende rekenkracht zou een AI-systeem zijn eigen opvolger kunnen ontwerpen en ontwikkelen, in wat bekend staat als "recursive self-improvement".

Zelf-ontwikkelende AI zou een belangrijk technologisch mijlpaal zijn die voordelen in wetenschap, gezondheid en andere gebieden zou brengen, stelde Anthropic, maar het "zou ook de risico's kunnen vergroten dat mensen de controle over AI-systemen verliezen".

Sommige techfiguren waarschuwen al lang voor zo'n scenario.

Anthropic's bericht komt na een ander waarschuwing deze week van een team onderzoekers van de Universiteit van Toronto die aantonen hoe AI-hulpmiddelen kunnen worden gebruikt om een nieuwe soort AI-"worm" te creëren die zijn hack-strategie aanpast terwijl het zich van apparaat tot apparaat verspreidt en een groot computernetwerk overneemt.

"Ik denk dat het echt belangrijk is dat mensen begrijpen dat niet alleen de grootste, krachtigste taalmodellen beveiligingskwesties vormen", zei leidend onderzoeker Nicolas Papernot in een interview.

De auteurs van het Anthropic-bericht, mede-oprichter Jack Clark en Marina Favaro, hoofd van het onderzoeksinstituut, zeiden dat de pauze zou worden gebruikt om "maatschappelijke structuren en alignment-onderzoek" in staat te stellen AI-vooruitgang bij te benen. Alignment is jargon in de industrie voor het waarborgen dat de technologie aansluit op menselijke waarden en intenties.

De voorgestelde coördinatie zou geavanceerde AI-labs in staat stellen te verifiëren dat mondiale concurrenten werkelijk hun werk hebben gestopt of vertraagd, "en dat een slechte speler het voorkomen van een gecoördineerde vertraging niet zou kunnen gebruiken om in het geheim vooruit te gaan".

Het bedrijf zei dat een gecoördineerd mondiaal mechanisme nodig is omdat, zonder dit, een vertraging in AI-ontwikkeling de "minst voorzichtige" spelers zou kunnen laten inhalen en de druk op bedrijven en regeringen zou kunnen vergroten terwijl zij moeilijke keuzes over AI-veiligheid moeten maken.

Angsten dat geavanceerde AI-systemen uit menselijke controle kunnen geraken en maatschappelijke schade kunnen veroorzaken zijn gestegen nu de technologie steeds capabeler wordt. Het Mythos-model van Anthropic zelf zorgde eerder dit jaar voor schokgolven in sectoren, waaronder bancaire en software-diensten, met zijn vermogen om kwetsbaarheden in bestaande code te vinden.

Maar regelgeving is langzaam tot stand gekomen, vooral in de VS, waar de meeste toonaangevende AI-labs gevestigd zijn. Een uitvoeringsorder van de Trump-regering eerder deze week legde de verantwoordelijkheid bij de labs zelf, stellende hen uit om vrijwillig hun meest capabele modellen in te dienen voor overheids-cybersecurity-tests voordat zij openbaar worden vrijgegeven.