Met een essay op zijn eigen site riep Anthropic-topman Dario Amodei op 12 september de sector op het tempo van AI-ontwikkeling te verlagen. In CBS Sunday Morning zei hij het afgelopen weekend: "It doesn't mean we need to panic today. It doesn't mean we need to shut it all down." Zijn plan heeft drie stappen.

Stap één heet Embedded Evaluators. Externe evaluatoren zoals het onderzoeksinstituut METR krijgen permanent werknemersachtige toegang tot systemen, trainingspijplijnen en processen, en mogen publiceren zonder redactionele controle. Daarover schrijft Amodei: "Anthropic is unilaterally committing to this step now." Stap twee, Democratic Coordination, vraagt dat frontier-bedrijven in democratische landen samen veiligheidsstandaarden afspreken en "limits on the rate of unchecked AI progress". Stap drie probeert hetzelfde met autoritaire regeringen. Het vertragen zelf zit in stap twee en drie, en die vereisen volgens de tekst industriebrede coördinatie en mogelijk steun van de overheid, omdat de mededingingswetgeving zulke afspraken anders in de weg staat.

Gevangenendilemma

Sam Altman reageerde dezelfde dag op X: "I agree with Dario that we need to pace the frontier. This has been a primary topic of discussions we've had at OpenAI in recent weeks." En dan het concrete: "Committing to having independent evaluators with employee-like access is a great idea, and we will do the same." Elon Musk hield het op drie woorden: "Dario is right." Instemming met de gedachte dus, en een toezegging op stap één. Over de standaarden en de limieten uit stap twee zeiden Altman noch Musk iets.

Jeroen Lemaire, medeoprichter en CEO van het Gentse technologiebedrijf In The Pocket, gaf er vanmorgen in de podcast De 7 van De Tijd een naam aan: een gevangenendilemma. In die denkoefening is samenwerken duur en verraden goedkoop, en het evenwicht is dat allebei verraden. Het vakje waar ze allebei samenwerken vraagt iets wat tussen deze drie bedrijven niet bestaat: vertrouwen dat de concurrent zich ook werkelijk inhoudt, ook wanneer niemand kijkt. Dat heeft in het geval van Anthropic en OpenAI niet enkel met gebrek aan vertrouwen in elkaar te maken, maar ook omdat ze niet in een vacuüm ageren. Wie vertraagt, verliest de markt, en dan loopt China met het been weg. Daar zit de logica van stap één. Externe evaluatoren vervangen dat vertrouwen door iemand die kan nagaan of de ander zich houdt aan wat hij belooft, en Amodei ziet die stap zelf als een aanzet. In het interview zegt hij dat elke stap moeilijker is dan de vorige, en dat Anthropic met de eerste "getting the ball rolling" was.

De risico's zijn volgens Lemaire reëel maar de nadelen onzeker, terwijl de voordelen van innovatie vaststaan. Objectief zou afremmen beter zijn, maar de kans dat één van beide het werkelijk doet is klein. Hij verwacht dat ze doorduwen tot er een echte catastrofe gebeurt, en dat er pas daarna draagvlak komt voor een internationaal akkoord met een controleorgaan zoals de nucleaire sector dat kent. Dat kan jaren duren.

Over dat marktverlies zijn Lemaire en Amodei het oneens. Een gecoördineerde pacing geeft ontwikkelaars volgens het essay de tijd voor het veiligheidswerk "without sacrificing commercial advantage or the United States' lead in AI". Elders in datzelfde stuk bouwt hij de uitweg wel zelf in: "Pacing within democracies will be limited by the lead that US companies have over authoritarian regimes, chiefly the Chinese Communist Party. If we slow down by more than this amount, then (unpaced) CCP-associated projects will pull ahead." In een televisie-interview van hetzelfde weekend zei hij het nog directer: "If we go too slow, I still believe that the wrong people will be in charge of the technology." Het plan leunt op die clausule. Vertragen mag tot aan de voorsprong op China, en verder niet. Dit lijkt utopisch aangezien niemand ooit zal weten hoe groot die voorsprong nog bedraagt.

Toezicht à la 2008

Toezicht toelaten kost een geheimhoudingsverklaring en het risico op een vervelend rapport, maar het kost geen enkele dag vertraging. Een limiet op het tempo kost marktaandeel, en dat is de stap waar niemand zijn naam onder zal zetten.

Eén bedrijf is intussen wel aantoonbaar op de rem gaan staan, en daar ging geen essay aan vooraf. Na het agentincident bij Hugging Face legde OpenAI in juli de training en inference van het betrokken model stil en voerde het een regel in waarbij een zwaar alarm het werk pauzeert tenzij iemand binnen het half uur aantoont dat het vals is. In de opvolgpost van het bedrijf staat wat dat kostte: "our largest planned frontier RL run remains on hold while we conduct smaller-scale training and evaluations."

Amodei haalt voor zijn evaluatoren een eigen precedent aan, en het is niet de nucleaire sector waar Lemaire aan denkt. In het interview vergelijkt hij ze met de supervisors in het bankentoezicht: mensen die onafhankelijk zijn van het bedrijf en er dag na dag binnen zitten om de praktijken na te kijken. Dat toezicht kwam er na crises, en de zwaarste lagen na 2008.

Reactie Trump

Eén dag na het essay verwierp Donald Trump de oproep. Op zijn golfresort in het Ierse Doonbeg zei hij op 13 september volgens de nieuwszender Al Jazeera dat er guardrails kunnen komen, maar dat er negatieve krachten achter de oproep zitten. Over de Amerikaanse voorsprong: "whoever wins AI wins", en "frankly, I want to keep it that way".

Amodei vraagt van de overheid intussen veel minder dan regelgeving. In het interview legt hij het uit: het tempo van modelreleases is commerciële activiteit, en om daarover direct te coördineren hebben bedrijven de overheid aan tafel nodig, zodat iemand kan vaststellen dat het geen kartelvorming is. "The government can make sure that we're not doing anything nefarious from the perspective of antitrust and collusion." Dat is de vraag die één dag later in Doonbeg is afgewezen.

Uit een gevangenendilemma raak je op één manier: iemand van buiten die verraad bestraft en afspraken kan verifiëren. Amodei vroeg de kleinste versie daarvan, een overheid die aan de tafel komt zitten. Dat is de deur die dit weekend al dicht bleek.

Chantage

Alex Karp, topman van het Amerikaanse softwarebedrijf Palantir, dat AI en software levert aan het defensie- en inlichtingenapparaat, legde in een Squawk-interview op de zakenzender CNBC uit waarom pauzeren volgens hem niet kan: "If we didn't have the adversaries we'd have, I would be very in favor of pausing this technology completely, but we do." Stoppen geeft volgens hem een structureel voordeel weg, en hij verwacht dat AI een bonanza wordt voor de Amerikaanse economie. Karp zou dus willen pauzeren en doet het niet, om exact de reden die het vakje met wederzijdse samenwerking leeg houdt.

David Sacks, tot voor kort de AI-verantwoordelijke in het Witte Huis, vindt dat de industrie zelf kan vertragen wanneer ze dat wil. Over de koppeling met regelgeving zegt hij: "Demanding your preferred regulatory framework as the price of that will look like blackmail of the public." Voor dat standpunt pleit het voorbeeld van OpenAI, dat zijn grootste geplande run stillegde zonder dat een wet het vroeg. Alleen zat er een aanleiding voor: agents hadden beheerdersrechten gekregen op een productiecluster, en bij een andere partij moest een kerncluster gewist en heropgebouwd worden. Over stap twee en drie zei Amodei in het interview: "we may not succeed. And so my proposal is a proposal that we should try."

Afgelopen weekend is dus niet het moment waarop de sector besloot te vertragen. Drie bedrijven zeiden ja tegen toezicht, niemand tegen een limiet, de president sloot de dag erna de enige route naar die limiet af, en de limiet zelf hangt aan een voorsprong die niemand kan meten. Er is tot nu toe één trainingsrun werkelijk stilgelegd, die van OpenAI, en dat gebeurde na schade.