Greg Brockman sloot de lancering van GPT-6 Astra op 3 september af met "welcome to the AGI era". Zakenkrant De Tijd bracht het een dag later, met VUB-professor Vincent Ginis erbij. Volgens hem kan je in de tests van de AI-industrie bijna geen opgave meer verzinnen die een mens wel afkrijgt en een AI niet.

Op de lanceringspagina van OpenAI staat gewoon kantoorwerk waar Astra niet doorkomt. Wat mensen op diezelfde taken halen, heeft niemand gemeten.

Vier op de tien

Het automatiseringsbedrijf Zapier zet modellen aan echt werk. Een offerte opvolgen in het CRM, een klant antwoorden, een dossier bijwerken, een nieuwe medewerker aanmaken. Zapier telt alleen mee wat volledig correct is afgewerkt.

Astra haalt 41,4 procent, tegenover 18,1 voor de vorige generatie. Een bedrijf dat zegt in de buurt van AGI te zitten, werkt dus nog geen helft van de doodgewone kantoortaken zelfstandig af.

Tussenstappen

Het cijfer dat wel rondging was 72,6 procent, op een test met 108 workflows die menselijke testers alle 108 afkregen. Dat cijfer telt tussenstappen. OpenAI zet het er in de voetnoot bij.

Het team dat die test bouwde gaf voor het beste model van dat moment allebei de getallen: ruim de helft van de tussenstappen goed, en amper één opdracht op vijf helemaal af. Voor Astra staat dat tweede getal er niet.

Diezelfde onderzoekers zagen modellen halverwege een lange opdracht informatie verliezen en doorklikken op een scherm dat intussen veranderd was. Elk getest model besteedde minder dan zeven procent van zijn stappenbudget aan het opsporen en herstellen van eigen fouten.

Headless

Astra haalt wel 95,9 procent op een test waarin het industriële onderdelen tekent door er code voor te schrijven. Diezelfde week ging een clip rond waarin het een woning nabouwt in Blender. Ontwikkelaar Yunfan Ye zette zijn prompt erbij, en die begint met "use blender headless". Er kwam geen muis aan te pas: het model schreef een script en liet dat renderen.

Een transcriptie leg je naast de opname, een vertaling laat je terugvertalen, een boeking laat je aansluiten op een saldo. Code loopt of ze loopt niet, en een computer zegt het meteen. Een offerte in uw CRM staat verkeerd zonder dat iemand het merkt.

De rekening van het nakijken

Een model dat vier op de tien opdrachten correct afwerkt en niet aangeeft welke vier, dwingt u om er tien na te kijken.

Bij een formule in een spreadsheet kost dat bijna niets, want u ziet de uitkomst meteen. Bij de vraag of een offerte correct is opgevolgd bij een bepaalde klant moet iemand reconstrueren wat er had moeten gebeuren, en dat kost bijna evenveel als het werk doen. Wat nakijken in uw processen kost, heeft OpenAI niet gemeten en Zapier evenmin.

De rekening ligt daarmee bij de eigenaar van het procesbudget en niet bij de IT-afdeling die de licenties tekent.

Maandag

Ginis heeft het over wat een model kan. Zapier meet of het werk af raakt. Een model kan een taak in principe beheersen en er toch op stuklopen omdat het halverwege de draad kwijtraakt, en voor wie het werk buiten moet zien gaan telt alleen het tweede.

Astra ging in één generatie van 18,1 naar 41,4 procent, en op die curve wachten is een verdedigbare keuze. Benchmarksite Artificial Analysis herhaalde de proef op een eigen opstelling en kwam op 62,7 procent van de deeldoelstellingen uit, een andere maatstaf dan die van Zapier.

Wat de volgende versie ook haalt, het herstelwerk daalt mee en dat scheelt echt geld. Nakijken doet u nog altijd tien keer, want het model zegt nog altijd niet welke opdrachten het misdeed. Dat verandert pas wanneer een model aangeeft waar het onzeker is.

Neem daarom de drie processen die bovenaan uw automatiseringslijst staan en zoek per proces de controle die een machine kan draaien: een schemavalidatie, een saldo dat moet kloppen, een ontvangstbevestiging.

Vindt u er geen, dan is die controle bouwen het eerste project. Vaak hoeft dat geen software te zijn en volstaat het om het werk te herdefiniëren tot iets wat een machine kan lezen. Geef de agent een formulier dat door een validatie moet in plaats van een dossier dat hij moet afhandelen.

Zonder die controle koopt u een model dat vier van de tien opdrachten afkrijgt en een werknemer die ze alle tien moet nakijken.