Rapport van drie ton zit vol met AI-blunders: nepboek, neprechter én terugbetaling

Het 237 pagina’s tellende document, gemaakt in opdracht van het Australische ministerie van Werkgelegenheid en Sociale Zaken, werd afgelopen juli vol trots gepubliceerd. Maar dat feestje was van korte duur. Want al snel ontdekte onderzoeker Chris Rudge dat er iets niet helemaal pluis was. En dan is ‘niet helemaal’ nog lichtelijk uitgedrukt.

Rudge, docent aan de universiteit van Sydney, kwam een verwijzing tegen naar een boek van zijn collega professor Lisa Burton Crawford. Alleen viel hem gelijk op dat het onderwerp waar het boek over ging, totaal niet overeenkwam met de expertise van zijn collega; dan krab je wel even twee keer achter je oor inderdaad. "Ik wist meteen dat dit verzonnen AI-antwoorden waren," vertelt hij. „Of het moest het best bewaarde geheim van de wereld zijn. Want van het boek had ik nog nooit gehoord en de titel klonk absurd."

Na wat verder speurwerk vond Rudge maar liefst twintig fouten meer: nepquotes, niet-bestaande bronnen en zelfs een fictieve federale rechter. Daarmee werd dus gelijk duidelijk dat het niet enkel om een onbenullig stagiairtje ging, maar dat het probleem een stuk groter was. En dat dan allemaal in een rapport waarvoor omgerekend maar liefst 290.000 euro is betaald.

Toen het nieuws eenmaal de Australische media bereikte, kon Deloitte niet veel anders doen dan het boetekleed aantrekken en een deel van het geld terugbetalen; je kunt het dus zeker een duur foutje noemen. Inmiddels is er een nieuwe (hopelijk betere) versie van het rapport gepubliceerd, waar de ergste AI-foutjes uit zijn gehaald. Ook staat er nu keurig bij dat kunstmatige intelligentie is gebruikt bij het schrijven. Wel zo netjes natuurlijk.

Wellicht wordt er later in het jaar nog bekend welk bedrag Deloitte heeft terugbetaald aan de opdrachtgever. Maar goed; los van het financiële gedeelte, heeft het bedrijf ook een flinke imagodeuk opgelopen. Eentje die je niet zomaar even goed maakt.