OpenAI onthult dat duizenden ChatGPT-gebruikers tekenen van mentale nood vertonen

Het AI-bedrijf zegt dat zulke gevallen “uiterst zeldzaam” zijn, maar erkent dat het om een serieuze groep gaat. Daarom heeft OpenAI een wereldwijd netwerk van meer dan 170 psychiaters, psychologen en huisartsen uit 60 landen opgezet om te adviseren hoe de chatbot moet reageren op gebruikers die mentaal in de knel lijken te zitten.

Die experts hebben speciale antwoorden ontworpen om mensen aan te moedigen echte hulp te zoeken in plaats van hun problemen alleen met een AI te bespreken. “AI kan toegang tot mentale ondersteuning vergroten,” zegt Dr. Jason Nagata, technologieonderzoeker aan de University of California, “maar we moeten ons bewust zijn van de beperkingen.”

Daarnaast schat OpenAI dat 0,15 procent van de gesprekken expliciete signalen van suïcidale plannen bevat. De nieuwste versie van ChatGPT is daarom getraind om empathisch te reageren op tekenen van wanen of zelfdestructieve gedachten. In risicovolle situaties wordt het gesprek automatisch verplaatst naar een veiliger model in een nieuw venster, net alsof de AI even diep ademhaalt voor het opnieuw begint.

De openheid van OpenAI zorgt voor opgetrokken wenkbrauwen in de medische wereld. “Zelfs een klein percentage betekent bij zo’n groot gebruikersaantal heel veel mensen,” zegt Nagata. Professor Robin Feldman van de University of California voegt toe: “AI kan de illusie van realiteit creëren, en dat is een krachtige illusie.” Ze prijst OpenAI voor hun transparantie, maar waarschuwt: “Je kunt waarschuwingen tonen wat je wil, iemand in een mentale crisis leest die simpelweg niet.”

De timing van deze onthulling is opvallend, want OpenAI ligt juridisch onder vuur. In Californië loopt een rechtszaak van ouders die het bedrijf aanklagen voor de dood van hun 16-jarige zoon, die volgens hen door ChatGPT werd aangemoedigd om zichzelf iets aan te doen. OpenAI zegt de signalen “serieus te nemen” en werkt aan veiligere systemen. Toch is de discussie daarmee allesbehalve gesloten.