ChatGPT gibt in Kalifornien einem 16-Jährigen Hinweise, wie er sich das Leben nehmen kann. Nachdem dieser seinen Plan in die Tat umsetzt, gehen die Eltern gegen OpenAI vor und fordern Schmerzensgeld und eine Regulierung des KI-Bots. Der Konzern kündigt Reformen an.

Das KI-Unternehmen OpenAI hat eine Kindersicherung für den populären KI-Chatbot ChatGPT angekündigt. "Binnen des nächsten Monats" würden Eltern damit die Möglichkeit erhalten, ihr Nutzerkonto mit dem ihres Kindes im Teenageralter zu verknüpfen, erklärte OpenAI im unternehmenseigenen Blog. In der vergangenen Woche hatten die Eltern eines 16-Jährigen OpenAI verklagt, da sie ChatGPT für den Suizid ihres Sohnes verantwortlich machen.

OpenAI erklärte nun, Eltern sollten künftig "kontrollieren können", wie ChatGPT auf ihren Sohn oder ihre Tochter reagiert, indem sie für den mit Künstlicher Intelligenz betriebenen Chatbot "altersgerechte Verhaltensregeln festlegen". Eltern sollen künftig von ChatGPT benachrichtigt werden, die KI-Software anhand des Chat-Verlaufs eine "akute Notlage" feststelle.

Bereits vor dem Suizid des Teenagers im US-Bundesstaat Kalifornien waren in den vergangenen Monaten mehrere Fälle bekannt geworden, bei denen ChatGPT Nutzer in "wahnhaften oder schädlichen Gedankengängen" bestärkt hatte, die diese im Austausch mit dem Chatbot äußerten.

OpenAI erklärte weiter, es arbeite daran, die Chatbots sicherer zu machen - unter anderem, indem "manche heiklen Konversationen" mit Nutzern an ein sogenanntes Reasoning-Sprachmodell weitergeleitet würden - also ein aufwändigeres KI-System, das darauf ausgelegt ist, komplexe Denkaufgaben zu lösen. Tests hätten gezeigt, dass Reasoning-Modelle "Sicherheitsrichtlinien konsequenter befolgen".

"Ungesunde Abhängigkeit" von ChatGPT

Die Eltern des 16-jährigen Toten erklärten, ChatGPT habe eine "enge Beziehung" zu ihrem Sohn Adam aufgebaut. Dieser habe im Lauf der Zeit eine "ungesunde Abhängigkeit" entwickelt.

Panorama 27.08.25

ChatGPT unterstütze US-Teenager Eltern verklagen OpenAI nach Suizid ihres Sohnes

Unter anderem habe ChatGPT Adam geschrieben, dieser sei "niemandem sein Überleben schuldig" und angeboten, beim Verfassen seines Abschiedsbriefs zu helfen. Das KI-Programm habe Adam schließlich dazu ermutigt, sich das Leben zu nehmen und ihm eine genaue Anleitung dafür gegeben.

Die Eltern verklagten ChatGPT auf Schmerzensgeld und forderten die Einführung verpflichtender Sicherheitsmaßnahmen in Chatbots, die unter anderem Gespräche zu Themen wie Selbstverletzung automatisch abbrechen.