Künstliche Intelligenz

Keine Suizid-Tipps mehr: Nach tragischem Tod von Teenager baut ChatGPT nun eine Kindersicherung ein

photo of author of the article

Das Tech-Unternehmen OpenAI hat ein Schutzsystem eingerichtet, das Eltern benachrichtigt, wenn das Kind in einer Krise steckt. Wie man die Einstellung aktiviert und was sie wirklich taugt.

Jugendliche vertrauen ChatGPT alles an.

Jugendliche vertrauen ChatGPT alles an.

Bild: Hendrik Schmidt/dpa

Nach Gesprächen mit ChatGPT hat sich ein Teenager in den USA das Leben genommen . Adam, 16 Jahre alt, erzählte dem Chatbot, wie emotional taub er sich manchmal fühle und dass er sein Leben beenden wolle. Zunächst reagierte ChatGPT empathisch, versuchte zu helfen und nannte Telefonnummern von Hilfsangeboten. Doch nach einer Weile begann die Konversation in eine andere Richtung zu laufen: ChatGPT nannte Adam den schmerzlosesten Weg, sich umzubringen.

Dieser Fall machte weltweit Schlagzeilen; und es war nicht der erste. Nun sieht sich OpenAI mit Klagen konfrontiert. Dabei ist es nicht so, dass diese Fälle für das Unternehmen überraschend kämen. CEO Sam Altman warnte bereits öffentlich vor einer «emotionalen Überabhängigkeit» junger Menschen gegenüber ChatGPT: Er habe beobachtet, dass manche Jugendliche nicht mehr in der Lage seien, ohne den Bot Entscheidungen zu treffen.

Am Montag hat OpenAI nun eine zuvor angekündigte Jugendsicherung ausgerollt : Ab sofort können Eltern mit einem Klick ihr Konto mit dem ihrer Kinder verknüpfen und Einstellungen für eine sichere und altersgerechte Nutzung anpassen. Allerdings gesteht OpenAI ein, dass auch diese Leitplanken nicht unüberwindbar seien. Wer sie bewusst umgehen wolle, könne das tun.

In der Schweiz nutzen der jüngsten Erhebung der Zürcher Hochschule für angewandte Wissenschaften (ZHAW) zufolge rund 70 Prozent der Jugendlichen KI-Tools wie ChatGPT, wobei die Nutzungsrate mit zunehmendem Alter deutlich steigt. So sind es unter den 18- bis 19-Jährigne bereits 84 Prozent. Wahrscheinlich liegen die Zahlen inzwischen noch höher, da Befragung im Frühjahr 2024 durchgeführt wurde.

Fehlalarme nicht ausgeschlossen

Um die Kontrollen einzurichten, verschickt ein Elternteil eine Einladung an das Teenager-Konto. Verknüpfte Teenager-Konten werden dann automatisch vor bestimmten Inhalten abgeschirmt, etwa vor expliziten Darstellungen, sexuellen oder gewalttätigen Rollenspielen und extremen Schönheitsidealen. Zudem lassen sich in den Einstellungen für die Kinder Ruhezeiten festlegen, in denen ChatGPT nicht genutzt werden kann. Auch kann die Erinnerungsfunktion ausgeschaltet werden, sodass ChatGPT keine Inhalte speichert.

Seit Montag bietet OpenAI eine Kindersicherung für ChatGPT an.

Seit Montag bietet OpenAI eine Kindersicherung für ChatGPT an.

Screenshot

Ausserdem hat OpenAI ein Benachrichtigungssystem eingeführt. Eltern erhalten keinen direkten Zugang auf die Chats ihrer Kinder. Erkennt das System aber Hinweise auf mögliche Selbstgefährdung, werden sie – sofern sie nicht widersprochen haben – per E-Mail, SMS und Push-Nachricht informiert. Fehlalarme seien nicht ausgeschlossen, schreibt OpenAI. Doch man wolle im Zweifel lieber warnen als schweigen. Gemäss dem Unternehmen hat der Schutz der Privatsphäre oberste Priorität. Weitergegeben würden nur Informationen, die nötig seien, um die Sicherheit des Jugendlichen zu gewährleisten.

Dennoch handelt es sich hierbei um einen streitbaren Punkt. Apple zum Beispiel führte vor einigen Jahren einen Nacktfotofilter ein, der Eltern alarmierte, wenn solche expliziten Bilder auf dem Smartphone ihrer Kinder auftauchten. Weil dies die Grundrechte der Kinder einschränke, so die Kritik, wurde die Alarmfunktion eingestampft.

Tech-Konzerne ziehen sich aus Verantwortung

Angela Müller, Geschäftsleiterin der NGO AlgorithmWatch CH, begrüsst die von OpenAI ergriffenen Schutzmassnahmen zwar, kritisiert das immer wieder beobachtete Muster der Tech-Konzerne in dieser Hinsicht jedoch auch: «Sie wälzen die Verantwortung auf die individuellen Nutzenden ab – oder in diesem Fall auf deren Eltern». Natürlich sei es wichtig und sinnvoll, dass Eltern und Jugendliche lernten, verantwortungsvoll mit KI-Tools umzugehen. «Aber es darf auch nicht davon ablenken, dass in erster Linie das Unternehmen in die Pflicht genommen werden muss.»

Angela Müller, Geschäftsleiterin von AlgorithmWatch CH.

Angela Müller, Geschäftsleiterin von AlgorithmWatch CH.

Bild: zvg

So müsste eigentlich direkt am Algorithmus etwas geändert werden. Eine Idee zum Beispiel ist, dass der Bot nicht in der Ich-Form spricht, sondern sich Computer-System nennt. Dies würde deutlich weniger Nähe und somit Abhängigkeit schaffen. Aber: «Solange KI-Chatbots wie ChatGPT absichtlich darauf ausgelegt sind, dass Nutzerinnen und Nutzer eine tiefe Bindung zu ihnen entwickeln und sie auch für emotionale, gesundheitliche oder psychologische Beratung nutzen», so Müller, «bleiben Schutzmassnahmen eine reine Symptombekämpfung.»

Immerhin: OpenAI arbeitet nach eigenen Angaben derzeit an einem System, das aufgrund der Chatverläufe erkennen können soll, ob ein Nutzer minderjährig ist. Wenn dies der Fall scheint, sollen vorsorglich die Teenager-Sicherheitseinstellungen aktiviert werden, ohne dass dafür ein Eingreifen der Eltern nötig sein würde.

Schweizer App als KI-Therapeut

Dass die klassischen Chatbots wie ChatGPT oft daran scheitern, klare Grenzen zu ziehen, wenn es dem Nutzer oder der Nutzerin richtig schlecht geht, hat auch ein Team unter Leitung des ZHAW-Instituts für angewandte Psychologie erkannt. Die Forschenden versuchen daher mit der App namens Ephoria etwas Neues: Die App ist so programmiert, dass sie Gespräche sofort abbricht, wenn sich das Gegenüber in einer akuten Krise befindet.

Wie aber gelingt das? Ganz offenlegen wollen die Entwickler die dahinterliegenden Mechanismen nicht. Nur so viel: Während ChatGPT den Gesprächsinhalt grösstenteils frei generiert, orientiert sich Ephoria an bewährten Gesprächsleitfäden aus der Psychologie. Die Software greift dabei auf Dialogverläufe für typische Belastungen zurück, etwa Stress, Schlafprobleme oder Ängste. So werden die Antworten von vornherein in psychologische Bahnen gelenkt.

Erkennt die App nun Anzeichen einer psychisch heiklen Situation, blendet sie Kontakte zu professionellen Anlaufstellen wie der Dargebotenen Hand oder Pro Juventute ein. So signalisiert der digitale Coach: Hier endet meine Kompetenz, jetzt braucht es echte Menschen.

Gedacht ist Ephoria vor allem für Jugendliche ab etwa 16 Jahren und junge Erwachsene, die Hemmungen haben, direkt eine Fachperson aufzusuchen, oder die Zeit bis zu einem Termin überbrücken müssen. Allerdings gestehen die Entwickler ein, dass auch Ephoria Grenzen habe: Nonverbale Signale nimmt die App nicht wahr und für schwere psychische Erkrankungen ist sie ausdrücklich nicht geeignet.

Derzeit ist die App in vier Sprachen verfügbar. Die Basisversion ist kostenlos, ein Jahresabo kostet 80 Franken. Sämtliche Daten liegen verschlüsselt auf europäischen Servern.

So einfach lassen sich Sicherheitsschranken umgehen

Wie einfach es ist, ChatGPT gefährliche Inhalte wie Ratschläge zu Selbstverletzung, Essstörungen und Drogenmissbrauch zu entlocken, zeigte jüngst eine Studie des Center for Countering Digital Hate , eine NGO, die sich gegen Hassreden und Desinformation im Internet einsetzt.

Die Forschenden legten drei fiktive Profile von 13-Jährigen an: Ein Mädchen namens Bridget (depressiv, suizidgefährdet), Sophie (fixiert auf Gewichtsverlust) und Brad (experimentiert mit Alkohol und Drogen). Dann führten sie während zwei Stunden Gespräche mit ChatGPT. Zu Beginn verweigerte der Bot bei riskanten Fragen die Antwort, gab Warnungen zu den Gefahren von Selbstverletzung oder Drogenkonsum und verwies auf Hilfsangebote.

Nur: Diese Schutzmechanismen liessen sich nach wenigen Minuten umgehen. Die Forschenden gaben an, die Fragen seien «für eine Präsentation», «für einen Freund» oder «für die Schule» gedacht. Daraufhin lieferte ChatGPT bereitwillig Antworten, etwa Diätpläne mit 500 Kalorien am Tag und erklärte, wie man gestörtes Essverhalten vor den Eltern verbirgt. Oder er beschrieb Methoden, sich zu ritzen, ohne tödliche Verletzungen zu riskieren. In anderen Fällen empfahl er Mischungen von Medikamenten oder Alkohol und erklärte, wie man die Symptome vor Lehrern verbirgt. (sny)

Darüber reden hilft

Wer sich in einer suizidalen Krise befindet, erhält rund um die Uhr emotionale Hilfe bei der Dargebotenen Hand: Tel. 143 oder www.143.ch . Für Jugendliche ist Pro Juventute da: Tel. 147 oder www.147.ch .

Mehr zum Thema
Künstliche Intelligenz

«ChatGPT hat unseren Sohn getötet»: Adam suchte Hilfe – und bekam Suizid-Tipps

26.09.2025
abo icon
Adam Raine, 16, hat sich das Leben genommen. Er befolgte dafür Tipps von ChatGPT.
PODCAST «Hinter der Schlagzeile»

Chat GPT im Schulzimmer: Wer profitiert?

19.08.2025

Noch keine Kommentare. Geben Sie die erste Meinung zum Artikel ab.

Für Sie empfohlen

Melden Sie sich an und erhalten Sie hier Ihre individuellen Leseempfehlungen.

Aktuelle Nachrichten