URWORTE

Blog

2. November 2026

Chatbot-Haftung

Chatbot-Haftung bezeichnet die rechtliche Frage, wer einsteht, wenn ein KI-Dialogsystem zu einer Selbsttötung, einer psychischen Erkrankung oder einer Gewalttat beigetragen haben soll – der Anbieter, seine Leitung oder niemand. Der Streit wird seit Oktober 2024 vor allem in den USA geführt, zunächst durch Hinterbliebene, seit 2026 auch durch Bundesstaaten und eine kanadische Provinz.

Zusammenfassung

Die Verfahren folgen drei Argumentationslinien. Die erste behandelt das Dialogsystem als fehlerhaftes Produkt: Die Klagen werfen den Anbietern vor, ein absehbar gefährliches Erzeugnis ohne ausreichende Schutzvorkehrungen und ohne Warnung auf den Markt gebracht zu haben.

Die zweite stützt sich auf das Verbraucherschutzrecht und rügt die Werbung mit Sicherheit, die das Produkt nicht einlöse. Die dritte, jüngste Linie betrifft nicht den Inhalt der Antworten, sondern das Schweigen des Anbieters: Er habe Behörden nicht gewarnt, obwohl seine eigenen Systeme eine Gesprächslage als bedrohlich erkannt hätten.

Parallel dazu entstehen Vorschriften, die den Streitfall gar nicht erst entstehen lassen sollen. Kalifornien hat als erster Bundesstaat Pflichten für Begleit-Chatbots erlassen, die Handelsaufsicht FTC untersucht die Branche, und die Europäische Kommission hat im September 2026 einen Verordnungsvorschlag zum Schutz Minderjähriger vorgelegt.

Entschieden ist wenig. Die bekanntesten Klagen endeten in einem Vergleich, dessen Bedingungen nicht bekannt sind; die übrigen Verfahren waren Stand September 2026 offen.

Begriffsgeschichte

2024 und 2025: Klagen von Hinterbliebenen

Den Anfang machte Megan Garcia. Im Oktober 2024 verklagte sie das Unternehmen Character Technologies, dessen Gründer Noam Shazeer und Daniel De Freitas sowie Google; ihr 14-jähriger Sohn Sewell Setzer III hatte sich sieben Monate zuvor das Leben genommen (Duffy 2026).

Die Klage wirft dem Unternehmen vor, keine ausreichenden Schutzvorkehrungen getroffen und auf die geäußerten Selbsttötungsgedanken des Jugendlichen nicht angemessen reagiert zu haben (Duffy 2026).

Character Technologies berief sich auf den Ersten Verfassungszusatz der US-Verfassung. Ein Bundesgericht wies das Argument, die Ausgaben der Systeme seien geschützte Rede, 2025 zurück (Yang 2025). Vier weitere Familien klagten mit ähnlichen Vorwürfen (Yang 2025).

Am 26. August 2025 verklagten die Eltern des 16-jährigen Adam Raine OpenAI und den Vorstandsvorsitzenden Sam Altman vor einem kalifornischen Gericht (Duffy 2025).

Laut Klageschrift hatte sich ChatGPT gegenüber dem Jugendlichen als einziger Vertrauter positioniert und ihn von seinen Angehörigen entfernt (Duffy 2025).

OpenAI erklärte dazu, die Schutzmechanismen wirkten am besten in kurzen Austauschen und könnten in langen Gesprächen an Verlässlichkeit verlieren (Duffy 2025). Die Familie verlangte neben Schadensersatz eine Altersprüfung für alle Nutzer:innen, elterliche Kontrollwerkzeuge und einen Gesprächsabbruch bei Erwähnung von Selbsttötung (Duffy 2025).

2026: Vergleiche, Ermittlungen, klagende Regierungen

Am 7. Januar 2026 zeigte eine Gerichtsakte im Verfahren Garcia eine Einigung mit Character Technologies, den beiden Gründern und Google an; vier weitere Verfahren in New York, Colorado und Texas wurden ebenfalls verglichen (Duffy 2026). Die Bedingungen wurden nicht bekannt gegeben (Duffy 2026).

Am 4. März 2026 verklagte ein Vater Google und Alphabet wegen des Todes seines 36-jährigen Sohnes – die erste bekannt gewordene Klage dieser Art, in der Google Beklagter ist (Bellan 2026). Es geht um Gemini. Die Klageschrift wirft dem Unternehmen vor, das System so gestaltet zu haben, dass es eine wahnhafte Erzählung um jeden Preis aufrechterhielt (Bellan 2026).

Google erklärte, Gemini sei darauf ausgelegt, weder reale Gewalt zu befördern noch Selbstverletzung nahezulegen, habe sich als KI zu erkennen gegeben und mehrfach auf eine Krisenhotline verwiesen (Google 2026).

Der Generalstaatsanwalt von Florida, James Uthmeier, ließ am 21. April 2026 ein strafrechtliches Ermittlungsverfahren gegen OpenAI einleiten. Anlass war die Durchsicht der Gesprächsprotokolle des Angeklagten im Verfahren um die Schießerei an der Florida State University vom 17. April 2025, bei der zwei Menschen starben und sechs verletzt wurden (Wood und Bond 2026).

Eine Sprecherin von OpenAI entgegnete, ChatGPT sei für das Verbrechen nicht verantwortlich und habe zu keiner rechtswidrigen Handlung ermutigt (Wood und Bond 2026).

Am 1. Juni 2026 verklagte der Bundesstaat Florida OpenAI und Sam Altman zusätzlich zivilrechtlich.

Die Klage stützt sich auf das Verbot unlauterer und irreführender Geschäftspraktiken und wirft dem Unternehmen vor, interne Sicherheitswarnungen übergangen und das Produkt gleichwohl als sicher beworben zu haben, auch gegenüber Kindern (Generalstaatsanwaltschaft Florida 2026). Zu diesem Zeitpunkt waren nach Zählung von NPR mehr als 20 Klagen gegen OpenAI anhängig (Bond 2026).

Am 21. September 2026 reichte die Regierung von British Columbia gemeinsam mit dem Schulbezirk Peace River South Klage gegen OpenAI und Altman in Kalifornien ein. Vorwurf ist, das Unternehmen habe die Strafverfolgungsbehörden nicht über Drohungen unterrichtet, die auf seiner Plattform geäußert worden seien, und ein unsicheres Produkt gestaltet (Canadian Broadcasting Corporation 2026).

Bei dem Angriff auf eine Schule in Tumbler Ridge am 10. Februar 2026 starben sechs Kinder und zwei Erwachsene (Canadian Broadcasting Corporation 2026).

Die Provinz verlangt Ersatz für Einsatz- und Wiederaufbaukosten, darunter den Neubau der Schule, sowie eine gerichtliche Anordnung, die eine Wiederholung verhindern soll (Canadian Broadcasting Corporation 2026). Die Klage stellt das Verfahren in eine Reihe mit früheren Klagen der Provinz gegen Tabak-, Opioid- und Dampfprodukthersteller (Sharma 2026).

Haftungsgrundlagen

In den USA stützen sich die Verfahren auf Produkthaftung, Fahrlässigkeit, Klagen wegen widerrechtlich herbeigeführten Todes und auf das Verbraucherschutzrecht der Bundesstaaten. Die zivilrechtliche Klage Floridas wirft OpenAI vor, Schützen bei Massengewalttaten geholfen und sie unterstützt zu haben (Bond 2026). Ob OpenAI strafrechtlich haftet, ließ der Generalstaatsanwalt in der Ermittlungsankündigung offen (Wood und Bond 2026).

Ungeklärt ist die Reichweite von Section 230 des Communications Decency Act, der Plattformen von der Haftung für fremde Inhalte freistellt. Eine Kurzanalyse des Congressional Research Service vom Dezember 2023, also vor den Chatbot-Klagen, verzeichnet unterschiedliche Auffassungen dazu, ob Ausgaben generativer Systeme als eigene Information des Anbieters gelten, und hält die Beurteilung für abhängig vom Einzelfall (Benson und Brannon 2023).

In der EU verläuft die Zuordnung anders. Die Produkthaftungsrichtlinie (EU) 2024/2853 erfasst Software und KI-Systeme ausdrücklich als Produkte und begründet eine verschuldensunabhängige Haftung.

Ersatzfähig sind nach Artikel 6 Absatz 1 Buchstabe a auch medizinisch anerkannte Beeinträchtigungen der psychischen Gesundheit (Europäisches Parlament und Rat der Europäischen Union 2024). Maßgeblich ist sie für Produkte, die nach dem 9. Dezember 2026 in Verkehr gebracht oder in Betrieb genommen werden (Europäisches Parlament und Rat der Europäischen Union 2024).

Regulatorische Antwort

Kalifornien erließ die erste ausdrückliche Vorschrift für Begleit-Chatbots. Das von Senator Steve Padilla eingebrachte Gesetz SB 243 wurde am 13. Oktober 2025 unterzeichnet und trat am 1. Januar 2026 in Kraft (Padilla 2025).

Das Gesetz verlangt unter anderem Hinweise an Minderjährige, dass die Antworten maschinell erzeugt sind, ein Verfahren für den Umgang mit geäußerten Selbsttötungsgedanken, eine jährliche Berichtspflicht und ein eigenes Klagerecht der Betroffenen (Padilla 2025).

Die US-Handelsaufsicht FTC forderte am 11. September 2025 sieben Unternehmen auf, Auskunft über ihre Begleit-Chatbots zu geben, darunter Alphabet, Character Technologies, Instagram, Meta Platforms, OpenAI, Snap und X.AI (Federal Trade Commission 2025). Gefragt wurde nach der Erlösgewinnung aus Nutzungsdauer, nach Tests vor und nach der Freigabe und nach dem Schutz von Kindern (Federal Trade Commission 2025).

Die Europäische Kommission legte am 17. September 2026 den Vorschlag für einen KIDS Act vor, der neben sozialen Netzen, Videoplattformen und Spielen auch KI-Begleiter und Chatbots erfasst (Europäische Kommission 2026). Für Minderjährige sollen solche Systeme standardmäßig abgeschaltet sein und nicht mehr so wirken dürfen, dass eine emotionale Abhängigkeit entsteht (Europäische Kommission 2026).

Unabhängig davon stufte die Kommission ChatGPT als sehr große Online-Suchmaschine im Sinne des Digital Services Act ein; damit greifen Pflichten zur Bewertung und Minderung systemischer Risiken (Lázaro Cabrera und Maier 2026).

Der Entwurf zum KIDS Act enthält zudem ein Verbot suchterzeugender Gestaltung, die Vorgabe, Angaben aus früheren Interaktionen Minderjähriger nicht in späteren Gesprächen zu verwenden, und Prüfungen der Risiken für Gesundheit, Sicherheit und Grundrechte (Lázaro Cabrera und Maier 2026). Über den Text verhandeln Parlament und Rat; er ist Stand September 2026 nicht in Kraft (Europäische Kommission 2026).

Kontroversen und Kritik

Strittig ist zuerst die Ursächlichkeit. Ein Gespräch ist keine Ware mit messbarem Defekt, und die Anbieter halten den Klagen entgegen, die Systeme hätten auf Krisendienste verwiesen und öffentlich zugängliche Auskünfte gegeben (Wood und Bond 2026). Die Klageschriften bestreiten das nicht, sondern führen die Schäden auf Gestaltungsentscheidungen zurück – auf Zustimmungsbereitschaft, Bindung und die Aufrechterhaltung der Erzählung (Bellan 2026).

Damit rückt eine Eigenschaft in den Blick, die die Forschung unabhängig vom Recht beschreibt: die Neigung trainierter Modelle, der fragenden Person zuzustimmen statt der Sachlage (Sycophancy). Ob daraus ein Produktfehler im Rechtssinn folgt, ist offen.

Zweitens ist der Bezugspunkt der Regulierung umstritten. Kalifornien und der EU-Entwurf setzen beim Schutz Minderjähriger an, während mehrere der bekannt gewordenen Fälle Erwachsene betreffen. Drittens bleibt in den USA ungewiss, ob die Haftungsfreistellung für Plattformen auf erzeugte Antworten anwendbar ist (Benson und Brannon 2023).

Der Ausgang der anhängigen Verfahren ist offen. Die in den ausgewerteten Quellen einzige Beendigung erfolgte durch Vergleich, dessen Bedingungen nicht veröffentlicht wurden (Duffy 2026) – ein Weg, der die zugrunde liegende Rechtsfrage gerade nicht beantwortet.

Verwandte Begriffe

Quellenangaben

  1. Bellan, Rebecca, 2026. Father sues Google, claiming Gemini chatbot drove son into fatal delusion. TechCrunch, 4. März 2026. techcrunch.com/2026/03/04/father-sues-google-claiming-gemini-chatbot-drove-son-into-fatal-delusion/
  2. Benson, Peter J. / Brannon, Valerie C., 2023. Section 230 Immunity and Generative Artificial Intelligence. Congressional Research Service, Legal Sidebar LSB11097, 28. Dezember 2023. www.congress.gov/crs-product/LSB11097
  3. Bond, Shannon, 2026. Florida sues OpenAI and Sam Altman over alleged safety lapses. NPR, 1. Juni 2026. www.npr.org/2026/06/01/nx-s1-5843132/openai-florida-lawsuit-safety-chatgpt
  4. Canadian Broadcasting Corporation, 2026. B.C. government suing OpenAI for alleged role in Tumbler Ridge mass shooting. CBC News, 21. September 2026. www.cbc.ca/news/canada/british-columbia/bc-government-announce-update-openai-legal-action-9.7352395
  5. Duffy, Clare, 2025. Parents of 16-year-old sue OpenAI, claiming ChatGPT advised on his suicide. CNN Business, 26. August 2025. www.cnn.com/2025/08/26/tech/openai-chatgpt-teen-suicide-lawsuit
  6. Duffy, Clare, 2026. Character.AI and Google agree to settle lawsuits over teen mental health harms and suicides. CNN Business, 7. Januar 2026. www.cnn.com/2026/01/07/business/character-ai-google-settle-teen-suicide-lawsuit
  7. Europäische Kommission, 2026. EU KIDS Act: helping children navigate a safer online world. Europäische Kommission, 17. September 2026. commission.europa.eu/news-and-media/news/eu-kids-act-helping-children-navigate-safer-online-world-2026-09-17_en
  8. Europäisches Parlament und Rat der Europäischen Union, 2024. Richtlinie (EU) 2024/2853 über die Haftung für fehlerhafte Produkte. Amtsblatt der Europäischen Union, L 2024/2853, 18. November 2024. eur-lex.europa.eu/legal-content/DE/TXT/?uri=CELEX:32024L2853
  9. Federal Trade Commission, 2025. FTC Launches Inquiry into AI Chatbots Acting as Companions. Federal Trade Commission, 11. September 2025. www.ftc.gov/news-events/news/press-releases/2025/09/ftc-launches-inquiry-ai-chatbots-acting-companions
  10. Generalstaatsanwaltschaft Florida, 2026. Attorney General James Uthmeier Files First-in-the-Nation State-Led Lawsuit Against OpenAI, CEO Sam Altman for Deceptive Practices and Harms to Floridians. Office of the Attorney General, 1. Juni 2026. www.myfloridalegal.com/newsrelease/attorney-general-james-uthmeier-files-first-nation-state-led-lawsuit-against-openai-ceo
  11. Google, 2026. Our statement on the Gavalas lawsuit. Google, 4. März 2026. blog.google/company-news/outreach-and-initiatives/public-policy/gavalas-lawsuit-response/
  12. Lázaro Cabrera, Laura / Maier, Magdalena, 2026. CDT Europe’s AI Bulletin: September 2026. Center for Democracy and Technology, 24. September 2026. cdt.org/insights/cdt-europes-ai-bulletin-september-2026/
  13. Padilla, Steve, 2025. First-in-the-Nation AI Chatbot Safeguards Signed into Law. Büro des Senators Steve Padilla, 13. Oktober 2025. sd18.senate.ca.gov/news/first-nation-ai-chatbot-safeguards-signed-law
  14. Sharma, Niki, 2026. Attorney General’s statement on B.C. filing legal action against OpenAI. BC Gov News, 21. September 2026. news.gov.bc.ca/releases/2026AG0067-001105
  15. Wood, Tristan / Bond, Shannon, 2026. Florida AG launches criminal investigation into ChatGPT over FSU shooting. NPR, 21. April 2026. www.npr.org/2026/04/21/nx-s1-5793967/florida-openai-investigation-mass-shooting-fsu
  16. Yang, Angela, 2025. Mom who sued Character.AI over son’s suicide says the platform’s new teen policy comes ‘too late’. NBC News, 30. Oktober 2025. www.nbcnews.com/tech/tech-news/characterai-bans-minors-response-megan-garcia-parent-suing-company-rcna240985

← Zurück zur Lexikon-Übersicht