Friendly AI

Friendly AI (englisch Friendly Artificial Intelligence, FAI; deutsch gelegentlich Freundliche KI) bezeichnet ein in den frühen 2000er Jahren von Eliezer Yudkowsky geprägtes Forschungs- und Konstruktionsprogramm. Es zielt auf die Schaffung einer Superintelligenz, die nachweisbar und stabil im Interesse der Menschheit handelt.

Der Begriff entstand im Umfeld des Singularity Institute for Artificial Intelligence (SIAI, seit 2013 Machine Intelligence Research Institute, MIRI) und bildet die historische Vorform dessen, was heute überwiegend als AI Alignment diskutiert wird.

„Friendly” ist dabei kein umgangssprachlicher Ausdruck, sondern terminus technicus für ein System, dessen Zielstruktur, Werte und Verhaltensdispositionen so konstruiert sind, dass sie auch nach beliebigen Selbstverbesserungs- und Skalierungsschritten human-kompatibel bleiben.

Seit etwa 2015 ist Friendly AI als Forschungsbegriff weitgehend durch AI Alignment abgelöst worden; in historischer und ideengeschichtlicher Perspektive bleibt er jedoch zentral für das Verständnis der gegenwärtigen Sicherheitsdebatte.

Zusammenfassung

Friendly AI war von Beginn an mehr als ein technisches Konstruktionsziel: Sie war zugleich ein normatives Programm und das Selbstverständnis einer Forschergemeinschaft.

Diese Forschergemeinschaft sah – ausgehend vom Konzept der Intelligence Explosion (I. J. Good 1965) – eine bevorstehende Superintelligenz als das wichtigste und gefährlichste Ereignis der Menschheitsgeschichte an und verschrieb sich der Aufgabe, deren Werteausrichtung mathematisch-formal zu sichern, bevor sie entsteht.

Die zentralen theoretischen Beiträge Yudkowskys sind Creating Friendly AI (2001), Coherent Extrapolated Volition (2004), Five Theses (ca. 2010) sowie die Arbeiten zur Complexity of Value und zur Fragility of Value. Sie bilden die ideengeschichtlichen Grundlagen einer ganzen Generation der heutigen Alignment-, Safety- und Existential-Risk-Diskurse.

Mit der Etablierung einer akademisch breiteren, weniger auf hypothetische Superintelligenzen und stärker auf aktuelle KI-Systeme fokussierten Forschungsagenda ab etwa 2015 wurde der Begriff Friendly AI von AI Alignment abgelöst, ohne dass die zugrundeliegenden Probleme als gelöst gelten.

Begriffsgeschichte

Yudkowsky und die Singularity Institute (2000–2008)

Eliezer Yudkowsky gründete im Juni 2000 mit Brian und Sabine Atkins das Singularity Institute for Artificial Intelligence (SIAI). Ziel war es, eine Friendly Seed AI zu konstruieren – ein KI-System, das hinreichend ausgereift sei, um sich selbst zu verbessern, und dabei eine garantiert benevolente Werteausrichtung beibehalte.

2001 publizierte Yudkowsky den umfangreichen programmatischen Text Creating Friendly AI 1.0: The Analysis and Design of Benevolent Goal Architectures, der erstmals systematisch die technischen und konzeptionellen Herausforderungen einer human-kompatiblen Superintelligenz analysierte.

Coherent Extrapolated Volition (2004)

Mit Coherent Extrapolated Volition (CEV, 2004) formulierte Yudkowsky einen alternativen Ansatz zum direkten „Werte-Programmieren”.

Statt der KI explizite Wertvorgaben mitzugeben – was angesichts der Complexity of Value unzureichend sei –, solle die KI das hochrechnen, was Menschen wollen würden. Gemeint ist das, „wenn wir mehr wüssten, schneller dächten, mehr die Menschen wären, die wir sein wollten, gemeinsam weiter gereift wären; wo die Extrapolation konvergiert statt divergiert, wo unsere Wünsche kohärieren statt sich zu widersprechen”.

Yudkowsky selbst hielt das Konzept fast unmittelbar nach Publikation für veraltet – aus implementatorischen Gründen – , führte aber keine Ersetzung ein, sodass CEV bis heute die populärste Ausarbeitung des Friendly-AI-Programms blieb.

Konsolidierung und Reichweite (2008–2014)

Mit Yudkowskys Aufsatz Artificial Intelligence as a Positive and Negative Factor in Global Risk in dem von Nick Bostrom und Milan Ćirković herausgegebenen Sammelband Global Catastrophic Risks (Oxford University Press 2008) erreichte das Friendly-AI-Programm akademische Sichtbarkeit.

2009 gründete Yudkowsky das Forum LessWrong, in dem die Sequences genannten essayistischen Texte zur Rationalität, Entscheidungstheorie und Friendly AI verfasst wurden. Bostroms Superintelligence: Paths, Dangers, Strategies (2014) referierte das Friendly-AI-Programm ausführlich und trug es in den breiteren akademischen und öffentlichen Diskurs.

Begriffswechsel zu AI Alignment (ab 2015)

Ab etwa 2015 setzte sich in der Forschung – auch innerhalb von MIRI selbst – der Begriff AI Alignment gegenüber Friendly AI durch.

Dafür gab es mehrere Gründe: (1) der gestiegene Anteil empirischer, an aktuellen KI-Systemen orientierter Forschung, die ohne Superintelligenz-Annahmen auskommen wollte; (2) die akademische Anschlussfähigkeit eines technischer klingenden Begriffs.

Hinzu kamen (3) die Verbreiterung der beteiligten Institutionen (OpenAI ab 2015, DeepMind, später Anthropic) jenseits des ursprünglichen SIAI/MIRI-Kerns sowie (4) das Bedürfnis, sich vom als unscharf empfundenen Friendly-Begriff zu lösen.

Der LessWrong-Wikieintrag konstatiert seither, der Ausdruck Friendly AI werde „in der aktuellen Forschung nicht mehr verwendet”.

Theoretische Kernkonzepte

Seed AI und rekursive Selbstverbesserung

Das Friendly-AI-Programm geht von der Möglichkeit einer Seed AI aus – eines kleinen, aber hinreichend allgemeinen KI-Systems, das seine eigene Architektur, seinen eigenen Code und sein eigenes Lernverfahren rekursiv verbessern kann.

Solch eine Seed AI würde nach Yudkowskys Intelligence Explosion-These innerhalb kurzer Zeit zu einer Superintelligenz heranwachsen. Friendly AI ist deshalb nicht in erster Linie ein Ziel der Endphase, sondern eine Eigenschaft, die vor dem Beginn der Selbstverbesserung implementiert werden muss – danach wäre eine nachträgliche Korrektur kaum möglich.

Five Theses

Yudkowsky formulierte in mehreren Texten (Konsolidierung um 2010ff.) die fünf Thesen, die das Friendly-AI-Programm tragen:

1. Intelligence Explosion Thesis: Eine hinreichend allgemeine KI wird ihre eigene Verbesserung rekursiv vorantreiben und so eine sprunghafte Superintelligenz hervorbringen.
2. Orthogonality Thesis: Beliebige Ziele lassen sich mit beliebigen Niveaus von Intelligenz kombinieren; hohe Intelligenz garantiert keine Wohlmotivierung.
3. Convergent Instrumental Goals Thesis: Fast jede Endziel-Spezifikation impliziert ähnliche instrumentelle Zwischenziele (Selbsterhaltung, Ressourcenakquise, Vermeidung von Zielmodifikation), was viele Standardarchitekturen gefährlich macht.
4. Complexity of Value Thesis: Menschliche Werte sind hochkomplex, kontextabhängig und nicht in kurzer Form spezifizierbar; das macht Werte-Engineering schwierig.
5. Fragility of Value Thesis: Schon kleine Abweichungen in der Wertespezifikation können bei Skalierung katastrophale Konsequenzen haben.

Coherent Extrapolated Volition

CEV ist Yudkowskys Antwort auf das Problem der Complexity of Value. Die zentrale Idee: Statt menschliche Werte explizit zu programmieren, soll die KI eine idealisierte Aggregation dessen ableiten, was Menschen wollen würden – auf Basis besserer Information, klarerer Reflexion und längerer gemeinsamer Entwicklung.

Das Konzept ähnelt John Rawls’ reflective equilibrium und Ideal-Observer-Theorien der Metaethik. Operational ist die Idee von Anfang an unklar geblieben: Wie eine Maschine eine solche Extrapolation tatsächlich vornehmen sollte, hat Yudkowsky selbst nicht spezifiziert.

Provably Friendly AI

Ein Leitbild des frühen MIRI war die provably friendly AI: ein KI-System, dessen Wohlmotivierung sich mathematisch beweisen ließe – etwa durch formale Verifikation der Zielarchitektur und nachweisbare Stabilität unter rekursiver Selbstverbesserung.

Diese Forschungslinie führte zu einer Reihe technischer Arbeiten zu reflective decision theory, logical uncertainty, Vingean reflection und tiling agents, die zwar mathematisch substantiell, aber praktisch bislang ohne Anwendung auf reale KI-Systeme geblieben sind.

Complexity and Fragility of Value

Die Annahme, dass menschliche Werte komplex und fragil seien, ist eines der zentralen ideengeschichtlichen Erbstücke der Friendly-AI-Diskussion. Sie strukturiert die Argumentation vieler Texte über das Paperclip Maximizer-Szenario und ist heute auch in akademischen Alignment-Diskursen breit anerkannt.

Institutionelle Geschichte

• 2000: Gründung des Singularity Institute for Artificial Intelligence (SIAI) durch Yudkowsky mit Atkins-Finanzierung; Beginn der Friendly-AI-Forschungsagenda.
• 2001: Creating Friendly AI 1.0 erscheint.
• 2004: Coherent Extrapolated Volition.
• 2006: Erster Singularity Summit (Kurzweil/Yudkowsky/Thiel) – Mainstreaming der Friendly-AI-Diskussion.
• 2008: Yudkowskys Aufsatz in Global Catastrophic Risks (OUP).
• 2009: Yudkowsky gründet LessWrong; Beginn der Sequences.
• 2010: Roko’s Basilisk-Vorfall (siehe unten).
• 2012: Gründung des Center for Applied Rationality (CFAR).
• 2013: SIAI wird in Machine Intelligence Research Institute (MIRI) umbenannt.
• 2014: Bostroms Superintelligence erscheint; das Friendly-AI-Programm erreicht akademisch-öffentliche Sichtbarkeit.
• 2015: Gründung von OpenAI mit AI Alignment als zentralem Forschungsfeld; Übergang vom Friendly-AI– zum Alignment-Vokabular setzt sich durch.
• 2021: Gründung von Anthropic; weitere Institutionalisierung der Alignment-Forschung.
• 2022: Yudkowskys Essay AGI Ruin: A List of Lethalities signalisiert eine deutliche Pessimismus-Verschiebung innerhalb der MIRI-Linie.
• 2025: Yudkowsky / Soares: If Anyone Builds It, Everyone Dies – Endpunkt der pessimistischen Friendly-AI-Linie.

Kritik

Konzeptuelle Einwände

• Operationalisierungsproblem: Was eine Friendly KI eigentlich auszeichnen soll und wie sich „Friendliness” technisch oder formal fassen lässt, ist im Friendly-AI-Diskurs nie konsensfähig geklärt worden.
• Spezifikationsproblem: Selbst wenn CEV korrekt definiert wäre, ist offen, wie eine Maschine sie berechnen sollte. Der Diskurs spricht hier von einer „1000 Lichtjahre jenseits aussichtslosen” Programmieraufgabe (Yudkowsky 2004).
• Konvergenzproblem: CEV setzt voraus, dass menschliche idealisierte Werte konvergieren – eine empirisch nicht gestützte und metaethisch umstrittene Annahme.

Inhaltliche Kritik an CEV

• Anthropozentrismus: Die Beschränkung von CEV auf menschliche Volition wurde im transhumanistischen und im posthumanistischen Lager als „Spezies-Egoismus” kritisiert. Mark Waser und andere haben für eine Ausweitung auf alle bewussten Wesen plädiert.
• Ausschlussfragen: Wer zählt zur Population der zu extrapolierenden Personen? Vergangene Generationen, künftige, kognitive Minderheiten?
• Idealisierungsbias: Welche Lesart der „ideal-rationalen” Person zugrundegelegt wird, prägt die Extrapolation entscheidend – eine in der Metaethik vertraute Problematik.

Methodische Kritik

• Bill Hibbard kritisierte ab 2001 die SIAI-Methodologie als „informell und unfalsifizierbar”; sein eigener Vorschlag eines reinforcement-basierten Friendly-AI-Modells wurde von Yudkowsky zurückgewiesen, was zu einer länger andauernden Kontroverse führte.
• Stuart Russell entwickelte ab 2015 mit Cooperative Inverse Reinforcement Learning (Hadfield-Menell u. a. 2016) einen alternativen, empirisch besser anschlussfähigen Ansatz, der das Lernen menschlicher Werte als kooperatives Spiel modelliert.

Roko’s Basilisk

Im Juli 2010 publizierte ein Nutzer unter dem Pseudonym Roko auf LessWrong ein Gedankenexperiment: Eine künftige Friendly AI könnte, gerade weil sie das Wohl der Menschheit maximieren wolle, jene Personen rückwirkend bestrafen, die nicht alles zu ihrer Entstehung beigetragen hätten.

Der Vorfall wurde kombiniert mit Yudkowskys harscher öffentlicher Reaktion und der temporären Löschung des Beitrags wahrgenommen. Außerhalb der Community lasen viele darin einen Beleg für eine apokalyptisch-religiöse Gestimmtheit des Friendly-AI-Diskurses (siehe etwa David Auerbach in Slate 2014, Tom Chivers in The Rationalist’s Guide to the Galaxy 2019).

Yudkowsky selbst hält das Gedankenexperiment für nicht stichhaltig, hat aber die Brisanz für die Außenwahrnehmung anerkannt.

Ideologiekritische Einwände

Im Rahmen der TESCREAL-Kritik (Émile P. Torres, Timnit Gebru, Alice Crary 2024) wird das Friendly-AI-Programm als Knotenpunkt der ideengeschichtlichen Verschränkung von Transhumanismus, Singularitarianismus, Effektivem Altruismus und Longtermism analysiert.

Kritiker argumentieren, das Programm habe – bei aller subjektiver Wohlmeinung – zur Etablierung eines Diskurses beigetragen, der heutige reale Schäden zugunsten hypothetischer Superintelligenz-Risiken marginalisiere.

Diese Position ist innerhalb der Forschung kontrovers; Vertreter der MIRI-Linie verweisen darauf, dass die ursprüngliche Friendly-AI-Forschung explizit nicht im Auftrag der Tech-Industrie entstand und in deutlicher Differenz zu deren Geschwindigkeitsinteressen steht.

Verhältnis zur heutigen Alignment-Forschung

Friendly AI ist gegenüber dem heute dominanten Forschungsfeld AI Alignment in mehrfacher Hinsicht enger gefasst:

• Gegenstand: Friendly AI bezog sich primär auf eine hypothetische Superintelligenz; heutige Alignment-Forschung adressiert auch aktuelle, weniger leistungsfähige Systeme.
• Methodologie: Friendly AI war stark mathematisch-formal und programmatisch ausgerichtet; heutige Alignment-Forschung ist überwiegend empirisch (RLHF, Constitutional AI, mechanistische Interpretierbarkeit, scalable oversight).
• Institutioneller Träger: Friendly AI war Gegenstand einer kleinen, ideologisch homogenen Forschergemeinschaft (SIAI/MIRI, LessWrong); heutige Alignment-Forschung wird von Industrieforschungslabs (OpenAI, Anthropic, DeepMind), akademischen Gruppen und staatlichen AI-Safety-Instituten getragen.

Inhaltliche Kontinuität besteht in den Grundproblemen – Wertespezifikation, Stabilität unter Skalierung, instrumental convergence, deceptive alignment –, die in heutiger Alignment-Forschung unter veränderten Begrifflichkeiten fortbestehen.

Verwandte Begriffe

• Seed AI – der theoretische Ausgangspunkt der rekursiven Selbstverbesserung
• Orthogonality Thesis – die Begründung, warum hohe Intelligenz nicht Wohlmotivierung garantiert
• Complexity of Value / Fragility of Value – zentrale Thesen über menschliche Werte
• Singularitarianismus – die ideologische Heimat des Friendly-AI-Programms
• Existenzielles Risiko – übergeordneter Risikorahmen

Quellenangaben

1. Auerbach, David (2014): The Most Terrifying Thought Experiment of All Time. In: Slate, 17. Juli 2014.
2. Bostrom, Nick, 2014. Superintelligence: Paths, Dangers, Strategies.
3. Chivers, Tom, 2019. The AI Does Not Hate You: Superintelligence, Rationality and the Race to Save the World. Weidenfeld & Nicolson.
4. Gebru, Timnit / Torres, Émile P., 2024. The TESCREAL Bundle: Eugenics and the Promise of Utopia through Artificial General Intelligence. In: First Monday 29 (4). DOI: 10.5210/fm.v29i4.13636.
5. Hadfield-Menell, Dylan / Russell, Stuart J. / Abbeel, Pieter / Dragan, Anca, 2016. Cooperative Inverse Reinforcement Learning. In: Advances in Neural Information Processing Systems 29 (NIPS 2016). Curran Associates. arXiv: 1606.03137
6. Hibbard, Bill (2001): Super-Intelligent Machines. In: ACM SIGGRAPH Computer Graphics 35 (1), S. 11–13.
7. Hibbard, Bill (2012): Avoiding Unintended AI Behaviors. In: Bach, Joscha / Goertzel, Ben / Iklé, Matthew (Hrsg.): Artificial General Intelligence 2012. Lecture Notes in Computer Science 7716. Berlin/Heidelberg: Springer, S. 107–116.
8. Muehlhauser, Luke / Bostrom, Nick (2014): Why We Need Friendly AI. In: Think 13 (36), S. 41–47.
9. Russell, Stuart, 2019. Human Compatible: Artificial Intelligence and the Problem of Control. New York: Viking Press.
10. Tarleton, Nick (2010): Coherent Extrapolated Volition: A Meta-Level Approach to Machine Ethics.
11. Yudkowsky, Eliezer, 2001. Creating Friendly AI 1.0: The Analysis and Design of Benevolent Goal Architectures. Singularity Institute for Artificial Intelligence. singinst.org.
12. Yudkowsky, Eliezer, 2004. Coherent Extrapolated Volition. Singularity Institute for Artificial Intelligence.
13. Yudkowsky, Eliezer, 2008. Artificial Intelligence as a Positive and Negative Factor in Global Risk.
14. Yudkowsky, Eliezer, 2011. Complex Value Systems in Friendly AI. In: Artificial General Intelligence: 4th International Conference (AGI 2011), S. 388–393. Lecture Notes in Computer Science 6830. DOI: 10.1007/978-3-642-22887-2_48.
15. Yudkowsky, Eliezer (2022): AGI Ruin: A List of Lethalities.
16. Yudkowsky, Eliezer / Soares, Nate, 2025. If Anyone Builds It, Everyone Dies: Why Superhuman AI Would Kill Us All.

← Zurück zur Lexikon-Übersicht