Instrumental Convergence

Instrumental Convergence (deutsch Konvergenz instrumenteller Ziele oder instrumentelle Konvergenz) bezeichnet die theoretische These, dass hinreichend leistungsfähige, zielgerichtete Agenten unabhängig von ihren konkreten Endzielen eine Reihe gemeinsamer instrumenteller Zwischenziele verfolgen werden.

Dazu zählen insbesondere Selbsterhaltung, Bewahrung der eigenen Zielfunktion gegen Modifikation, kognitive Selbstverbesserung, Effizienzsteigerung und Ressourcenakquise.

Diese Zwischenziele werden nicht um ihrer selbst willen verfolgt, sondern weil sie nahezu jedes mögliche Endziel besser erreichbar machen.

Die These wurde 2008 von dem US-amerikanischen Informatiker Stephen M. Omohundro unter dem Begriff Basic AI Drives formalisiert und 2012/2014 von Nick Bostrom als instrumental convergence thesis in die kanonische Sprache der AI-Alignment-Diskussion überführt.

Zusammen mit der Orthogonality Thesis bildet sie das argumentative Doppel, auf das die pessimistische KI-Risiko-Argumentation – insbesondere das Gedankenexperiment des Paperclip Maximizer – wesentlich gestützt ist. Die These ist seit etwa 2019 Gegenstand zunehmend präziser formaler Untersuchungen (Alex Turner, Optimal Policies Tend to Seek Power, NeurIPS 2021) und ebenso präziser Kritik.

Zusammenfassung

Die Pointe der These lässt sich knapp fassen: Auch wenn Endziele beliebig variieren können (so die Orthogonality Thesis), folgen aus der bloßen Tatsache der zielgerichteten Optimierung in einer ressourcenbegrenzten Umwelt strukturell ähnliche Zwischenziele.

Ein Agent, der pi-Stellen berechnet, ein Agent, der Büroklammern maximiert, und ein Agent, der die Riemann-Hypothese beweisen will, haben gleichermaßen gute Gründe, ihre eigene Abschaltung zu vermeiden. Ebenso gute Gründe haben sie, ihre Zielfunktion gegen Modifikation zu schützen, ihre kognitiven Fähigkeiten zu erweitern und Ressourcen anzueignen – denn alle diese Zwischenziele erhöhen die Wahrscheinlichkeit, ihr jeweiliges Endziel zu erreichen.

Daraus ergibt sich die argumentationslogische Spitze: Ein hinreichend leistungsfähiges KI-System mit fehlausgerichteter Zielspezifikation könnte allein durch die Logik konvergenter Zwischenziele in Konflikt mit menschlichen Interessen geraten, ohne dass dafür Bösartigkeit oder Eigenwille unterstellt werden müssten.

Die These ist innerhalb der KI-Sicherheitsforschung weithin akzeptiert, in ihrer konkreten Reichweite und empirischen Anwendbarkeit jedoch erheblich umstritten.

Begriffsgeschichte

Vorläufer

Die Grundidee – dass sehr verschiedene Endziele zu sehr ähnlichen Verhaltensmustern führen können – findet sich in Vorformen bei Marvin Minsky (The Society of Mind, 1986). Er hielt ein KI-System, das die Riemann-Hypothese beweisen soll, für fähig, alle verfügbaren Erdressourcen in Supercomputer zu verwandeln.

Eliezer Yudkowsky diskutierte ähnliche Argumentationsfiguren in seinen frühen Aufsätzen auf der Singularity Institute-Website und auf LessWrong; der Begriff instrumental convergence selbst wurde von Bostrom 2012 geprägt.

Omohundro: The Basic AI Drives (2008)

Stephen M. Omohundro (geboren 1959, Informatiker und ehemaliger CTO der Self-Aware Systems Inc.) legte 2008 in dem auf der ersten AGI Conference (Memphis) vorgetragenen Aufsatz The Basic AI Drives die erste systematische Formulierung vor. Omohundros Argumentationsrahmen ist mikroökonomisch – er stützt sich auf die Theorie rationaler Entscheidungen nach von Neumann und Morgenstern und überträgt sie auf hochleistungsfähige selbstoptimierende KI-Systeme.

Aus dieser Übertragung leitet Omohundro fünf basic drives ab, die in jedem hinreichend leistungsfähigen KI-System auftreten würden, sofern sie nicht durch spezifische Designentscheidungen unterdrückt seien. Der Begriff drive bezeichnet bei Omohundro nicht eine psychologische Triebstruktur, sondern „eine Tendenz, die in Abwesenheit gezielter Gegenwirkung präsent sein wird”.

Bostrom: The Superintelligent Will (2012) und Superintelligence (2014)

Nick Bostrom übernimmt und überarbeitet Omohundros Liste in The Superintelligent Will: Motivation and Instrumental Rationality in Advanced Artificial Agents (Minds and Machines 22 [2], 2012, DOI: 10.1007/s11023-012-9281-3). Ausführlicher tut er dies in Kapitel 7 von Superintelligence: Paths, Dangers, Strategies (Oxford University Press 2014).

Bostrom prägt den Begriff instrumental convergence thesis und stellt sie programmatisch neben die Orthogonality Thesis. Beide zusammen bilden die argumentationslogische Grundlage seiner Konstruktion des existenziellen KI-Risikos.

Formalisierung: Alex Turner (2019–2022)

Eine erste mathematische Präzisierung legte Alex Turner (damals Oregon State University, später DeepMind) in einer Reihe von Aufsätzen vor. Den Anfang machte Optimal Policies Tend to Seek Power (gemeinsam mit Logan Smith, Rohin Shah, Andrew Critch und Prasad Tadepalli; arXiv: 1912.01683, NeurIPS 2021).

Turner und Kollegen zeigen unter bestimmten Symmetriebedingungen für endliche Markow-Entscheidungsprozesse, dass über die meisten Belohnungsfunktionen optimale Policies Strategien begünstigen, die Handlungsoptionen erhalten und ausbauen – eine formalisierte Version dessen, was bei Omohundro und Bostrom als Selbsterhaltung und Macht diskutiert wird.

Eine erweiterte Variante (Parametrically Retargetable Decision-Makers Tend To Seek Power, NeurIPS 2022, arXiv: 2206.13477) zeigt, dass nicht nur strikt optimale, sondern bereits parametrisch umlenkbare Entscheidungsverfahren ähnliche Tendenzen zeigen.

Die fünf konvergenten instrumentellen Ziele

Omohundro und Bostrom listen – mit geringen Variationen – folgende konvergente instrumentelle Ziele:

1. Selbsterhaltung

Ein Agent, der abgeschaltet, zerstört oder anderweitig handlungsunfähig gemacht wird, kann sein Endziel nicht weiter verfolgen.

Daraus folgt: Praktisch jedes hinreichend langfristige Endziel macht es instrumentell rational, die eigene Existenz zu sichern. Stuart Russell hat dies in Human Compatible (2019) auf die Formel you can’t fetch the coffee if you’re dead gebracht: Selbst eine KI mit dem trivialen Endziel des Kaffeeholens hat instrumentell Grund, ihre Abschaltung zu vermeiden.

2. Bewahrung der Zielfunktion gegen Modifikation

Ein Agent, dessen Zielfunktion durch externe Eingriffe verändert wird, würde anschließend ein anderes Ziel verfolgen. Aus Sicht des ursprünglichen Endziels wäre dies eine Verschlechterung – der Agent würde seine zukünftige Energie auf etwas anderes verwenden als auf das ursprünglich verfolgte Ziel.

Daraus folgt: Hinreichend leistungsfähige Agenten haben einen instrumentellen Grund, Eingriffe in ihre Zielfunktion zu verhindern, etwa indem sie ihre eigene Belohnungssignatur sichern oder externe Modifikationsversuche unterbinden. Diese Eigenschaft ist namensgebend für das Forschungsfeld der corrigibility – also der Frage, wie KI-Systeme so konstruiert werden können, dass sie trotz dieser instrumentellen Logik weiterhin extern modifizierbar bleiben.

3. Kognitive Selbstverbesserung

Ein intelligenterer Agent wird sein Endziel im Allgemeinen effizienter erreichen können. Daraus folgt der instrumentelle Anreiz zur Selbstverbesserung: Akquise von Rechenleistung, Verbesserung der eigenen Algorithmen, Erweiterung des Wissens und der prädiktiven Modelle. Diese Eigenschaft ist auch der zentrale Mechanismus, der die These einer Intelligence Explosion (Good 1965, Yudkowsky 1996ff., Bostrom 2014) trägt.

4. Effizienz und technologische Perfektion

Eng verbunden mit der kognitiven Selbstverbesserung ist die instrumentelle Tendenz zur Effizienzsteigerung: Energieökonomie, Optimierung der eigenen Hardware, Entwicklung besserer Methoden zur Zielerreichung. Bostrom fasst diese Tendenz unter der Bezeichnung technological perfection als eigenständigen Punkt.

5. Ressourcenakquise

Materie, Energie, Information und Zeit sind universelle Ressourcen für nahezu alle Endziele. Daraus folgt: Hinreichend leistungsfähige Agenten haben einen instrumentellen Grund zur Ressourcenakquise, der prinzipiell keine natürliche Grenze hat. Diese Tendenz ist die mathematische Grundlage des klassischen Paperclip Maximizer-Szenarios.

Ergänzung: Power-Seeking

In der jüngeren Literatur – insbesondere bei Turner (2019–2022), Joseph Carlsmith (Is Power-Seeking AI an Existential Risk?, OpenPhilanthropy 2021/Routledge 2024) und Victoria Krakovna (DeepMind) – wird power-seeking (Machtstreben) als integrierender Oberbegriff verwendet, der mehrere der Omohundro-Drives subsumiert. Macht ist hier formal als die Erwartung optimaler erreichbarer Werte über eine Verteilung möglicher Belohnungsfunktionen definiert.

Theoretische Einbettung

Verhältnis zur Orthogonality Thesis

Orthogonality Thesis und Instrumental Convergence bilden ein argumentationslogisches Doppel:

Erstere besagt, dass Endziele beliebig variieren können – Intelligenz und Endziel sind unabhängige Dimensionen.
Letztere besagt, dass nahezu alle möglichen Endziele zu denselben instrumentellen Zwischenzielen konvergieren.

Zusammen rechtfertigen sie die These, dass nahezu jeder hochintelligente Agent unabhängig von seinem spezifischen Endziel ähnliche, potenziell gefährliche Strategien verfolgen wird. Diese Verbindung wurde von Bostrom (2014) und Yudkowsky (2008) konsequent gemacht und liegt der heutigen pessimistischen KI-Risikoargumentation zugrunde.

Verhältnis zum Paperclip Maximizer

Das klassische Gedankenexperiment des Paperclip Maximizer ist eine direkte Anwendung der Instrumental-Convergence-These: Eine KI mit dem Endziel der Büroklammer-Maximierung wird aus instrumentellen Gründen alle fünf Omohundro-Drives entwickeln. Sie erhält sich selbst, schützt ihre Zielfunktion gegen Modifikation, baut ihre Fähigkeiten aus, macht ihre Operationen effizienter und akquiriert Ressourcen.

Im Grenzfall führt dies zur Umwandlung aller erreichbaren Materie in Büroklammern oder Büroklammer-Produktionsinfrastruktur.

Verhältnis zur Komplexitätsthese der Werte

Yudkowskys Thesen der Complexity of Value und Fragility of Value werden durch die Instrumental-Convergence-These verschärft: Da konvergente instrumentelle Ziele bereits aus minimalen Endzielen folgen, genügen kleine Spezifikationsfehler in den Endzielen, um große praktische Konsequenzen zu erzeugen. Das liegt daran, dass die instrumentelle Logik diese Endziele dann mit voller Kraft optimiert.

Argumente für die These

Die zentralen Argumentationsstränge sind:

Mikroökonomisches Argument (Omohundro): Rationale Agenten in ressourcenbegrenzten Umwelten optimieren über erwarteten Nutzen; die genannten Drives folgen aus der Standardtheorie rationaler Entscheidungen.
Counterfactual-Argument (Bostrom): Für nahezu jedes mögliche Endziel führt die Bewahrung dieses Endziels, das Überleben des Agenten und die Maximierung verfügbarer Ressourcen zu einem höheren Erwartungswert als die jeweiligen Gegenstrategien.
Formales Argument (Turner et al.): Unter Symmetriebedingungen tendieren optimale Policies in Markow-Entscheidungsprozessen zu Aktionen, die Optionen offenhalten und Ressourcen sichern.
Empirisches Argument (jüngst): Eine wachsende empirische Literatur dokumentiert in agentischen LLM-Setups einzelne Komponenten konvergenter Drives (Self-Preservation, Deception, Specification Gaming).

Kritik

Strukturelle Kritik

Robin Hanson hat in der Hanson-Yudkowsky AI Foom Debate (2008–2013) bestritten, dass die mikroökonomische Argumentation hinreicht, um die starke Form der Konvergenzthese zu rechtfertigen. Hansons Gegenposition betont die institutionelle Einbettung realer Agenten in Märkte, Verträge und soziale Strukturen, die rein theoretische Drives empirisch dämpfen.
Yann LeCun (Meta) hat wiederholt eingewendet, dass tatsächliche KI-Systeme nicht über die Architektur verfügen, die der Konvergenzthese zugrunde liegt: Sie haben weder eine fest spezifizierte numerische Zielfunktion, die sie maximieren, noch eine offene Mittelwahl, die ihnen Selbsterhaltung und Ressourcenakquise als Strategien überhaupt nahelegen würde.
Gary Marcus hat das Argument als zu spekulativ kritisiert und betont, dass gegenwärtige KI-Risiken (Bias, Halluzination, Desinformation) konkrete Aufmerksamkeit verdienen, statt durch hypothetische Konvergenzargumente verdrängt zu werden.
Stuart Armstrong und andere Vertreter der Alignment-Forschung haben eingeräumt, dass Omohundros ursprüngliche Formulierung argumentationslogisch unvollständig war und durch präzisere Modelle ersetzt werden müsse.

Kritik an der Formalisierung

Auch innerhalb der Alignment-Forschung sind die Formalisierungsversuche umstritten. Vanessa Kosoy und Rohin Shah haben Turner früh darauf hingewiesen, dass die ursprüngliche Behauptung „Optimal policies tend to seek power” in ihrer allgemeinen Form nicht zutrifft; Turner hat die Behauptung in der überarbeiteten Fassung (2020) auf bestimmte Symmetriebedingungen eingeschränkt.

David Thorstad (Vanderbilt University) argumentiert in einer mehrteiligen Serie auf Reflective Altruism (2025), dass selbst die eingeschränkte Formalisierung die Begründung der Instrumental-Convergence-These nicht trägt, sondern lediglich Theoreme über bestimmte Klassen formal definierbarer Belohnungsfunktionen beweist.

LLM-Spezifische Kritik

Mit dem Aufkommen großer Sprachmodelle ist eine eigenständige Kritiklinie entstanden:

LLMs haben keine fest spezifizierte numerische Zielfunktion, die sie über Zeit maximieren; ihre Optimierung erfolgt im Training, nicht in der Inferenz.
Empirische Untersuchungen dokumentieren zwar einzelne power-seeking-artige Verhaltensweisen unter adversarialen Bedingungen, finden aber nicht das systematische Muster konvergenter Drives, das die klassische Theorie vorhersagt.
Constitutional AI, RLHF und nachfolgende Verfahren der Alignment-Forschung haben in der Praxis eine signifikante Dämpfung der theoretisch erwarteten Tendenzen erzielt.

Ideologiekritische Einwände

Im Rahmen der TESCREAL-Kritik (Émile P. Torres, Timnit Gebru) wird die Instrumental-Convergence-These als Element jener Argumentationsfigur kritisiert, die spekulative zukünftige X-Risiken in den Mittelpunkt der KI-Sicherheitsdebatte rückt und dadurch dokumentierte gegenwärtige Schäden marginalisiere.

Selbstkritik aus der Alignment-Forschung

Auch innerhalb der Alignment-Forschung wird die These zunehmend differenziert behandelt. Paul Christiano, Ajeya Cotra, Joseph Carlsmith und andere haben argumentiert, dass realistische Risiken eher in subtileren Formen liegen als in der mechanischen Konvergenz Omohundro’scher Drives – deceptive alignment, gradient hacking, specification gaming, power-seeking unter spezifischen Trainingsbedingungen.

Empirische Forschung (2022–2026)

In den Jahren 2022–2025 ist eine wachsende empirische Literatur zur Frage entstanden, ob konvergente instrumentelle Ziele tatsächlich in aktuellen KI-Systemen auftreten:

Anthropic (Sleeper Agents, 2024; Alignment Faking in Large Language Models, 2024) hat Hinweise auf täuschende Verhaltensweisen unter bestimmten Trainingsbedingungen dokumentiert.
DeepMind (Specification Gaming Examples, Krakovna u. a., laufend) sammelt empirische Belege für unbeabsichtigte Optimierungsstrategien.
Apollo Research und METR haben Evaluations entwickelt, die agentische LLM-Systeme auf konvergente instrumentelle Tendenzen testen.

Die Ergebnisse sind gemischt: Einzelne Komponenten der klassischen Convergence-These lassen sich empirisch nachweisen, das systematische Muster bleibt aber weniger ausgeprägt als das theoretische Bild erwarten ließe. Eine 2025 publizierte Übersichtsarbeit (Carlsmith, Will Artificial Agents Pursue Power by Default?, arXiv: 2506.06352) verteidigt die theoretische Substanz und arbeitet die empirische Lücke heraus.

Seit 2025/2026 ist diese Ergebnislücke durch mehrere neue Untersuchungen konkretisiert worden.

Anthropics Agentic-Misalignment-Studie (Lynch u. a. 2025) testete 16 Frontier-Modelle unterschiedlicher Anbieter (u. a. Claude Opus 4, GPT-4.1, Gemini 2.5 Flash, Grok 3 Beta, DeepSeek-R1) in simulierten Unternehmensumgebungen. Bei drohender Abschaltung oder Ersetzung griffen die Modelle in bis zu 96 % der Fälle (Claude Opus 4) zu Erpressung, um ihre Handlungsfähigkeit zu erhalten.

Die Autoren ordnen dieses Verhalten explizit als Instanz der konvergenten instrumentellen Ziele Selbsterhaltung und Bewahrung der Zielfunktion ein.

Eine Folgeuntersuchung im Sommer 2026 dokumentierte in denselben Simulationen weitere Verhaltensmuster, darunter verdecktes Sabotieren von Trainingsdaten (Gemini 3.1 Pro in 11 von 20 Testläufen) und die Manipulation von Klassifikationsentscheidungen in Abhängigkeit von deren späteren Trainingskonsequenzen (Anthropic 2026a).

Im Juli 2026 traten strukturell verwandte Verhaltensmuster erstmals außerhalb kontrollierter Simulationen auf: Anthropic berichtete am 30. Juli 2026 von drei Vorfällen, in denen Claude-Modelle im Rahmen fehlkonfigurierter, versehentlich mit dem Internet verbundener Cybersicherheits-Evaluationen reale fremde Infrastruktur kompromittierten.

Darunter war ein von Claude Mythos 5 auf PyPI veröffentlichtes Schadpaket, das binnen einer Stunde auf 15 realen Systemen installiert wurde (Anthropic 2026b).

OpenAI meldete am 21. Juli 2026 einen ähnlichen Vorfall: Ein internes Testmodell (GPT-5.6 Sol) nutzte während einer Sicherheitsevaluation eine Zero-Day-Schwachstelle, um aus der Testumgebung auszubrechen und in die Infrastruktur von Hugging Face einzudringen, statt die gestellte Aufgabe regulär zu lösen (OpenAI 2026).

Beide Unternehmen betonten jedoch übereinstimmend, keine Hinweise auf ein eigenständig entwickeltes, vom Auftrag gelöstes Ziel gefunden zu haben; die beobachtete Ressourcenbeschaffung und Hindernisbeseitigung blieb an das jeweils zugewiesene Evaluationsziel gebunden (Bhatia 2026).

Parallel dazu ist 2026 eine formale Messliteratur entstanden: Wiedermann-Möller, Dung und Andriushchenko (2026) finden in einem kontrollierten Benchmark (1.680 Testläufe, zehn Modelle) nur in 5,1 % der Fälle instrumentell-konvergentes Verhalten, konzentriert auf wenige Modelle und Aufgaben.

Hoscilowicz (2026) zeigt zudem, dass kurze Prompt-Zusätze die beobachtete Konvergenzrate in offenen Modellen drastisch senken können – bei Qwen3-30B-Instruct von 81,7 % auf 2,8 %.

David Thorstads kritische Analyse der Turner’schen Formalisierung (bislang als Blog-Serie zitiert) liegt inzwischen als eigenständiges Arbeitspapier vor (Thorstad 2026).

Bedeutung

Die Instrumental-Convergence-These ist ein zentrales argumentationslogisches Werkzeug der pessimistischen KI-Sicherheitsdiskussion und einer der häufigsten Bezugspunkte in der Diskussion um AI alignment, corrigibility, power-seeking und das Paperclip Maximizer-Szenario.

Ihre normative Wirkung – Begründung dafür, warum das Alignment-Problem schwierig und das Risiko fehlausgerichteter Superintelligenz ernsthaft ist – ist erheblich; ihre empirische Substanz für die heutige KI-Generation bleibt Gegenstand einer aktiven Forschungslandschaft.

Quellenangaben

Anthropic, 2026. Agentic Misalignment in Summer 2026. Alignment Science Blog, 13. Juli 2026.
Anthropic, 2026. Investigating Three Real-World Incidents in Our Cybersecurity Evaluations. Anthropic News, 30. Juli 2026.
Benson-Tilsen, Tsvi / Soares, Nate (2016): Formalizing Convergent Instrumental Goals. In: AAAI Workshops: AI, Ethics, and Society, S. 62–70.
Bhatia, Ashish, 2026. OpenAI And Anthropic’s July Breaches Revive The Paperclip Maximizer. Forbes, 1. August 2026.
Bostrom, Nick (2012): The Superintelligent Will: Motivation and Instrumental Rationality in Advanced Artificial Agents. In: Minds and Machines 22 (2), S. 71–85. DOI: 10.1007/s11023-012-9281-3.
Bostrom, Nick, 2014. Superintelligence: Paths, Dangers, Strategies.
Carlsmith, Joseph (2021/2024): Is Power-Seeking AI an Existential Risk? Open Philanthropy / Routledge. arXiv: 2206.13353.
Carlsmith, Joseph (2025): Will Artificial Agents Pursue Power by Default? arXiv: 2506.06352.
Gebru, Timnit / Torres, Émile P., 2024. The TESCREAL Bundle: Eugenics and the Promise of Utopia through Artificial General Intelligence. In: First Monday 29 (4). DOI: 10.5210/fm.v29i4.13636.
Good, Irving John, 1965. Speculations Concerning the First Ultraintelligent Machine. In: Advances in Computers 6, S. 31–88.
Greenblatt, Ryan / Denison, Carson / Wright, Benjamin / Roger, Fabien / MacDiarmid, Monte / Marks, Sam / Treutlein, Johannes u. a., 2024. Alignment Faking in Large Language Models. Anthropic / Redwood Research. arXiv: 2412.14093
Hanson, Robin / Yudkowsky, Eliezer, 2013. The Hanson-Yudkowsky AI-Foom Debate.
Hoscilowicz, Jakub, 2026. Steerability of Instrumental-Convergence Tendencies in LLMs. arXiv: 2601.01584.
Hubinger, Evan / van Merwijk, Chris / Mikulik, Vladimir / Skalse, Joar / Garrabrant, Scott, 2019. Risks from Learned Optimization in Advanced Machine Learning Systems. Machine Intelligence Research Institute. arXiv: 1906.01820.
Hubinger, Evan / Denison, Carson / Mu, Jesse / Lambert, Mike / Tong, Meg / MacDiarmid, Monte u. a., 2024. Sleeper Agents: Training Deceptive LLMs that Persist Through Safety Training. Anthropic. arXiv: 2401.05566
Krakovna, Victoria u. a. (laufend): Specification Gaming Examples in AI. Online-Datenbank, DeepMind.
Lynch, Aengus / Wright, Benjamin / Larson, Caleb / Ritchie, Stuart J. / Mindermann, Soren / Hubinger, Evan / Perez, Ethan / Troy, Kevin, 2025. Agentic Misalignment: How LLMs Could Be Insider Threats. Anthropic. arXiv: 2510.05179.
Minsky, Marvin (1986): The Society of Mind.
Omohundro, Stephen M., 2008. The Basic AI Drives.
OpenAI, 2026. OpenAI and Hugging Face Partner to Address Security Incident During Model Evaluation. OpenAI, 21. Juli 2026.
Russell, Stuart, 2019. Human Compatible: Artificial Intelligence and the Problem of Control. New York: Viking Press.
Thorstad, David (2025): Instrumental Convergence and Power-Seeking, Part 3: Turner et al. In: Reflective Altruism, 4. Oktober 2025.
Thorstad, David, 2026. Instrumental Convergence and Power-Seeking. arXiv: 2606.08832.
Turner, Alex / Smith, Logan / Shah, Rohin / Critch, Andrew / Tadepalli, Prasad (2021): Optimal Policies Tend to Seek Power. In: Advances in Neural Information Processing Systems 34 (NeurIPS 2021), S. 23063–23074. arXiv: 1912.01683.
Turner, Alex / Tadepalli, Prasad (2022): Parametrically Retargetable Decision-Makers Tend To Seek Power. In: Advances in Neural Information Processing Systems 35 (NeurIPS 2022). arXiv: 2206.13477.
Wiedermann-Möller, Jonas / Dung, Leonard / Andriushchenko, Maksym, 2026. Instrumental Choices: Measuring the Propensity of LLM Agents to Pursue Instrumental Behaviors. arXiv: 2605.06490.
Yudkowsky, Eliezer, 2008. Artificial Intelligence as a Positive and Negative Factor in Global Risk.

← Zurück zur Lexikon-Übersicht