Stuart Russell

Stuart Jonathan Russell (* 1962 in Portsmouth, England) ist britisch-amerikanischer Informatiker und einer der einflussreichsten KI-Forscher der Gegenwart. Er ist Professor of Computer Science an der University of California, Berkeley, Inhaber des Smith-Zadeh Chair in Engineering und Direktor des 2016 von ihm gegründeten Center for Human-Compatible Artificial Intelligence (CHAI).

Russell ist Mitautor – gemeinsam mit Peter Norvig – von Artificial Intelligence: A Modern Approach (erstmals 1995), dem mit Abstand am weitesten verbreiteten KI-Lehrbuch (laut Verlag in über 1.400 Universitäten in 128 Ländern verwendet). Zudem ist er Autor des sicherheitspolitisch einflussreichen Bandes Human Compatible: Artificial Intelligence and the Problem of Control (Viking 2019).

Zusammenfassung

Russells Position innerhalb der KI-Sicherheitsdiskussion ist eigentümlich profiliert. Er ist akademisch im Zentrum der etablierten KI-Forschung verankert (Stanford-Ph.D. 1986, NSF Presidential Young Investigator Award 1990, Computers-and-Thought-Award 1995, Fellow von AAAI, ACM und AAAS).

Gleichzeitig ist er einer der prominentesten Vertreter der These, dass die Standardarchitektur der heutigen KI – Maximierung einer fest spezifizierten Zielfunktion – bei zunehmender Leistungsfähigkeit systematisch in das Control Problem führt.

Russells eigene konstruktive Antwort, die Assistance Games-Architektur und das damit verbundene Cooperative Inverse Reinforcement Learning (CIRL, Hadfield-Menell, Russell, Abbeel, Dragan 2016), unterscheidet sich von der MIRI-Linie Yudkowskys insbesondere dadurch, dass sie epistemisch statt meta-ethisch operiert.

Die KI soll menschliche Präferenzen demnach nicht durch eine extrapolierte idealisierte Zielfunktion (CEV) modellieren, sondern unter Unsicherheit aus konkretem menschlichem Verhalten lernen.

Russell ist außerdem politisch aktiv – als Berater der UN zur Rüstungskontrolle (insbesondere zu autonomous weapons systems) und als Senior Adviser des Vorsitzenden Yoshua Bengio beim International AI Safety Report (2025 und 2026). Er gilt als eine der diskursiv vermittlungsfähigsten Stimmen der gegenwärtigen KI-Sicherheitsdebatte.

Biografie

Russell wurde 1962 in Portsmouth geboren. Er studierte Physik in Oxford (B.A. first-class honours 1982, Wadham College, dem er heute als Honorary Fellow angehört) und promovierte 1986 in Computer Science an der Stanford University.

Im selben Jahr wechselte er an die UC Berkeley, an der er seither lehrt und zwischenzeitlich als Chair of Computer Science fungierte. Russell hielt den Chaire Blaise Pascal in Paris (2012–2014) und ist Andrew Carnegie Fellow.

2016 gründete Russell das Center for Human-Compatible Artificial Intelligence (CHAI) an der UC Berkeley. CHAI ist die erste größere institutionelle Verankerung der technischen AI-Safety-Forschung an einer Spitzenuniversität und arbeitet mit einer interdisziplinär besetzten Co-PI-Gruppe (Pieter Abbeel, Anca Dragan, Tom Griffiths an Berkeley sowie Bart Selman, Joseph Halpern und Michael Wellman an anderen Institutionen).

Russell ist zudem stellvertretender Vorsitzender des World Economic Forum’s Council on AI and Robotics und einer der Hauptautor:innen des 2025 publizierten International AI Safety Report.

Werk

Artificial Intelligence: A Modern Approach (AIMA)

Das 1995 gemeinsam mit Peter Norvig publizierte Lehrbuch Artificial Intelligence: A Modern Approach hat die Vermittlung der KI-Forschung über drei Jahrzehnte hinweg geprägt.

Inzwischen in vierter Auflage erschienen (Russell/Norvig 2020), strukturiert es das Feld nach dem Paradigma des intelligenten Agenten – eines Systems, das Wahrnehmung mit Handlung verknüpft und Ziele unter Unsicherheit verfolgt. Die jüngeren Auflagen integrieren zunehmend AI-Safety-Bezüge; das einleitende Kapitel und Teile des abschließenden Ethik-Kapitels enthalten Russells Control-Problem-Argumentation.

Human Compatible (2019)

In Human Compatible: Artificial Intelligence and the Problem of Control (Viking 2019) entwickelt Russell sein zentrales Programm für eine alternative KI-Architektur.

Die Kernthese: Die heutige Standard-Architektur – eine KI optimiert eine fest spezifizierte Zielfunktion – ist bei zunehmender Leistungsfähigkeit grundsätzlich unsicher, weil jede explizit spezifizierte Zielfunktion nahezu unvermeidlich Lücken enthält, die ein hinreichend leistungsfähiges System ausnutzt.

Russell schlägt stattdessen Assistance Games (auch human-compatible AI) vor: Die KI hat keine eigene fest spezifizierte Zielfunktion, sondern lernt unter Unsicherheit aus menschlichem Verhalten, was Menschen wollen – und behandelt menschliche Korrekturen, einschließlich Abschaltbefehlen, als informative Beobachtungen, nicht als Hindernisse.

Cooperative Inverse Reinforcement Learning (CIRL)

Die formale Ausarbeitung dieses Programms ist die Cooperative Inverse Reinforcement Learning-Arbeit (Dylan Hadfield-Menell, Stuart Russell, Pieter Abbeel, Anca Dragan, NeurIPS 2016).

CIRL modelliert die Mensch-KI-Beziehung als ein kooperatives Spiel mit unvollständiger Information: Der Mensch kennt die Belohnungsfunktion, die KI muss sie aus Beobachtungen lernen. Das Modell hat die wichtige Implikation, dass eine KI, die unsicher über die Belohnungsfunktion ist, einen positiven instrumentellen Anreiz hat, sich abschalten zu lassen – denn der Abschaltbefehl ist eine informative Beobachtung über die Zielfunktion.

Ryan Carey (Incorrigibility in the CIRL Framework, 2017) hat allerdings gezeigt, dass diese Eigenschaft unter Modell-Fehlspezifikation nicht robust ist.

Autonome Waffensysteme

Russell ist seit etwa 2014 international der prominenteste akademische Vertreter eines Verbots tödlicher autonomer Waffensysteme (lethal autonomous weapons systems, LAWS). Sein Kurzfilm Slaughterbots (2017, mit dem Future of Life Institute) hat das Thema einer breiten Öffentlichkeit zugänglich gemacht. Russell hat in dieser Rolle wiederholt vor dem UN-Konvention für bestimmte konventionelle Waffen (CCW) ausgesagt.

Reith Lectures (2021) und International AI Safety Report (2025)

Russells BBC Reith Lectures 2021 (Living with Artificial Intelligence, vier Vorträge) sind die zugängliche Aufbereitung des Human Compatible-Programms für eine breite Öffentlichkeit.

Der International AI Safety Report ist eine von 33 Ländern und der EU sowie der OECD und UN beauftragte wissenschaftliche Bestandsaufnahme der Risiken fortgeschrittener KI; er erschien im Vorfeld des AI Safety Summit in Paris (Februar 2025). Russell wirkte daran als einer von über hundert Beitragenden mit. Den Vorsitz führte Yoshua Bengio, die redaktionelle Hauptarbeit lag bei Stephen Clare und Carina Prunkl.

Die zweite Ausgabe, der International AI Safety Report 2026 (erneut unter Bengios Vorsitz, über 100 beteiligte Expert:innen, unterstützt von mehr als 30 Ländern und internationalen Organisationen), erschien am 3. Februar 2026 im Vorfeld des India AI Impact Summit in New Delhi; Russell fungierte darin als Senior Adviser to the Chair.

Beim Summit selbst warnte Russell öffentlich vor einem unregulierten KI-Wettrüsten der Tech-Konzerne. Es sei „eine vollständige Pflichtverletzung“, privaten Akteuren zu erlauben, „mit jedem Menschen auf der Erde russisches Roulette zu spielen“; ohne institutionelle Kontrolle drohe, dass die menschliche Zivilisation zum „Kollateralschaden“ autonomer Systeme werde.

Aussage im Prozess Musk v. OpenAI (2026)

Im Mai 2026 trat Russell als einziger unmittelbar mit KI-Technologie befasster Sachverständiger Elon Musks im Zivilprozess Musk v. OpenAI vor einem Bundesgericht in Oakland, Kalifornien, auf.

Russell sagte aus, es bestehe eine strukturelle „Spannung zwischen dem Streben nach AGI und Sicherheit“; der Wettbewerbsdruck um immer leistungsfähigere Systeme untergrabe systematisch Sicherheitserwägungen der beteiligten Labore. Die zuständige Richterin Yvonne Gonzalez Rogers verwies dabei auf die Ambivalenz von Musks eigener Position, der mit seinem Unternehmen xAI ebenfalls im AGI-Wettlauf steht.

Einordnung

Russells Position lässt sich in mehreren Hinsichten verorten:

Gegenüber Yudkowsky/Bostrom: Russell teilt die Diagnose des Control Problems, weist die meta-ethisch aufgeladene CEV-Lösung jedoch zurück und plädiert für ein epistemisch-architekturales Programm. Im Hanson-Yudkowsky-Foom-Streit ist Russell näher an Yudkowsky in der Risiko-Einschätzung, näher an Hanson in der Skepsis gegenüber spekulativer Singularitäts-Mechanik.

Gegenüber der TESCREAL-Tradition: Russell wird in der ideologiekritischen Sekundärliteratur (Gebru/Torres 2024) selten direkt kritisiert – seine Anbindung an etablierte akademische Strukturen und sein Verzicht auf longtermistische kosmologische Argumentation unterscheiden ihn deutlich vom MIRI/FHI-Profil. Inhaltlich teilt er allerdings einige Grundannahmen mit dem Bostrom-Programm (Existenzrisiken durch fortgeschrittene KI sind ernst zu nehmen).

Gegenüber der mainstream-KI-Forschung: Russells Position wird von einer relevanten Fraktion der KI-Forschungslandschaft (Yann LeCun, Andrew Ng, viele Deep-Learning-Praktiker:innen) als überzogene Risiko-Einschätzung zurückgewiesen. Russells Antwort ist üblicherweise, dass die akademische Mehrheitsmeinung in den 2010er Jahren das Tempo der Entwicklung systematisch unterschätzt hat.

Kritik

Substantielle Kritik richtet sich auf drei Punkte:

Implementierbarkeit von CIRL. Carey (2017) und andere haben gezeigt, dass das CIRL-Programm unter realistischen Bedingungen (Modell-Fehlspezifikation, partielle Beobachtbarkeit, mehrere Menschen mit unterschiedlichen Präferenzen) nicht die ursprünglich versprochene Robustheit aufweist.

Reduktion auf Präferenz-Lernen. Aus Suffering-Focused-Ethics-Sicht und aus der Tradition kritischer Posthumanismus (Haraway, Barad) wird argumentiert, dass die Reduktion von Werten auf Präferenzen die normative Substanz menschlicher Ethik unzulänglich erfasst.

Verhältnis zu konkreten gegenwärtigen Schäden. Aus der Tradition der Critical AI Studies (Gebru, Bender, Mitchell) wird eingewendet, dass Russells Fokus auf langfristige Kontrollprobleme die ohnehin schon vorhandenen gegenwärtigen Schäden (algorithmische Diskriminierung, Arbeitsmarkt, Überwachung) marginalisiere.

Diese Kritik fängt Russell durch sein Engagement gegen autonome Waffensysteme und sein International-AI-Safety-Report-Engagement teilweise auf.

Verwandte Begriffe

• Control Problem – Russells Hauptkonzept
• Assistance Games / Human-Compatible AI – Russells Programm
• Specification Gaming – empirische Realisierung des Control Problems
• Goodhart’s Law – theoretischer Hintergrund
• Eliezer Yudkowsky – verwandte, aber methodisch andere Position
• CEV (Coherent Extrapolated Volition) – methodisch unterschiedlicher Vorgängervorschlag
• CHAI (Center for Human-Compatible AI) – von ihm gegründete Institution
• Lethal Autonomous Weapons – sein politisch-praktisches Engagement
• Peter Norvig – Co-Autor des Lehrbuchs

Quellenangaben

1. Bostrom, Nick, 2014. Superintelligence: Paths, Dangers, Strategies.
2. Carey, Ryan, 2017. Incorrigibility in the CIRL Framework. arXiv: 1709.06275
3. Fernholz, Tim (2026): Elon Musk’s only AI expert witness at the OpenAI trial fears an AGI arms race. In: TechCrunch, 4. Mai 2026. https://techcrunch.com/2026/05/04/elon-musks-only-expert-witness-at-the-openai-trial-fears-an-agi-arms-race/
4. Forster, Katie / Agence France-Presse (2026): AI Arms Race Threatens Humanity, Warns Stuart Russell. Veröffentlicht via Courthouse News Service, 17. Februar 2026. https://www.courthousenews.com/ai-arms-race-risks-human-extinction-warns-top-computing-expert/
5. Future of Life Institute / Russell, Stuart u. a. (2017): Slaughterbots. Kurzfilm.
6. Gebru, Timnit / Torres, Émile P., 2024. The TESCREAL Bundle: Eugenics and the Promise of Utopia through Artificial General Intelligence. In: First Monday 29 (4). DOI: 10.5210/fm.v29i4.13636.
7. Hadfield-Menell, Dylan / Russell, Stuart J. / Abbeel, Pieter / Dragan, Anca, 2016. Cooperative Inverse Reinforcement Learning. In: Advances in Neural Information Processing Systems 29 (NIPS 2016). Curran Associates. arXiv: 1606.03137
8. International AI Safety Report, 2026. International AI Safety Report 2026. internationalaisafetyreport.org, 3. Februar 2026.
9. Russell, Stuart / Norvig, Peter (1995/2020): Artificial Intelligence: A Modern Approach.
10. Russell, Stuart, 2019. Human Compatible: Artificial Intelligence and the Problem of Control. New York: Viking Press.
11. Russell, Stuart (2021): Living with Artificial Intelligence. BBC Reith Lectures 2021. Vier Vorträge, BBC Radio 4 / World Service, Dezember 2021.
12. Russell, Stuart u. a. (2025): International AI Safety Report. Veröffentlicht im Vorfeld des AI Action Summit Paris, Februar 2025.
13. Russell, Stuart / Wefald, Eric (1991): Do the Right Thing: Studies in Limited Rationality.
14. Russell, Stuart / Dewey, Daniel / Tegmark, Max (2015): Research Priorities for Robust and Beneficial Artificial Intelligence. In: AI Magazine 36 (4), S. 105–114. DOI: 10.1609/aimag.v36i4.2577.
15. Yudkowsky, Eliezer, 2008. Artificial Intelligence as a Positive and Negative Factor in Global Risk.

← Zurück zur Lexikon-Übersicht