Human Compatible

Human Compatible: Artificial Intelligence and the Problem of Control ist ein 2019 bei Viking erschienenes Buch des Informatikers Stuart Russell. Es argumentiert, dass das Standardmodell der KI-Entwicklung – Maschinen ein festes Ziel vorzugeben, das sie optimieren – grundlegend fehlerhaft sei, und schlägt eine Neugründung des Feldes auf der Basis von Zielunsicherheit vor.

Zusammenfassung

Russell ist Mitautor des weltweit verbreitetsten KI-Lehrbuchs; seine Kritik richtet sich damit gegen ein Paradigma, das er selbst mitgeprägt hat. Sein Kernargument: Ein System, das ein exakt spezifiziertes Ziel maximiert, wird umso gefährlicher, je fähiger es ist, weil jede Ungenauigkeit der Zielangabe mit wachsender Optimierungskraft verstärkt wird.

Als Ausweg schlägt er vor, Maschinen so zu konstruieren, dass sie über die menschlichen Präferenzen, denen sie dienen sollen, grundsätzlich im Unklaren bleiben.

Aus dieser Unsicherheit folgt Fügsamkeit: Ein System, das nicht sicher weiß, was gewollt ist, hat Grund, nachzufragen und sich abschalten zu lassen. Das Buch gilt neben Bostroms Superintelligence als der zweite Grundlagentext der Debatte, unterscheidet sich von diesem jedoch durch die technische Ausrichtung des Lösungsvorschlags.

Inhalt

Das Standardmodell und sein Fehler

Russell bezeichnet als Standardmodell die Auffassung, KI-Systeme seien umso besser, je zuverlässiger sie ein vorgegebenes Ziel erreichen. Dieses Modell ist der Ökonomie, der Regelungstechnik und der Statistik entlehnt und war für begrenzte Anwendungen unproblematisch.

Mit wachsender Fähigkeit kehrt sich das um. Da menschliche Präferenzen komplex, kontextabhängig und unvollständig artikulierbar sind, ist jede explizite Zielangabe unvollständig. Ein hinreichend fähiges System optimiert dann genau das Angegebene – einschließlich der nicht mitgedachten Nebenwirkungen. Russell führt dies auf die Figur des Zauberlehrlings zurück: Das Problem ist nicht Bosheit, sondern wörtliche Befolgung.

Die drei Prinzipien

Als Gegenentwurf formuliert Russell drei Prinzipien, ausdrücklich nicht als Gesetze für Maschinen, sondern als Leitlinien für Entwickelnde:

1. Das einzige Ziel der Maschine ist die größtmögliche Verwirklichung menschlicher Präferenzen.
2. Die Maschine ist zunächst darüber im Unklaren, worin diese Präferenzen bestehen.
3. Die letzte Erkenntnisquelle über menschliche Präferenzen ist menschliches Verhalten.

Das zweite Prinzip trägt die Konstruktion. Ein System, das seine Zielfunktion für sicher gekannt hielte, hätte instrumentelle Gründe, Abschaltung zu verhindern – sie würde die Zielerreichung vereiteln. Ein System hingegen, das die eigene Zielkenntnis für unvollständig hält, deutet einen Abschaltversuch als Information darüber, dass es sich irrt, und lässt ihn zu.

Assistenzspiele

Formal fasst Russell die Beziehung als kooperatives Spiel unter unvollständiger Information: Maschine und Mensch verfolgen dasselbe Ziel, aber nur der Mensch kennt es. Die Maschine muss aus dem Verhalten des Menschen auf dessen Präferenzen schließen.

Aus dieser Struktur ergibt sich Fügsamkeit als rationales Verhalten, nicht als aufgezwungene Regel. Russell illustriert dies am Abschaltknopf und am Beispiel eines Systems mit einem eng gefassten Herstellungsziel.

Sein Fernziel bezeichnet er als nachweislich nutzbringende Maschinen: Systeme, für die sich formal zeigen lässt, dass sie menschlichen Zwecken dienen.

Komplikationen

Ein eigenes Kapitel behandelt Schwierigkeiten der menschlichen Seite: Menschen sind viele mit widerstreitenden Präferenzen; Präferenzen verändern sich, auch durch die Systeme selbst; manche Präferenzen richten sich gegen andere Menschen. Russell diskutiert damit die moralphilosophischen Grenzen seines eigenen Ansatzes, ohne sie aufzulösen.

Weitere Kapitel behandeln nähere Risiken – letale autonome Waffensysteme, Überwachung, Manipulation durch Empfehlungssysteme – sowie zu erwartende Vorteile.

Wirkung

Das Buch verlagerte die Alignment-Debatte von der Risikobeschreibung zur technischen Konstruktion. Die Idee, Zielunsicherheit als Sicherheitsmerkmal zu behandeln, wirkte auf Forschungsprogramme zu Präferenzlernen, Korrigierbarkeit und Fügsamkeit.

Von Bostroms Superintelligence unterscheidet es sich in Ton und Stoßrichtung: Russell schreibt aus der Position des Fachvertreters, richtet sich an die eigene Disziplin und schlägt eine Umgestaltung ihrer Grundlagen statt einer Risikoabschätzung vor.

Kritik

Der häufigste Einwand betrifft die Umsetzbarkeit: Präferenzen aus Verhalten zu erschließen, ist ein ungelöstes Problem, da dasselbe Verhalten mit vielen Präferenzstrukturen vereinbar ist und Menschen sich nicht rational im vorausgesetzten Sinne verhalten. Auch die Aggregation widerstreitender Präferenzen vieler Menschen ist keine technische, sondern eine politische Frage – was Russell einräumt, ohne sie zu beantworten.

Weiter wird eingewandt, das Buch nehme die Entstehung übermenschlicher KI als hinreichend wahrscheinlich an, um daraus Handlungsbedarf abzuleiten, ohne diese Annahme selbst zu begründen. Aus der Gegenrichtung wird kritisiert, die Konzentration auf das Kontrollproblem blende Verteilungsfragen und gegenwärtige Schäden aus.

Ein eigenständiger Einwand betrifft die vorgeschlagene Lösung selbst. Russells Vorschlag beruht darauf, dass ein System über die menschlichen Ziele im Ungewissen bleibt und deshalb Rückfragen stellt und Abschaltung zulässt. Kritiker halten diese Ungewissheit für instabil: Je länger ein System beobachtet, desto sicherer wird es in seiner Einschätzung, und mit der Sicherheit schwindet der Grund, sich korrigieren zu lassen.

Die Fügsamkeit wäre demnach eine Eigenschaft der Anfangsphase und nicht des Entwurfs. Russell begegnet dem mit dem Hinweis, dass sich vollständige Gewissheit über menschliche Präferenzen prinzipiell nicht erreichen lasse – ein Argument, das die Frage auf die Modellierung der Restunsicherheit verschiebt, ohne sie zu beantworten.

Nachwirkung

Unabhängig von der Bewertung der Lösung hat das Buch die Sprache der Debatte verändert. Die Formulierung, das eigentliche Problem sei nicht ein bösartiges, sondern ein kompetentes System mit leicht danebenliegenden Zielen, ist seither Gemeinplatz – ebenso die Rede vom Königs-Midas-Problem für die Diskrepanz zwischen gewünschtem und spezifiziertem Ziel.

Institutionell wirkte das Buch über Russells Stellung in der Disziplin: Als Mitverfasser des seit den 1990er Jahren maßgeblichen Lehrbuchs der KI konnte er die Frage nicht als Außenkritik, sondern als Revision der Grundlagen des eigenen Fachs stellen. Die neueren Auflagen jenes Lehrbuchs greifen die Umformulierung des Zielbegriffs auf – womit die These aus der Streitschrift in die Ausbildung eingegangen ist.

Verwandte Begriffe

• Stuart Russell – Autor
• AI Alignment – Forschungsfeld, dem das Buch eine technische Richtung gab
• Corrigibility – Eigenschaft, die aus dem zweiten Prinzip folgt
• Superintelligence – Bostroms Buch zum selben Problem mit anderer Herangehensweise
• Instrumentelle Konvergenz – These, der Russell mit Zielunsicherheit begegnet
• Outer Alignment – Problem der korrekten Zielspezifikation
• Inverse Reinforcement Learning – technischer Ansatz zum Erschließen von Präferenzen aus Verhalten
• Paperclip-Maximizer – Gedankenexperiment zum Fehler des Standardmodells

Quellenangaben

1. Bostrom, Nick, 2014. Superintelligence: Paths, Dangers, Strategies.
2. Penguin Random House, o. J. Human Compatible. Verlagsangaben. https://www.penguinrandomhouse.com/books/566677/human-compatible-by-stuart-russell/
3. Russell, Stuart, 2019. Human Compatible: Artificial Intelligence and the Problem of Control.
4. Russell, Stuart / Norvig, Peter, 2020. Artificial Intelligence: A Modern Approach.

← Zurück zur Lexikon-Übersicht

Zuletzt bearbeitet: 10. August 2026

Zusammengestellt, formuliert, lektoriert und korrigiert mit KI-Unterstützung. Kuratiert von Nils Brauer. Alle Angaben ohne Gewähr.