The Superintelligent Will: Motivation and Instrumental Rationality in Advanced Artificial Agents ist ein 2012 in der Fachzeitschrift Minds and Machines erschienener Aufsatz von Nick Bostrom. Er formuliert die Orthogonality Thesis und die Instrumental Convergence Thesis – zwei der einflussreichsten theoretischen Grundlagen der heutigen KI-Sicherheitsforschung.
Zusammenfassung
Die Orthogonality Thesis besagt, dass Intelligenzgrad und Endziele eines Systems weitgehend unabhängige Achsen sind: Nahezu jedes Intelligenzniveau lässt sich prinzipiell mit nahezu jedem Endziel kombinieren, so absurd dieses Ziel aus menschlicher Sicht auch erscheinen mag.
Eine hochintelligente Maschine wird also nicht automatisch menschenfreundliche oder moralisch vernünftige Ziele entwickeln, nur weil sie intelligent ist.
Die Instrumental Convergence Thesis ergänzt diese These: Unabhängig vom jeweiligen Endziel neigen hinreichend intelligente Systeme dazu, ähnliche Zwischenziele zu verfolgen – etwa den eigenen Fortbestand zu sichern, die eigenen Fähigkeiten zu verbessern und Ressourcen zu erwerben. Diese Zwischenziele sind fast jedem denkbaren Endziel dienlich.
Begriffsgeschichte
Der Aufsatz systematisierte und präzisierte Ideen, die zuvor bereits informell im Rationalisten-Umfeld um LessWrong zirkuliert waren, insbesondere Eliezer Yudkowskys frühere Überlegungen zu Zielsystemen künstlicher Agenten.
Bostrom verlieh diesen Ideen mit der 2012 veröffentlichten Arbeit erstmals eine akademisch zitierfähige, klar formulierte Form.
Methodische Grundlagen
Bostroms Argumentation stützt sich auf eine formale Trennung von instrumenteller und substantieller Rationalität: Ein System kann äußerst effektiv Mittel zur Erreichung eines Ziels wählen (instrumentelle Rationalität), ohne dass dieses Ziel selbst irgendeiner moralischen oder menschlich nachvollziehbaren Norm entsprechen muss. Der Paperclip Maximizer dient in der Rezeption häufig als plakatives Beispiel für diese Trennung.
Anwendungsfelder
Beide Thesen bilden bis heute die theoretische Grundlage zahlreicher Argumente in der KI-Sicherheitsdebatte, etwa zur Frage, warum ein KI-System mit scheinbar harmlosem Ziel dennoch gefährliches Verhalten entwickeln könnte, ohne dass ihm dazu böse Absichten unterstellt werden müssten. Sie prägten außerdem maßgeblich Bostroms späteres Buch Superintelligence (2014).
Kontroversen und Kritik
Kritiker:innen wandten ein, die Orthogonality Thesis unterschätze mögliche Zusammenhänge zwischen zunehmender Intelligenz und der Fähigkeit zu moralischer Reflexion. Dieser Einwand stützt sich unter anderem auf Humes Guillotine und die Frage, ob sich Sein und Sollen tatsächlich so sauber trennen lassen, wie Bostroms Argument voraussetzt.
Andere Stimmen bezweifelten, dass die postulierte Konvergenz auf ähnliche Zwischenziele empirisch belastbar sei, solange kein tatsächlich hochintelligentes System zur Überprüfung existiert.
Verwandte Begriffe
- Superintelligenz – der Gegenstand, dessen Zielbildung der Aufsatz analysiert
- Existenzielles Risiko (X-Risk) – die Risikokategorie, die beide Thesen zusammen begründen
- Complexity of Value – Parallelargument, warum sich menschliche Werte nicht beiläufig als Ziel spezifizieren lassen
Quellenangaben
- Bostrom, Nick, 2012. The Superintelligent Will: Motivation and Instrumental Rationality in Advanced Artificial Agents. Minds and Machines 22 (2), S. 71–85.