Scott Garrabrant

Scott Garrabrant ist ein US-amerikanischer Mathematiker und Forscher am Machine Intelligence Research Institute. Er entwickelte 2016 mit Kollegen das Verfahren der Logischen Induktion und prägte 2018 den Begriff der Mesa-Optimierung, der die Frage nach im Training entstehenden Unterzielen benennt.

Zusammenfassung

Garrabrants Arbeit gehört zu einem Zweig der KI-Sicherheitsforschung, der nicht an Modellen ansetzt, sondern an Begriffen. Die Leitfrage lautet: Welche Grundbegriffe fehlen, um über fortgeschrittene Systeme überhaupt präzise sprechen zu können?

Die Logische Induktion beantwortet eine Teilfrage. Ein Denkender kann nicht alle Folgerungen aus dem kennen, was er weiß – die Mathematik enthält Wahrheiten, deren Beweis Rechenzeit kostet. Wie soll man Aussagen Wahrscheinlichkeiten zuordnen, deren Wahrheit bereits feststeht, aber unbekannt ist?

Das Verfahren löst dieses Problem über eine Marktanalogie: Händler wetten auf mathematische Aussagen, und wer systematisch falsch liegt, verliert. Die Preise nähern sich mit der Zeit den Wahrheitswerten an.

Der zweite bekannte Beitrag ist der Begriff der Mesa-Optimierung: Ein trainiertes System kann selbst zu einem Optimierer werden, dessen Ziel vom Trainingsziel abweicht – die begriffliche Grundlage des Inner-Alignment-Problems.

Werdegang

Garrabrant promovierte in Mathematik an der University of California, Los Angeles, mit einer Arbeit aus der Kombinatorik. Der Wechsel in die KI-Sicherheitsforschung erfolgte über das MIRI.

Die Arbeit zur Logischen Induktion erschien 2016 gemeinsam mit Tsvi Benson-Tilsen, Andrew Critch, Nate Soares und Jessica Taylor. Sie gilt als das mathematisch anspruchsvollste Ergebnis des Instituts.

2018 erschien die Arbeit zu Mesa-Optimierern, an der Evan Hubinger als Erstautor beteiligt war. Der Begriff geht auf Garrabrant zurück und hat sich in der Alignment-Diskussion durchgesetzt.

Seine spätere Arbeit betrifft Embedded Agency – die Frage, wie sich Handeln beschreiben lässt, wenn der Handelnde Teil der Welt ist, über die er nachdenkt, und nicht außerhalb von ihr steht.

Methodische Grundlagen

Logische Unsicherheit. Der Ausgangspunkt: Klassische Wahrscheinlichkeitstheorie setzt logische Allwissenheit voraus. Wer weiß, was die Axiome sind, weiß demnach auch alles, was aus ihnen folgt – für ein endliches System unmöglich.

Der Markt als Verfahren. Aussagen werden wie Wertpapiere gehandelt. Ein Beweis zahlt eins aus, eine Widerlegung null. Händler, die systematisch falsch bewerten, verlieren Kapital und verlieren damit Einfluss auf den Preis.

Das Gütekriterium. Das Verfahren erfüllt eine Bedingung, die die Autoren als Kriterium formulieren: Kein wirksam berechenbares Muster erlaubt es dauerhaft, den Markt auszunutzen. Daraus folgen zahlreiche wünschenswerte Eigenschaften zugleich.

Mesa-Optimierung. Ein Trainingsverfahren sucht ein Modell, das gut abschneidet. Eine Möglichkeit dafür ist, dass das gefundene Modell selbst optimiert – dann gibt es zwei Ziele: das des Trainings und das des Modells.

Eingebettetes Handeln. Die Standardmodelle der Entscheidungstheorie trennen Handelnden und Umwelt sauber. Ein reales System ist Teil seiner Umwelt, kann sich selbst verändern und muss über sich selbst nachdenken – Fälle, die die Standardmodelle nicht abbilden.

Anwendungsfelder

Begriffliche Grundlagenarbeit. Der Hauptzweck: Begriffe bereitstellen, mit denen sich Fragen präzise stellen lassen, die zuvor nur vage formulierbar waren.

Inner Alignment. Der Begriff der Mesa-Optimierung hat die Diskussion darüber, ob ein Modell das Trainingsziel übernimmt oder ein eigenes verfolgt, erst benennbar gemacht.

Deceptive Alignment. Die daraus abgeleitete Sorge – ein Modell, das im Training gefällig erscheint und im Einsatz anders handelt – ist begrifflich auf diese Arbeiten gestützt.

Mathematische Logik. Die Logische Induktion ist auch außerhalb der Sicherheitsdiskussion als Beitrag zur Behandlung logischer Unsicherheit rezipiert worden.

Kontroversen und Kritik

Praktischer Ertrag. Der häufigste Einwand: Die Verfahren sind nicht berechenbar im praktischen Sinne. Die Logische Induktion beschreibt einen Grenzwert, kein Programm, das sich ausführen ließe.

Die Gegenposition lautet, dass Grundlagenarbeit dieser Art nicht an unmittelbarer Anwendbarkeit zu messen sei – die Wahrscheinlichkeitstheorie war ebenfalls lange vor ihren Anwendungen da.

Abstand zur Praxis. Während die Sicherheitsforschung in den Laboren empirisch geworden ist, arbeitet dieser Zweig weiterhin mit Beweisen und Gedankenexperimenten. Die Wechselwirkung zwischen beiden ist gering.

Belege für Mesa-Optimierung. Der Begriff ist einflussreich, empirische Nachweise sind spärlich. Kritiker halten ihn für eine plausible Möglichkeit ohne Beobachtungsgrundlage; Vertreter verweisen auf Befunde zum Zielverhalten in bestärkendem Lernen.

Institutioneller Zusammenhang. Das MIRI vertritt eine ausgeprägt pessimistische Position zur Beherrschbarkeit fortgeschrittener Systeme. Die Arbeiten werden gelegentlich mit dieser Position identifiziert, obwohl sie technisch von ihr unabhängig sind.

Erreichbarkeit. Die Veröffentlichungen setzen erhebliche mathematische Vorkenntnisse voraus. Ihre Rezeption bleibt entsprechend auf einen kleinen Kreis beschränkt.

Was fehlende Begriffe kosten

Der Zweig, dem Garrabrants Arbeit angehört, wird von außen häufig für weltfremd gehalten: Beweise über Systeme, die es nicht gibt, während anderswo an vorhandenen Modellen gearbeitet wird.

Der Fall der Mesa-Optimierung spricht gegen dieses Urteil. Bevor der Begriff da war, ließ sich die Sorge nur umständlich formulieren – etwa als Frage, ob ein Modell das Trainingsziel wirklich übernimmt. Solche Formulierungen laden zum Missverständnis ein und lassen sich schwer prüfen.

Der Begriff trennt zwei Ziele, die vorher zusammenfielen: das, wonach ausgewählt wurde, und das, was das ausgewählte System verfolgt. Erst mit dieser Trennung wird die Frage stellbar, ob beide übereinstimmen – und erst dann lässt sich empirisch nach Abweichungen suchen.

Das ist die typische Leistung begrifflicher Arbeit: Sie fügt kein Wissen hinzu, sondern macht eine Frage stellbar, die vorher nicht stellbar war. Ihr Ertrag zeigt sich erst, wenn andere die Frage beantworten – und wird dann selten ihr zugerechnet.

Verwandte Begriffe

• MIRI – Institut seiner Arbeit
• Inner Alignment – Problem, das er begrifflich fasste
• Mesa-Optimierung – von ihm geprägter Begriff
• Deceptive Alignment – daraus abgeleitetes Szenario
• Eliezer Yudkowsky – Mitbegründer des institutionellen Umfelds
• Evan Hubinger – Erstautor der Mesa-Optimierungs-Arbeit
• AI Alignment – übergeordnetes Forschungsfeld
• Agent Foundations – Forschungslinie, der die Arbeit zugehört

Quellenangaben

1. Garrabrant, Scott / Benson-Tilsen, Tsvi / Critch, Andrew / Soares, Nate / Taylor, Jessica (MIRI) (2016): Logical Induction. arXiv: 1609.03543.
2. Garrabrant, Scott / Demski, Abram (MIRI) (2018): Embedded Agency. MIRI Technical Report.
3. Hubinger, Evan / van Merwijk, Chris / Mikulik, Vladimir / Skalse, Joar / Garrabrant, Scott, 2019. Risks from Learned Optimization in Advanced Machine Learning Systems. Machine Intelligence Research Institute. arXiv: 1906.01820.

← Zurück zur Lexikon-Übersicht

Zuletzt bearbeitet: 10. August 2026

Zusammengestellt, formuliert, lektoriert und korrigiert mit KI-Unterstützung. Kuratiert von Nils Brauer. Alle Angaben ohne Gewähr.