RT-2

RT-2 (Robotics Transformer 2) ist ein im Juli 2023 von Google DeepMind vorgestelltes Modell, das Roboterbewegungen als Text darstellt und damit erstmals ein vortrainiertes Bild-Sprach-Modell direkt für die Steuerung eines Roboterarms nutzbar machte.

Die Arbeit RT-2: Vision-Language-Action Models Transfer Web Knowledge to Robotic Control von Anthony Brohan und Kollegen prägte mit ihrem Titel den Begriff Vision-Language-Action-Modell (VLA).

Zusammenfassung

Frühere Robotersteuerungen wurden meist eigens auf Robotikdaten trainiert, die aufwendig durch reale Bewegung oder Simulation entstehen mussten – ein Engpass, weil solche Daten in weit geringerem Umfang vorliegen als Text- oder Bilddaten aus dem Internet.

RT-2 löste dieses Problem, indem es Robotersteuerung als eine weitere Sprachaufgabe behandelte: Bewegungsbefehle wurden in Zeichenfolgen kodiert, die ein vortrainiertes Vision-Language-Modell wie gewöhnlichen Text erzeugen kann.

Das Modell baute auf bereits existierenden, auf Internetdaten vortrainierten Bild-Sprach-Modellen (PaLI-X und PaLM-E) auf und wurde zusätzlich mit vergleichsweise wenigen Robotikdemonstrationen ko-feinabgestimmt, statt ausschließlich auf Robotikdaten trainiert zu werden. Dieses gemeinsame Training bewahrte einen Großteil des aus Webdaten gelernten Wissens über Objekte, ihre Eigenschaften und ihren Gebrauch.

In Experimenten übertrug sich dieses Wissen auf neue, im Robotiktraining nie vorgekommene Situationen: Das Modell konnte etwa erkennen, dass ein Gegenstand als improvisierter Hammer taugt, oder Anweisungen befolgen, die semantisches Alltagswissen voraussetzen, statt reine Bewegungsmuster zu wiederholen. Diese Verallgemeinerungsfähigkeit zeigten auf reinen Robotikdaten trainierte Vorgängersysteme nicht in vergleichbarem Umfang.

Begriffsgeschichte

RT-2 war der Nachfolger von RT-1 (Google, Dezember 2022), das bereits Transformer-Architekturen für Robotersteuerung nutzte, aber ausschließlich auf Robotikdaten trainiert wurde, ohne das Wissen großer vortrainierter Web-Modelle einzubeziehen.

Der entscheidende Schritt von RT-2 war, Bewegungsbefehle so zu diskretisieren, dass sie sich als zusätzliche Tokens in den Wortschatz eines bestehenden Sprachmodells einfügen ließen – Steuerung wurde damit zu einer Vorhersageaufgabe, für die dieselben Trainingsverfahren wie für Text gelten.

Im Oktober 2023 folgte mit Open X-Embodiment ein gemeinsamer, laborübergreifender Datensatz, der zeigte, dass gemeinsames Training über verschiedene Roboterbauformen hinweg die Leistung auf jeder einzelnen Bauform verbessert.

Darauf aufbauend entstanden offene Nachfolgemodelle wie OpenVLA (Juni 2024) sowie Systeme mit kontinuierlicher statt diskretisierter Bewegungsausgabe wie π0 (Oktober 2024), die einige der Beschränkungen von RT-2s Zeichenketten-Darstellung überwanden.

RT-2 selbst blieb ein internes Forschungsmodell ohne öffentliche Veröffentlichung der Gewichte, prägte aber mit seinem Namen die Bezeichnung einer ganzen, seither aktiven Forschungsrichtung.

Methodische Grundlagen

Bewegung als Zeichenfolge. Der kontinuierliche Bewegungsraum eines Roboterarms wird in eine feste Anzahl diskreter Stufen unterteilt, jede Stufe erhält ein eigenes Token. Eine Bewegungsanweisung wird dadurch zu einer Zeichenkette, die sich mit denselben Verfahren erzeugen lässt wie ein Satz.

Ko-Feinabstimmung statt reinem Robotiktraining. Das Modell wird nicht ausschließlich auf Robotikdemonstrationen trainiert, sondern gemeinsam mit einem Anteil der ursprünglichen Web-Trainingsdaten – eine Maßnahme, die verhindert, dass das aus dem Web gelernte Wissen während der vergleichsweise kleinen Robotik-Trainingsphase verloren geht.

Vortrainierte Bild-Sprach-Basis. RT-2 nutzt bereits auf Internetdaten trainierte Vision-Language-Modelle als Ausgangspunkt, statt Bild- und Sprachverständnis eigens aus Robotikdaten zu erlernen – die Robotikdaten dienen der Anpassung der Ausgabe, nicht dem Aufbau des Weltwissens.

Chain-of-Thought für Robotik. Eine untersuchte Variante lässt das Modell vor der eigentlichen Bewegungsanweisung einen kurzen Zwischenschritt in natürlicher Sprache formulieren (etwa: welcher Gegenstand als Werkzeug am besten geeignet ist), bevor es die konkrete Aktion ausgibt. Das überträgt die aus Sprachmodellen bekannte Chain-of-Thought-Technik auf die Handlungsplanung.

Anwendungsfelder

Robotergreifaufgaben mit semantischem Alltagswissen. Aufgaben, die nicht nur Bewegungspräzision, sondern Verständnis von Objekteigenschaften und Gebrauchskontext erfordern – etwa das Erkennen, welcher von mehreren Gegenständen zum Aufwischen einer Flüssigkeit geeignet ist.

Befolgen sprachlicher Anweisungen. Aufträge werden in natürlicher Sprache formuliert statt in einer festen Befehlsstruktur, wodurch sich die Bedienung von spezialisiertem Fachpersonal zu Anwendenden ohne Robotik-Vorkenntnisse verschiebt.

Grundlage nachfolgender VLA-Forschung. RT-2 diente als methodisches Vorbild für die gesamte seither entstandene Reihe an Vision-Language-Action-Modellen, von offenen Nachbauten bis zu Systemen mit kontinuierlicher Bewegungsausgabe.

Kontroversen und Kritik

Auflösungsgrenze der Zeichenketten-Darstellung. Die Diskretisierung von Bewegungen in eine feste Anzahl von Stufen begrenzt die erreichbare Bewegungspräzision – ein struktureller Nachteil gegenüber später entwickelten Verfahren mit kontinuierlicher Ausgabe.

Keine öffentliche Reproduzierbarkeit. Weder Modellgewichte noch der vollständige Trainingsdatensatz wurden veröffentlicht; unabhängige Forschungsgruppen konnten die berichteten Ergebnisse nicht direkt nachvollziehen, sondern mussten mit offenen Nachbauten wie OpenVLA eigene Vergleichswerte schaffen.

Begrenzte Generalisierung. Die demonstrierte Übertragung auf neue Gegenstände und Formulierungen bleibt innerhalb ähnlicher Aufgabenklassen; ob das Prinzip auch auf grundlegend andere Umgebungen und Aufgabentypen trägt, ist durch die veröffentlichten Experimente nicht abschließend belegt.

Niedrige Erfolgsquoten für praktischen Einsatz. Wie bei anderen frühen Vision-Language-Action-Modellen lagen die berichteten Erfolgsquoten im Bereich von 70 bis 90 Prozent (Brohan u. a. 2023) – für Anwendungen mit physischen Folgen bei Fehlgriffen deutlich unter dem, was ein produktiver Einsatz voraussetzen würde.

Stand 2025/2026

RT-2 selbst ist als konkretes Modell durch nachfolgende Systeme abgelöst, gilt aber als der begründende Referenzpunkt der Vision-Language-Action-Forschung. Der von der Arbeit geprägte Begriff und das demonstrierte Grundprinzip – Web-vortrainiertes Wissen für Robotersteuerung nutzbar zu machen – bleiben die methodische Ausgangsbasis eines aktiven Forschungsfelds.

Quellenangaben

Brohan, Anthony u. a., 2023. RT-2: Vision-Language-Action Models Transfer Web Knowledge to Robotic Control. Google DeepMind. arXiv: 2307.15818.

← Zurück zur Lexikon-Übersicht