Vision-Language-Action-Modelle (VLA)

Vision-Language-Action-Modelle (VLA) sind Modelle, die Bildeingaben und sprachliche Anweisungen unmittelbar in Steuerbefehle für einen Roboter überführen. Sie übertragen die Bauform großer Sprachmodelle auf die Robotik: ein einziges Netz, das aus Wahrnehmung und Auftrag die nächste Bewegung vorhersagt.

Zusammenfassung

Den Begriff prägte die Arbeit RT-2 von Google DeepMind im Juli 2023. Ihr Kern ist eine Umdeutung: Roboterbewegungen werden als Zeichenfolge dargestellt, sodass ein vortrainiertes Bild-Sprach-Modell sie erzeugen kann wie Text.

Der erhoffte Gewinn liegt im Vorwissen. Ein Modell, das aus dem Internet gelernt hat, was ein Wasserglas ist und dass Flüssigkeit ausläuft, bringt dieses Wissen in die Steuerung ein – ohne dass es jemals aus Robotikdaten erlernt werden müsste.

Die Linie führte über den gemeinsamen Datensatz Open X-Embodiment (Oktober 2023) zu offenen Modellen wie OpenVLA (Juni 2024) und zu Systemen mit kontinuierlicher Steuerung wie π0 (Oktober 2024).

Der wiederkehrende Einwand betrifft die Datenlage: Für Sprache existiert ein Korpus im Umfang des Internets, für Robotersteuerung nicht – und er lässt sich nicht durch Abgreifen erzeugen, sondern nur durch Bewegung in der Wirklichkeit.

Begriffsgeschichte

Die klassische Robotik trennte die Aufgabe in Bausteine: Wahrnehmung, Zustandsschätzung, Planung, Regelung. Jeder Baustein wurde eigens entworfen, die Schnittstellen dazwischen von Hand festgelegt.

Das Lernen hielt zunächst nur in einzelnen Bausteinen Einzug – etwa in der Objekterkennung –, während der Aufbau als Ganzes bestehen blieb. Erst mit dem bestärkenden Lernen entstanden Steuerungen, die von der Beobachtung zur Handlung durchgingen, allerdings je Aufgabe neu trainiert.

Der Schritt zu VLA-Modellen bestand darin, die Steuerung nicht mehr als eigenes Problem zu behandeln, sondern als Fortsetzung des Sprachmodellierens mit anderen Zeichen. Die Bewegungsanweisung wird diskretisiert und wie ein Wort vorhergesagt.

Open X-Embodiment führte anschließend Daten aus zahlreichen Laboren und Robotertypen zusammen und zeigte, dass gemeinsames Training über verschiedene Bauformen hinweg die Leistung auf der einzelnen Bauform verbessert.

Methodische Grundlagen

Handlung als Zeichenfolge. Der Bewegungsraum wird in Stufen zerlegt, jede Stufe erhält ein Zeichen. Damit lässt sich Steuerung mit demselben Verfahren erlernen wie Sprache – zum Preis einer Auflösungsgrenze, die feine Bewegungen beschneidet.

Übertragung aus dem Vortraining. Die Modelle beginnen nicht bei null, sondern bei einem auf Bildern und Text vortrainierten Netz. Die Robotikdaten dienen der Anpassung, nicht dem Aufbau des Weltwissens.

Bauformübergreifendes Lernen. Daten verschiedener Roboter werden gemeinsam verwendet, obwohl sich Armlängen, Greifer und Freiheitsgrade unterscheiden. Das setzt eine Darstellung voraus, die von der konkreten Mechanik abstrahiert.

Kontinuierliche Ausgaben. Neuere Arbeiten ersetzen die Zeichenfolge durch Verfahren, die glatte Bewegungsverläufe erzeugen, und erreichen damit höhere Taktraten und feinere Handhabung.

Bewertung. Anders als bei Sprachmodellen entscheidet nicht ein Textvergleich, sondern der Ausgang in der Welt: Wurde der Gegenstand gegriffen, die Schublade geschlossen, das Tuch gefaltet. Solche Messungen sind aufwendig und zwischen Laboren schwer vergleichbar.

Anwendungsfelder

Handhabung im Haushalt und in der Logistik. Aufgaben mit wechselnden Gegenständen und Anordnungen, für die eine fest programmierte Ablaufsteuerung nicht taugt.

Anweisung in natürlicher Sprache. Der Auftrag wird gesprochen oder geschrieben statt programmiert. Das verschiebt die Bedienung von Fachpersonal zu Anwendenden.

Humanoide Plattformen. Zweibeinige Roboter mit zwei Armen erhalten mit VLA-Modellen eine Steuerungsschicht, die nicht für jede Aufgabe neu entworfen werden muss.

Verkörperte Forschung. Der Ansatz ist zugleich ein Prüffall für die These, dass Verstehen an Handeln gebunden sei – ein Anliegen der Embodied AI.

Kontroversen und Kritik

Datenknappheit. Robotikdaten entstehen nur durch reale Bewegung oder Simulation. Beides ist teuer, langsam und nicht beliebig vermehrbar; der Sim-to-Real Transfer soll die Lücke schließen, löst sie aber nicht vollständig.

Verallgemeinerung mit Grenzen. Die vorgelegten Ergebnisse zeigen Übertragung auf neue Gegenstände und Formulierungen. Ob sie auch auf grundsätzlich andere Aufgaben und Umgebungen trägt, ist weniger belegt als der Anspruch nahelegt.

Zuverlässigkeit. Erfolgsquoten im Bereich von 70 bis 90 Prozent gelten in Veröffentlichungen als gutes Ergebnis. Für einen Einsatz im Wohnraum oder in der Fertigung sind sie zu niedrig, weil jeder Fehlgriff physische Folgen hat.

Vergleichbarkeit. Es fehlt eine gemeinsame Prüfsammlung mit standardisierter Hardware. Angaben verschiedener Gruppen beziehen sich auf eigene Aufbauten, eigene Aufgaben und eigene Bewertungsmaßstäbe.

Sicherheit. Ein Sprachmodell, das irrt, gibt einen falschen Satz aus; ein Roboter, der irrt, bewegt Masse. Die aus der Sprachverarbeitung bekannten Fehlerbilder erhalten damit eine andere Tragweite.

Der ungleiche Tausch

Die Übertragung der Sprachmodell-Bauform auf die Robotik ist ein Tausch, dessen zwei Seiten unterschiedlich gut aufgehen.

Auf der Habenseite steht das Weltwissen. Ein Robotersystem musste bislang lernen, dass ein Becher oben offen ist – aus Beispielen, die jemand aufnehmen musste. Ein vortrainiertes Modell weiß es bereits, weil es beschrieben wurde.

Auf der Sollseite steht die Datenlage. Sprache liegt in einem Umfang vor, den niemand erzeugen musste; sie fiel als Nebenprodukt menschlicher Tätigkeit an. Handlungsdaten fallen nicht an – sie müssen hergestellt werden, jede Aufnahme in Echtzeit und mit Hardware.

Damit ist die entscheidende Größe des Feldes weder Modellgröße noch Architektur, sondern die Frage, woher die nächsten Größenordnungen an Bewegungsdaten kommen sollen. Die vorliegenden Antworten – Simulation, Vorführung durch Menschen, gemeinsame Datensätze – sind Teillösungen, keine Auflösung.

Verwandte Begriffe

• Embodied AI – Forschungsprogramm, dem der Ansatz zugehört
• Physical AI – Begriffsrahmen der Anbieterseite
• Sim-to-Real Transfer – Antwort auf die Datenknappheit
• Humanoide Robotik – Plattform, auf der VLA-Modelle eingesetzt werden
• Google DeepMind – Urheberin der RT-2-Arbeit
• Foundation Models – Modellklasse, deren Bauform übertragen wird
• Reinforcement Learning – ältere Lerntradition der Steuerung
• World Models – konkurrierender Ansatz zur Verkörperung

Quellenangaben

1. Black, Kevin / Brown, Noah / Driess, Danny u. a. (Physical Intelligence) (2024): π0: A Vision-Language-Action Flow Model for General Robot Control. arXiv: 2410.24164.
2. Brohan, Anthony u. a., 2023. RT-2: Vision-Language-Action Models Transfer Web Knowledge to Robotic Control. Google DeepMind. arXiv: 2307.15818.
3. Kim, Moo Jin / Pertsch, Karl / Karamcheti, Siddharth u. a. (Stanford) (2024): OpenVLA: An Open-Source Vision-Language-Action Model. arXiv: 2406.09246.
4. Open X-Embodiment Collaboration (2023): Open X-Embodiment: Robotic Learning Datasets and RT-X Models. arXiv: 2310.08864.

← Zurück zur Lexikon-Übersicht

Zuletzt bearbeitet: 10. August 2026

Zusammengestellt, formuliert, lektoriert und korrigiert mit KI-Unterstützung. Kuratiert von Nils Brauer. Alle Angaben ohne Gewähr.