Open X-Embodiment ist ein 2023 veröffentlichtes, von Google DeepMind koordiniertes Gemeinschaftsprojekt von über 20 Forschungseinrichtungen, das Trainingsdaten von mehr als 20 unterschiedlichen Robotertypen in einem gemeinsamen, offenen Datensatz zusammenführt.
Zusammenfassung
Robotik-Forschung litt lange unter einem strukturellen Problem: Jede Forschungsgruppe sammelte Trainingsdaten nur für ihren eigenen Robotertyp, sodass die verfügbaren Datenmengen im Vergleich zu Sprachmodellen winzig blieben.
Open X-Embodiment bündelt Bewegungs- und Sensordaten unterschiedlichster Roboter – von einfachen Greifarmen bis zu zweiarmigen Systemen – in einem einheitlichen Format und ermöglicht so erstmals das Training eines einzelnen Modells über heterogene Roboterkörper hinweg.
Begriffsgeschichte
Das Projekt entstand aus der Beobachtung, dass Modelle, die auf Daten mehrerer verschiedener Roboter trainiert wurden, besser auf neue, im Training ungesehene Roboter und Aufgaben übertragbar sind als Modelle, die nur mit den Daten eines einzelnen Robotertyps trainiert wurden.
Diese Erkenntnis trug direkt zur Entwicklung der RT-X-Modellfamilie bei, darunter RT-1-X und RT-2-X als über den ursprünglichen Datensatz hinaus trainierte Weiterentwicklungen von RT-2.
Methodische Grundlagen
Der Datensatz vereinheitlicht Beobachtungs- und Handlungsräume unterschiedlichster Roboter in einem gemeinsamen Format, sodass ein einzelnes Vision-Language-Action-Modell über verschiedene Roboterkörper hinweg trainiert werden kann. Diese Cross-Embodiment-Generalisierung überträgt einen Grundgedanken aus der Sprachmodell-Forschung – dass mehr und vielfältigere Trainingsdaten zu besserer Übertragbarkeit führen – erstmals systematisch auf die Robotik.
Anwendungsfelder
Open X-Embodiment dient als gemeinsame Trainingsgrundlage für Modelle, die Roboter-Fertigkeiten über unterschiedliche Hardware hinweg verallgemeinern sollen, und ist zu einem Referenzdatensatz für die Forschung an Physical AI geworden. Mehrere akademische und industrielle Gruppen nutzen den Datensatz inzwischen als Ausgangspunkt für eigene Weiterentwicklungen, ohne selbst umfangreiche Roboterdaten sammeln zu müssen.
Kontroversen und Kritik
Die Heterogenität der eingebundenen Roboter ist zugleich Stärke und Schwachstelle: Unterschiedliche Sensorqualität, Aufnahmebedingungen und Aufgabenverteilungen zwischen den beitragenden Instituten erschweren eine saubere Vergleichbarkeit der Trainingsergebnisse.
Zudem bleibt offen, wie gut die im Datensatz erfassten, überwiegend im Labor aufgenommenen Bewegungen auf reale, unstrukturierte Einsatzumgebungen übertragbar sind – ein Problem, das eng mit der Frage des Sim-to-Real Transfer verwandt ist.
Verwandte Begriffe
- Embodied AI – programmatischer Rahmen, in dem das Projekt steht
- Google DeepMind – das Forschungslabor, das das Projekt koordinierte
- Humanoid Robotics – Anwendungsfeld, das von diversifizierten Cross-Embodiment-Trainingsdaten wie Open X-Embodiment profitiert
Quellenangaben
- Open X-Embodiment Collaboration u. a., 2023. Open X-Embodiment: Robotic Learning Datasets and RT-X Models. arXiv: 2310.08864.