Cosmos ist eine Plattform von World Foundation Models des Halbleiterunternehmens Nvidia, die fotorealistische synthetische Videodaten physischer Umgebungen erzeugt. Sie dient dem Training von Robotern und autonomen Fahrsystemen und ist mit offenen Modellgewichten verfügbar.
Zusammenfassung
Cosmos adressiert den härtesten Engpass der Robotik und des autonomen Fahrens: Reale Daten sind teuer zu erheben, und gerade die wichtigsten Situationen – Beinaheunfälle, seltene Ausnahmefälle – lassen sich nicht gefahrlos herbeiführen.
Cosmos erzeugt solche Situationen stattdessen. Die Plattform unterstützt die Erzeugung aus Text, Bildern und Videos und legt besonderen Wert auf physikalische Plausibilität.
Anders als Genie oder Marble ist sie kein Produkt für Endnutzer, sondern Infrastruktur – und anders als diese mit offenen Gewichten verfügbar, was sie zum praktisch bedeutsamsten Weltmodell für Fachanwender macht. Für Nvidia ist Cosmos zugleich strategisch: Die Plattform bindet Robotikentwicklung an die eigene Hardware.
Entstehung
Nvidia stellte Cosmos auf der Consumer Electronics Show im Januar 2025 vor. Die Ankündigung fiel in eine Phase, in der das Unternehmen seine Erzählung vom Grafikkartenhersteller zum Anbieter einer vollständigen Entwicklungsumgebung für verkörperte KI umstellte: Rechenschicht (Beschleuniger), Simulationsschicht (Omniverse, Isaac Sim) und nun Datenschicht (Cosmos).
Die begleitende technische Veröffentlichung beschreibt die Plattform als World Foundation Model Platform for Physical AI und übernimmt damit einen Begriff, den Nvidia seit 2024 systematisch besetzt (Nvidia 2025).
Methodisch stützt sich Cosmos auf eine Trainingsgrundlage aus mehreren Millionen Stunden Videomaterial – überwiegend Fahrszenen, Innenräume, Werkstattumgebungen und Handhabungsvorgänge –, die über eine mehrstufige Aufbereitungskette gefiltert, segmentiert und annotiert wird.
Ein eigens entwickelter Video-Tokenisierer überführt Bildfolgen in diskrete beziehungsweise kontinuierliche Repräsentationen und bestimmt maßgeblich, wie viel zeitliche und räumliche Struktur das nachgelagerte Modell überhaupt erfassen kann. Nvidia hat diesen Tokenisierer separat und quelloffen veröffentlicht, was ihn auch außerhalb der Plattform verwendbar macht.
Die Plattform ist seit ihrer Vorstellung in drei Modellfamilien mit unterschiedlichen Aufgaben ausdifferenziert worden:
- vorhersagend – schreibt künftige Weltzustände aus einer Ausgangssituation fort;
- übersetzend – überführt vorhandene Simulationsausgaben in fotorealistische Varianten und macht damit denselben Vorgang unter wechselnden Licht-, Wetter- und Materialbedingungen verfügbar;
- schlussfolgernd – erzeugt kein Videomaterial, sondern beurteilt es, etwa daraufhin, ob eine dargestellte Handlungsfolge physikalisch möglich ist.
Die dritte Linie ist die begrifflich interessanteste, weil sie die Plattform von der reinen Erzeugung in Richtung Bewertung erweitert.
Zweck
Ein Roboter oder ein Fahrsystem muss vorhersagen können, wie Handlungen die Umgebung verändern. Dafür sind erhebliche Datenmengen erforderlich, deren Erhebung in der Wirklichkeit an Grenzen stößt:
- Kosten. Fahrdaten in ausreichendem Umfang zu erheben, erfordert Flotten und Jahre.
- Gefahr. Genau die Situationen, auf die es ankommt, lassen sich nicht absichtlich herbeiführen.
- Verteilung. Seltene Fälle sind in realen Daten selten – und damit unterrepräsentiert, obwohl sie die kritischen sind.
Synthetische Erzeugung löst alle drei Punkte, sofern die erzeugten Daten hinreichend wirklichkeitsnah sind. Das ist die offene Frage des Ansatzes.
Aufbau
Cosmos ist keine einzelne Anwendung, sondern eine Sammlung aus Modellen, Datenverarbeitungsketten und Tokenisierern. Die Erzeugung erfolgt in mehreren Betriebsarten:
| Betriebsart | Eingabe |
|---|---|
| Text2World | Textbeschreibung |
| Image2World | Einzelbild |
| Video2World | Videosequenz als Fortsetzungsgrundlage |
Die Modelle sind mit offenen Gewichten verfügbar und lassen sich in eigener Umgebung betreiben – die kleineren Varianten auf einzelnen Beschleunigern, größere auf mehreren. Damit unterscheidet sich Cosmos von den geschlossenen Systemen der Wettbewerber.
Die Lizenz ist allerdings keine Open-Source-Lizenz im Sinne der Open Source Initiative, sondern eine anbietereigene Modelllizenz, die kommerzielle Nutzung erlaubt, dabei aber Nutzungsauflagen und Haftungsausschlüsse festschreibt.
Die Trainingsdaten sind nicht veröffentlicht. „Offen” bezieht sich hier auf die Verfügbarkeit der Gewichte, nicht auf die Nachvollziehbarkeit der Entstehung – eine Unterscheidung, die in der Debatte um Offenheit bei Foundation Models regelmäßig verwischt wird.
Einbettung in die Werkzeugkette
Cosmos ist nicht als eigenständiges Produkt gedacht, sondern als Zwischenschicht in einer bereits bestehenden Entwicklungsumgebung. Die erzeugten Daten fließen typischerweise in physikbasierte Simulationsumgebungen, in denen Steuerungsverhalten trainiert und geprüft wird, und von dort in die Trainingspipelines für Robotersteuerungen oder Fahrassistenzsysteme.
Die praktische Attraktivität liegt weniger in der Bildqualität als in der Kombinierbarkeit: Ein einmal aufgenommener oder simulierter Vorgang lässt sich in Dutzende Varianten überführen – anderes Licht, andere Oberflächen, andere Verkehrsdichte –, ohne dass er erneut erhoben werden müsste.
Für Nvidia schließt sich damit ein Kreis, der bei den Beschleunigern beginnt und über die Simulationsumgebung zur Datenerzeugung führt. Jede Schicht ist einzeln nutzbar, gemeinsam aber deutlich attraktiver – und jede setzt Nvidia-Hardware voraus.
Einordnung
Innerhalb der World-Models-Familie besetzt Cosmos die Simulationsecke:
| System | Anbieter | Zweck | Zugang |
|---|---|---|---|
| Cosmos | Nvidia | synthetische Trainingsdaten für Robotik | offene Gewichte |
| Genie 3 | Google DeepMind | begehbare Echtzeitumgebungen | geschlossen |
| Marble | World Labs | bearbeitbare 3D-Umgebungen | kommerziell |
| V-JEPA 2 | Meta | Repräsentationen für Planung | offen |
Der Wettbewerb ist damit weniger direkt, als die gemeinsame Bezeichnung nahelegt: Cosmos konkurriert eher mit Simulationsumgebungen für Robotik als mit interaktiven Umgebungserzeugern.
Für Nvidia hat die Plattform eine Funktion, die über das Produkt hinausgeht. Wie schon bei CUDA gilt: Wer die Werkzeuge bereitstellt, bindet die Entwicklung an die eigene Hardware. Cosmos erweitert diese Logik von der Rechenschicht auf die Datenschicht der Robotik.
Kritik
Wirklichkeitslücke. Der zentrale Vorbehalt gegen synthetische Daten lautet, dass ein auf ihnen trainiertes System die Eigenheiten des Erzeugers lernt statt die der Wirklichkeit. Erzeugte Videos wirken überzeugend, folgen aber nicht notwendig physikalischen Gesetzen – die Abweichungen können systematisch sein und sich im Einsatz auswirken.
Rückkopplung. Werden Systeme überwiegend auf erzeugten Daten trainiert, deren Erzeuger selbst auf realen Daten trainiert wurde, entsteht eine Verstärkung vorhandener Verzerrungen.
Begriffliche Einordnung. Ob eine Plattform zur Erzeugung synthetischer Videodaten als Weltmodell zu bezeichnen ist, wird bestritten. Sie erzeugt Beobachtungen, ohne dass belegt wäre, dass sie über ein Modell kausaler Zusammenhänge verfügt.
Verwandte Begriffe
- World Models – übergeordnete Systemklasse
- Nvidia – Anbieter
- Genie – System mit anderem Zweck
- World Labs – Wettbewerber
- Physical AI – verwandter Begriff
- Open Weights – Veröffentlichungsform
- GPU – Hardware, an die die Plattform gebunden ist
- Synthetische Daten – Gegenstand der Erzeugung (eigener Artikel)
Quellenangaben
- Bruce, Jake u. a., 2024. Genie: Generative Interactive Environments. ICML 2024. arXiv: 2402.15391.
- Ha, David / Schmidhuber, Jürgen, 2018. World Models. arXiv: 1803.10122. (Die NeurIPS-Fassung erschien unter dem Titel Recurrent World Models Facilitate Policy Evolution.)
- Nvidia (2025): Cosmos World Foundation Model Platform for Physical AI. arXiv: 2501.03575.
- Nvidia Newsroom (2026): Cosmos World Foundation Models Downloaded 2 Million Times.
← Zurück zur Lexikon-Übersicht
Zuletzt bearbeitet: 10. August 2026
Zusammengestellt, formuliert, lektoriert und korrigiert mit KI-Unterstützung. Kuratiert von Nils Brauer. Alle Angaben ohne Gewähr.