V-JEPA (Video Joint Embedding Predictive Architecture) ist ein von Meta AI entwickeltes Modell, das aus unbeschrifteten Videos lernt, indem es verdeckte Ausschnitte eines Clips vorhersagt – nicht als Bildpunkte, sondern als abstrakte Repräsentation.
Zusammenfassung
V-JEPA überträgt das von Yann LeCun vorgeschlagene JEPA-Prinzip auf Video: Statt fehlende Bildregionen oder ganze Einzelbilder pixelgenau zu rekonstruieren, sagt das Modell deren Repräsentation in einem gelernten Merkmalsraum voraus. Der ausführliche Vergleich zu verwandten Lernparadigmen, zur Architektur mit zwei Kodierern und zum Problem des Repräsentationszusammenbruchs steht im Grundlagenartikel zu JEPA; dieser Artikel beschränkt sich auf das, was an der Video-Umsetzung spezifisch ist.
Trainiert wird ausschließlich selbstüberwacht, also ohne von Menschen vergebene Beschriftungen. Als Trainingssignal dient der Zeitverlauf selbst: Aus dem sichtbaren Teil eines Videos – etwa den ersten und letzten Einzelbildern eines Ausschnitts – soll das Modell erschließen, was in den dazwischen oder danach verdeckten Abschnitten an Repräsentation zu erwarten ist. Meta AI beschreibt das Ziel als ein frühes Werkzeug in Richtung maschineller Alltagsvernunft: ein Modell, das versteht, was in einer Szene plausibel als Nächstes passiert, ohne dafür beschriftete Daten oder eine explizite Weltsimulation zu benötigen.
Begriffsgeschichte
Meta AI veröffentlichte V-JEPA im Februar 2024 als Weiterentwicklung von I-JEPA, der ursprünglichen Bild-Umsetzung des JEPA-Prinzips. Der zugehörige Forschungsartikel trägt den Titel „Revisiting Feature Prediction for Learning Visual Representations from Video” und stammt von einem Team um Adrien Bardes bei Meta AI.
Ein Jahr später, im Juni 2025, stellte Meta AI mit V-JEPA 2 eine Weiterentwicklung vor, die Repräsentationslernen aus Video mit Handlungsplanung verbindet und unter anderem für Robotersteuerung in unbekannten Umgebungen eingesetzt wurde. Dieser Artikel behandelt die ursprüngliche V-JEPA-Architektur von 2024; Details zu V-JEPA 2 stehen im Grundlagenartikel JEPA.
Methodische Grundlagen
Wie andere JEPA-Umsetzungen verwendet V-JEPA zwei Kodierer – einen für den sichtbaren, einen für den maskierten Teil des Videos – sowie ein Vorhersagemodul, das aus der Repräsentation des sichtbaren Bereichs jene des verdeckten schätzt. Verglichen wird im Repräsentationsraum, nicht auf Ebene einzelner Bildpunkte.
Die Besonderheit gegenüber der Bild-Umsetzung I-JEPA liegt in der Maskierungsstrategie: V-JEPA verdeckt nicht nur räumliche Bereiche innerhalb eines Einzelbilds, sondern auch zeitliche Abschnitte über mehrere aufeinanderfolgende Bilder hinweg. Damit muss das Modell sowohl räumliche als auch zeitliche Zusammenhänge erfassen, um die fehlenden Repräsentationen plausibel vorherzusagen.
Trainiert wurde das Modell nach Angaben von Meta AI ausschließlich mit selbstüberwachtem Lernen auf öffentlich verfügbaren Videodaten, ohne zusätzliche Beschriftung oder Feinabstimmung auf eine bestimmte Aufgabe. Die so gelernten Repräsentationen lassen sich anschließend mit vergleichsweise geringem Aufwand auf nachgelagerte Aufgaben übertragen, etwa indem ein einfacher, eingefrorener Kopf auf die vortrainierten Merkmale aufgesetzt wird.
Ein Grundproblem selbstüberwachten Repräsentationslernens ist der bereits im JEPA-Artikel beschriebene Zusammenbruch der Repräsentation, bei dem ein Modell allen Eingaben denselben Wert zuweist. V-JEPA begegnet dem mit denselben grundsätzlichen Vorkehrungen wie die übrigen JEPA-Varianten – einer asymmetrischen Aktualisierung der beiden Kodierer und architektonischen Einschränkungen, die triviale Lösungen erschweren.
Anwendungsfelder
Meta AI berichtete für V-JEPA Ergebnisse bei Aufgaben, die Bewegungsverständnis erfordern, etwa der Erkennung feingranularer Handlungen in Videodatensätzen, sowie bei Aufgaben, die eher auf statischem Bildverständnis beruhen. Nach Angaben des Forschungsteams erzielte das Modell in solchen Bewegungsaufgaben bessere Ergebnisse als Vergleichsverfahren, die auf Video-Rekonstruktion oder auf Bild-Modellen basieren, bei deutlich geringerem Rechenaufwand während der Feinabstimmung.
Praktisch positioniert Meta AI V-JEPA als Baustein für Systeme, die Videoinhalte verstehen sollen, ohne für jede einzelne Aufgabe neu und aufwendig trainiert zu werden – etwa zur Klassifikation von Handlungen oder als vortrainierte Repräsentationsgrundlage für weitere, spezialisiertere Modelle. Die Weiterentwicklung V-JEPA 2 erweiterte dieses Anwendungsspektrum in Richtung Handlungsplanung und Robotik; für Details dazu siehe den Abschnitt zu den JEPA-Umsetzungen im Grundlagenartikel.
Kontroversen und Kritik
Die grundsätzliche Kritik am JEPA-Ansatz – eingeschränkte Bewertbarkeit, weil keine Rohdaten erzeugt werden, ein bislang begrenzter empirischer Nachweis auf allgemeinen Schlussfolgerungs-Benchmarks sowie eine nicht vollständig geklärte theoretische Begründung der Vorkehrungen gegen Repräsentationszusammenbruch – gilt für V-JEPA in gleicher Weise wie für die übrigen Umsetzungen. Sie ist im Grundlagenartikel JEPA ausführlich dargestellt und wird hier nicht wiederholt.
Spezifisch für die Video-Umsetzung kommt hinzu, dass die veröffentlichten Vergleichswerte überwiegend von Meta AI selbst stammen und sich auf eine begrenzte Auswahl an Benchmarks stützen. Eine breitere, unabhängige Einordnung gegenüber konkurrierenden Video-Repräsentationsmodellen steht, soweit hier bekannt, noch aus.
Verwandte Begriffe
- World Models – übergeordnetes Programm, dem V-JEPA zuarbeitet
- Selbstüberwachtes Lernen – Lernparadigma, auf dem V-JEPA beruht
- Embodied AI – Position, in die spätere JEPA-Umsetzungen wie V-JEPA 2 hineinwirken
- Multimodal AI – benachbartes Feld, das Video neben anderen Modalitäten verarbeitet
Quellenangaben
- Bardes, Adrien u. a. (Meta AI), 2024. Revisiting Feature Prediction for Learning Visual Representations from Video. arXiv: 2404.08471.
- Assran, Mahmoud u. a. (Meta AI), 2025. V-JEPA 2: Self-Supervised Video Models Enable Understanding, Prediction and Planning.
- LeCun, Yann, 2022. A Path Towards Autonomous Machine Intelligence. Meta AI. OpenReview.