JEPA (Joint Embedding Predictive Architecture) ist eine von Yann LeCun vorgeschlagene Architekturfamilie für selbstüberwachtes Lernen. Ihr Kennzeichen: Vorhergesagt werden nicht Rohdaten, sondern abstrakte Repräsentationen – das Modell soll erfassen, was an einer Beobachtung wesentlich ist, statt sie im Einzelnen zu rekonstruieren.
Zusammenfassung
LeCun stellte den Ansatz 2022 in einem programmatischen Aufsatz vor, der zugleich seine Kritik an generativen Verfahren begründet. Sein Einwand: Ein Modell, das jeden Bildpunkt oder jedes Token vorhersagen soll, verwendet den Großteil seiner Kapazität auf Einzelheiten, die für das Verständnis der Szene belanglos sind – die genaue Maserung eines Blattes, das Rauschen im Hintergrund.
JEPA verlagert die Vorhersage in einen gelernten Repräsentationsraum, in dem solche Einzelheiten bereits ausgeblendet sind. Der Ansatz ist die technische Grundlage von LeCuns World-Models-Programm und wird bei Meta sowie in seinem 2025 gegründeten Unternehmen AMI Labs verfolgt.
Grundgedanke
Selbstüberwachtes Lernen beruht darauf, Teile einer Beobachtung zu verdecken und aus dem Rest zu erschließen. Wie diese Erschließung bewertet wird, unterscheidet die Ansätze:
| Ansatz | Vorhersage im | Beispiel |
|---|---|---|
| Generativ | Datenraum | Bildpunkte rekonstruieren, nächstes Token |
| Kontrastiv | Repräsentationsraum, über Negativbeispiele | Ähnlichkeit gegen Unähnlichkeit |
| JEPA | Repräsentationsraum, ohne Negativbeispiele | Repräsentation des verdeckten Teils vorhersagen |
Die Architektur verwendet zwei Kodierer – einen für den sichtbaren, einen für den verdeckten Teil – und ein Vorhersagemodul, das aus der Repräsentation des sichtbaren Teils jene des verdeckten schätzt. Der Vergleich erfolgt zwischen Repräsentationen, nicht zwischen Rohdaten.
Damit ist die Aufgabe grundsätzlich anders gestellt: Das Modell muss nicht wissen, wie der verdeckte Bereich aussieht, sondern was dort ist.
Ein technisches Problem des Ansatzes ist der Zusammenbruch der Repräsentation – das Modell könnte lernen, allen Eingaben denselben Wert zuzuweisen und damit trivial korrekt vorherzusagen. Die Umsetzungen begegnen dem durch asymmetrische Aktualisierung der Kodierer und weitere Vorkehrungen.
Umsetzungen
I-JEPA (2023) wendet den Ansatz auf Bilder an: Aus einem sichtbaren Ausschnitt werden Repräsentationen mehrerer verdeckter Bereiche vorhergesagt. Die gelernten Repräsentationen erwiesen sich in nachgelagerten Aufgaben als brauchbar, ohne dass Datenanreicherung nötig war.
V-JEPA (2024) überträgt das Verfahren auf Video. Der Zeitverlauf liefert dabei ein natürliches Trainingssignal: Was als Nächstes geschieht, ist aus dem Vorangegangenen zu erschließen.
V-JEPA 2 (2025) verbindet Repräsentationslernen mit Handlungsplanung und ermöglichte Robotersteuerung in unbekannten Umgebungen ohne aufgabenspezifisches Training. Das Modell gilt als erster belastbarer Beleg dafür, dass der Ansatz über Wahrnehmung hinaus zu Planung führen kann.
Herkunft der Architektur
Der Vorschlag stammt aus einer 2022 von Yann LeCun veröffentlichten Programmschrift, die weniger ein Verfahren als einen Bauplan beschreibt. Ein autonom handelndes System besteht darin aus fünf zusammenwirkenden Bestandteilen:
- ein Wahrnehmungsmodul, das den gegenwärtigen Zustand der Welt schätzt;
- ein Weltmodell, das Folgezustände vorhersagt;
- ein Kostenmodul, das bewertet;
- ein Modul, das Handlungsfolgen durchspielt;
- eine Steuerungsinstanz, die die übrigen Teile auf die jeweilige Aufgabe einstellt.
JEPA ist in diesem Bauplan die vorgeschlagene Bauform des Weltmodells. Die Entwurfsentscheidung, im Repräsentationsraum statt im Datenraum vorherzusagen, folgt unmittelbar aus dem Zweck: Ein Modell, das Handlungsfolgen im Voraus durchspielen soll, muss viele Möglichkeiten schnell bewerten können.
Vollständige Bilder zu erzeugen, um sie anschließend wieder zu abstrahieren, wäre dafür ein Umweg – und einer, der Rechenkapazität für Einzelheiten aufwendet, die für die Entscheidung ohne Belang sind. Die Wolkenform am Himmel ist für die Frage, ob das Glas umkippt, unerheblich; ein generatives Modell muss sie dennoch vorhersagen.
Damit erklärt sich auch die Reihenfolge der Veröffentlichungen. Die frühen Umsetzungen betreffen Wahrnehmung, weil ein brauchbares Weltmodell zunächst eine brauchbare Repräsentation voraussetzt; die Planung folgt erst danach. Der Bauplan als Ganzes ist bislang nicht in einem einzelnen System umgesetzt.
Einordnung
JEPA ist der technische Kern von LeCuns Gegenposition zur Skalierung von Sprachmodellen. Die Argumentation verbindet drei Ebenen:
- Lernparadigma: Beschriftungen sind zu knapp; Lernen muss überwiegend selbstüberwacht erfolgen.
- Repräsentation: Vorhersage im Datenraum verschwendet Kapazität auf Belangloses.
- Ziel: Ein Modell, das Repräsentationen vorhersagen kann, verfügt über die Grundlage für Planung – es kann Handlungsfolgen durchspielen, ohne sie auszuführen.
Der Ansatz ordnet sich damit in die Position ein, dass genuine Allgemeinheit sensomotorische Rückkopplung voraussetzt.
Kritik
Bewertbarkeit. Da JEPA keine Rohdaten erzeugt, lässt sich die Qualität nicht unmittelbar anschauen. Beurteilt wird sie über nachgelagerte Aufgaben – ein indirekter Maßstab, der Vergleiche mit generativen Verfahren erschwert.
Empirischer Rückstand. Die vorgelegten Ergebnisse betreffen Wahrnehmungsaufgaben und Robotersteuerung. Auf Benchmarks für allgemeines Schlussfolgern liegen keine auffälligen Werte vor. Der Anspruch, die Generalisierungsdefizite der Sprachmodelle zu überwinden, ist damit nicht eingelöst.
Stabilität. Die Vermeidung des Repräsentationszusammenbruchs erfordert Vorkehrungen, deren theoretische Begründung unvollständig ist.
Befürworter halten dem entgegen, dass der Ansatz erheblich jünger ist als die generative Linie und über einen Bruchteil der Rechenressourcen verfügt.
Verwandte Begriffe
- Yann LeCun – Urheber des Ansatzes
- World Models – Programm, dessen technische Grundlage JEPA bildet
- AMI Labs – Unternehmen, das den Ansatz verfolgt
- Selbstüberwachtes Lernen – übergeordnetes Lernparadigma
- Genie – verwandtes System mit anderem Ansatz
- Embodied AI – Position, der der Ansatz zugehört
- Transformer – Architektur der konkurrierenden generativen Linie
- Large Language Models – Modellklasse, gegen deren Ansatz JEPA sich richtet
Quellenangaben
- Assran, Mahmoud u. a. (Meta AI) (2023): Self-Supervised Learning from Images with a Joint-Embedding Predictive Architecture. In: Proceedings of CVPR 2023. arXiv: 2301.08243.
- Assran, Mahmoud u. a. (Meta AI) (2025): V-JEPA 2: Self-Supervised Video Models Enable Understanding, Prediction and Planning.
- Bardes, Adrien u. a. (Meta AI) (2024): Revisiting Feature Prediction for Learning Visual Representations from Video. (V-JEPA) arXiv: 2404.08471.
- LeCun, Yann, 2022. A Path Towards Autonomous Machine Intelligence. Meta AI. OpenReview.
- MIT Technology Review (2026): Yann LeCun’s new venture is a contrarian bet against large language models. 22. Januar 2026.
← Zurück zur Lexikon-Übersicht
Zuletzt bearbeitet: 10. August 2026
Zusammengestellt, formuliert, lektoriert und korrigiert mit KI-Unterstützung. Kuratiert von Nils Brauer. Alle Angaben ohne Gewähr.