Multimodale KI bezeichnet Systeme, die Eingaben verschiedener Art – Text, Bild, Ton, Video – in einem Modell verarbeiten und aufeinander beziehen können. Der Begriff Modalität stammt aus der Wahrnehmungsforschung und meint den Sinneskanal, über den Information aufgenommen wird.
Zusammenfassung
Die technische Voraussetzung ist eine gemeinsame Darstellung. Solange Bild und Text getrennt verarbeitet werden, lassen sie sich nicht aufeinander beziehen; erst wenn beide in denselben Vektorraum abgebildet werden, wird der Vergleich zur Abstandsrechnung.
Der maßgebliche Schritt gelang 2021 mit CLIP. Das Modell wurde auf Hunderten Millionen Bild-Text-Paaren aus dem Netz darauf trainiert, zusammengehörige Paare nahe und unzusammengehörige fern abzubilden.
Damit war eine Brücke gebaut, auf der ein Großteil der folgenden Entwicklung aufsetzte: Bilderzeugung aus Text, Bildbeschreibung, Bildsuche über Beschreibungen, und schließlich Sprachmodelle, die Bilder entgegennehmen.
Seit 2023 sind die führenden Sprachmodelle durchgehend multimodal. Die Bewertung dieser Fähigkeit ist allerdings deutlich schlechter entwickelt als die Fähigkeit selbst.
Begriffsgeschichte
Vor 2020 war die Verbindung von Modalitäten ein Nischenthema. Systeme zur Bildbeschreibung verbanden einen Bildkodierer mit einem Textgenerator, jeder Teil für sich trainiert, die Verbindung von Hand entworfen.
Die Wende brachte die Beobachtung, dass sich das Verbindungsproblem in ein Ähnlichkeitsproblem überführen lässt. Statt zu lernen, wie ein Bild zu beschreiben ist, lernt ein Modell, welche Beschreibung zu welchem Bild gehört.
CLIP setzte das 2021 im großen Maßstab um. Der Datensatz bestand aus Bild-Text-Paaren des offenen Netzes – Bildunterschriften, Alternativtexte, Beschreibungen –, also aus Material, das ohnehin anfiel.
2022 nutzten die Bilderzeugungsmodelle diese Brücke in umgekehrter Richtung. 2023 folgten Sprachmodelle, die Bilder als Eingabe akzeptieren, indem sie deren Darstellung wie eine Folge von Texteinheiten behandeln.
Ab 2024 kamen Ton und Video hinzu, zunächst über getrennte Kodierer, zunehmend im gemeinsamen Training.
Methodische Grundlagen
Der gemeinsame Raum. Beide Modalitäten werden durch eigene Kodierer in Vektoren gleicher Länge überführt. Das Training bringt zusammengehörige Paare nahe zusammen – ohne dass definiert würde, was Zusammengehörigkeit bedeutet.
Kontrastives Lernen. Bei einem Stapel von N Paaren gibt es N richtige und N mal N minus N falsche Zuordnungen. Das Modell lernt, die richtigen herauszufinden. Große Stapel sind dabei entscheidend, weil sie schwierigere Vergleichsfälle liefern.
Drei Bauformen. Manche Systeme verbinden zwei getrennte Kodierer über den Vektorraum. Andere hängen Bilddarstellungen als zusätzliche Einheiten an die Texteingabe eines Sprachmodells. Wieder andere trainieren von Beginn an auf gemischten Daten.
Bilder als Einheiten. Der verbreitetste Weg bei Sprachmodellen: Ein Bild wird in Felder zerlegt, jedes Feld erhält einen Vektor, und diese Vektoren werden in dieselbe Folge eingereiht wie die Texteinheiten. Das Modell sieht keinen Unterschied.
Ungleiche Datenlage. Bild-Text-Paare fallen im Netz in großer Menge an. Für Ton und Video ist die Lage erheblich schlechter, was den Fortschritt dort verlangsamt.
Anwendungsfelder
Bilderzeugung aus Text. Der sichtbarste Anwendungsfall, für den die Textvektoren von CLIP oder verwandten Modellen die Steuerung liefern.
Bildverständnis in Sprachmodellen. Diagramme lesen, Belege auswerten, Bildschirmfotos beschreiben – die Grundlage der Computer-Use-Fähigkeit.
Suche über Modalitäten hinweg. Bilder mit Worten finden, ohne dass jemand sie beschriftet hätte.
Barrierefreiheit. Automatische Bildbeschreibungen für Menschen mit Sehbeeinträchtigung – ein Anwendungsfall, der lange als schwierig galt.
Robotik. Vision-Language-Action-Modelle setzen auf derselben Verbindung auf und ergänzen die Handlung als dritte Modalität.
Kontroversen und Kritik
Oberflächliche Verbindung. Ein wiederkehrender Einwand lautet, die Modelle lernten Zuordnungen statt Zusammenhänge. Sie erkennen, dass ein Bild zu einer Beschreibung passt, ohne räumliche Beziehungen, Anzahlen oder Verneinungen zuverlässig zu erfassen.
Schwäche bei Struktur. Belegte Beispiele: Beziehungen zwischen Objekten werden vertauscht, Mengenangaben nicht beachtet, Verneinungen überlesen. Die Modelle verhalten sich in Teilen wie eine ungeordnete Sammlung von Begriffen.
Verzerrungen aus dem Netz. Der Trainingsbestand besteht aus Bildunterschriften des offenen Netzes und trägt deren Schieflagen. Untersuchungen haben systematische Fehlzuordnungen bei Herkunft, Geschlecht und Beruf nachgewiesen.
Bewertung unzureichend. Die gebräuchlichen Prüfsammlungen messen überwiegend Wiedererkennung. Ob ein Modell versteht, was auf einem Bild geschieht, prüfen sie kaum – und wo sie es versuchen, sind sie durch Vorwissen aus dem Text lösbar.
Ungleiche Modalitäten. Trotz der Bezeichnung sind die Modalitäten nicht gleichrangig. Text bleibt die Leitmodalität; Bild und Ton werden in dessen Darstellung überführt, nicht umgekehrt.
Was am gemeinsamen Raum bemerkenswert ist
Die übliche Darstellung lautet, multimodale Modelle verbänden Sinne, wie ein Mensch es tut. Der Vergleich führt in die Irre, und zwar an einer aufschlussreichen Stelle.
Ein Mensch nimmt Bild und Ton nicht wahr, um sie einander zuzuordnen, sondern um sich in einer Welt zurechtzufinden, die beides zugleich hervorbringt. Die Modalitäten sind für ihn verschiedene Zugänge zu derselben Sache.
Ein multimodales Modell lernt etwas anderes: welche Bilder mit welchen Beschreibungen gemeinsam im Netz auftreten. Das ist eine Aussage über menschliche Beschreibungspraxis, nicht über die Welt.
Daraus erklären sich die typischen Schwächen. Was Menschen zu beschreiben pflegen, erfasst das Modell gut; was sie für selbstverständlich halten und deshalb nie hinschreiben – räumliche Verhältnisse, Anzahlen, das Fehlen von etwas –, erfasst es schlecht.
Der gemeinsame Raum verbindet damit nicht Wahrnehmungskanäle, sondern zwei Spuren derselben menschlichen Tätigkeit. Das ist eine erhebliche Leistung und etwas anderes, als der Begriff nahelegt.
Verwandte Begriffe
- CLIP – Modell, das den gemeinsamen Raum durchsetzte
- Stable Diffusion – Anwendung in umgekehrter Richtung
- Vision Transformer – Architektur der Bildkodierer
- Computer Use – Fähigkeit, die auf Bildverständnis beruht
- Vision-Language-Action-Modelle – Erweiterung um die Handlung
- Embedding-Modell – verwandtes Verfahren für Text allein
- Symbol-Grounding-Problem – philosophische Frage im Hintergrund
- Benchmarking – ungelöstes Bewertungsproblem
Quellenangaben
- Alayrac, Jean-Baptiste u. a., 2022. Flamingo: A Visual Language Model for Few-Shot Learning. In: Advances in Neural Information Processing Systems 35 (NeurIPS 2022). arXiv: 2204.14198.
- Radford, Alec / Kim, Jong Wook / Hallacy, Chris / Ramesh, Aditya / Goh, Gabriel / Agarwal, Sandhini / Sastry, Girish / Askell, Amanda / Mishkin, Pamela / Clark, Jack / Krueger, Gretchen / Sutskever, Ilya, 2021. Learning Transferable Visual Models from Natural Language Supervision. In: Proceedings of the 38th International Conference on Machine Learning (ICML 2021). arXiv: 2103.00020.
- Yuksekgonul, Mert / Bianchi, Federico / Kalluri, Pratyusha / Jurafsky, Dan / Zou, James (2023): When and Why Vision-Language Models Behave Like Bags-of-Words, and What to Do About It? In: Proceedings of ICLR 2023. arXiv: 2210.01936.
← Zurück zur Lexikon-Übersicht
Zuletzt bearbeitet: 10. August 2026
Zusammengestellt, formuliert, lektoriert und korrigiert mit KI-Unterstützung. Kuratiert von Nils Brauer. Alle Angaben ohne Gewähr.