Flamingo

Flamingo ist ein im April 2022 von Google DeepMind vorgestelltes multimodales Sprachmodell, das Bilder und Videos gemeinsam mit Text verarbeiten kann und dabei mit wenigen Beispielen (Few-Shot) auf neue visuelle Aufgaben angepasst wird, ohne dass eine erneute Feinabstimmung nötig ist.

Die Arbeit Flamingo: a Visual Language Model for Few-Shot Learning von Jean-Baptiste Alayrac und Kollegen zeigte, dass sich getrennt vortrainierte Bild- und Sprachmodelle mit vergleichsweise wenig zusätzlichem Training zu einem gemeinsamen System verbinden lassen.

Zusammenfassung

Flamingo kombinierte zwei bereits vortrainierte Komponenten, statt ein multimodales Modell von Grund auf zu trainieren: einen eingefrorenen Bild-Encoder, der visuelle Merkmale extrahiert, und ein eingefrorenes großes Sprachmodell, das Text erzeugt.

Zwischen beiden fügten die Autoren neue, trainierbare Schichten ein – Gated Cross-Attention-Blöcke –, die dem Sprachmodell erlauben, bei der Texterzeugung auf die visuellen Merkmale zuzugreifen, ohne dass das ursprüngliche Sprachwissen des eingefrorenen Modells verändert oder überschrieben wird.

Dieser Aufbau erlaubte es, das kostspielige Training der beiden großen Komponenten zu vermeiden und stattdessen nur die vergleichsweise kleinen Verbindungsschichten zu trainieren – ein deutlich günstigerer Weg zu einem multimodalen Modell als ein vollständiges gemeinsames Training von Grund auf.

Auf einer Reihe von Bild- und Video-Sprach-Aufgaben – Bildbeschriftung, visuelle Frage-Antwort-Systeme, Dialoge über Bildinhalte – übertraf Flamingo mit nur wenigen Beispielen im Prompt spezialisierte Modelle, die eigens für die jeweilige Aufgabe feinabgestimmt worden waren. Das gelang, obwohl Flamingo selbst nie für diese Aufgaben trainiert wurde.

Begriffsgeschichte

Multimodale Modelle, die Bild und Text gemeinsam verarbeiten, existierten bereits vor Flamingo – meist jedoch als Modelle, die für eine feste Aufgabe (etwa Bildunterschriften) trainiert wurden und sich nicht ohne erneutes Training auf neue Aufgaben übertragen ließen. Flamingo übertrug stattdessen das aus der Sprachmodellforschung bekannte Few-Shot-Prinzip – wie es GPT-3 (Brown u. a. 2020) für reinen Text demonstriert hatte – auf die visuelle Domäne.

Die Arbeit erschien im April 2022 als Preprint und wurde im selben Jahr auf der NeurIPS-Konferenz vorgestellt. Sie entstand parallel zu DeepMinds Chinchilla-Skalierungsgesetz-Arbeit (Hoffmann u. a. 2022); Arthur Mensch, später Mitgründer von Mistral AI, war an beiden Arbeiten beteiligt.

Flamingo prägte die Bauweise vieler nachfolgender multimodaler Modelle: Statt Bild- und Sprachverarbeitung von Grund auf gemeinsam zu trainieren, kombinieren spätere Systeme wie Gemini (Google, Dezember 2023) und GPT-4V (OpenAI, September 2023) ebenfalls vortrainierte Komponenten mit vergleichsweise leichtgewichtigen Verbindungsschichten. Die konkreten Architekturdetails variieren dabei von System zu System.

Methodische Grundlagen

Eingefrorene Basismodelle. Sowohl der Bild-Encoder als auch das Sprachmodell behalten während des Flamingo-Trainings ihre ursprünglichen, bereits gelernten Gewichte – nur die neu eingefügten Verbindungsschichten werden trainiert. Das bewahrt das im Sprachmodell gespeicherte Weltwissen und senkt die Trainingskosten erheblich.

Gated Cross-Attention. Die neu eingefügten Schichten lassen das Sprachmodell bei der Texterzeugung gezielt auf relevante Bildregionen zugreifen. Ein lernbares Gating sorgt dafür, dass der Einfluss der Bildinformation zu Trainingsbeginn nahe null ist und erst allmählich zunimmt – eine Vorsichtsmaßnahme, die verhindert, dass das eingefügte Modul das bestehende Sprachverhalten zu Beginn destabilisiert.

Perceiver Resampler. Eine zusätzliche Komponente reduziert eine variable Anzahl visueller Merkmale (bei Bildern wie bei Videos unterschiedlicher Länge) auf eine feste kleine Anzahl von Tokens, die das Sprachmodell verarbeiten kann. Das ist notwendig, weil Bild- und Video-Eingaben anders als Text keine natürliche, einheitliche Sequenzlänge haben.

Few-Shot-Anpassung im Prompt. Statt für eine neue Aufgabe erneut trainiert zu werden, erhält Flamingo wenige Beispiel-Paare aus Bild und gewünschter Textantwort direkt im Eingabekontext und leitet daraus das gewünschte Antwortmuster ab.

Anwendungsfelder

Visuelle Frage-Antwort-Systeme. Nutzende stellen Fragen zu Bildinhalten in natürlicher Sprache, das Modell antwortet, ohne für diese spezifische Aufgabe eigens trainiert worden zu sein.

Automatische Bildbeschriftung. Mit wenigen Beispielen im Prompt lässt sich der gewünschte Beschriftungsstil (knapp, ausführlich, sachlich) anpassen, ohne das Modell neu zu trainieren.

Video-Sprach-Aufgaben. Der Perceiver-Resampler-Mechanismus erlaubt es, auch Video-Eingaben zu verarbeiten und Fragen über zeitliche Abläufe zu beantworten.

Architektonisches Vorbild. Die Idee, vortrainierte unimodale Modelle über leichtgewichtige Verbindungsschichten zu koppeln statt sie gemeinsam neu zu trainieren, wurde zu einem verbreiteten Muster im Bau multimodaler Systeme.

Kontroversen und Kritik

Kein offenes Modell. Flamingo wurde nie öffentlich als nutzbares Modell veröffentlicht – nur die Forschungsarbeit ist zugänglich, die Gewichte blieben intern bei Google DeepMind, sodass unabhängige Reproduktion oder Weiterentwicklung durch Dritte nicht möglich war.

Abhängigkeit von der Qualität der Basismodelle. Weil Flamingo auf bereits vortrainierten Komponenten aufbaut, überträgt es auch deren Schwächen und Verzerrungen unverändert – ein Problem, das sich durch das Einfrieren der Basismodelle nicht beheben lässt, sondern nur durch bessere Grundmodelle.

Rechenaufwand trotz Einfrierens. Obwohl nur ein Teil der Parameter trainiert wird, bleiben Vorwärts- und Rückwärtsdurchläufe durch die vollständigen, sehr großen Basismodelle rechenintensiv – die Kostenersparnis gegenüber vollständigem gemeinsamem Training ist real, aber begrenzt.

Stand 2025/2026

Flamingo selbst ist als konkretes Modell nicht mehr im aktiven Einsatz, gilt aber als einer der einflussreichsten Wegbereiter heutiger multimodaler Sprachmodelle. Das Grundprinzip – vortrainierte Bild- und Sprachkomponenten über zusätzliche Schichten zu verbinden – findet sich in unterschiedlichen Ausprägungen in praktisch allen aktuellen multimodalen Systemen wieder.

Verwandte Begriffe

• Multimodal AI – die übergeordnete Modellklasse
• Vision Transformer – die Bild-Encoder-Bauform, auf der Flamingos visuelle Verarbeitung aufbaut
• Foundation Models – Modellklasse, deren vortrainierte Komponenten Flamingo kombiniert

Quellenangaben

1. Alayrac, Jean-Baptiste u. a., 2022. Flamingo: A Visual Language Model for Few-Shot Learning. In: Advances in Neural Information Processing Systems 35 (NeurIPS 2022). arXiv: 2204.14198.
2. Brown, Tom B. u. a., 2020. Language Models are Few-Shot Learners. In: Advances in Neural Information Processing Systems 33 (NeurIPS 2020), S. 1877–1901. arXiv: 2005.14165.
3. Hoffmann, Jordan / Borgeaud, Sebastian / Mensch, Arthur u. a., 2022. Training Compute-Optimal Large Language Models. DeepMind. arXiv: 2203.15556. (Chinchilla).

← Zurück zur Lexikon-Übersicht