BLOOM

BLOOM (BigScience Large Open-science Open-access Multilingual Language Model) ist ein am 12. Juli 2022 veröffentlichtes Sprachmodell mit 176 Milliarden Parametern (Scao u. a. 2022), das aus dem einjährigen Hugging-Face-koordinierten BigScience-Workshop hervorging – einer Zusammenarbeit von über 1.000 Forschenden aus mehr als 70 Ländern.

Zusammenfassung

BLOOM entstand aus dem Wunsch, ein GPT-3-großes Sprachmodell als wissenschaftliches Gemeinschaftsprojekt statt als Konzernprodukt zu bauen. Das Training begann am 11. März 2022 und lief rund vier Monate auf dem französischen Jean-Zay-Supercomputer, finanziert über eine öffentliche Rechenzuteilung von GENCI und IDRIS.

Das Modell ist ein reiner Decoder-Transformer mit 70 Schichten, trainiert auf dem eigens kuratierten ROOTS-Datensatz – rund 1,6 Terabyte beziehungsweise 366 Milliarden Token in 46 natürlichen und 13 Programmiersprachen (Scao u. a. 2022). Veröffentlicht wurde BLOOM unter der BigScience RAIL-Lizenz (Responsible AI License), die volle Offenheit mit Nutzungsbeschränkungen verbindet, etwa gegen Massenüberwachung und Waffensteuerung.

Begriffsgeschichte

Der Workshop BigScience begann Anfang 2021 als Initiative von Hugging Face gemeinsam mit dem französischen Forschungsverbund GENCI/IDRIS, ausdrücklich als Gegenmodell zur intransparenten Entwicklung großer Sprachmodelle bei kommerziellen Laboren. Über tausend Forschende aus mehr als 70 Ländern arbeiteten in Arbeitsgruppen an Architektur, Trainingsdaten und Evaluierung.

Hinzu kamen rechtliche und ethische Arbeitsgruppen, die in eine eigene BigScience Ethical Charter mündeten, an deren Ausarbeitung unter anderem Margaret Mitchell mitwirkte.

Nach rund vier Monaten Training wurde das vollständige 176-Milliarden-Parameter-Modell am 12. Juli 2022 samt Quellcode und Trainingsdaten veröffentlicht (Scao u. a. 2022). Als kleinere, instruktionsoptimierte Variante folgte BLOOMZ.

Anwendungsfelder

BLOOM richtete sich weniger an Endnutzer:innen als an Forschung und Entwicklung: als Referenzpunkt für Arbeiten zu mehrsprachigen Modellen, zu Trainingskosten und -umweltbilanz sowie als Beleg dafür, dass ein offenes Sprachmodell dieser Größenordnung außerhalb eines Konzerns entstehen kann.

Eine eigene Studie bezifferte die Trainingsemissionen auf rund 25 Tonnen CO₂-Äquivalent – deutlich weniger als bei GPT-3 geschätzt, was die Autor:innen vor allem auf den emissionsarmen französischen Strommix zurückführten.

Kontroversen und Kritik

BLOOM blieb hinter den Erwartungen zurück, die der Aufwand des Projekts geweckt hatte. Auf dem Stanford-Benchmark HELM lag es hinter mehreren geschlossenen Modellen zurück, und weil es – anders als das kurz darauf erschienene ChatGPT – nicht mit menschlichem Feedback auf Dialogfähigkeit trainiert war, blieb es ein reines Textvervollständigungsmodell ohne Chat-Oberfläche.

Der mehrsprachige Zuschnitt, ursprünglich als Alleinstellungsmerkmal gedacht, erschwerte zusätzlich die Wahrnehmung: Nur rund ein Drittel der Trainingsdaten war Englisch, während die gängigen Leistungsvergleiche der Zeit überwiegend englischsprachig ausgelegt waren. Spätere offene Modelle wie LLaMA erreichten die ursprünglich für BLOOM erhoffte Breitenwirkung in der Open-Source-Gemeinschaft deutlicher.

Stand September 2026

BLOOM selbst wird kaum noch produktiv eingesetzt, gilt aber weiterhin als Referenzprojekt für offene, community-getragene Modellentwicklung und für die dokumentierte Arbeit an Trainingsdaten-Governance, auf die sich spätere Projekte – darunter Hugging Face selbst – wiederholt berufen.

Verwandte Begriffe

• Large Language Models – die Modellklasse, der BLOOM angehört

Quellenangaben

1. Scao, Teven Le u. a., 2022. BLOOM: A 176B-Parameter Open-Access Multilingual Language Model. arXiv: 2211.05100.
2. Heikkilä, Melissa, 2022. Inside a radical new project to democratize AI. MIT Technology Review, 12. Juli 2022.
3. Luccioni, Alexandra Sasha / Viguier, Sylvain / Ligozat, Anne-Laure, 2022. Estimating the Carbon Footprint of BLOOM, a 176B Parameter Language Model. arXiv: 2211.02001.
4. InfoQ, 2022. BigScience Releases 176B Parameter AI Language Model BLOOM. infoq.com, Juli 2022.
5. BigScience Workshop, 2022. BigScience Ethical Charter. bigscience.huggingface.co.

← Zurück zur Lexikon-Übersicht