Google Brain

Google Brain war ein Forschungsteam für Deep Learning innerhalb von Google, das 2011 als Nebenprojekt entstand und im April 2023 mit DeepMind zu Google DeepMind verschmolzen wurde. Aus dem Team stammen unter anderem die Transformer-Architektur, das Framework TensorFlow und die Grundlagen der neuronalen maschinellen Übersetzung.

Zusammenfassung

Google Brain begann 2011 als Teilzeitkollaboration dreier Personen – Jeff Dean, Greg Corrado und der Stanford-Professor Andrew Ng – im Rahmen der bei Google üblichen freien Projektzeit. Das erklärte Ziel war es, Deep Learning auf der bestehenden Rechenzentrumsinfrastruktur des Konzerns in bis dahin unerreichtem Maßstab zu betreiben.

Aus dem Projekt gingen zwei Ergebnisse hervor, die die gegenwärtige KI-Entwicklung tragen: das Verständnis, dass Skalierung von Daten und Rechenleistung selbst ein Fortschrittshebel ist, und 2017 die Transformer-Architektur, auf der praktisch alle heutigen großen Sprachmodelle beruhen.

Das Team bestand zwölf Jahre lang parallel zu DeepMind, das Google 2014 erworben hatte; die beiden Einheiten verfolgten unterschiedliche Ansätze und wurden 2023 unter dem Druck der Konkurrenz durch OpenAI zusammengelegt.

Entstehung

Andrew Ng arbeitete seit 2006 daran, Deep-Learning-Verfahren auf große Datenmengen anzuwenden. 2011 begann er bei Google eine Zusammenarbeit mit Jeff Dean, einem der prägenden Infrastrukturingenieure des Konzerns, und dem Neurowissenschaftler Greg Corrado. Ng bezeichnete das Vorhaben zunächst als Deep Learning Project at Google.

Die Arbeit lief anfangs nebenher und war im Forschungslabor Google X angesiedelt. Sie erwies sich als so erfolgreich, dass das Projekt in die Kernorganisation überführt wurde. Der Grundgedanke war weniger ein neues Verfahren als eine Setzung: bestehende neuronale Netze auf der verteilten Rechenkapazität von Google in einem Maßstab zu trainieren, den akademische Gruppen nicht erreichen konnten.

Ng verließ das Team bereits 2012 wieder und wechselte später zu Baidu; Dean und Corrado blieben. 2013 erwarb Google zusätzlich das Unternehmen DNNResearch von Geoffrey Hinton und band ihn an das Team an.

Wesentliche Beiträge

Das Cat-Paper (2012)

Die bekannteste frühe Arbeit trainierte ein neuronales Netz auf zehn Millionen unbeschrifteten Standbildern aus YouTube-Videos, verteilt auf 16.000 Prozessorkerne. Ohne jede Beschriftung bildete das Netz Neuronen aus, die auf Katzen und auf menschliche Gesichter reagierten. Das dafür entwickelte System DistBelief war der Vorläufer von TensorFlow.

Die Arbeit erhielt erhebliche öffentliche Aufmerksamkeit und wurde zum Beleg dafür, dass unüberwachtes Lernen bei hinreichendem Maßstab Struktur aus Rohdaten gewinnt.

Transformer (2017)

Der Aufsatz Attention Is All You Need stellte eine Architektur vor, die vollständig auf Aufmerksamkeitsmechanismen beruht und auf Rekurrenz und Faltung verzichtet. Da die Verarbeitung dadurch nicht mehr sequenziell erfolgen muss, lässt sie sich parallelisieren – die Voraussetzung dafür, Modelle in der heute üblichen Größenordnung überhaupt zu trainieren.

Der praktische Effekt war erheblich: Nach Darstellung von Jeff Dean benötigten Transformer für vergleichbare Genauigkeit ein Zehntel bis ein Hundertstel der Rechenleistung rekurrenter Netze. Die Architektur liegt heute den Modellen sämtlicher großer Anbieter zugrunde, einschließlich derjenigen von Wettbewerbern.

Infrastruktur

Ein zweiter Strang betraf die Rechengrundlage. Dean beschrieb die Ausgangslage anschaulich: Hätte Google verbesserte Spracherkennung mit herkömmlicher Hardware ausgerollt, hätte sich die benötigte Rechenzentrumskapazität verdoppelt. Daraus entstand mit der Tensor Processing Unit ein eigens für neuronale Netze entworfener Prozessor.

Diese Verbindung von Forschung und Infrastruktur unterscheidet Google Brain von rein akademisch geprägten Gruppen und prägte den späteren Zuschnitt der Konkurrenzlabore.

Verhältnis zu DeepMind

Google erwarb DeepMind 2014, ein Jahr nach Hintons Eintritt, für einen Betrag in der Größenordnung von 500 Millionen US-Dollar. Damit unterhielt der Konzern zwei große KI-Forschungseinheiten mit unterschiedlichem Zuschnitt:

Die Doppelstruktur galt lange als produktiv, weil beide Einheiten unterschiedliche Fragen bearbeiteten. Mit dem Erfolg von ChatGPT ab Ende 2022 geriet Google unter Druck, was die Bündelung der Kräfte nahelegte.

Fusion 2023

Am 20. April 2023 gab Google die Zusammenlegung beider Einheiten zu Google DeepMind bekannt. Demis Hassabis übernahm die Leitung, Jeff Dean wurde Chefwissenschaftler von Google DeepMind und Google Research und technischer Verantwortlicher für die Modellreihe Gemini.

Als Begründung wurde die Beschleunigung der Entwicklung durch Bündelung von Talent und Rechenkapazität genannt. In der Rezeption wurde die Fusion überwiegend als Reaktion auf den Wettbewerbsdruck durch OpenAI und Microsoft gelesen. Bis Januar 2025 wurden weitere KI-Teams des Konzerns in die neue Einheit überführt.

Der Name Google Brain wird seither nicht mehr geführt; die Arbeiten laufen unter Google DeepMind fort.

Einordnung und Kritik

Google Brain ist ein bemerkenswerter Fall, weil das Team die technische Grundlage einer Entwicklung legte, von der andere Unternehmen zuerst profitierten.

Die Transformer-Architektur wurde offen veröffentlicht; OpenAI baute darauf die GPT-Reihe auf und erreichte mit ChatGPT eine öffentliche Wirkung, die Google mit eigenen, technisch vergleichbaren Modellen zunächst nicht erzielte. Mehrere Autoren des Transformer-Aufsatzes verließen Google und gründeten eigene Unternehmen.

Kritisch diskutiert wird zudem der Umgang mit Forschung zu Risiken. Der Weggang der KI-Ethikerin Timnit Gebru Ende 2020, dem ein Streit über einen Aufsatz zu den Gefahren großer Sprachmodelle vorausging, wird als Beispiel für Spannungen zwischen Forschungsfreiheit und Unternehmensinteressen angeführt. Der betreffende Aufsatz – On the Dangers of Stochastic Parrots – wurde zu einem der meistzitierten kritischen Texte des Feldes.

Verwandte Begriffe

• Google DeepMind – Nachfolgeorganisation
• Transformer – aus dem Team hervorgegangene Architektur
• Attention Is All You Need – Aufsatz von 2017
• Deep Learning – Forschungsfeld des Teams
• Jeff Dean – Mitgründer, später Chefwissenschaftler
• Andrew Ng – Mitgründer
• Geoffrey Hinton – ab 2013 dem Team verbunden
• Stochastic Parrots – Aufsatz im Zentrum des Gebru-Konflikts
• Timnit Gebru – 2020 ausgeschiedene Ethikforscherin
• Scaling Laws – Gesetzmäßigkeiten, deren Grundgedanke hier früh verfolgt wurde

Quellenangaben

1. Bender, Emily M. / Gebru, Timnit / McMillan-Major, Angelina / Shmitchell, Shmargaret, 2021. On the Dangers of Stochastic Parrots: Can Language Models Be Too Big? In: Proceedings of the 2021 ACM Conference on Fairness, Accountability, and Transparency (FAccT 2021), S. 610–623. DOI: 10.1145/3442188.3445922.
2. Dean, Jeffrey u. a. (2012): Large Scale Distributed Deep Networks. In: Advances in Neural Information Processing Systems 25 (NeurIPS 2012).
3. Devlin, Jacob / Chang, Ming-Wei / Lee, Kenton / Toutanova, Kristina, 2019. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. In: Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics (NAACL 2019), S. 4171–4186. DOI: 10.18653/v1/N19-1423.
4. Google DeepMind, o. J. About Google DeepMind. https://deepmind.google/about/
5. Le, Quoc V. / Ranzato, Marc’Aurelio / Monga, Rajat / Devin, Matthieu / Chen, Kai / Corrado, Greg / Dean, Jeff / Ng, Andrew Y., 2012. Building High-Level Features Using Large Scale Unsupervised Learning. In: Proceedings of the 29th International Conference on Machine Learning (ICML 2012). arXiv: 1112.6209.
6. TechCrunch (2023): Google consolidates AI research divisions into Google DeepMind. 20. April 2023.
7. Vaswani, Ashish / Shazeer, Noam / Parmar, Niki / Uszkoreit, Jakob / Jones, Llion / Gomez, Aidan N. / Kaiser, Łukasz / Polosukhin, Illia, 2017. Attention Is All You Need. In: Advances in Neural Information Processing Systems 30 (NeurIPS 2017), S. 5998–6008. arXiv: 1706.03762.

← Zurück zur Lexikon-Übersicht

Zuletzt bearbeitet: 10. August 2026

Zusammengestellt, formuliert, lektoriert und korrigiert mit KI-Unterstützung. Kuratiert von Nils Brauer. Alle Angaben ohne Gewähr.