Jeffrey Adgate Dean ist ein US-amerikanischer Informatiker und Chefwissenschaftler von Google DeepMind und Google Research. Er war Mitgründer von Google Brain, prägte über zwei Jahrzehnte die Recheninfrastruktur des Konzerns und ist technischer Verantwortlicher der Modellreihe Gemini.
Zusammenfassung
Dean ist die Figur, an der sich zeigt, dass der Fortschritt der KI ebenso von Infrastruktur wie von Verfahren abhängt.
Vor seiner Arbeit an neuronalen Netzen entwickelte er die Systeme, auf denen Googles Suchmaschine und Datenverarbeitung beruhen – darunter MapReduce, BigTable und Spanner.
2011 gründete er mit Andrew Ng und Greg Corrado das Team Google Brain und baute darauf drei Generationen von Trainingssystemen: DistBelief, TensorFlow und Pathways. Aus demselben Umfeld stammen die Tensor Processing Unit und die Transformer-Architektur. Nach der Fusion von Google Brain und DeepMind 2023 wurde Dean Chefwissenschaftler der neuen Einheit.
Werdegang
Dean promovierte an der University of Washington in Informatik und trat 1999 bei Google ein, als das Unternehmen noch klein war. Er wurde Google Fellow und später Senior Fellow.
In den ersten anderthalb Jahrzehnten galt seine Arbeit der verteilten Systemtechnik. Er war maßgeblich an Systemen beteiligt, die zum Standard der Branche wurden: MapReduce für die Verarbeitung sehr großer Datenmengen, BigTable als verteilter Datenspeicher, Spanner als global verteilte Datenbank. Diese Arbeiten machten ihn zu einer der einflussreichsten Figuren der Systeminformatik.
2011 begann die Zusammenarbeit mit Andrew Ng und Greg Corrado an Deep Learning. 2018 übernahm er die Leitung von Google AI. Seit der Fusion 2023 ist er Chefwissenschaftler von Google DeepMind und Google Research sowie technischer Verantwortlicher für Gemini.
Beiträge
Drei Generationen von Trainingssystemen
| System | Etwa | Kern |
|---|---|---|
| DistBelief | 2011 | verteiltes, asynchrones Training |
| TensorFlow | 2015 | quelloffenes Framework |
| Pathways | ab 2021 | Ansteuerung tausender Beschleuniger aus einem Prozess |
DistBelief ermöglichte das Training von Modellen mit rund zwei Milliarden Parametern zu einer Zeit, als die größten veröffentlichten Modelle zehn bis fünfzig Millionen umfassten. Mit ihm entstanden das Cat-Paper von 2012 und word2vec. TensorFlow machte den Ansatz öffentlich verfügbar; Pathways ist auf sehr große, dünn besetzte Modelle ausgelegt.
Hardware
Deans Begründung für die Entwicklung der Tensor Processing Unit ist häufig zitiert: Hätte Google verbesserte Spracherkennung mit herkömmlicher Hardware ausgerollt, hätte sich die benötigte Rechenzentrumskapazität verdoppelt. Die erste TPU-Generation erwies sich als um ein Vielfaches schneller und um ein Mehrfaches energieeffizienter als die damals üblichen Prozessoren.
Modellentwicklung
Unter Deans Verantwortung entstanden Arbeiten, die die heutige Modellgeneration tragen: die Transformer-Architektur, neuronale maschinelle Übersetzung, BERT, word2vec, Sequence-to-Sequence-Lernen, AutoML sowie die Modellreihen PaLM und Gemini.
Dean vertritt öffentlich mehrere Positionen zur Effizienz: dünn besetzte Modelle, bei denen je Vorhersage nur ein kleiner Teil der Parameter aktiv ist; Destillation, bei der ein kleines Modell von einem großen lernt; und die Beobachtung, dass Modelle durch ausgegebene Zwischenschritte mehr Rechenaufwand je Token betreiben – der Grundgedanke der Reasoning-Modelle.
Einordnung
Dean unterscheidet sich von den meisten prominenten Figuren der KI-Debatte dadurch, dass er kein Unternehmen gegründet hat und sich zu Zeiträumen für AGI öffentlich kaum äußert. Sein Einfluss liegt in der Verbindung von Forschung und Rechengrundlage: Die Entscheidung, Modelle in bis dahin unerreichtem Maßstab zu trainieren, setzte Systeme voraus, die es zu bauen galt.
Kritisch angemerkt wird, dass diese Verbindung zugleich eine Konzentration bedeutet – die Verfahren, die das Feld prägen, entstanden dort, wo die Rechenkapazität vorhanden war, und blieben damit an wenige Organisationen gebunden. In Deans eigener Tätigkeitsgeschichte bildet sich diese Entwicklung ab: von offen veröffentlichten Systemen wie TensorFlow zur Arbeit an geschlossenen Frontier-Modellen.
Kontroversen
Der Abgang von Timnit Gebru. Als Leiter von Google Research trug Dean die Verantwortung in dem Vorgang, der Ende 2020 zum Ausscheiden der Co-Leiterin des Ethical-AI-Teams führte.
Dean begründete die Ablehnung des Aufsatzes über die Risiken großer Sprachmodelle intern damit, er entspreche nicht den Anforderungen an eine Veröffentlichung und blende Arbeiten zur Verringerung der beschriebenen Probleme aus. Die Gegenseite hielt fest, dass das interne Prüfverfahren in diesem Fall ungewöhnlich spät und ungewöhnlich streng angewandt worden sei, und wertete die Begründung als nachgeschoben.
Der Vorgang und die wenige Monate später erfolgte Entlassung von Margaret Mitchell machten Dean zu einer Figur in einer Debatte, die er nach eigener Darstellung nicht gesucht hatte, und er gilt seither in Teilen der Forschungsgemeinschaft als Beispiel dafür, wie Konzerninteressen die Forschungsfreiheit in Industrielaboren begrenzen.
Die Preisgabe der Offenheit. Dean stand für eine Publikationskultur, in der Googles wichtigste Arbeiten – die Transformer-Architektur eingeschlossen – vollständig veröffentlicht wurden, einschließlich der Ideen, aus denen die Konkurrenz ihre Produkte baute.
Nach dem Erscheinen von ChatGPT änderte der Konzern diese Praxis; technische Berichte zu den Modellen der Gemini-Reihe nennen wesentliche Angaben nicht mehr. Dass ausgerechnet der Verantwortliche für die offenste Phase der Konzernforschung deren Ende mitträgt, wird als Beleg dafür angeführt, dass Offenheit in diesem Feld eine Funktion der Wettbewerbslage war und keine Haltung.
Effizienz als Antwort auf Umweltkritik. Deans Beiträge zur Frage des Energieverbrauchs großer Modelle betonen Effizienzgewinne durch bessere Architekturen, Hardware und Rechenzentren. Kritiker halten dem entgegen, dass Effizienzgewinne in diesem Feld regelmäßig in größere Modelle und mehr Anfragen investiert werden statt in geringeren Verbrauch – der absolute Bedarf steigt, während die Angabe je Rechenschritt sinkt.
Verwandte Begriffe
- Google Brain – von ihm mitgegründetes Team
- Google DeepMind – heutige Wirkungsstätte
- TensorFlow – von ihm mitverantwortetes Framework
- Tensor Processing Unit – von ihm angestoßene Hardware
- Gemini – Modellreihe unter seiner technischen Verantwortung
- Transformer – im Team entstandene Architektur
- Andrew Ng – Mitgründer von Google Brain
- Demis Hassabis – Leiter von Google DeepMind
- Scaling Laws – Zusammenhang, den seine Arbeit praktisch erschloss
Quellenangaben
- Dean, Jeffrey / Ghemawat, Sanjay (2004): MapReduce: Simplified Data Processing on Large Clusters. In: Proceedings of the 6th Symposium on Operating Systems Design and Implementation (OSDI ’04).
- Dean, Jeffrey u. a. (2012): Large Scale Distributed Deep Networks. In: Advances in Neural Information Processing Systems 25 (NeurIPS 2012).
- Google Research, o. J. Jeff Dean. Profilseite. https://research.google/people/jeff/
- Jouppi, Norman P. u. a. (Google) (2017): In-Datacenter Performance Analysis of a Tensor Processing Unit. In: Proceedings of the 44th Annual International Symposium on Computer Architecture (ISCA ’17), S. 1–12. arXiv: 1704.04760.
- Le, Quoc V. / Ranzato, Marc’Aurelio / Monga, Rajat / Devin, Matthieu / Chen, Kai / Corrado, Greg / Dean, Jeff / Ng, Andrew Y., 2012. Building High-Level Features Using Large Scale Unsupervised Learning. In: Proceedings of the 29th International Conference on Machine Learning (ICML 2012). arXiv: 1112.6209.
- TechCrunch (2023): Google consolidates AI research divisions into Google DeepMind. 20. April 2023.
← Zurück zur Lexikon-Übersicht
Zuletzt bearbeitet: 10. August 2026
Zusammengestellt, formuliert, lektoriert und korrigiert mit KI-Unterstützung. Kuratiert von Nils Brauer. Alle Angaben ohne Gewähr.