Die Tensor Processing Unit ist ein von Google entwickelter, eigens für neuronale Netze entworfener Prozessor. Sie gehört zur Klasse der anwendungsspezifischen integrierten Schaltungen und wurde ab 2015 intern eingesetzt, 2016 öffentlich vorgestellt und über die Google Cloud verfügbar gemacht.
Zusammenfassung
Die TPU entstand aus einem konkreten betriebswirtschaftlichen Problem. Nach Darstellung von Jeff Dean hätte Google seine Rechenzentrumskapazität verdoppeln müssen, um verbesserte Spracherkennung mit herkömmlicher Hardware auszurollen.
Statt mehr Rechenzentren zu bauen, entwarf der Konzern einen Prozessor, der genau die Operationen ausführt, aus denen neuronale Netze bestehen – im Wesentlichen Matrixmultiplikationen – und darauf verzichtet, allgemein programmierbar zu sein.
Der Gewinn ist erheblich: Die erste Generation war nach Googles Angaben um ein Vielfaches schneller und um ein Mehrfaches energieeffizienter als die damals üblichen Prozessoren und Grafikkarten. Die TPU ist damit ein Beispiel dafür, dass Fortschritt in der KI nicht nur aus Verfahren, sondern aus der Rechengrundlage folgt.
Funktionsprinzip
Neuronale Netze bestehen im Kern aus wenigen, sehr häufig wiederholten Rechenoperationen. Ein Allzweckprozessor ist darauf nicht zugeschnitten: Er wendet erheblichen Aufwand für Ablaufsteuerung, Sprungvorhersage und Zwischenspeicherverwaltung auf, der bei gleichförmigen Matrixoperationen weitgehend nutzlos ist.
Die TPU verzichtet auf diesen Aufwand. Ihr Kern ist ein systolisches Feld – eine gitterförmige Anordnung von Recheneinheiten, durch die Daten in fester Taktung hindurchwandern, sodass Zwischenergebnisse unmittelbar weitergereicht statt in den Speicher zurückgeschrieben werden. Da der Speicherzugriff bei solchen Berechnungen der begrenzende Faktor ist, liegt darin der wesentliche Effizienzgewinn.
Ein zweiter Hebel ist die verringerte Rechengenauigkeit: Neuronale Netze tolerieren geringere Zahlenauflösung, was Fläche und Energie spart.
Entwicklung
| Generation | Etwa | Ausrichtung |
|---|---|---|
| TPU v1 | 2015/2016 | ausschließlich Inferenz |
| TPU v2 | 2017 | erstmals auch Training, Verbünde (Pods) |
| TPU v3 | 2018 | Flüssigkeitskühlung, größere Verbünde |
| TPU v4 | 2021 | optische Verschaltung zwischen Einheiten |
| ab TPU v5 | ab 2023 | getrennte Varianten für Training und Inferenz |
Die Entwicklung folgt einer Verschiebung des Engpasses: Zunächst ging es um die Ausführung fertiger Modelle, dann um deren Training, schließlich um die Verschaltung tausender Einheiten zu einem Verbund. Mit den Reasoning-Modellen gewann ab 2024 die Inferenz erneut an Gewicht, da diese Modelle zur Antwortzeit erheblich mehr rechnen.
Verhältnis zu GPUs
| GPU | TPU | |
|---|---|---|
| Ursprung | Grafikberechnung | eigens für neuronale Netze |
| Verfügbarkeit | breiter Markt, mehrere Anbieter | überwiegend Google Cloud |
| Flexibilität | hoch | auf Modellrechnungen beschränkt |
| Ökosystem | umfangreich, herstellerübergreifend | eng an TensorFlow und JAX gebunden |
Grafikprozessoren wurden ursprünglich für Bildberechnung entwickelt und erwiesen sich für neuronale Netze als brauchbar, weil beide Aufgaben stark parallelisierbar sind. Die TPU kehrt die Reihenfolge um: Sie ist von vornherein für den Zweck entworfen. Der Preis dafür ist Spezialisierung – was sich nicht als Modellrechnung formulieren lässt, läuft schlecht oder gar nicht.
Praktisch bedeutsam ist die Verfügbarkeit: TPUs sind im Wesentlichen über Googles Cloud zugänglich, während Grafikprozessoren gekauft und selbst betrieben werden können. Für Google ist die eigene Hardware zugleich ein Kostenvorteil gegenüber Wettbewerbern, die Rechenkapazität am Markt zukaufen.
Bedeutung
Rechenleistung ist neben Daten und Verfahren die dritte Größe, aus der sich Modellfähigkeiten ergeben – und die einzige, die sich unmittelbar in Geld ausdrücken lässt. Die Skalierungsgesetze beschreiben den Zusammenhang zwischen eingesetzter Rechenleistung und Modellleistung; wer Rechenleistung günstiger bereitstellt, verschiebt damit die wirtschaftliche Grenze des Machbaren.
Daraus folgt die politische Dimension: Zugang zu Rechenhardware ist Gegenstand von Ausfuhrbeschränkungen und industriepolitischen Programmen geworden. Die Konzentration der Fertigung auf wenige Unternehmen macht die Lieferkette zu einem Engpass der gesamten Branche.
Grenzen und Kritik
Spezialisierung als Wette auf die Architektur. Ein Prozessor, der auf einen bestimmten Rechentyp zugeschnitten ist, gewinnt seine Effizienz durch Verzicht auf Allgemeinheit. Das ist so lange vorteilhaft, wie die vorherrschende Modellarchitektur den unterstellten Rechentyp verwendet.
Setzt sich eine Architektur mit anderem Zuschnitt durch – etwa mit unregelmäßigen Zugriffsmustern oder starker Verzweigung –, verliert der Vorteil an Substanz, während der allgemeiner ausgelegte Wettbewerber mitgeht. Jede Generation spezialisierter Hardware ist damit eine Festlegung auf die Annahme, dass die nächsten Jahre so aussehen wie die vergangenen.
Kein offener Markt. Die Chips werden nicht verkauft, sondern ausschließlich über die konzerneigene Cloud vermietet. Wer sie nutzen will, bindet sich an einen Anbieter – nicht nur für die Rechenleistung, sondern für Speicherung, Netz und Abrechnung. Für Google ist das die eigentliche Rendite der Entwicklung; für Kunden ist es eine Abhängigkeit, die sie beim Kauf handelsüblicher Beschleuniger nicht eingehen.
Aufwand der Portierung. Code, der für die verbreitete Beschleuniger-Umgebung geschrieben wurde, läuft nicht ohne Weiteres auf dieser Hardware. Die Anpassung ist über die gängigen Rahmenwerke möglich, aber weder aufwandsfrei noch bei jeder Optimierung verlustlos – was den Wechsel in beide Richtungen erschwert und die Vergleichbarkeit veröffentlichter Leistungsangaben mindert.
Vergleichszahlen aus eigener Hand. Die veröffentlichten Effizienz- und Geschwindigkeitsvorteile stammen überwiegend vom Hersteller selbst, beruhen auf selbst gewählten Vergleichsfällen und wechseln die Bezugsgeneration. Unabhängige, gleichzeitig durchgeführte Messungen gegen aktuelle Wettbewerbsprodukte sind selten.
Verwandte Begriffe
- Google Brain – Ursprungsumfeld der Entwicklung
- TensorFlow – Framework, für das die TPU zunächst ausgelegt war
- JAX – Googles Framework für große TPU-Verbünde
- Scaling Laws – Zusammenhang zwischen Rechenaufwand und Modellleistung
- Reasoning-Modelle – Modellklasse mit hohem Inferenzbedarf
- Jeff Dean – Initiator der Entwicklung
- Google DeepMind – Hauptnutzer im Konzern
Quellenangaben
- Google DeepMind, o. J. About Google DeepMind. https://deepmind.google/about/
- Jouppi, Norman P. u. a. (2023): TPU v4: An Optically Reconfigurable Supercomputer for Machine Learning with Hardware Support for Embeddings. In: Proceedings of ISCA ’23. arXiv: 2304.01433.
- Jouppi, Norman P. u. a. (Google) (2017): In-Datacenter Performance Analysis of a Tensor Processing Unit. In: Proceedings of the 44th Annual International Symposium on Computer Architecture (ISCA ’17), S. 1–12. arXiv: 1704.04760.
- Kaplan, Jared / McCandlish, Sam / Henighan, Tom / Brown, Tom B. / Chess, Benjamin / Child, Rewon / Gray, Scott / Radford, Alec / Wu, Jeffrey / Amodei, Dario, 2020. Scaling Laws for Neural Language Models. OpenAI. arXiv: 2001.08361.
← Zurück zur Lexikon-Übersicht
Zuletzt bearbeitet: 10. August 2026
Zusammengestellt, formuliert, lektoriert und korrigiert mit KI-Unterstützung. Kuratiert von Nils Brauer. Alle Angaben ohne Gewähr.