Federated Learning ist ein Trainingsverfahren, bei dem ein Modell auf vielen verteilten Geräten oder Servern lernt, ohne dass die zugrunde liegenden Rohdaten diese Geräte je verlassen. Statt Daten an einen zentralen Server zu senden, wandert das Modell zu den Daten.
Zusammenfassung
Google stellte das Konzept 2016 vor, formalisiert 2017 durch H. Brendan McMahan und Kolleg:innen im Paper Communication-Efficient Learning of Deep Networks from Decentralized Data. Bekannteste Anwendung ist bis heute die Wortvorhersage der Google-Tastatur Gboard: Millionen Smartphones trainieren lokal an den eigenen Tippgewohnheiten, ein zentraler Server führt nur die resultierenden Modell-Updates zusammen.
Der Ansatz löst ein praktisches Problem: Sensible Daten wie private Nachrichten sollen das Gerät gar nicht erst verlassen müssen. Er schafft aber ein neues, denn wer die übertragenen Modell-Updates genau analysiert, kann unter bestimmten Bedingungen doch Rückschlüsse auf die zugrunde liegenden Daten ziehen.
Begriffsgeschichte
McMahans Team bei Google stand vor einem konkreten Problem: Nutzer:innen tippen auf ihren Smartphones enorme Mengen an Text, aber das Hochladen dieser Texte zu einem zentralen Trainingsserver wäre sowohl ein Datenschutz- als auch ein Bandbreitenproblem gewesen.
Die Lösung, 2017 als FedAvg-Algorithmus veröffentlicht, kehrte das übliche Vorgehen um: Statt Daten zum Modell zu bringen, schickt der Server ein globales Modell an die Geräte, lässt es dort mit lokalen Daten weitertrainieren und mittelt anschließend nur die resultierenden Gewichtsänderungen. Google setzte das Verfahren ab 2017 produktiv in Gboard ein.
Methodische Grundlagen
Ein Trainingsdurchlauf gliedert sich in wiederholte Runden: Der Server verteilt den aktuellen Modellstand an eine Auswahl teilnehmender Geräte. Jedes Gerät trainiert das Modell für einige Schritte auf seinen eigenen, lokalen Daten weiter und sendet ausschließlich die daraus entstandene Gewichtsänderung zurück – nicht die Trainingsdaten selbst.
Der FedAvg-Algorithmus mittelt diese Änderungen gewichtet nach der Menge der jeweils verwendeten lokalen Daten und aktualisiert damit das globale Modell für die nächste Runde. Eine zentrale Herausforderung ist dabei, dass die Daten auf verschiedenen Geräten typischerweise nicht gleich verteilt sind (non-IID): Ein Smartphone in einem englischsprachigen Haushalt erzeugt andere Trainingssignale als eines mit überwiegend deutschen Texten, was die Konvergenz des globalen Modells erschwert.
Ergänzend kommt häufig sichere Aggregation zum Einsatz: ein kryptografisches Verfahren, das dem Server nur die Summe der Updates vieler Geräte zeigt, nicht das einzelne Update eines bestimmten Geräts.
Anwendungsfelder
Neben Gboard eignet sich Federated Learning überall dort, wo Daten aus rechtlichen oder praktischen Gründen nicht zentral gesammelt werden dürfen oder können. Krankenhäuser können gemeinsam ein Diagnosemodell trainieren, ohne Patientendaten auszutauschen – jede Einrichtung behält die eigenen Datensätze, nur die Modell-Updates verlassen das Haus.
Man unterscheidet dabei zwei Grundmuster: Cross-Device-Szenarien mit Millionen Endgeräten wie bei Gboard, und Cross-Silo-Szenarien mit wenigen, aber datenreichen Teilnehmern wie Krankenhäusern oder Banken, die eine andere technische und organisatorische Auslegung verlangen.
Kontroversen und Kritik
Die zentrale Behauptung – „die Daten verlassen nie das Gerät” – wird durch Angriffe auf die übertragenen Modell-Updates relativiert. Sogenannte Gradient-Leakage-Angriffe können aus den übermittelten Gewichtsänderungen unter bestimmten Bedingungen Teile der ursprünglichen Trainingsdaten rekonstruieren; Membership-Inference-Angriffe verraten, ob ein bestimmter Datensatz überhaupt am Training beteiligt war.
Eine 2022 veröffentlichte Untersuchung zu Gboards Wortvorhersage zeigte konkret, dass sich aus den Updates einzelner Trainingsrunden Rückschlüsse auf private Eingaben ziehen ließen – ein Gegenbeispiel zur oft unhinterfragten Annahme, Federated Learning sei per Konstruktion privat. In der Praxis wird das Verfahren deshalb zunehmend mit Differential Privacy kombiniert, was zusätzliches, kontrolliertes Rauschen einführt und die Modellgenauigkeit messbar kostet.
Die non-IID-Verteilung der Daten bleibt zudem ein ungelöstes praktisches Problem: Modelle, die auf stark unterschiedlichen lokalen Datensätzen trainiert werden, konvergieren langsamer und liefern teils schlechtere Ergebnisse als zentral trainierte Vergleichsmodelle.
Verwandte Begriffe
- Trainingsdaten – bleiben bei diesem Verfahren dezentral, im Unterschied zur zentralen Sammlung
- DSGVO – rechtlicher Rahmen, den Federated Learning bei personenbezogenen Daten praktisch erleichtern soll
Quellenangaben
- McMahan, H. Brendan / Moore, Eider / Ramage, Daniel u. a., 2017. Communication-Efficient Learning of Deep Networks from Decentralized Data. AISTATS 2017. arXiv: 1602.05629.
- Google AI Blog, 2017. Federated Learning: Collaborative Machine Learning without Centralized Training Data.
- Zhu, Ligeng / Han, Song, 2022. Two Models Are Better Than One: Federated Learning Is Not Private for GBoard Next Word Prediction. arXiv: 2210.16947.