Gender Shades ist eine 2018 veröffentlichte Untersuchung von Joy Buolamwini und Timnit Gebru, die drei kommerzielle Dienste zur Geschlechtsbestimmung aus Gesichtsbildern prüfte und ihre Fehlerraten nach Hautton und Geschlecht getrennt auswies.
Der Befund: Was als Gesamtgenauigkeit von 88 bis 94 Prozent ausgewiesen war, zerfiel bei getrennter Auswertung in nahezu fehlerfreie und stark fehlerhafte Anwendungsfälle.
Zusammenfassung
Die Arbeit ist weniger wegen ihres Gegenstands einflussreich geworden als wegen ihrer Methode. Geprüft wurde eine vergleichsweise einfache Aufgabe – aus einem Porträtfoto auf das Geschlecht zu schließen –, und zwar an Systemen, die als ausgereift galten.
Der Kern besteht darin, die Fehler nicht zu mitteln, sondern nach zwei Merkmalen zugleich aufzuschlüsseln. Erst diese Kreuzung macht sichtbar, was jede der beiden Auswertungen für sich verdeckt: Die Systeme irrten bei hellhäutigen Männern praktisch nie und bei dunkelhäutigen Frauen in bis zu einem Drittel der Fälle.
Die Autorinnen legten dafür einen eigenen Prüfbestand an, weil die gebräuchlichen Datensätze selbst zu einseitig zusammengesetzt waren, um die Frage zu beantworten.
Die drei geprüften Unternehmen besserten binnen sieben Monaten nach. Eine Folgeuntersuchung wies 2019 nach, dass dabei nicht der allgemeine technische Fortschritt wirkte, sondern die namentliche Nennung.
Begriffsgeschichte
Der Aufsatz Gender Shades: Intersectional Accuracy Disparities in Commercial Gender Classification wurde im Februar 2018 auf der ersten eigenständigen FAccT-Konferenz in New York vorgestellt. Buolamwini forschte am MIT Media Lab, Gebru zu dieser Zeit bei Microsoft Research.
Die Untersuchung ging aus einer Erfahrung hervor, die Buolamwini später mehrfach beschrieben hat: Ein Gesichtserkennungssystem, an dem sie arbeitete, erkannte ihr Gesicht erst, als sie eine weiße Maske aufsetzte.
Die Prüfläufe fanden im April und Mai 2017 statt. Google blieb außen vor, weil das Unternehmen zu diesem Zeitpunkt keinen öffentlich zugänglichen Dienst dieser Art anbot.
Methodische Grundlagen
Ein eigener Prüfbestand. Die verfügbaren Datensätze bestanden überwiegend aus hellhäutigen Gesichtern. Die Autorinnen legten deshalb den Pilot Parliaments Benchmark an: 1.270 offizielle Porträts von Abgeordneten aus sechs Ländern.
Die Auswahl der Länder. Sie folgte der Rangliste der Interparlamentarischen Union zum Frauenanteil in Parlamenten – Ruanda steht dort weltweit an erster Stelle, mehrere nordische Länder in der Spitzengruppe. Senegal und Südafrika kamen hinzu, um dunklere Hauttöne abzudecken. Parlamentsfotos wurden gewählt, weil sie öffentlich zugänglich, einheitlich aufgenommen und den abgebildeten Personen eindeutig zuzuordnen sind.
Hautton statt Ethnie. Klassifiziert wurde nach der sechsstufigen Fitzpatrick-Skala, zusammengefasst zu zwei Gruppen. Die Begründung steht im Aufsatz: Ethnische Kategorien seien instabil, änderten sich zwischen Ländern und über die Zeit; ein Hautton lasse sich am Bild genauer bestimmen. Die endgültige Einstufung nahm eine Fachärztin für Dermatologie vor.
Die Kreuzung zweier Merkmale. Ausgewertet wurde nach vier Gruppen: dunkelhäutige Frauen, dunkelhäutige Männer, hellhäutige Frauen, hellhäutige Männer. Das ist der Punkt, an dem die Untersuchung sich von üblichen Prüfberichten unterscheidet.
Ergebnisse
Fehlerraten in Prozent, geprüft im Frühjahr 2017:
| Anbieter | gesamt | dunkel/weiblich | dunkel/männlich | hell/weiblich | hell/männlich |
|---|---|---|---|---|---|
| Microsoft | 6,3 | 20,8 | 6,0 | 1,7 | 0,0 |
| Face++ | 10,0 | 34,5 | 0,7 | 9,8 | 0,8 |
| IBM | 12,1 | 34,7 | 12,0 | 7,1 | 0,3 |
Die Spanne zwischen der besten und der schlechtesten Gruppe beträgt 34,4 Prozentpunkte. Dunkelhäutige Frauen stellen 21,3 Prozent des Prüfbestands, verursachen aber zwischen 61 und 72 Prozent aller Fehlklassifikationen; hellhäutige Männer stellen 30,3 Prozent und verursachen bis zu 2,4 Prozent.
Der Aufsatz spricht in diesem Zusammenhang von der verschleiernden Wirkung einzelner Kennzahlen. Alle drei Dienste hätten mit ihrer Gesamtgenauigkeit als zuverlässig gelten können.
Eine Kontrollauswertung nur auf den südafrikanischen Bildern ergab vergleichbare Werte. Damit war die naheliegende Erklärung entkräftet, es handle sich um einen Unterschied der Bildqualität zwischen den Herkunftsländern.
Wirkung
Die Nachbesserung. Alle drei Unternehmen legten binnen sieben Monaten neue Fassungen vor. IBM antwortete bereits im Januar 2018 mit einer eigenen Nachmessung, Microsoft berichtete im Juni 2018 von einer bis zu zwanzigfachen Verringerung der Fehlerrate bei dunkelhäutigen Männern und Frauen und einer neunfachen bei Frauen insgesamt.
Der Nachweis, dass die Nennung wirkte. In Actionable Auditing prüften Inioluwa Deborah Raji und Buolamwini 2019 die überarbeiteten Dienste erneut. Die Fehlerrate bei dunkelhäutigen Frauen war um 17,7 bis 30,4 Prozentpunkte gefallen.
Zugleich prüften sie zwei Anbieter, die in der ursprünglichen Arbeit nicht genannt worden waren: Deren Werte für dieselbe Gruppe lagen weiterhin bei 31,4 und 22,5 Prozent. Der Schluss lautet, dass nicht der Fortschritt des Feldes die Korrektur bewirkte, sondern die öffentliche Nennung.
Die Auseinandersetzung mit Amazon. Eines der nachträglich geprüften Unternehmen widersprach. Der zuständige Manager hielt der Untersuchung entgegen, Geschlechtsbestimmung und Gesichtswiedererkennung seien technisch verschiedene Aufgaben, und die eine tauge nicht zur Beurteilung der anderen. Der Einwand ist in der Sache nicht unberechtigt und wurde später auch empirisch geprüft.
Eine Gruppe von Forschenden, darunter Yoshua Bengio, veröffentlichte im Frühjahr 2019 einen offenen Brief mit der Forderung, den Dienst nicht länger an Strafverfolgungsbehörden zu verkaufen.
Die Moratorien von 2020. Im Juni 2020 erklärte IBM, keine Allzweck-Gesichtserkennung mehr anzubieten; Amazon setzte die polizeiliche Nutzung seines Dienstes für zunächst ein Jahr aus und verlängerte das 2021 auf unbestimmte Zeit; Microsoft erklärte, nicht an US-Polizeibehörden zu verkaufen, solange kein Bundesgesetz vorliege. Ein solches Gesetz gibt es bis heute nicht.
Kontroversen und Kritik
Zwei Geschlechter. Der am häufigsten vorgetragene Einwand betrifft die binäre Einteilung. Systeme, die zwischen genau zwei Ausgaben wählen, klassifizieren nichtbinäre Personen zwangsläufig falsch – eine Untersuchung von 2019 wies dafür eine Fehlerrate von hundert Prozent nach. Die Autorinnen benennen diese Verkürzung im Aufsatz selbst; der Vorwurf lautet, dass die Prüfung den Schaden fortschreibt, den sie misst.
Die Fitzpatrick-Skala. Sie wurde entwickelt, um die Reaktion heller Haut auf UV-Strahlung einzuschätzen, nicht um Menschen zu klassifizieren. Für dunkle Hauttöne ist sie grob, was die Autorinnen ausdrücklich einräumen. Als Antwort darauf entstand später eine zehnstufige Alternative, die Google 2022 offenlegte.
Der verbreitete Vorwurf trifft nicht. Gender Shades habe Hautton mit Ethnie verwechselt, heißt es häufig. Das Gegenteil ist der Fall: Der Aufsatz vermeidet ethnische Kategorien ausdrücklich und begründet das. Die Gleichsetzung stammt aus der Rezeption, nicht aus der Arbeit.
Ein leichter Prüfbestand. Offizielle Porträts sind gleichmäßig ausgeleuchtet und frontal aufgenommen. Die Autorinnen bezeichnen ihre Auswahl selbst als bewusst günstig und erwarten unter realen Bedingungen höhere Fehlerraten.
Störgrößen. Eine Arbeit von 2020 wandte ein, dass beobachtende Prüfbestände das untersuchte Merkmal nicht von mitlaufenden Größen trennen können – Frisur, Kosmetik, Beleuchtung. Ob der Hautton selbst die Ursache ist, lässt sich so nicht entscheiden.
Und die Ursache ist offenbar eine andere. Eine Untersuchung von 2020 fand keinen belastbaren Beleg dafür, dass dunklere Haut als solche höhere Fehlerraten verursacht.
Was die Nachfolgeuntersuchungen verschoben haben
Die umfangreichste Nachprüfung stammt nicht aus der Forschung, sondern von der US-Normungsbehörde: 189 Verfahren, 18,3 Millionen Bilder, veröffentlicht im Dezember 2019. Sie bestätigt die Grundaussage und verschiebt zugleich zwei ihrer Annahmen.
Die erste Verschiebung betrifft die Fehlerart. Gender Shades misst, wie oft ein System jemanden nicht richtig einordnet. Die Normungsbehörde fand, dass die weitaus größeren Unterschiede bei der umgekehrten Fehlerart liegen – wenn ein System zwei verschiedene Personen für dieselbe hält.
Diese Werte schwanken zwischen Bevölkerungsgruppen um das Zehn- bis über Hundertfache. Und es ist genau diese Fehlerart, die zu Festnahmen führt: Bis April 2026 sind vierzehn Fälle dokumentiert, in denen Menschen aufgrund eines solchen Treffers zu Unrecht verhaftet wurden.
Die zweite Verschiebung betrifft die Ursache. Bei einer Reihe in China entwickelter Verfahren kehrt sich das Muster um – dort werden ostasiatische Gesichter am zuverlässigsten unterschieden. Ein Effekt, der sich mit der Herkunft des Trainingsmaterials umdreht, hat seine Ursache nicht in der Physik der Hautreflexion.
Beides schwächt die Arbeit nicht, sondern verschiebt ihren Status. Als Messung eines bestimmten Fehlers in bestimmten Diensten im Frühjahr 2017 ist sie überholt; die Dienste sind nachgebessert, die Fehlerart ist nicht die folgenreichste, und der Hautton ist nicht die Ursache. Als Nachweis dafür, dass eine gemittelte Genauigkeitsangabe über die Brauchbarkeit eines Systems nichts aussagt, ist sie es nicht.
Verwandte Begriffe
- Timnit Gebru – Mitverfasserin
- Algorithmic Justice League – von Buolamwini gegründete Organisation
- FAccT – Konferenz, auf der die Arbeit vorgestellt wurde
- Algorithmic Bias – das Feld, dessen Standardbeleg sie wurde
- Datasheets for Datasets – aus derselben Erfahrung entstandener Vorschlag
- Computer Vision – das technische Teilgebiet
- Critical AI Studies – die Forschungstradition
- EU AI Act – Regelwerk mit Verboten für biometrische Verfahren
- Joy Buolamwini – Erstverfasserin
Quellenangaben
- Balakrishnan, Guha / Xiong, Yuanjun / Xia, Wei / Perona, Pietro, 2020. Towards Causal Benchmarking of Bias in Face Analysis Algorithms. In: Proceedings of the European Conference on Computer Vision (ECCV 2020). arXiv: 2007.06570.
- Buolamwini, Joy, 2023. Unmasking AI: My Mission to Protect What Is Human in a World of Machines.
- Buolamwini, Joy / Gebru, Timnit, 2018. Gender Shades: Intersectional Accuracy Disparities in Commercial Gender Classification. In: Proceedings of the 1st Conference on Fairness, Accountability and Transparency (FAT* 2018), Proceedings of Machine Learning Research 81, S. 77–91.
- Grother, Patrick / Ngan, Mei / Hanaoka, Kayee, 2019. Face Recognition Vendor Test Part 3: Demographic Effects. NISTIR 8280. DOI: 10.6028/NIST.IR.8280.
- Krishnapriya, K. S. / Albiero, Vítor / Vangara, Kushal / King, Michael C. / Bowyer, Kevin W., 2020. Issues Related to Face Recognition Accuracy Varying Based on Race and Skin Tone. In: IEEE Transactions on Technology and Society 1 (1), S. 8–20. DOI: 10.1109/TTS.2020.2974996.
- Keyes, Os, 2018. The Misgendering Machines: Trans/HCI Implications of Automatic Gender Recognition. In: Proceedings of the ACM on Human-Computer Interaction 2 (CSCW), Artikel 88.
- Raji, Inioluwa Deborah / Buolamwini, Joy, 2019. Actionable Auditing: Investigating the Impact of Publicly Naming Biased Performance Results of Commercial AI Products. In: Proceedings of the 2019 AAAI/ACM Conference on AI, Ethics, and Society (AIES 2019), S. 429–435. DOI: 10.1145/3306618.3314244.
- Scheuerman, Morgan Klaus / Paul, Jacob M. / Brubaker, Jed R., 2019. How Computers See Gender: An Evaluation of Gender Classification in Commercial Facial Analysis Services. In: Proceedings of the ACM on Human-Computer Interaction 3 (CSCW). DOI: 10.1145/3359246.