Die Algorithmic Justice League (AJL) ist eine 2016 von Joy Buolamwini gegründete Organisation, die Forschung, Kunst und Kampagnenarbeit verbindet, um auf Diskriminierung durch algorithmische Systeme aufmerksam zu machen und ihre Regulierung zu erwirken.
Zusammenfassung
Der Ausgangspunkt war eine Erfahrung im Labor: Eine Gesichtserkennungssoftware erkannte Buolamwinis Gesicht nicht – bis sie eine weiße Maske aufsetzte.
Aus dieser Beobachtung wurde eine Untersuchung. Gemeinsam mit Timnit Gebru prüfte Buolamwini 2018 kommerzielle Gesichtsanalyse-Dienste und wies Fehlerraten nach, die zwischen den Gruppen um mehr als das Dreißigfache auseinanderlagen.
Die Organisation verbindet diese Forschung mit Mitteln, die in der Wissenschaft unüblich sind: Gedichte, Videos, Auftritte vor Ausschüssen, ein Dokumentarfilm.
Ihre Wirkung ist ungewöhnlich gut belegbar. Mehrere große Anbieter setzten 2020 den Verkauf von Gesichtserkennung an Polizeibehörden aus; mehrere US-Städte erließen Verbote.
Geschichte
Buolamwini gründete die AJL 2016 während ihrer Zeit am MIT Media Lab. Der Name spielt auf Superheldenteams an – eine bewusste Entscheidung für Zugänglichkeit statt Fachsprache.
2018 erschien Gender Shades auf der ersten eigenständigen FAccT-Konferenz. Die Untersuchung prüfte Dienste dreier großer Anbieter und schlüsselte die Fehler nach Hautton und Geschlecht auf.
Eine Nachuntersuchung ein Jahr später zeigte, dass die geprüften Anbieter deutlich nachgebessert hatten – ein seltener Beleg dafür, dass externe Prüfung wirkt.
2020 erschien der Dokumentarfilm Coded Bias, der die Arbeit einem großen Publikum bekannt machte. Im selben Jahr kündigten IBM, Microsoft und Amazon Einschränkungen ihres Gesichtserkennungsgeschäfts an.
2023 veröffentlichte Buolamwini Unmasking AI, eine Verbindung von Bericht und Argumentation.
Arbeitsweise
Prüfung von außen. Kommerzielle Systeme werden mit selbst zusammengestellten Prüfdatensätzen getestet, ohne Mitwirkung der Anbieter.
Aufschlüsselung nach Gruppen. Der Kern von Gender Shades: Eine gemittelte Fehlerrate verdeckt, was sich erst zeigt, wenn nach Hautton und Geschlecht getrennt ausgewertet wird.
Betroffenenberichte. Die Organisation sammelt Schilderungen von Menschen, denen durch algorithmische Entscheidungen Nachteile entstanden sind.
Künstlerische Mittel. Buolamwinis Gedicht AI, Ain’t I a Woman? verbindet die Befunde mit einer Bezugnahme auf Sojourner Truth.
Politische Arbeit. Anhörungen im US-Kongress, Stellungnahmen in Gesetzgebungsverfahren, Zusammenarbeit mit Bürgerrechtsorganisationen.
Anwendungsfelder
Gesichtserkennung. Der Schwerpunkt und der Bereich mit der belegbarsten Wirkung.
Beschaffungspolitik. Die Befunde haben Verwaltungen Argumente geliefert, auf bestimmte Systeme zu verzichten.
Gesetzgebung. Kommunale Verbote in mehreren US-Städten gehen unmittelbar auf diese Arbeit zurück.
Wissenschaftskommunikation. Der Film und das Buch haben ein Fachthema in die allgemeine Öffentlichkeit getragen.
Vorbildwirkung. Das Prüfverfahren wird inzwischen von anderen Gruppen auf andere Systemarten übertragen.
Kontroversen und Kritik
Methodenstreit. Amazon widersprach den Befunden zu seinem Dienst öffentlich und führte abweichende Messbedingungen an. Eine Gruppe von Fachleuten stellte sich daraufhin in einem offenen Schreiben hinter die Untersuchung.
Bessere Erkennung als Ziel? Der gewichtigste Einwand kommt von Verbündeten. Wenn ein Prüfbericht zu genauerer Gesichtserkennung führt, ist ein Überwachungsmittel wirksamer geworden. Die AJL vertritt inzwischen ausdrücklich Verbote statt Verbesserung – die Kritik hat die Position verschoben.
Verkürzung auf ein Merkmal. Die Konzentration auf Hautton und Geschlecht lässt andere Formen der Benachteiligung außer Betracht.
Personenbezogenheit. Die Organisation ist stark mit einer Person verbunden, was ihre Sichtbarkeit erhöht und ihre Fortdauer an eine Biografie bindet.
Wirkungsdauer. Ob die Ankündigungen von 2020 dauerhaft sind, ist offen; mehrere betrafen Übergangsfristen, die inzwischen abgelaufen sind.
Warum die Maske das Argument trug
Am Anfang dieser Arbeit steht ein Bild, das mehr geleistet hat als die Zahlen, die ihm folgten: eine schwarze Wissenschaftlerin, die eine weiße Maske aufsetzt, damit eine Kamera sie sieht.
Der Vorgang selbst ist technisch unspektakulär und leicht erklärbar – Trainingsdaten, Kontrastverhältnisse, Schwellenwerte. Jede dieser Erklärungen ist zutreffend und keine hätte je die Runde gemacht.
Was das Bild leistet, ist eine Übersetzung. Es macht aus einer Fehlerrate eine Erfahrung und aus einer Erfahrung eine Frage: Wer war gemeint, als dieses System gebaut wurde?
Diese Übersetzung ist der eigentliche Beitrag der Organisation, und sie erklärt ihre ungewöhnliche Wirkung. Die Befunde von Gender Shades wären als Konferenzbeitrag korrekt und folgenlos geblieben. Erst die Verbindung von belastbarer Messung und einem Bild, das jeder versteht, brachte Unternehmen dazu, ihr Geschäft einzuschränken.
Der Preis dieser Wirkungsweise zeigt sich im schärfsten Einwand gegen die Arbeit: Ein Bild, das zeigt, wer nicht erkannt wird, legt nahe, dass Erkanntwerden das Ziel ist. Dass die Organisation heute Verbote fordert statt Nachbesserung, ist die Korrektur dieses Missverständnisses – und ein Beleg dafür, wie schwer eine gelungene Übersetzung wieder einzufangen ist.
Verwandte Begriffe
- Timnit Gebru – Mitverfasserin von Gender Shades
- Algorithmic Bias – untersuchter Gegenstand
- FAccT – Konferenz der Erstveröffentlichung
- DAIR – verwandtes Institut aus demselben Umfeld
- Critical AI Studies – theoretischer Zusammenhang
- Datasheets for Datasets – vorbeugendes Verfahren
Quellenangaben
- Buolamwini, Joy (2023): Unmasking AI: My Mission to Protect What Is Human in a World of Machines.
- Buolamwini, Joy / Gebru, Timnit, 2018. Gender Shades: Intersectional Accuracy Disparities in Commercial Gender Classification. In: Proceedings of the 1st Conference on Fairness, Accountability and Transparency (FAT* 2018), S. 77–91.
- Kantayya, Shalini (Regie) (2020): Coded Bias. Dokumentarfilm, 7th Empire Media.
- Raji, Inioluwa Deborah / Buolamwini, Joy (2019): Actionable Auditing: Investigating the Impact of Publicly Naming Biased Performance Results of Commercial AI Products. In: Proceedings of AIES 2019, S. 429–435. DOI: 10.1145/3306618.3314244.
← Zurück zur Lexikon-Übersicht
Zuletzt bearbeitet: 10. August 2026
Zusammengestellt, formuliert, lektoriert und korrigiert mit KI-Unterstützung. Kuratiert von Nils Brauer. Alle Angaben ohne Gewähr.