Algorithmic Bias

Algorithmic Bias (deutsch etwa algorithmische Verzerrung) bezeichnet die systematische Benachteiligung bestimmter Gruppen durch algorithmische Systeme. Gemeint ist kein zufälliger Fehler, sondern ein Muster, das sich über viele Entscheidungen hinweg in eine Richtung neigt.

Zusammenfassung

Der Begriff ist doppeldeutig, und die Doppeldeutigkeit ist folgenreich. In der Statistik bezeichnet bias die Abweichung eines Schätzers vom wahren Wert – ein technischer Begriff ohne Wertung. In der gesellschaftlichen Debatte bezeichnet er Voreingenommenheit.

Verzerrungen entstehen an mehreren Stellen: in den Daten, in der Wahl der Zielgröße, in der Zusammensetzung der Entwicklungsteams und in der Art, wie ein System eingesetzt wird.

Die belegten Fälle sind zahlreich und gut dokumentiert. Gesichtserkennung mit stark unterschiedlichen Fehlerraten, Bewerbungsfilter, die Frauen aussortieren, medizinische Vorhersagen, die den Bedarf schwarzer Patienten unterschätzen.

Die Gegenmittel sind bekannt und begrenzt. Verbesserte Daten, Fairness-Nebenbedingungen und Prüfverfahren mildern das Problem; auflösen können sie es nicht, weil sich die Anforderungen an Fairness gegenseitig widersprechen.

Begriffsgeschichte

Vorläufer gab es lange vor dem maschinellen Lernen. Ein Zulassungsverfahren einer Londoner Medizinschule benachteiligte in den 1980er Jahren nachweislich Frauen und Bewerber mit nichteuropäischen Namen – programmiert nach den Entscheidungen der Vorjahre.

1996 legten Batya Friedman und Helen Nissenbaum eine erste Systematik vor und unterschieden vorbestehende, technische und entstehende Verzerrungen.

Die öffentliche Debatte begann 2016 mit der Untersuchung der Rückfallprognose-Software COMPAS durch ProPublica. Sie zeigte, dass schwarze Angeklagte deutlich häufiger fälschlich als rückfallgefährdet eingestuft wurden.

2018 folgte Gender Shades: Joy Buolamwini und Timnit Gebru prüften kommerzielle Gesichtsanalyse und fanden Fehlerraten, die bei hellhäutigen Männern unter einem Prozent lagen und bei dunkelhäutigen Frauen ein Drittel überstiegen.

Seit dem Aufkommen großer Sprachmodelle hat sich die Frage verschoben: Verzerrungen zeigen sich nicht mehr nur in Klassifikationsentscheidungen, sondern in erzeugten Texten und Bildern.

Methodische Grundlagen

Verzerrte Trainingsdaten. Der bekannteste Weg: Wenn eine Gruppe unterrepräsentiert ist, lernt das Verfahren sie schlechter zu unterscheiden.

Verzerrte Zielgröße. Der unauffälligere und oft schwerwiegendere Weg. Was gemessen werden soll, ist häufig nicht messbar; ersatzweise wird etwas Verwandtes gemessen. Wer Behandlungsbedarf über Behandlungskosten schätzt, misst nicht Krankheit, sondern Zugang zu Versorgung.

Historische Fortschreibung. Ein Verfahren, das aus vergangenen Entscheidungen lernt, lernt auch deren Muster. Es sagt nicht vorher, wer geeignet ist, sondern wen man früher genommen hat.

Rückkopplung. Wird ein System eingesetzt, verändert es die Daten, aus denen die nächste Fassung lernt – bei vorausschauender Polizeiarbeit ein untersuchter Vorgang.

Merkmalsersatz. Das Weglassen sensibler Merkmale hilft wenig, weil sich Herkunft, Geschlecht oder Einkommen aus anderen Angaben rekonstruieren lassen – aus der Postleitzahl, dem Namen, dem Kaufverhalten.

Prüfung von außen. Der wirksamste Nachweis: Ein System wird mit gezielt zusammengestellten Eingaben getestet und die Fehlerrate nach Gruppen aufgeschlüsselt.

Anwendungsfelder

Gesichtserkennung. Der am besten dokumentierte Fall, mit unmittelbaren Folgen: Mehrere Anbieter setzten 2020 den Verkauf an Polizeibehörden aus.

Personalauswahl. Amazon stellte ein internes Verfahren zur Bewerbungsvorauswahl ein, nachdem sich zeigte, dass es Bewerbungen mit Hinweisen auf weibliche Bewerber herabstufte.

Kreditwesen. Ein Feld mit langer Regulierungsgeschichte, in dem Diskriminierungsverbote bereits vor der Automatisierung galten.

Medizin. Untersuchungen zu Algorithmen, die den Versorgungsbedarf über Kosten schätzen und dadurch Ungleichheit fortschreiben.

Sprachmodelle. Verzerrungen in erzeugten Texten – Berufe, Eigenschaften und Rollen, die bestimmten Gruppen zugeordnet werden – sind schwerer zu messen als Fehlerraten einer Klassifikation.

Kontroversen und Kritik

Welches Fairness-Maß? Die formalen Bestimmungen widersprechen einander nachweislich. Die Wahl zwischen ihnen ist eine Verteilungsentscheidung, keine technische – siehe FAccT.

Vergleich womit? Ein System gilt als verzerrt im Vergleich zu einem Maßstab. Menschliche Entscheidungen sind es ebenfalls, oft stärker und weniger messbar. Was daraus folgt, ist strittig.

Reparatur oder Verzicht. Aus den Critical AI Studies kommt der Einwand, die Verbesserung eines Verfahrens sei die falsche Antwort, wenn schon sein Einsatz das Problem ist. Eine Gesichtserkennung, die alle Gruppen gleich gut erkennt, ist als Überwachungsmittel wirksamer.

Zuschreibung an die Technik. Der Ausdruck legt nahe, der Algorithmus sei voreingenommen. Tatsächlich sind es Daten, Zielvorgaben und Einsatzentscheidungen – gemacht von Menschen und Organisationen.

Messbarkeit bei generativen Systemen. Für Textausgaben fehlen belastbare Maße. Die vorhandenen Prüfverfahren messen, was sich leicht messen lässt.

Warum bessere Daten nicht genügen

Die häufigste Antwort auf einen Verzerrungsbefund lautet: mehr und ausgewogenere Daten. Sie ist richtig und reicht nur für einen Teil der Fälle.

Für Fehlerraten in der Wahrnehmung trägt sie. Wenn ein System dunkle Gesichter schlechter erkennt, weil es wenige gesehen hat, hilft es, mehr zu zeigen. Das ist ein lösbares Problem, und es wurde in erheblichem Maß gelöst.

Für Vorhersagen über Menschen trägt sie nicht. Ein Verfahren, das lernt, wer eingestellt wurde, lernt die Einstellungspraxis – vollständig und fehlerfrei. Mehr Daten machen die Abbildung genauer, nicht gerechter. Die Verzerrung sitzt nicht im Datensatz, sondern in der Wirklichkeit, die er abbildet.

Damit steht am Ende jedes Verzerrungsbefunds eine Frage, die kein Verfahren beantwortet: Soll das System vorhersagen, was geschehen wird, oder was geschehen sollte? Das erste ist messbar und schreibt fort. Das zweite ist eine Setzung und verlangt jemanden, der sie verantwortet.

Die technische Debatte kann diese Frage vorbereiten. Entscheiden kann sie sie nicht, und der Versuch, sie in einer Verlustfunktion unterzubringen, verlagert sie nur an eine Stelle, an der niemand mehr hinsieht.

Verwandte Begriffe

• FAccT – Feld, das die Frage bearbeitet
• Timnit Gebru – Mitverfasserin von Gender Shades
• Algorithmic Justice League – aktivistische Fortsetzung
• Datasheets for Datasets – vorbeugendes Verfahren
• Critical AI Studies – Feld mit grundsätzlicherer Kritik
• EU AI Act – Regelwerk mit Prüfpflichten
• DAIR – Institut mit diesem Arbeitsschwerpunkt

Quellenangaben

1. Angwin, Julia / Larson, Jeff / Mattu, Surya / Kirchner, Lauren, 2016. Machine Bias. ProPublica, 23. Mai 2016.
2. Buolamwini, Joy / Gebru, Timnit, 2018. Gender Shades: Intersectional Accuracy Disparities in Commercial Gender Classification. In: Proceedings of the 1st Conference on Fairness, Accountability and Transparency (FAT* 2018), S. 77–91.
3. Friedman, Batya / Nissenbaum, Helen (1996): Bias in Computer Systems. In: ACM Transactions on Information Systems 14 (3), S. 330–347. DOI: 10.1145/230538.230561.
4. Obermeyer, Ziad / Powers, Brian / Vogeli, Christine / Mullainathan, Sendhil (2019): Dissecting Racial Bias in an Algorithm Used to Manage the Health of Populations. In: Science 366 (6464), S. 447–453. DOI: 10.1126/science.aax2342.

← Zurück zur Lexikon-Übersicht

Zuletzt bearbeitet: 10. August 2026

Zusammengestellt, formuliert, lektoriert und korrigiert mit KI-Unterstützung. Kuratiert von Nils Brauer. Alle Angaben ohne Gewähr.