Fairness bezeichnet im Zusammenhang mit KI-Systemen die Frage, nach welchem Maßstab sich beurteilen lässt, ob ein Verfahren Gruppen von Menschen gerecht behandelt. Der Begriff ist kein einheitliches Kriterium, sondern eine Familie einander widersprechender Bestimmungen.
Zusammenfassung
Der Begriff trägt zwei Bedeutungen, die selten auseinandergehalten werden. Juristisch meint Fairness die Einhaltung von Diskriminierungsverboten, also einen Rechtsmaßstab. Statistisch meint er eine messbare Eigenschaft einer Fehlerverteilung.
Die statistische Lesart zerfällt weiter: Es gibt nicht ein Fairness-Maß, sondern mehrere, die sich beweisbar nicht gleichzeitig erfüllen lassen, sobald sich zwei Gruppen in der Häufigkeit des vorhergesagten Merkmals unterscheiden.
Fairness ist damit kein Zustand, den ein System erreicht, sondern eine Auswahl, die jemand trifft. Was aus dieser Unvereinbarkeit folgt, ist in FAccT ausgeführt; hier stehen die Kriterien selbst.
Abgrenzung
Algorithmic Bias – benennt den Befund, dass ein System bestimmte Gruppen schlechter behandelt. Fairness benennt den Maßstab, an dem sich dieser Befund überhaupt erst als Befund erweist.
Gleichbehandlung im Rechtssinn – verlangt, dass ein geschütztes Merkmal keine Rolle spielen darf. Mehrere statistische Fairness-Maße verlangen das Gegenteil: Sie lassen sich nur prüfen und oft nur herstellen, wenn das Merkmal bekannt ist.
Begriffsgeschichte
Der Anspruch ist älter als die KI-Debatte. Diskriminierungsverbote im Kredit- und Arbeitsrecht regelten lange vor der Automatisierung, welche Merkmale eine Entscheidung nicht tragen dürfen.
Die formale Wende kam 2016. Im Streit um die Rückfallprognose-Software COMPAS warfen die einen ihr vor, schwarze Angeklagte häufiger fälschlich als gefährlich einzustufen; die anderen hielten dagegen, die Risikowerte seien für beide Gruppen gleich zuverlässig.
Der Streit ließ sich nicht durch bessere Daten schlichten, weil beide Seiten recht hatten.
Jon Kleinberg, Sendhil Mullainathan und Manish Raghavan zeigten im selben Jahr, warum: Kalibrierung innerhalb der Gruppen und ausgeglichene Fehlerraten schließen einander aus, außer in Sonderfällen. Alexandra Chouldechova wies 2017 unabhängig davon dasselbe für die Praxis der Rückfallprognose nach.
Seither ist Fairness weniger ein Ziel als ein Entscheidungsproblem.
Die konkurrierenden Maße
Fairness durch Nichtwissen. Das geschützte Merkmal wird weggelassen. Der einfachste Ansatz und der schwächste: Herkunft, Geschlecht oder Einkommen lassen sich aus Postleitzahl, Namen oder Kaufverhalten rekonstruieren.
Demografische Parität. Beide Gruppen erhalten das positive Ergebnis gleich häufig. Einfach zu prüfen, aber blind dafür, ob die Grundraten sich tatsächlich unterscheiden.
Ausgeglichene Fehlerraten. Die Rate falscher Positive und falscher Negative ist in beiden Gruppen gleich. Das Maß, auf das sich die COMPAS-Kritik stützte.
Kalibrierung. Ein ausgegebener Risikowert bedeutet in beiden Gruppen dasselbe. Das Maß, auf das sich die Verteidigung stützte.
Chancengleichheit. Eine abgeschwächte Fassung, die nur für die tatsächlich positiven Fälle gleiche Trefferquoten verlangt.
Individuelle Fairness. Ähnliche Personen sollen ähnlich behandelt werden. Verschiebt das Problem auf die Frage, was Ähnlichkeit heißt – und beantwortet sie nicht.
Anwendungsfelder
Kreditvergabe und Versicherung. Felder mit langer Regulierungsgeschichte, in denen sich formale Maße unmittelbar an bestehende Diskriminierungsverbote anschließen lassen.
Personalauswahl. Der Fall, in dem historische Fortschreibung und Fairness-Anspruch am deutlichsten kollidieren.
Justiz und Strafverfolgung. Der Ursprungsfall der formalen Debatte und weiterhin ihr am besten dokumentierter.
Generative Systeme. Für Textausgaben und erzeugte Bilder fehlen belastbare Maße; die vorhandenen Verfahren prüfen, was sich leicht zählen lässt.
Kontroversen und Kritik
Gruppen oder Einzelne. Die verbreiteten Maße vergleichen Gruppen. Wer für eine einzelne Person wissen will, ob sie fair behandelt wurde, erhält aus ihnen keine Antwort.
Welche Gruppen überhaupt. Die Maße setzen voraus, dass die relevanten Gruppen feststehen. Tatsächlich ist deren Bestimmung selbst umstritten, und Benachteiligung tritt oft erst an der Kreuzung mehrerer Merkmale hervor – der methodische Kern von Gender Shades.
Messbarkeit erzeugt Gegenstand. Ein Maß, das sich gut rechnen lässt, wird zum Ziel, an dem optimiert wird. Ob es das war, worauf es ankam, prüft danach niemand mehr.
Fairness ohne Machtfrage. Aus der Strukturkritik kommt der Einwand, die Debatte nehme den Einsatz eines Systems als gegeben hin und streite nur noch über die Verteilung seiner Fehler.
Verwandte Begriffe
- Algorithmic Bias – der Befund, für den Fairness den Maßstab liefert
- KI-Ethik – übergeordnetes Feld, in dem Fairness als Prinzip auftaucht
- EU AI Act – Rechtsrahmen mit Diskriminierungsanforderungen an Hochrisikosysteme
- Datasheets for Datasets – Dokumentationsverfahren, das Fairness-Prüfungen erst ermöglicht
Quellenangaben
- Kleinberg, Jon / Mullainathan, Sendhil / Raghavan, Manish, 2017. Inherent Trade-Offs in the Fair Determination of Risk Scores. In: 8th Innovations in Theoretical Computer Science Conference (ITCS 2017), LIPIcs 67, Artikel 43.
- Chouldechova, Alexandra, 2017. Fair Prediction with Disparate Impact: A Study of Bias in Recidivism Prediction Instruments. In: Big Data 5 (2), S. 153–163. DOI: 10.1089/big.2016.0047.
- Angwin, Julia / Larson, Jeff / Mattu, Surya / Kirchner, Lauren, 2016. Machine Bias. ProPublica, 23. Mai 2016.
- Hardt, Moritz / Price, Eric / Srebro, Nathan, 2016. Equality of Opportunity in Supervised Learning. In: Advances in Neural Information Processing Systems 29 (NIPS 2016).