Ein System zur Erkennung von Emotionen ist nach Artikel 3 Nummer 39 der KI-Verordnung ein KI-System, das dazu dient, Emotionen oder Absichten natürlicher Personen auf der Grundlage ihrer biometrischen Daten zu erkennen oder abzuleiten.
Die Verordnung ist bei diesem Begriff ungewöhnlich offen: In der Begründung zum Verbot räumt der Gesetzgeber selbst ein, dass die wissenschaftliche Grundlage solcher Systeme umstritten ist.
Zusammenfassung
Erwägungsgrund 18 der KI-VO präzisiert, welche Emotionen und Absichten gemeint sind – etwa Glück, Traurigkeit, Ärger, Überraschung, Ekel, Scham oder Zufriedenheit. Ausdrücklich nicht erfasst sind körperliche Zustände wie Schmerz oder Müdigkeit (etwa Ermüdungserkennung bei Fahrer:innen zur Unfallvermeidung) sowie die bloße Erkennung leicht sichtbarer Ausdrücke wie Stirnrunzeln oder Lächeln, solange daraus keine Emotion abgeleitet wird.
Verbot am Arbeitsplatz und in der Bildung
Artikel 5 Absatz 1 Buchstabe g verbietet das Inverkehrbringen, die Inbetriebnahme und die Verwendung von KI-Systemen zur Emotionsableitung an Arbeitsplätzen und in Bildungseinrichtungen – mit einer engen Ausnahme für medizinische oder sicherheitstechnische Zwecke, etwa therapeutische Anwendungen.
Erwägungsgrund 44 begründet das Verbot ungewöhnlich offen mit wissenschaftlicher Kritik an der Methode selbst: “ernsthafte Bedenken hinsichtlich der wissenschaftlichen Grundlage von KI-Systemen, die darauf abzielen, Emotionen zu erkennen oder abzuleiten, zumal der Ausdruck von Emotionen in verschiedenen Kulturen und Situationen und sogar innerhalb einer einzelnen Person sehr unterschiedlich ist.” Genannt werden als Hauptmängel begrenzte Zuverlässigkeit, mangelnde Spezifität und begrenzte Verallgemeinerbarkeit. Hinzu kommt das strukturelle Machtungleichgewicht zwischen Arbeitgeber:in und Beschäftigten beziehungsweise zwischen Bildungseinrichtung und Lernenden, das die Verordnung als zusätzlichen Verbotsgrund nennt.
Außerhalb dieser beiden Bereiche – etwa in Marktforschung oder Grenzkontrolle – gelten Emotionserkennungssysteme nach Anhang III Nummer 1 Buchstabe c grundsätzlich als Hochrisiko-KI, mit entsprechenden Pflichten zu Risikomanagement und menschlicher Aufsicht. Artikel 50 Absatz 3 verlangt zusätzlich, dass Betreiber betroffene Personen über den Betrieb des Systems informieren.
Die wissenschaftliche Kontroverse hinter dem Verbot
Die Technik stützt sich meist auf die Basisemotionen-Theorie des Psychologen Paul Ekman aus den 1970er-Jahren, die von universellen, kulturübergreifend gleich kodierten Gesichtsausdrücken für eine begrenzte Zahl von Grundemotionen ausgeht. Diese Annahme gilt in der Emotionsforschung heute als stark umstritten. Barrett u. a. 2019 werteten in einer zweijährigen Meta-Analyse über 1.000 Studien aus und kamen zu dem Schluss, dass Gesichtsbewegungen keine zuverlässigen, spezifischen Signale für bestimmte Emotionskategorien sind. Barrett vertritt daneben eine eigene Gegentheorie, wonach Emotionen nicht biologisch fest verdrahtet, sondern kontext- und kulturabhängig vom Gehirn konstruiert werden. Die Argumentation in Erwägungsgrund 44 deckt sich inhaltlich fast wörtlich mit dieser wissenschaftlichen Kritik, ohne einzelne Forscher:innen zu nennen.
Kontroversen und Kritik
Das bekannteste europäische Beispiel ist iBorderCtrl, ein von 2016 bis 2019 mit rund 4,5 Millionen Euro aus dem EU-Programm Horizon 2020 finanziertes Pilotprojekt: ein “virtueller KI-Grenzbeamter”, der über die Mimikanalyse eines automatisierten Interviews Täuschungsversuche bei Reisenden an Grenzübergängen in Ungarn, Griechenland und Lettland erkennen sollte. Sánchez-Monedero und Dencik 2020 kritisierten das Projekt scharf wegen fehlender empirischer Validierung der zugrunde liegenden Deception-Detection-Methodik.
In den USA geriet die HR-Software des Anbieters HireVue in die Kritik, weil sie Videobewerbungen per KI-gestützter Mimikanalyse automatisiert bewertete – ohne belastbaren wissenschaftlichen Nachweis der Validität und mit Diskriminierungspotenzial. Eine solche Praxis fällt in der EU seit der KI-Verordnung direkt unter das Verbot des Artikels 5 Absatz 1 Buchstabe f, sobald sie im Bewerbungs- oder Arbeitsverhältnis eingesetzt wird.
Verwandte Begriffe
- Biometrische Daten – die Datengrundlage, aus der Emotionen abgeleitet werden
- Biometrisches Kategorisierungssystem – verwandtes, ebenfalls in Artikel 5 verbotenes Konzept
- Halluzination – ein anderes Beispiel für KI-Systeme, die überzeugend wirken, ohne verlässlich zu sein
- EU AI Act – die Verordnung, deren Artikel 3, 5 und 50 diesen Begriff regeln
- Begriffsbestimmungen der KI-Verordnung – alle 68 Legaldefinitionen im Überblick
Quellenangaben
- Europäisches Parlament und Rat, 2024. Verordnung (EU) 2024/1689 zur Festlegung harmonisierter Vorschriften für künstliche Intelligenz, Artikel 3 Nummer 52, Artikel 5 Absatz 1 Buchstabe d, Artikel 6 Absatz 3, Artikel 26 Absatz 11, Anhang III, Erwägungsgrund 26. Amtsblatt der Europäischen Union, 12. Juli 2024.
- Barrett/Adolphs/Marsella/Martinez/Pollak 2019. Emotional Expressions Reconsidered: Challenges to Inferring Emotion From Human Facial Movements. Psychological Science in the Public Interest, Band 20, Nr. 1, S. 1–68.
- Sánchez-Monedero/Dencik 2020. The politics of deceptive borders: ‘biomarkers of deceit’ and the case of iBorderCtrl. Information, Communication & Society, Band 25, Nr. 3, S. 413–430.