Automation Bias (deutsch auch Automatisierungsbias) bezeichnet die Neigung, sich auf die Ausgaben eines automatisierten Systems oder einer maschinellen Entscheidungshilfe zu verlassen, statt die eigene Urteilskraft einzusetzen. Die Folge sind Fehler, die ohne das System nicht entstanden wären.
In einfachen Worten
Menschen vertrauen den Ergebnissen einer Maschine oft mehr, als gut für sie ist. Dieses zu große Vertrauen heißt in der Forschung Automation Bias. Sie prüfen dann weniger selbst nach, weil die Maschine sicher wirkt. So werden auch falsche Vorschläge übernommen und Hinweise übersehen. Das gilt für Laien ebenso wie für erfahrene Fachleute. Eine kurze Mahnung zur Vorsicht reicht dagegen oft nicht aus.
Zusammenfassung
Der Begriff gehört zur Forschung über die Mensch-Maschine-Interaktion. Parasuraman und Manzey werteten 2010 die empirischen Studien zu Automation Bias und Complacency aus. Danach führt Automation Bias zu Unterlassungs- und Begehungsfehlern, wenn Entscheidungshilfen unvollkommen sind, trifft Laien wie Fachleute und lässt sich durch Training oder Anweisungen allein nicht verhindern (Parasuraman/Manzey 2010).
Rechtlich ist der Begriff seit 2024 verankert: Die KI-Verordnung verlangt, dass Aufsichtspersonen sich der Neigung bewusst bleiben können (Europäische Union 2024, Artikel 14 Absatz 4 Buchstabe b).
Abgrenzung
Automation Complacency. Gemeint ist die unzureichende Überwachung automatisierter Abläufe. Sie tritt auf, wenn neben der Automatisierung manuelle Aufgaben um die Aufmerksamkeit konkurrieren. Parasuraman und Manzey behandeln beide Phänomene als verschiedene Erscheinungsformen eines überlappenden, von der Aufmerksamkeit bestimmten Vorgangs (Parasuraman/Manzey 2010).
Unterlassungs- und Begehungsfehler. Bei einem Unterlassungsfehler übersieht jemand ein Problem, weil das System es nicht meldet. Bei einem Begehungsfehler befolgt jemand einen falschen Hinweis des Systems.
Befunde
Wer betroffen ist. Laut dem Überblick von 2010 tritt Automation Bias bei Laien und Fachleuten auf, kann Einzelpersonen wie Teams treffen und ließ sich durch Training oder Anweisungen nicht verhindern (Parasuraman/Manzey 2010).
Systematische Übersicht. Goddard, Roudsari und Wyatt werteten 2012 für das Gesundheitswesen 74 von 13.821 gefundenen Arbeiten aus. Einfluss auf das Ausmaß hatten demnach der kognitive Stil, die Erfahrung mit der Aufgabe, Vertrauen und Zuversicht sowie Arbeitslast, Aufgabenkomplexität und Zeitdruck (Goddard u. a. 2012).
Was dagegen hilft. Als mildernd nennt dieselbe Übersicht Schulung, den Hinweis auf die Rechenschaftspflicht der Nutzenden sowie Gestaltungsmerkmale der Software: die Position des Rates auf dem Bildschirm, aktualisierte Konfidenzangaben und die Wahl, Informationen statt einer Empfehlung auszugeben (Goddard u. a. 2012).
Beide Quellen stimmen nicht in allem überein. Parasuraman und Manzey sehen Training und Anweisungen als unzureichend, Goddard u. a. führen Schulung unter den mildernden Faktoren. Der Unterschied liegt in der Frage, ob der Effekt verschwindet oder nur kleiner wird.
Recht: Artikel 14 der KI-Verordnung
Hochrisiko-KI-Systeme müssen dem Betreiber so zur Verfügung gestellt werden, dass die Aufsichtspersonen sich einer möglichen Neigung zu einem automatischen oder übermäßigen Vertrauen in die Ausgabe („Automatisierungsbias“) bewusst bleiben können.
Das gilt insbesondere, wenn das System Informationen oder Empfehlungen ausgibt, auf deren Grundlage Menschen entscheiden (Europäische Union 2024, Artikel 14 Absatz 4 Buchstabe b). Wie diese Pflicht erfüllt wird, schreibt die Verordnung nicht vor; sie ist Teil der menschlichen Aufsicht.
Grenzen der Befunde
Die ausgewerteten Arbeiten stammen aus der Automatisierungs- und Entscheidungsunterstützungsforschung. Ob und wie weit sich die Ergebnisse auf Sprachmodelle übertragen lassen, die flüssig und selbstsicher formulieren, belegen sie nicht. Die Übersicht von 2012 konzentriert sich auf klinische Entscheidungshilfen (Goddard u. a. 2012).
Verwandte Begriffe
- Halluzination – fehlerhafte Ausgaben, die bei blindem Vertrauen ungeprüft bleiben
- Sycophancy – Gegenstück: Das Modell folgt hier dem Menschen, nicht der Mensch dem Modell
- EU AI Act – Rechtsgrundlage der Aufsichtspflicht
- Anthropomorphisierung – Zuschreibung menschlicher Eigenschaften an KI-Systeme
Quellenangaben
- Europäische Union, 2024. Verordnung (EU) 2024/1689 zur Festlegung harmonisierter Vorschriften für künstliche Intelligenz, Artikel 14. In: Amtsblatt der Europäischen Union L, 2024/1689, 12. Juli 2024. https://eur-lex.europa.eu/legal-content/DE/TXT/HTML/?uri=OJ:L_202401689, abgerufen am 2. November 2026.
- Goddard, Kate / Roudsari, Abdul / Wyatt, Jeremy C., 2012. Automation bias: a systematic review of frequency, effect mediators, and mitigators. In: Journal of the American Medical Informatics Association 19 (1), S. 121–127. DOI: 10.1136/amiajnl-2011-000089
- Parasuraman, Raja / Manzey, Dietrich H., 2010. Complacency and Bias in Human Use of Automation: An Attentional Integration. In: Human Factors 52 (3), S. 381–410. DOI: 10.1177/0018720810376055