Nachvollziehbarkeit

Nachvollziehbarkeit (englisch traceability beziehungsweise auditability, im Kontext automatisierter Entscheidungen auch accountability) bezeichnet im Zusammenhang mit Künstlicher Intelligenz die Eigenschaft eines Systems, seine Entscheidungen, Ausgaben und den Weg dorthin im Nachhinein für Dritte – Betreiber, Aufsichtsbehörden, Betroffene – rekonstruierbar und überprüfbar zu machen.

Der Begriff bezeichnet damit weniger eine technische Methode als ein Governance-Ziel: Ein KI-System gilt als nachvollziehbar, wenn sich im Streitfall oder bei einer Prüfung rekonstruieren lässt, welche Eingaben, Trainingsdaten, Modellversionen und Zwischenschritte zu einer konkreten Ausgabe geführt haben, und wenn diese Rekonstruktion so weit reicht, dass sich daraus eine Bewertung – korrekt, fehlerhaft, diskriminierend, regelkonform – ableiten lässt.

Zusammenfassung

Nachvollziehbarkeit setzt sich aus mehreren Bausteinen zusammen, die einzeln jeweils eigene Fachgebiete bilden: technischer Interpretierbarkeit (kann ein Mensch verstehen, warum das Modell diese Ausgabe erzeugt hat), Protokollierung (welche Daten, Parameter und Zwischenschritte wurden aufgezeichnet), Dokumentation (sind Trainingsdaten, Modellarchitektur und Testergebnisse beschrieben) und institutioneller Zurechenbarkeit (wer trägt die Verantwortung für eine Ausgabe). Ein System kann in einzelnen dieser Dimensionen stark und in anderen schwach sein – ein vollständig protokolliertes System mit lückenloser Dokumentation kann intern trotzdem eine Black Box bleiben, deren einzelne Entscheidungen sich nicht ursächlich erklären lassen.

Der Begriff hat in den 2020er Jahren vor allem durch Regulierung an Bedeutung gewonnen: Der EU AI Act verlangt für Hochrisiko-KI-Systeme technische Dokumentation, automatische Protokollierung (Logging) und Mechanismen menschlicher Aufsicht, ohne dabei ein bestimmtes technisches Interpretierbarkeitsniveau vorzuschreiben. Diese regulatorische Lesart unterscheidet sich von der Verwendung in der KI-Sicherheitsforschung, wo Nachvollziehbarkeit stärker mit der Frage verknüpft ist, ob sich das Verhalten eines Modells – etwa im Fall von Deceptive Alignment oder verdecktem Zielverhalten – überhaupt aus seinen internen Repräsentationen rekonstruieren lässt.

Abgrenzung

Mechanistic Interpretability – verfolgt ein enger gefasstes, technisches Ziel: die internen Berechnungen eines neuronalen Netzes als konkrete algorithmische Mechanismen zu rekonstruieren, etwa über Schaltkreise, Features oder Sparse Autoencoders. Nachvollziehbarkeit ist das übergeordnete Governance-Ziel, zu dem mechanistische Interpretierbarkeit einen möglichen, besonders anspruchsvollen Beitrag leistet; sie ist aber weder notwendig noch hinreichend dafür – ein System kann nachvollziehbar im regulatorischen Sinn sein (dokumentiert, protokolliert, mit Widerspruchsrecht), ohne dass jemand seine internen Mechanismen versteht, und umgekehrt kann ein vollständig mechanistisch verstandenes Modell trotzdem ohne ausreichende Protokollierung eingesetzt werden.

Explainable AI (XAI) – bezeichnet das Forschungsfeld und die Methoden, die aus einem trainierten Modell nachträglich Erklärungen für einzelne Ausgaben extrahieren (etwa durch Attributionsverfahren wie LIME oder SHAP, die Merkmalsgewichte für eine konkrete Vorhersage schätzen, ohne die inneren Mechanismen des Modells offenzulegen). XAI liefert damit einen von mehreren technischen Bausteinen, mit denen sich Nachvollziehbarkeit praktisch herstellen lässt; der Begriff Nachvollziehbarkeit selbst bleibt jedoch weiter gefasst und schließt auch nicht-technische Bausteine wie Dokumentationspflichten, Protokollierung und Verantwortungszuschreibung ein, die keine Erklärungsmethode im engeren Sinn benötigen.

Begriffsgeschichte

Ursprung in Recht und Verwaltungsverfahren

Der Anspruch, Entscheidungen nachvollziehbar zu machen, ist älter als die KI-Debatte und stammt aus dem Verwaltungs- und Prozessrecht: Behördliche und gerichtliche Entscheidungen müssen seit Langem begründet werden, damit Betroffene sie anfechten können. Mit der zunehmenden Automatisierung von Entscheidungsprozessen – Kreditvergabe, Personalauswahl, Sozialleistungen – ab den 1990er und 2000er Jahren stellte sich die Frage neu: Lässt sich dieser Begründungsanspruch auch gegenüber einem Algorithmus einlösen, dessen Entscheidungslogik nicht mehr aus einem Regelwerk, sondern aus statistischen Mustern in Trainingsdaten besteht.

Automatisierte Entscheidungen und die DSGVO

Die Datenschutz-Grundverordnung (DSGVO, wirksam ab Mai 2018) griff diese Frage in Artikel 22 auf, der betroffenen Personen ein Recht einräumt, nicht ausschließlich einer automatisierten Entscheidung mit rechtlicher oder ähnlich erheblicher Wirkung unterworfen zu werden, verbunden mit Auskunfts- und Einspruchsrechten nach Artikel 13 bis 15. Ob daraus ein umfassendes „Recht auf Erklärung” folgt, war und ist in der juristischen Literatur umstritten – der Verordnungstext selbst spricht lediglich von „aussagekräftigen Informationen über die involvierte Logik” sowie Tragweite und Auswirkungen der Entscheidung, nicht von einer vollständigen technischen Erklärung.

Die Deep-Learning-Welle und das Black-Box-Problem

Mit dem Aufstieg des Deep Learning ab den frühen 2010er Jahren verschärfte sich das Problem: Neuronale Netze mit Millionen bis Milliarden Parametern entziehen sich einer direkten menschlichen Lektüre in einem Maß, das bei früheren, regelbasierten oder linearen Modellen nicht bestand. Das Schlagwort Black Box etablierte sich als Sammelbegriff für diese Undurchsichtigkeit und ist eng verwandt, aber nicht identisch mit fehlender Nachvollziehbarkeit: Ein System kann technisch eine Black Box bleiben und trotzdem – über Protokollierung, Testverfahren und Zuständigkeitsregeln – institutionell nachvollziehbar betrieben werden.

Konsolidierung im Regulierungsrecht der 2020er Jahre

Mit dem EU AI Act (verabschiedet 2024, gestaffelt anwendbar 2025 bis 2027) wurde Nachvollziehbarkeit erstmals in der Europäischen Union zu einer eigenständigen, einklagbaren Rechtspflicht für einen breiten Kreis von KI-Anwendungen. Parallel dazu etablierten Standardisierungsgremien wie das US-amerikanische National Institute of Standards and Technology (NIST) mit seinem AI Risk Management Framework (2023) Traceability als eines von mehreren Merkmalen vertrauenswürdiger KI, neben Validität, Sicherheit, Fairness und Interpretierbarkeit.

Methodische Grundlagen

Protokollierung und technische Dokumentation

Die grundlegendste Form von Nachvollziehbarkeit ist die lückenlose Aufzeichnung dessen, was ein System getan hat: Welche Version des Modells wurde verwendet, mit welchen Trainingsdaten wurde es trainiert, welche Eingabe hat zu welcher Ausgabe geführt, und welche menschlichen Eingriffe gab es im Betrieb. Der EU AI Act verlangt für Hochrisiko-Systeme in Artikel 12 automatische Protokollierungsfunktionen (Logging) über die gesamte Lebensdauer des Systems sowie in Artikel 11 eine technische Dokumentation, die Zweck, Architektur, Trainingsdaten, Leistungskennzahlen und bekannte Grenzen des Systems beschreibt.

Dokumentationsstandards für Daten und Modelle

Ergänzend haben sich in der Forschung standardisierte Dokumentationsformate etabliert, die Trainingsdaten und Modelle systematisch beschreiben, etwa Datasheets for Datasets für Datensätze und Model Cards für trainierte Modelle. Diese Formate zielen darauf, dass Herkunft, Zusammensetzung und bekannte Einschränkungen eines Datensatzes oder Modells auch ohne Zugriff auf den internen Trainingsprozess nachvollziehbar bleiben.

Post-hoc-Erklärungsmethoden

Eine zweite methodische Ebene versucht, einzelne Modellausgaben nachträglich zu erklären, ohne die vollständige interne Berechnung offenzulegen. Verfahren wie LIME (Local Interpretable Model-agnostic Explanations, 2016) approximieren das Verhalten eines komplexen Modells in der Umgebung einer konkreten Eingabe durch ein einfacheres, lokal interpretierbares Modell. SHAP (SHapley Additive exPlanations, 2017) überträgt spieltheoretische Shapley-Werte auf die Frage, welchen Beitrag einzelne Eingabemerkmale zu einer Vorhersage geleistet haben. Beide Verfahren gehören zum Feld Explainable AI und liefern Annäherungen, keine exakten kausalen Erklärungen der internen Modellberechnung.

Mechanistische Rekonstruktion

Die anspruchsvollste, aber ressourcenintensivste methodische Ebene versucht, die internen Berechnungen eines Modells tatsächlich zu verstehen, statt sie nur zu approximieren. Dazu zählen Verfahren der Mechanistic Interpretability wie die Identifikation einzelner Schaltkreise, Sparse Autoencoders zur Zerlegung polysemantischer Neuronen in monosemantische Features (siehe Scaling Monosemanticity) sowie kausale Interventionsexperimente, bei denen einzelne interne Aktivierungen gezielt verändert werden, um ihre Wirkung auf die Ausgabe zu isolieren.

Menschliche Aufsicht als organisatorischer Baustein

Nachvollziehbarkeit erschöpft sich nicht in technischen Verfahren. Der EU AI Act verlangt in Artikel 14 zusätzlich Mechanismen menschlicher Aufsicht (Human Oversight), die es befugten Personen ermöglichen sollen, die Ausgaben eines Systems zu überwachen, zu unterbrechen und im Zweifel zu übersteuern. Diese organisatorische Dimension – wer darf wann eingreifen, und ist dieser Eingriff selbst wieder dokumentiert – ist von der rein technischen Erklärbarkeit einer einzelnen Ausgabe zu unterscheiden.

Anwendungsfelder

Automatisierte Entscheidungen mit Rechtswirkung. Kreditvergabe, Personalauswahl (Bewerber-Scoring), Sozialleistungsbescheide und Versicherungstarifierung gehören zu den Anwendungen, in denen Betroffene nach DSGVO und EU AI Act einen Anspruch auf Erläuterung der ihnen gegenüber getroffenen automatisierten Entscheidung haben. In der Praxis wird dieser Anspruch häufig durch vereinfachte, für Laien verständliche Erklärungen bedient, die auf Post-hoc-Methoden wie SHAP beruhen, nicht auf einer vollständigen mechanistischen Rekonstruktion.

Medizinische Diagnostik. Bei KI-gestützten Diagnoseunterstützungssystemen – etwa zur Bildauswertung in der Radiologie – verlangen Zulassungsbehörden und ärztliche Sorgfaltspflichten, dass eine Diagnoseempfehlung für die behandelnde Person nachvollziehbar bleibt, etwa durch Heatmaps, die anzeigen, welche Bildregionen die Modellentscheidung am stärksten beeinflusst haben.

Content-Moderation und algorithmisches Ranking. Der Digital Services Act (DSA) der Europäischen Union verpflichtet große Online-Plattformen, Nutzer:innen über die Kriterien automatisierter Moderations- und Empfehlungsentscheidungen zu informieren und ihnen ein Widerspruchsverfahren einzuräumen – ein Anwendungsfall, in dem Nachvollziehbarkeit primär über Verfahrensrechte und Dokumentation, weniger über technische Interpretierbarkeitsmethoden hergestellt wird.

KI-Sicherheitsforschung. In der Alignment-Forschung ist Nachvollziehbarkeit eng mit der Frage verbunden, ob sich unerwünschtes Modellverhalten – etwa Alignment Faking oder strategisch verdecktes Verhalten – überhaupt entdecken lässt, bevor es Schaden anrichtet. Hier dient technische Interpretierbarkeit nicht in erster Linie der Rechenschaftspflicht gegenüber Betroffenen, sondern der Risikoerkennung durch die Entwickler selbst.

Behördliche Aufsicht und Audits. Aufsichtsbehörden, die Hochrisiko-KI-Systeme nach EU AI Act prüfen, sind auf technische Dokumentation und Protokolldaten angewiesen, um im Nachhinein feststellen zu können, ob ein System zum Zeitpunkt einer beanstandeten Entscheidung den regulatorischen Anforderungen entsprach.

Kontroversen und Kritik

Spannung zwischen Nachvollziehbarkeit und Leistungsfähigkeit. Ein wiederkehrendes Argument in der Debatte besagt, dass die leistungsfähigsten Modelle – große, tief verschachtelte neuronale Netze – tendenziell die am wenigsten nachvollziehbaren sind, während einfachere, von Natur aus interpretierbare Modelle (etwa Entscheidungsbäume oder lineare Modelle) in ihrer Vorhersagegüte zurückbleiben. Diese Darstellung eines grundsätzlichen Interpretability-Performance-Trade-offs wird in Teilen der Fachliteratur bestritten: Für viele Anwendungen mit strukturierten Daten erreichen interpretierbare Modelle vergleichbare Genauigkeit wie Black-Box-Modelle, sodass der Rückgriff auf undurchsichtige Modelle dort eher eine Frage der Gewohnheit oder verfügbarer Werkzeuge als eine notwendige Folge der Aufgabe sei.

Grenzen von Post-hoc-Erklärungen. Verfahren wie LIME und SHAP erklären, was ein Modell getan haben könnte, nicht notwendigerweise, was es tatsächlich intern berechnet hat. Kritische Untersuchungen zeigen, dass solche Erklärungen instabil auf kleine Eingabeänderungen reagieren können und sich in bestimmten Konstellationen gezielt manipulieren lassen, sodass ein Modell diskriminierendes Verhalten zeigt, während die zugehörige Erklärung unauffällig wirkt. Das relativiert den Wert von Post-hoc-Erklärungen als Nachweis tatsächlicher Nichtdiskriminierung.

„Nachvollziehbarkeitstheater”. Ein in der Governance-Debatte verbreiteter Einwand lautet, Unternehmen könnten formale Nachvollziehbarkeitspflichten – Dokumentation, Protokollierung, Erklärungs-Widgets in Benutzeroberflächen – erfüllen, ohne dass sich daraus ein tatsächliches Verständnis oder eine wirksame Kontrolle des Systemverhaltens ergibt. Dokumentation kann formal vollständig und inhaltlich folgenlos sein, wenn niemand sie prüft oder wenn die dokumentierten Informationen die tatsächliche Entscheidungsfindung nicht abbilden.

Zielkonflikt mit Geschäftsgeheimnissen. Anbieter kommerzieller KI-Systeme berufen sich häufig auf Geschäftsgeheimnisse, um die vollständige Offenlegung von Trainingsdaten, Modellarchitektur oder Gewichten zu verweigern. Der EU AI Act versucht diesen Konflikt zu lösen, indem er die vollständige technische Dokumentation primär gegenüber Aufsichtsbehörden vorsieht, nicht gegenüber der Öffentlichkeit – was Kritiker:innen als unzureichend für eine demokratische Kontrolle algorithmischer Entscheidungen ansehen, während Anbieter umgekehrt selbst diese eingeschränkte Offenlegung als Bedrohung ihres Wettbewerbsvorteils werten.

Skalierungsproblem der mechanistischen Rekonstruktion. Selbst wo mechanistische Interpretierbarkeit prinzipiell möglich ist, bleibt fraglich, ob sie mit dem Wachstum der Modellgröße Schritt halten kann. Kritiker:innen weisen darauf hin, dass die bisher mechanistisch vollständig verstandenen Verhaltensweisen selbst bei den am intensivsten untersuchten Modellen nur einen kleinen Bruchteil des gesamten Modellverhaltens abdecken, sodass Nachvollziehbarkeit im vollen technischen Sinn für aktuelle Frontier-Modelle bislang nicht erreichbar ist.

Quellenangaben

Ribeiro, Marco Tulio; Singh, Sameer; Guestrin, Carlos, 2016. “Why Should I Trust You?”: Explaining the Predictions of Any Classifier. In: Proceedings of the 22nd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining, S. 1135–1144. DOI: 10.1145/2939672.2939778.
Lundberg, Scott M.; Lee, Su-In, 2017. A Unified Approach to Interpreting Model Predictions. In: Advances in Neural Information Processing Systems 30 (NeurIPS 2017).
Rudin, Cynthia, 2019. Stop Explaining Black Box Machine Learning Models for High Stakes Decisions and Use Interpretable Models Instead. In: Nature Machine Intelligence 1, S. 206–215. DOI: 10.1038/s42256-019-0048-x.
Slack, Dylan; Hilgard, Sophie; Jia, Emily; Singh, Sameer; Lakkaraju, Himabindu, 2020. Fooling LIME and SHAP: Adversarial Attacks on Post hoc Explanation Methods. In: Proceedings of the AAAI/ACM Conference on AI, Ethics, and Society. DOI: 10.1145/3375627.3375830.
Europäisches Parlament und Rat der Europäischen Union, 2024. Verordnung (EU) 2024/1689 zur Festlegung harmonisierter Vorschriften für Künstliche Intelligenz (KI-Verordnung). Amtsblatt der Europäischen Union.
Europäisches Parlament und Rat der Europäischen Union, 2016. Verordnung (EU) 2016/679 zum Schutz natürlicher Personen bei der Verarbeitung personenbezogener Daten (Datenschutz-Grundverordnung). Amtsblatt der Europäischen Union, Artikel 13–15, 22.
National Institute of Standards and Technology (NIST), 2023. Artificial Intelligence Risk Management Framework (AI RMF 1.0). NIST AI 100-1. DOI: 10.6028/NIST.AI.100-1.
Wachter, Sandra; Mittelstadt, Brent; Floridi, Luciano, 2017. Why a Right to Explanation of Automated Decision-Making Does Not Exist in the General Data Protection Regulation. In: International Data Privacy Law 7 (2), S. 76–99. DOI: 10.1093/idpl/ipx005.

← Zurück zur Lexikon-Übersicht