Model Cards for Model Reporting ist ein 2019 veröffentlichtes Paper von Margaret Mitchell, Timnit Gebru und weiteren Autor:innen, das einen standardisierten Dokumentationsrahmen für maschinelle Lernmodelle vorschlägt – die namensgebenden „Model Cards”.
Zusammenfassung
Das Paper entstand aus der Beobachtung, dass veröffentlichte Modelle in der Praxis kaum dokumentiert wurden: Nutzende erfuhren selten, unter welchen Bedingungen ein Modell getestet wurde, für welche Bevölkerungsgruppen die Leistung schwankt oder wofür es ausdrücklich nicht gedacht ist. Mitchell, Gebru und Kolleg:innen schlugen ein knappes, standardisiertes Formular vor, das jedes veröffentlichte Modell begleiten sollte – analog zu Beipackzetteln bei Medikamenten oder Datenblättern bei elektronischen Bauteilen. Die vorgeschlagene Struktur umfasst unter anderem Angaben zum vorgesehenen Einsatzzweck, zu Trainings- und Evaluationsdaten, zu Leistungskennzahlen aufgeschlüsselt nach relevanten Untergruppen sowie zu bekannten Einschränkungen und ethischen Erwägungen. Das Konzept wurde seither breit aufgegriffen, unter anderem von Hugging Face, das Model Cards zu einem festen Bestandteil seiner Modell-Plattform gemacht hat.
Begriffsgeschichte
Das Paper erschien 2019 im Umfeld der Konferenzreihe zu Fairness, Accountability und Transparency in maschinellem Lernen (damals unter dem Kürzel FAT*, später umbenannt in ACM FAccT). Es reiht sich in eine Welle von Arbeiten ein, die um dieselbe Zeit für mehr Rechenschaftspflicht in der KI-Entwicklung warben. Eng verwandt ist der Vorschlag Datasheets for Datasets, der denselben Dokumentationsgedanken auf Trainingsdatensätze überträgt, statt auf die daraus trainierten Modelle. Beide Arbeiten teilen die Grundannahme, dass Intransparenz über Herkunft, Zusammensetzung und Grenzen von KI-Systemen ein eigenständiges Risiko darstellt – unabhängig davon, wie leistungsfähig ein Modell im Durchschnitt abschneidet.
Vor 2019 hatten einzelne Organisationen bereits informelle Formen der Modelldokumentation genutzt, etwa in Form technischer Berichte oder Blogposts zu neu veröffentlichten Modellen. Was fehlte, war ein einheitliches, vergleichbares Format, das über einzelne Organisationen hinweg dieselben Fragen beantwortet. Genau diese Standardisierung ist der zentrale Beitrag des Papers: nicht die einzelnen Inhalte waren neu, sondern ihre verbindliche, wiederholbare Struktur.
Methodische Grundlagen
Eine Model Card nach dem ursprünglichen Vorschlag gliedert sich in mehrere feste Abschnitte. Dazu gehören Angaben zum Modell selbst (Architektur, Version, Lizenz, Kontaktinformationen), zum vorgesehenen Einsatzzweck einschließlich ausdrücklich ausgeschlossener Anwendungen, zu den verwendeten Trainings- und Evaluationsdaten sowie zu quantitativen Leistungskennzahlen. Ein zentrales methodisches Element ist die Forderung, Leistungskennzahlen nicht nur als einzelnen Durchschnittswert anzugeben, sondern nach relevanten Untergruppen aufzuschlüsseln – etwa nach demografischen Merkmalen, wenn ein Modell auf Personendaten arbeitet. Diese disaggregierte Evaluation soll sichtbar machen, wenn ein Modell für bestimmte Gruppen systematisch schlechter funktioniert, auch wenn der Gesamtdurchschnitt unauffällig wirkt.
Weitere vorgesehene Abschnitte behandeln ethische Erwägungen, bekannte Grenzen und Risiken sowie Empfehlungen für den verantwortungsvollen Einsatz. Das Paper versteht die Model Card ausdrücklich nicht als technisches Datenblatt allein für Fachpublikum, sondern als Dokument, das auch für Entscheidungsträger:innen ohne tiefes technisches Fachwissen verständlich sein soll, um informierte Entscheidungen über den Einsatz eines Modells zu ermöglichen.
Anwendungsfelder
Model Cards haben sich seit der Veröffentlichung des Papers zu einem verbreiteten Format in der Praxis entwickelt, wenn auch selten in exakt der ursprünglich vorgeschlagenen Form. Hugging Face übernahm das Konzept für seine Modell-Plattform und macht eine Model Card zu einem festen, sichtbaren Bestandteil jeder Modellveröffentlichung. Auch große KI-Anbieter veröffentlichen zu neuen Modellen regelmäßig Dokumente, die dem Grundgedanken der Model Card folgen, auch wenn sie unterschiedlich benannt sind und unterschiedlich ausführlich ausfallen.
Der Dokumentationsgedanke wirkt außerdem in regulatorische Zusammenhänge hinein: Anforderungen an technische Dokumentation, wie sie etwa im Rahmen der EU-KI-Verordnung oder des GPAI Code of Practice für Anbieter von KI-Systemen formuliert werden, greifen ähnliche Grundfragen auf – wofür ist ein System gedacht, worauf wurde es trainiert und getestet, wo liegen seine Grenzen –, auch wenn sie nicht direkt auf das Format der Model Card verweisen.
Kontroversen und Kritik
Die praktische Umsetzung von Model Cards bleibt uneinheitlich. Kritisiert wird, dass viele veröffentlichte Model Cards deutlich knapper ausfallen als im ursprünglichen Vorschlag vorgesehen, insbesondere bei den Abschnitten zu disaggregierter Leistungsmessung und ethischen Erwägungen, die aufwendiger zu erstellen sind als reine technische Kennzahlen. Ohne verbindliche Vorgaben oder externe Prüfung bleibt es den veröffentlichenden Organisationen selbst überlassen, wie ausführlich und wie ehrlich eine Model Card ausfällt – ein Einwand, der Freiwilligkeits-basierte Transparenzinstrumente generell begleitet.
Ein weiterer Diskussionspunkt betrifft die Frage, ob eine Model Card allein ausreicht, um die mit einem Modell verbundenen Risiken angemessen einzuschätzen, oder ob sie eher ein erster, notwendiger, aber nicht hinreichender Schritt ist. Mit zunehmender Größe und Vielseitigkeit von Modellen – insbesondere bei Foundation-Modellen, die für eine Vielzahl nicht vorab spezifizierter Aufgaben eingesetzt werden können – wird die vollständige Aufschlüsselung möglicher Einsatzszenarien und Fehlerarten zunehmend schwieriger, was die praktische Grenze des ursprünglichen Formats sichtbar macht.
Verwandte Begriffe
- AI Alignment – Transparenzdokumentation als eines von mehreren Instrumenten, um KI-Systeme kontrollierbar und nachvollziehbar zu halten.
- Algorithmic Bias – die disaggregierte Leistungsmessung in Model Cards soll systematische Verzerrungen gegenüber Untergruppen sichtbar machen.
- Foundation Models – zu Modellen dieser Größe und Vielseitigkeit wird die Aufschlüsselung möglicher Einsatzszenarien zunehmend schwierig.
Quellenangaben
- Mitchell, Margaret / Wu, Simone / Zaldivar, Andrew / Barnes, Parker / Vasserman, Lucy / Hutchinson, Ben / Spitzer, Elena / Raji, Inioluwa Deborah / Gebru, Timnit, 2019. Model Cards for Model Reporting. In: Proceedings of the Conference on Fairness, Accountability, and Transparency (FAT* ’19), S. 220–229. DOI: 10.1145/3287560.3287596. Zuerst erschienen als Preprint arXiv: 1810.03993, Oktober 2018.