Blog

Model Cards for Model Reporting

„Model Cards for Model Reporting” ist ein 2019 von Margaret Mitchell und Kolleg:innen vorgeschlagenes Format zur standardisierten Dokumentation trainierter Machine-Learning-Modelle. Es legt Zweck, Leistung, Trainingsdaten und Grenzen eines Modells offen, damit Nutzer:innen informierte Entscheidungen über dessen Einsatz treffen können.

Zusammenfassung

Vor 2019 gab es kein einheitliches Format, in dem ein Modell seine eigenen Grenzen dokumentierte. Wer ein trainiertes Modell einsetzen wollte, musste sich auf verstreute Angaben in Papern oder gar keine verlassen. Model Cards sollten das ändern: ein knappes, standardisiertes Dokument je Modell, vergleichbar einer Nährwerttabelle für Software.

Begriffsgeschichte

Das Ursprungspaper erschien 2019 auf der ACM Conference on Fairness, Accountability, and Transparency in Atlanta – damals FAT*, seit 2020 FAccT genannt. Verfasst hatten es Margaret Mitchell, Simone Wu, Andrew Zaldivar, Parker Barnes, Lucy Vasserman, Ben Hutchinson, Elena Spitzer, Inioluwa Deborah Raji und Timnit Gebru.

Alle Autor:innen waren zum Zeitpunkt bei Google tätig, wo Mitchell das Ethical-AI-Team leitete. Ein verwandtes, im selben Umfeld entstandenes Konzept ist Gebrus „Datasheets for Datasets” (2018).

Während Datasheets die Herkunft und Zusammensetzung eines Datensatzes dokumentieren, beschreibt ein Model Card das trainierte Modell selbst – Architektur, Trainingsparameter, Einsatzzweck, Leistungswerte über verschiedene Bedingungen hinweg.

Methodische Grundlagen

Ein Model Card enthält typischerweise Modelldetails, den beabsichtigten Einsatzzweck samt explizit ausgeschlossener Anwendungsfälle, relevante demografische oder umweltbedingte Faktoren und Leistungskennzahlen über verschiedene Gruppen und Bedingungen hinweg.

Hinzu kommen Angaben zu Trainings- und Evaluierungsdaten sowie ethische Erwägungen und bekannte Limitationen. Zweck ist Transparenz und Rechenschaftspflicht gegenüber Entwickler:innen, Regulierern und betroffenen Personen.

Anwendungsfelder

Hugging Face machte das Model Card – als README-Datei je Modell-Repository – zum De-facto-Standard im heutigen Open-Weights-Ökosystem. Bei großen Sprachmodellen entstand daraus ein erweitertes Format: das System Card, das nicht nur ein einzelnes Modell, sondern das gesamte ausgelieferte System beschreibt.

Ein System Card umfasst Basismodell, Sicherheitsfilter, Nutzungsrichtlinien, Werkzeugzugriff und Red-Teaming-Ergebnisse. OpenAI führte das Format mit GPT-4 im März 2023 ein, Anthropic folgte mit eigenem Format.

Kontroversen und Kritik

Mehrere Studien belegen, dass die Praxis der ursprünglichen Idee weit hinterherhinkt. Eine systematische Analyse von rund 32.000 Model Cards auf Hugging Face fand 947 unterschiedliche Abschnittsbezeichnungen bei extremer Uneinheitlichkeit – allein der Abschnitt „Nutzung” erschien unter 97 verschiedenen Bezeichnungen. Rund 80 Prozent der untersuchten Modelle boten keine detaillierten Angaben zu Modell, Training oder Evaluierung.

Eine weitere Untersuchung fand, dass rund 88 Prozent der Modell-Autor:innen die Leistung ihrer Modelle in den Cards überzeichneten. Statt eines verlässlichen Standards ist das Model Card in der Breite häufig ein unvollständig ausgefülltes Formular geblieben.

Stand 2026

Der EU AI Act verpflichtet Anbieter von General-Purpose-AI-Modellen seit dem 2. August 2025 zu technischer Dokumentation nach Artikel 53 – Systembeschreibung, Entwicklungsprozess, Risikomanagement, Datengovernance. Die Durchsetzungsbefugnisse der EU-Kommission greifen ab dem 2. August 2026.

Der Gesetzestext spricht dabei allgemein von „technischer Dokumentation”, nicht wörtlich von „Model Cards” – in der Fachdiskussion gilt das Konzept dennoch als naheliegende Umsetzungsform, ergänzt um die Forderung nach laufend aktualisierten statt nur einmalig verfassten Dokumenten.

Verwandte Begriffe

Quellenangaben

  1. Mitchell, Margaret / Wu, Simone / Zaldivar, Andrew / Barnes, Parker / Vasserman, Lucy / Hutchinson, Ben / Spitzer, Elena / Raji, Inioluwa Deborah / Gebru, Timnit, 2019. Model Cards for Model Reporting. In: Proceedings of the Conference on Fairness, Accountability, and Transparency (FAT* 2019), S. 220–229. DOI: 10.1145/3287560.3287596.
  2. Gebru, Timnit u. a. (2018/2021): Datasheets for Datasets. In: Communications of the ACM 64 (12), S. 86–92. DOI: 10.1145/3458723.
  3. o. A., 2024. What’s Documented in AI? Systematic Analysis of 32K AI Model Cards. arXiv: 2402.05160.
  4. o. A., 2025. An Empirical Analysis of Machine Learning Model and Dataset Documentation, Supply Chain, and Licensing Challenges on Hugging Face. arXiv: 2502.04484.
  5. Europäische Union, 2024. AI Act, Artikel 53. artificialintelligenceact.eu.

← Zurück zur Lexikon-Übersicht