Datasheets for Datasets

Datasheets for Datasets ist ein 2018 vorgelegter Vorschlag einer Gruppe um Timnit Gebru, jeden Datensatz mit einer standardisierten Dokumentation zu versehen – nach dem Vorbild der Datenblätter, die jedem elektronischen Bauteil beiliegen.

Zusammenfassung

Das Vorbild ist genau gewählt. Ein Widerstand kommt nicht ohne Angabe von Toleranz, Betriebstemperatur und Belastbarkeit. Wer ihn außerhalb dieser Grenzen einsetzt, kann sich nicht auf Unkenntnis berufen.

Für Datensätze gab es nichts Vergleichbares. Sie wurden veröffentlicht, heruntergeladen und weiterverwendet, ohne dass festgehalten war, zu welchem Zweck sie erhoben wurden, wer darin vorkommt und wovon sie kein Bild geben.

Der Vorschlag besteht aus einem Fragenkatalog entlang des Lebenswegs eines Datensatzes: Beweggrund, Zusammensetzung, Erhebung, Aufbereitung, Verwendung, Verbreitung, Pflege.

Er hat sich als Praxis teilweise durchgesetzt – bei Modellkarten deutlicher als bei Datensätzen – und ist in Regulierungsvorhaben eingegangen, die Dokumentationspflichten vorschreiben.

Begriffsgeschichte

Der Aufsatz erschien 2018 zunächst als Vorabdruck und 2021 in den Communications of the ACM. Verfasst wurde er von einer Gruppe aus Forschung und Industrie, darunter Gebru, Hanna Wallach, Jennifer Wortman Vaughan und Kate Crawford.

Er entstand aus einer konkreten Erfahrung. Die im selben Zeitraum entstandene Untersuchung Gender Shades hatte gezeigt, dass Gesichtserkennungssysteme bei dunkelhäutigen Frauen dramatisch schlechter abschneiden – und dass die Ursache in der Zusammensetzung der Trainingsdaten lag, die niemand dokumentiert hatte.

Ein Jahr später folgte der Schwestervorschlag Model Cards for Model Reporting, der dieselbe Idee auf trainierte Modelle überträgt.

Beide Verfahren wurden von großen Anbietern übernommen; Modellkarten sind heute bei Veröffentlichungen üblich, wenn auch in stark unterschiedlicher Ausführlichkeit.

Der EU AI Act schreibt für Hochrisikosysteme technische Dokumentation vor, die diesem Ansatz der Sache nach folgt.

Methodische Grundlagen

Dokumentation entlang des Lebenswegs. Die Fragen folgen den Stationen, die ein Datensatz durchläuft, statt einer inhaltlichen Ordnung.

Beweggrund zuerst. Die erste Frage lautet, wofür der Datensatz erhoben wurde. Sie macht sichtbar, wenn eine spätere Verwendung mit dem ursprünglichen Zweck nichts zu tun hat.

Zusammensetzung offenlegen. Wer und was ist enthalten, in welchem Verhältnis, und welche Gruppen fehlen? Der Punkt, an dem sich Verzerrungen am ehesten vorhersagen lassen.

Erhebungsumstände. Wurden die Daten erhoben, beobachtet oder abgeleitet? Lag eine Einwilligung vor? Wer hat die Aufbereitung verrichtet und unter welchen Bedingungen?

Empfohlene und abgeratene Verwendungen. Der Vorschlag verlangt eine ausdrückliche Angabe dazu, wofür ein Datensatz sich nicht eignet.

Keine Prüfinstanz. Das Verfahren ist Selbstauskunft. Es schafft Nachvollziehbarkeit, keine Kontrolle – ein bewusster Zuschnitt, der zugleich die Hauptschwäche ist.

Anwendungsfelder

Modellkarten. Die verbreitetste Umsetzung. Auf Plattformen wie Hugging Face gehören sie zum Standard, ihre Ausführlichkeit schwankt allerdings erheblich.

Datensatzveröffentlichungen. Fachkonferenzen verlangen zunehmend eine Dokumentation als Bedingung der Annahme.

Regulierung. Dokumentationspflichten in europäischen und US-amerikanischen Vorhaben greifen den Gedanken auf.

Beschaffung. Öffentliche Auftraggeber können Dokumentation als Vergabebedingung setzen – eine der wenigen Stellen, an denen das Verfahren Verbindlichkeit gewinnt.

Lehre. Der Fragenkatalog dient als Anleitung dafür, welche Fragen an Daten überhaupt zu stellen sind.

Kontroversen und Kritik

Freiwilligkeit. Der schwerste Einwand: Ohne Verpflichtung dokumentiert, wer ohnehin sorgfältig arbeitet. Wer etwas zu verbergen hat, lässt es.

Aufwand. Eine vollständige Dokumentation ist erheblich, besonders nachträglich für ältere Datensätze. Der Aufwand fällt bei denen an, die den Nutzen nicht haben.

Unvollständigkeit bei Webdaten. Für Datensätze, die aus Milliarden Webseiten bestehen, lassen sich viele Fragen gar nicht beantworten. Genau diese Datensätze tragen die heutigen Sprachmodelle.

Dokumentation statt Änderung. Ein grundsätzlicher Einwand aus dem eigenen Umfeld: Die Offenlegung eines Missstands kann zu seiner Hinnahme führen. Wer die Verzerrung dokumentiert hat, gilt als sorgfältig, auch wenn er nichts geändert hat.

Uneinheitliche Ausführung. Modellkarten reichen von mehrseitigen Untersuchungen bis zu einem Absatz Werbetext. Ein Standard ohne Prüfung erzeugt keine Vergleichbarkeit.

Warum das Vorbild aus der Elektronik nicht ganz trägt

Der Vergleich mit dem Bauteil-Datenblatt ist eingängig und an einer Stelle irreführend – an einer wichtigen.

Ein Datenblatt für einen Widerstand ist deshalb verlässlich, weil es an Messungen hängt. Die Toleranz lässt sich nachprüfen, und wer falsche Werte angibt, fliegt auf, sobald jemand nachmisst. Hinter dem Blatt steht eine Prüfmöglichkeit, oft auch eine Haftung.

Für Datensätze fehlt beides. Ob die Angaben zur Zusammensetzung stimmen, lässt sich von außen kaum feststellen, weil dazu der Datensatz selbst untersucht werden müsste – was bei den großen Textsammlungen niemand leistet. Und eine Haftung dafür, dass die Angaben zutreffen, gibt es nicht.

Das macht den Vorschlag nicht wertlos. Auch eine ungeprüfte Selbstauskunft leistet etwas: Sie zwingt dazu, sich Fragen zu stellen, und sie macht Auslassungen sichtbar. Ein Feld, in dem die Frage nach der Herkunft der Daten unangenehm ist, ist ein anderes als eines, in dem sie nicht gestellt wird.

Was noch fehlt, ist der zweite Teil des Vorbilds: die Instanz, die nachmisst. Solange sie fehlt, bleibt das Verfahren, was es ist – ein Beipackzettel, den der Hersteller selbst verfasst.

Verwandte Begriffe

• Timnit Gebru – Erstverfasserin
• Algorithmic Bias – Problem, das sichtbar gemacht werden soll
• FAccT – Konferenz, in deren Umfeld der Vorschlag entstand
• Critical AI Studies – Feld der Herkunft
• EU AI Act – Regelwerk mit Dokumentationspflichten
• Stochastic Parrots – Arbeit derselben Autorengruppe
• DAIR – von Gebru gegründetes Institut

Quellenangaben

1. Buolamwini, Joy / Gebru, Timnit, 2018. Gender Shades: Intersectional Accuracy Disparities in Commercial Gender Classification. In: Proceedings of the 1st Conference on Fairness, Accountability and Transparency (FAT* 2018), S. 77–91.
2. Gebru, Timnit / Morgenstern, Jamie / Vecchione, Briana / Vaughan, Jennifer Wortman / Wallach, Hanna / Daumé III, Hal / Crawford, Kate, 2021. Datasheets for Datasets. In: Communications of the ACM 64 (12), S. 86–92. DOI: 10.1145/3458723.
3. Mitchell, Margaret / Wu, Simone / Zaldivar, Andrew / Barnes, Parker / Vasserman, Lucy / Hutchinson, Ben / Spitzer, Elena / Raji, Inioluwa Deborah / Gebru, Timnit, 2019. Model Cards for Model Reporting. In: Proceedings of the Conference on Fairness, Accountability, and Transparency (FAT* 2019), S. 220–229. DOI: 10.1145/3287560.3287596.

← Zurück zur Lexikon-Übersicht

Zuletzt bearbeitet: 10. August 2026

Zusammengestellt, formuliert, lektoriert und korrigiert mit KI-Unterstützung. Kuratiert von Nils Brauer. Alle Angaben ohne Gewähr.