Excavating AI ist ein 2019 veröffentlichter Essay der Medienwissenschaftlerin Kate Crawford und des Künstlers und Forschers Trevor Paglen, der die Bildkategorien großer Trainingsdatensätze für maschinelles Sehen – insbesondere ImageNet – als politisch aufgeladene, keineswegs neutrale Klassifikationssysteme analysiert.
Zusammenfassung
Crawford und Paglen untersuchten in „Excavating AI: The Politics of Images in Machine Learning Training Sets” die Struktur von ImageNet, einem der einflussreichsten Bilddatensätze für das Training von Bilderkennungssystemen. Ihr zentrales Argument: Die Kategorien, in die Bilder einsortiert werden, sind keine objektiven, selbstverständlichen Einteilungen der Welt, sondern das Ergebnis historisch gewachsener, oft fragwürdiger Klassifikationsentscheidungen. Besonders die Personen-Kategorien von ImageNet, die aus der lexikalischen Datenbank WordNet übernommen wurden, enthielten diskriminierende, rassistische und anderweitig entwürdigende Bezeichnungen für Menschen. Der Essay – begleitet von einem interaktiven Onlineprojekt, das es erlaubte, die eigene Zuordnung innerhalb von ImageNets Personen-Kategorien einzusehen – löste eine breite öffentliche Debatte aus und trug maßgeblich dazu bei, dass die Betreiber von ImageNet Teile des Datensatzes überarbeiteten.
Begriffsgeschichte
ImageNet wurde ab 2009 unter Leitung von Fei-Fei Li aufgebaut und avancierte insbesondere nach dem Erfolg von AlexNet beim ImageNet-Wettbewerb 2012 zu einem zentralen Referenzdatensatz für das Training und den Vergleich von Bilderkennungssystemen. Der Datensatz übernahm seine Kategorienstruktur aus WordNet, einer in den 1980er Jahren an der Princeton University entwickelten lexikalischen Datenbank, die englische Wörter in hierarchisch geordnete Bedeutungsgruppen (Synsets) einteilt.
Crawford, zu diesem Zeitpunkt unter anderem an Microsoft Research tätig und Mitbegründerin des AI Now Institute, sowie Paglen, bekannt für seine Arbeiten zur Sichtbarmachung staatlicher Überwachungsinfrastrukturen, veröffentlichten „Excavating AI” im September 2019 zunächst als Onlineessay, begleitet von einer interaktiven Installation mit dem Titel „ImageNet Roulette”, die zeitgleich in Ausstellungen gezeigt wurde. Nutzerinnen und Nutzer konnten eigene Fotos hochladen und erhielten eine Klassifikation nach den Personen-Kategorien von ImageNet zurück – häufig mit befremdlichen bis beleidigenden Ergebnissen, die die zugrunde liegenden Kategorien unmittelbar erfahrbar machten.
Methodische Grundlagen
Der methodische Kern des Essays liegt in einer close reading-artigen Untersuchung der Kategorienstruktur von ImageNet. Crawford und Paglen arbeiteten sich durch die „person”-Unterkategorien des Datensatzes und dokumentierten, wie viele davon abwertende, veraltete oder offen rassistische Begriffe aus WordNet unverändert übernommen worden waren, ohne dass die für ImageNet Verantwortlichen diese Kategorien kritisch geprüft oder bereinigt hätten. Bilder waren diesen Kategorien größtenteils über Crowdsourcing-Plattformen wie Amazon Mechanical Turk zugeordnet worden – ein Verfahren, das die in den Kategorien angelegten Vorannahmen an eine große Zahl weitgehend anonymer, gering bezahlter Arbeitskräfte weiterreichte, ohne dass diese Einfluss auf die Kategorienstruktur selbst gehabt hätten.
Aus dieser Untersuchung entwickelten die Autoren eine grundsätzlichere These: Trainingsdatensätze seien nicht neutrale Sammlungen von Fakten über die Welt, sondern Verdichtungen historisch spezifischer, oft unhinterfragter Weltordnungen. Wer ein System mit solchen Daten trainiert, übernimmt – oft unbemerkt – die darin eingebetteten Kategorisierungen, Hierarchien und Ausschlüsse. Der Essay reiht sich damit in eine breitere kritische Auseinandersetzung mit der Herkunft und den Annahmen von Trainingsdaten ein, die auch von Arbeiten zu algorithmischer Verzerrung und zur Dokumentation von Datensätzen (etwa durch „Datasheets for Datasets”) aufgegriffen wurde.
Anwendungsfelder
„Excavating AI” wird vor allem in drei Zusammenhängen herangezogen: erstens in der akademischen und öffentlichen Debatte über die Herkunft und Qualität von Trainingsdaten für maschinelles Lernen, zweitens in der Lehre zu Fragen algorithmischer Fairness und Datenethik, wo der Essay häufig als Einstiegstext zur Sensibilisierung für die politische Dimension scheinbar technischer Datensätze dient, und drittens als Referenzpunkt in der Kritik an groß angelegten, wenig kuratierten Trainingsdatensätzen generell – ein Thema, das mit dem Aufstieg noch größerer, aus dem Internet gescrapter Datensätze für generative KI-Systeme an Bedeutung gewonnen hat.
Die begleitende Installation „ImageNet Roulette” wiederum wurde selbst zu einem vielzitierten Beispiel dafür, wie sich abstrakte Kritik an Klassifikationssystemen durch eine interaktive, unmittelbar erfahrbare Anwendung einem breiteren Publikum vermitteln lässt.
Kontroversen und Kritik
Die unmittelbare Wirkung des Essays war beträchtlich: Die für ImageNet Verantwortlichen reagierten auf die öffentliche Aufmerksamkeit, indem sie einen erheblichen Teil der problematischen Personen-Kategorien aus dem Datensatz entfernten beziehungsweise für Forschungszwecke sperrten. Die genaue Zahl der entfernten oder eingeschränkten Kategorien wird in unterschiedlichen Quellen verschieden beziffert; sicher ist, dass es sich um eine substanzielle Überarbeitung der Personen-Kategorien handelte.
Kritisiert wurde an dem Essay und insbesondere an „ImageNet Roulette” gelegentlich, dass die Installation selbst diskriminierende Zuordnungen reproduzierte, um auf sie aufmerksam zu machen – ein methodisches Dilemma, das Crawford und Paglen selbst thematisierten: Die Bloßstellung des Problems erforderte, das Problem für Nutzerinnen und Nutzer sichtbar zu reproduzieren. Andere Stimmen wandten ein, dass die Kritik an ImageNet zwar berechtigt sei, aber stellvertretend für ein strukturelles Problem stehe, das weit über einen einzelnen Datensatz hinausreiche – eine Einschätzung, die Crawford und Paglen im Essay selbst teilen, wenn sie ImageNet als exemplarischen, nicht als isolierten Fall behandeln.
Verwandte Begriffe
- Atlas of AI – Kate Crawfords späteres Buch, das die hier entwickelte Kritik in einen breiteren Rahmen zu den materiellen und politischen Kosten von KI-Systemen einordnet.
- AI Now Institute – von Crawford mitbegründete Forschungseinrichtung zu den gesellschaftlichen Auswirkungen von KI, unter deren Dach der Essay veröffentlicht wurde.
- Gender Shades – verwandte Studie zu diskriminierenden Verzerrungen in Trainingsdaten kommerzieller Bilderkennungssysteme
Quellenangaben
- Crawford, Kate / Paglen, Trevor, 2019. Excavating AI: The Politics of Images in Machine Learning Training Sets. Onlineessay, AI Now Institute, excavating.ai.