Algorithms of Oppression

Algorithms of Oppression: How Search Engines Reinforce Racism ist ein im Februar 2018 bei NYU Press erschienenes Sachbuch der Informationswissenschaftlerin Safiya Umoja Noble. Es untersucht, wie Googles Suchmaschine Frauen und People of Color, vor allem Schwarze Frauen und Mädchen, in ihren Ergebnissen herabsetzt.

Zusammenfassung

Nobles Ausgangspunkt ist eine persönliche Beobachtung. Im Herbst 2010 suchte sie bei Google nach „black girls“, um Anregungen für ihre Stieftochter und ihre Nichten zu finden. Als ersten Treffer lieferte die Suche nach ihrer Schilderung eine pornografische Seite. Die Folgejahre widmete sie der Frage, wie eine Suchmaschine bei der Darstellung von Frauen und People of Color derart versagen kann, ohne dass dies Folgen für den Anbieter hat.

Ihre Antwort lautet, dass Suchergebnisse keine neutrale Auswahl der besten Information sind. Google sei ein Werbeunternehmen und kein Informationsdienst. Rassismus und Sexismus erscheinen für sie deshalb nicht als gelegentliche Störung, sondern als Folge von Profitlogik, fehlender Vielfalt unter den Entwickler:innen und der Marktmacht weniger Konzerne. Das Buch bezeichnet sie als Beitrag zu dem, was sie algorithmic oppression nennt.

Dafür prägt Noble den Begriff technological redlining. Er knüpft an das Redlining aus Immobilien- und Bankwesen an, das Ungleichheit nach ethnischer Herkunft vertieft, etwa durch höhere Zinsen für Schwarze und Latino-Kund:innen in einkommensschwachen Vierteln. Noble überträgt dies auf algorithmische Entscheidungssysteme, die nach ihrer Darstellung neue Formen rassistischer Einordnung erzeugen.

Methodisch beruht das Buch auf genauer Lektüre einzelner Fälle statt auf statistischen Erhebungen. Noble nennt es eine Untersuchung weniger Fälle in der Tiefe ihrer gesellschaftlichen Bedeutung. Sie stützt sich auf Suchergebnisse, Nachrichtenberichte und Anekdoten. Einen Rahmen dafür bietet nach Hoffmans Darstellung ein von ihr so genannter black feminist technologies studies-Ansatz.

Aufbau und Kernargumente

Nach Nobles Einleitung gliedert sich das Buch in sechs Kapitel und ein Schlusskapitel.

Das erste Kapitel behandelt die Kontrolle privater Konzerne über öffentliche Information und zeigt Suchergebnisse zu Begriffen wie „beauty“ und zu Berufen. Das zweite zeigt, wie Google Stereotype verstärkt, etwa bei Suchen nach „black girls“, „Latinas“ und „Asian girls“, und erklärt, wie Werbeinteressen die Reihung beeinflussen.

Das dritte Kapitel behandelt den Fall des Attentäters Dylann Roof, der 2015 neun Menschen in einer Kirche in South Carolina ermordete. Nach Nobles Darstellung soll er Google bei der Entwicklung seiner rassistischen Ansichten benutzt haben. Sie folgert daraus, dass sich nicht kuratierte Information nicht dem privaten Markt überlassen lasse.

Die Kapitel vier und fünf wenden sich der Informationswissenschaft selbst zu.

Noble zeigt, dass die Klassifikationen von Bibliotheken Vorläufer der Suchmaschinen sind und dass auch dort voreingenommene Kategorien stecken. Das sechste Kapitel fordert öffentliche Regulierung. Im Schlusskapitel geht sie über Google hinaus, etwa zur Bewertungsplattform Yelp, und schildert den Fall einer Friseurin, deren Salon ohne gute Platzierung dort kaum noch auffindbar sei.

Eine politische Folgerung zieht Noble offen: Große Technologiekonzerne wie Google müssten aus ihrer Sicht zerschlagen und reguliert werden, weil ihre Marktmacht Konkurrenz kaum zulasse.

Entstehung

Noble kam aus der Praxis: Vor ihrer Professur arbeitete sie nach eigenen Angaben zwölf Jahre in Marketing und Werbung für afroamerikanische und Latino-Zielgruppen. Ihre Ausbildung liegt in der Bibliotheks- und Informationswissenschaft.

2012 erschien ihr Artikel über die Marginalisierung von Frauen und Feminismus in Suchergebnissen im Magazin Bitch. Nach ihrer Darstellung wurde die Pornografie bei der Suche nach „black girls“ im August 2012 unterdrückt, während andere Mädchen und Frauen of Color weiterhin sexualisiert erschienen. Ob oder wodurch dies verursacht wurde, lasse sich nicht klären, da die Algorithmen proprietär seien.

Zum Zeitpunkt der ersten Beobachtung gibt es unterschiedliche Angaben. In der Einleitung nennt Noble den Herbst 2010, in einem Auszug im Time-Magazin 2009. Dort schildert sie den Hinweis eines Freundes als Auslöser. Hoffmans Rezension nennt ebenfalls 2010. Die Abweichung lässt sich anhand der gelesenen Quellen nicht auflösen.

Rezeption

Zwei Fachbesprechungen aus dem Jahr 2019 würdigen das Buch. Gregory Zobel schreibt in Communication Design Quarterly, es zerstöre die Vorstellung neutraler, ideologiefreier Technik und sei auch für Leser:innen außerhalb der Wissenschaft lesbar. Kelly M. Hoffman nennt es im International Journal of Information, Diversity, & Inclusion auch für Leser:innen ohne technisches Fachwissen zugänglich.

Das Buch gehört in die Reihe kritischer Arbeiten, die in den Critical AI Studies die Macht von Algorithmen untersuchen; später folgten etwa Ruha Benjamins Race After Technology (2019) und Kate Crawfords Atlas of AI (2021). NYU Press führt es als Bestseller. Noble selbst äußert in der Einleitung die Erwartung, dass künstliche Intelligenz im 21. Jahrhundert zu einer wichtigen Menschenrechtsfrage werde.

Kontroversen und Kritik

Hoffman bemängelt, das Buch biete kaum konkrete Lösungen. Es beschreibe die Probleme wirkungsvoll, bleibe bei Auswegen aber bei Forschungsrichtungen und Regulierungsideen stehen.

Noble deutet an, dass für Suchmaschinen etwas Ähnliches wie die Anstandsregeln der US-Rundfunkaufsicht FCC sinnvoll sein könnte, und räumt selbst ein, dass eine solche Regulierung höchst umstritten wäre. Hoffman merkt an, dass mehr staatliche Kontrolle über die Darstellung von Minderheiten manche Leser:innen beunruhigen dürfte.

Das Buch konzentriert sich fast ausschließlich auf Google. Noble begründet dies mit der Marktstellung des Unternehmens. Hoffman hält die Probleme zugleich für auf andere algorithmische Rangordnungen übertragbar.

Nobles Methode bleibt auf einzelne Fälle begrenzt. Sie selbst weist darauf hin, dass ein Buch über Google bei Erscheinen veraltet ist. Die Suche nach „black girls“ liefere heute weit weniger pornografische Ergebnisse als 2011. Dass sich die Ergebnisse ändern, erinnert sie daran, dass Menschen die Systeme gestalten.

Quellenangaben

Hoffman, Kelly M., 2019. Book Review: Algorithms of Oppression: How Search Engines Reinforce Racism. In: The International Journal of Information, Diversity, & Inclusion 3 (1). jps.library.utoronto.ca/index.php/ijidi/article/view/32272
Noble, Safiya Umoja, 2018. Algorithms of Oppression: How Search Engines Reinforce Racism. Einleitung („The Power of Algorithms“), als PDF auf safiyaunoble.com.
Noble, Safiya Umoja, 2018. Google Has a Striking History of Bias Against Black Girls. In: Time, 26. März 2018. Auszug aus Algorithms of Oppression, nachgedruckt mit Genehmigung von NYU Press.
NYU Press, 2018. Algorithms of Oppression (Verlagsseite). nyupress.org, Seite zum Buch
Zobel, Gregory, 2019. Review of „Algorithms of Oppression: How Search Engines Reinforce Racism“. In: Communication Design Quarterly 7 (3). DOI: 10.1145/3321388.3321392.

← Zurück zur Lexikon-Übersicht