Robustheit bezeichnet in der KI-Sicherheitsforschung die Eigenschaft eines Systems, auch unter veränderten, ungewöhnlichen oder gezielt manipulierten Bedingungen verlässlich zu funktionieren, statt nur auf den Daten und Situationen, die dem Training entsprachen.
Zusammenfassung
Ein trainiertes Modell erreicht auf Daten, die der Trainingsverteilung ähneln, typischerweise gute Ergebnisse. Robustheit fragt danach, was passiert, wenn diese Voraussetzung nicht mehr gilt: bei natürlich auftretenden Verteilungsverschiebungen, bei ungewöhnlichen, aber legitimen Eingaben und bei absichtlich konstruierten Eingaben, die ein System gezielt in die Irre führen sollen.
Der am gründlichsten erforschte und zugleich anschaulichste Beleg für mangelnde Robustheit sind adversariale Beispiele: Eingaben, die durch minimale, für Menschen kaum wahrnehmbare Veränderungen gezielt so manipuliert wurden, dass ein Modell sie mit hoher Sicherheit falsch klassifiziert. Goodfellow, Shlens und Szegedy zeigten 2014/2015 in Explaining and Harnessing Adversarial Examples, dass diese Anfälligkeit primär aus der linearen Natur neuronaler Netze folgt, nicht aus Nichtlinearität oder Überanpassung, wie zuvor vermutet.
Begriffsgeschichte
Erste systematische Beobachtungen adversarialer Anfälligkeit gehen auf Intriguing Properties of Neural Networks von Szegedy und Kolleg:innen (2013) zurück. Goodfellow, Shlens und Szegedy lieferten 2014/2015 mit der Fast Gradient Sign Method (FGSM) sowohl eine Erklärung für die Ursache als auch ein einfaches, schnelles Verfahren, um adversariale Beispiele gezielt zu erzeugen, und zeigten zugleich, dass sich solche Beispiele über verschiedene Modellarchitekturen und Trainingsdatensätze hinweg übertragen lassen – ein Modell, das für ein Netz manipuliert wurde, täuscht häufig auch ein anderes.
Aus diesem Befund entwickelte sich ein eigenes Forschungsfeld zur adversarialen Robustheit, das seither Angriffs- und Verteidigungsverfahren im Wechsel hervorbringt: Neue Verteidigungen werden regelmäßig durch neue, speziell dagegen entwickelte Angriffe überwunden.
Methodische Grundlagen
Adversariales Training. Das verbreitetste Gegenmittel besteht darin, ein Modell nicht nur auf sauberen, sondern zusätzlich auf adversarial manipulierten Beispielen zu trainieren, sodass es lernt, auch gegen gezielte Störungen robuste Entscheidungen zu treffen. Goodfellow und Kolleg:innen zeigten, dass sich dadurch die Testfehlerrate eines Modells auf dem MNIST-Datensatz senken lässt.
Verteilungsrobustheit. Über adversariale Angriffe hinaus untersucht die Forschung, wie gut Systeme mit natürlich auftretenden Verteilungsverschiebungen umgehen – etwa wenn sich die Eingabedaten im praktischen Einsatz systematisch von den Trainingsdaten unterscheiden, ohne dass eine böswillige Absicht dahintersteht.
Zertifizierte Robustheit. Ein strengerer Ansatz liefert mathematisch belastbare Garantien, dass sich die Ausgabe eines Modells innerhalb eines definierten Störungsradius nicht ändert, statt Robustheit nur empirisch an konkreten Angriffen zu testen.
Anwendungsfelder
Robustheit ist besonders in sicherheitskritischen Anwendungen zentral, etwa bei der Bilderkennung in autonomen Fahrzeugen, bei biometrischer Authentifizierung und bei Inhaltsfiltern, die absichtlich umgangen werden sollen. In der Sprachmodell-Sicherheit überschneidet sich das Konzept mit verwandten Angriffsformen gegen Chatbots und Assistenzsysteme: Beide lassen sich als Anwendungsfälle mangelnder Robustheit gegenüber gezielt konstruierten Eingaben verstehen, wenn auch mit anderer Angriffsform als bei klassischen adversarialen Bildstörungen.
Kontroversen und Kritik
Kein Wettrüsten mit Endpunkt. Die Geschichte adversarialer Robustheit ist geprägt von einem fortlaufenden Wechselspiel: Kaum wird eine Verteidigung veröffentlicht, entstehen spezifisch dagegen gerichtete neue Angriffe. Ein Teil der Forschungsgemeinschaft zieht daraus den Schluss, dass vollständige Robustheit gegen alle denkbaren adversarialen Störungen mit heutigen Methoden kein erreichbares Ziel ist, sondern nur eine relative Verbesserung gegenüber bekannten Angriffen.
Zielkonflikt mit Genauigkeit. Mehrere Untersuchungen dokumentieren einen Kompromiss zwischen adversarialer Robustheit und Genauigkeit auf sauberen, unmanipulierten Daten: Ein Modell, das stark auf Robustheit trainiert wird, verliert häufig etwas an Leistungsfähigkeit im gewöhnlichen Betrieb.
Übertragbarkeit als ungelöstes Problem. Dass adversariale Beispiele zwischen unterschiedlichen Modellen übertragbar sind, bedeutet, dass Angreifer ein Zielmodell nicht kennen müssen, um es erfolgreich zu täuschen – ein strukturelles Problem, das einzelne Verteidigungsmaßnahmen an einem bestimmten Modell nicht löst.
Verwandte Begriffe
- Jailbreaking – Anwendungsfall mangelnder Robustheit bei Sprachmodellen
- Prompt Injection – verwandter Angriffsvektor gegen die Verlässlichkeit von Sprachmodellen
- Red Teaming – systematische Prüfpraxis, die Robustheitslücken aufdecken soll
- Goal Misgeneralization – verwandtes Problem, bei dem ein System außerhalb der Trainingsverteilung unerwünschtes Verhalten zeigt
Quellenangaben
- Szegedy, Christian / Zaremba, Wojciech / Sutskever, Ilya / Bruna, Joan / Erhan, Dumitru / Goodfellow, Ian / Fergus, Rob, 2013. Intriguing Properties of Neural Networks. arXiv: 1312.6199.
- Goodfellow, Ian J. / Shlens, Jonathon / Szegedy, Christian, 2014. Explaining and Harnessing Adversarial Examples. arXiv: 1412.6572.