Computer Use bezeichnet die Fähigkeit eines KI-Systems, einen Rechner so zu bedienen, wie ein Mensch es täte: Es betrachtet den Bildschirm, bewegt den Zeiger, klickt, tippt und liest das Ergebnis ab. Die Steuerung erfolgt über die grafische Oberfläche und nicht über eine Programmierschnittstelle.
Zusammenfassung
Anthropic veröffentlichte die Fähigkeit am 22. Oktober 2024 als öffentliche Vorschau. Andere Anbieter folgten binnen weniger Monate mit eigenen Umsetzungen.
Der Reiz des Ansatzes liegt in seiner Allgemeinheit. Die meisten Programme haben keine Schnittstelle für Maschinen, wohl aber eine für Menschen; wer diese bedienen kann, erreicht damit auch Software, die nie für Automatisierung vorgesehen war.
Der Preis ist Umständlichkeit. Jeder Schritt erfordert ein neues Bildschirmfoto, jede Abweichung im Aufbau der Oberfläche kann die Handlung ins Leere laufen lassen, und die Fehlerquote summiert sich über die Schritte einer Aufgabe.
Gemessen wird die Fähigkeit an Prüfsammlungen, die vollständige Arbeitsabläufe in echten Betriebssystemumgebungen abbilden. Die dort erreichten Werte liegen deutlich unter menschlicher Zuverlässigkeit.
Begriffsgeschichte
Bildschirmgestützte Automatisierung ist älter als die heutigen Modelle. Unter der Bezeichnung Robotic Process Automation wird seit den 2010er Jahren Software vertrieben, die Abläufe in grafischen Oberflächen nachspielt.
Der Unterschied ist die Bindung an das Aussehen. Ältere Verfahren arbeiten mit aufgezeichneten Koordinaten oder mit Kennungen der Bedienelemente und brechen, sobald sich das Fenster verschiebt oder die Anwendung ein neues Aussehen erhält.
Was sich 2024 änderte, war die Zwischenstufe: Ein Modell, das Bildinhalte versteht, muss die Oberfläche nicht wiedererkennen, sondern kann sie lesen. Ein Knopf wird an seiner Beschriftung erkannt, nicht an seiner Position.
Nach der Veröffentlichung von Anthropic folgten mit Googles Project Mariner im Dezember 2024 und OpenAIs Operator im Januar 2025 vergleichbare Systeme, teils auf den Browser beschränkt, teils auf das gesamte Betriebssystem gerichtet.
Methodische Grundlagen
Die Wahrnehmungsschleife. Der Ablauf ist stets derselbe: Bildschirmfoto aufnehmen, Bild und Aufgabenstellung an das Modell geben, eine Handlung erhalten, sie ausführen, erneut aufnehmen. Der Zustand der Welt wird bei jedem Schritt neu erfasst.
Räumliche Verankerung. Die eigentliche Schwierigkeit ist nicht zu wissen, was zu tun ist, sondern wo. Das Modell muss von der Beschreibung eines Elements zu dessen Bildkoordinaten gelangen – eine Aufgabe, an der Bildmodelle lange scheiterten, weil sie Objekte erkennen, aber nicht präzise verorten.
Fehlerfortpflanzung. Bei einer Zuverlässigkeit von 95 Prozent je Schritt sinkt die Erfolgsaussicht über zwanzig Schritte auf etwa ein Drittel. Lange Abläufe verlangen deshalb Selbstkorrektur: erkennen, dass ein Klick nicht wirkte, und den Schritt wiederholen.
Ausführungsumgebung. In der Praxis läuft die Bedienung in einer abgeschotteten Umgebung – einer virtuellen Maschine oder einem Container – statt auf dem Arbeitsgerät. Das begrenzt den Schaden bei Fehlgriffen und die Reichweite von Angriffen.
Messung. Prüfsammlungen wie OSWorld stellen Aufgaben in echten Betriebssystemen und werten das Ergebnis am Zustand des Systems aus, nicht an der Beschreibung des Wegs. Damit lässt sich Erfolg objektiv feststellen.
Anwendungsfelder
Altsysteme ohne Schnittstelle. Der stärkste Fall sind Anwendungen, die keine Programmierschnittstelle anbieten und nicht verändert werden können – Verwaltungssoftware, Branchenlösungen, interne Werkzeuge aus früheren Jahrzehnten.
Prüfen von Oberflächen. Softwaretests lassen sich als Aufgabenbeschreibung formulieren statt als aufgezeichnetes Skript, das bei jeder Gestaltungsänderung neu erstellt werden muss.
Recherche über mehrere Dienste. Vorgänge, die Daten aus mehreren Webanwendungen zusammenführen, ohne dass diese miteinander verbunden wären.
Barrierefreiheit. Ein System, das eine Oberfläche im Auftrag bedient, ist zugleich ein Zugang für Menschen, denen die unmittelbare Bedienung schwerfällt.
Kontroversen und Kritik
Angriffe über den Bildschirminhalt. Was das System sieht, behandelt es als Information. Eine Webseite, die eine Anweisung im Text unterbringt, kann damit Handlungen auslösen – eine Ausprägung der Prompt Injection, die hier unmittelbar in Klicks mündet.
Handlungen ohne Rückgängigmachung. Anders als bei erzeugtem Text hinterlässt eine falsche Handlung Spuren: eine gelöschte Datei, eine abgeschickte Nachricht, eine ausgelöste Bestellung. Der Vorschauzustand der Fähigkeit steht dazu in Spannung.
Umgehung von Bot-Erkennung. Ein System, das eine Oberfläche wie ein Mensch bedient, ist von einem Menschen technisch schwer zu unterscheiden. Damit berührt es Nutzungsbedingungen und Schutzmaßnahmen, die genau diese Unterscheidung voraussetzen.
Wirtschaftlichkeit. Jeder Schritt kostet ein Bildschirmfoto und einen Modellaufruf. Wo eine Schnittstelle existiert, ist deren Nutzung um Größenordnungen billiger und zuverlässiger – der Ansatz lohnt sich dort, wo es keine gibt.
Verantwortlichkeit. Wenn ein System eigenständig in fremden Anwendungen handelt, ist die Zurechnung von Fehlern ungeklärt: Sie verteilt sich zwischen Auftraggeber, Anbieter des Modells und Betreiber der bedienten Anwendung.
Warum der Umweg über das Auge
Auf den ersten Blick ist es merkwürdig, eine Maschine über eine Oberfläche zu steuern, die für Menschen gebaut wurde – ein Umweg über Bild und Zeiger, wo ein direkter Aufruf genügen würde.
Die Rechtfertigung ist ökonomischer Natur. Schnittstellen entstehen nur dort, wo jemand ein Interesse an Anbindung hat; die Oberfläche dagegen existiert überall. Wer sie bedienen kann, erreicht ohne Absprache mit dem Hersteller den gesamten Bestand an Software.
Darin liegt zugleich der Einwand. Die Oberfläche ist ein Kompromiss mit menschlichen Fähigkeiten – Aufmerksamkeitsspanne, Fingergenauigkeit, Sehgewohnheit. Eine Maschine, die diesen Kompromiss nachvollzieht, erbt seine Umständlichkeit, ohne den Grund dafür zu haben.
Ob der Ansatz Bestand hat, hängt daher weniger an der Technik als an einer Entwicklung daneben: Setzen sich maschinenlesbare Schnittstellen breit durch, wird die Bedienung über den Bildschirm zur Rückfallebene für das, was sonst nicht erreichbar ist.
Verwandte Begriffe
- Agentic AI – übergeordnete Systemklasse
- Anthropic – erste Anbieterin der Fähigkeit
- Claude Code – verwandter Ansatz über die Kommandozeile statt die Oberfläche
- Model Context Protocol – Gegenentwurf über maschinenlesbare Schnittstellen
- Prompt Injection – Angriffsklasse, die hier unmittelbar in Handlungen mündet
- Multimodale KI – Voraussetzung des Bildschirmverständnisses
- Benchmarking – Messproblem der Fähigkeit
- Embodied AI – verwandte Frage nach Handeln in einer Umgebung
Quellenangaben
- Anthropic, 2024. Introducing Computer Use. anthropic.com/news, 22. Oktober 2024.
- Anthropic, laufend. Computer Use Tool Documentation. docs.anthropic.com
- Xie, Tianbao u. a., 2024. OSWorld: Benchmarking Multimodal Agents for Open-Ended Tasks in Real Computer Environments. In: Advances in Neural Information Processing Systems 37 (NeurIPS 2024). arXiv: 2404.07972.
← Zurück zur Lexikon-Übersicht
Zuletzt bearbeitet: 10. August 2026
Zusammengestellt, formuliert, lektoriert und korrigiert mit KI-Unterstützung. Kuratiert von Nils Brauer. Alle Angaben ohne Gewähr.