Stellen Sie sich vor, ein AI Agent sitzt an Ihrem Computer und arbeitet Aufgaben ab – er öffnet Programme, füllt Formulare aus, navigiert durch Websites und verarbeitet Daten, genau wie ein menschlicher Mitarbeitender. Kein API nötig, keine Integration, keine Programmierung. Der Agent sieht, was auf dem Bildschirm passiert, und handelt entsprechend.
Das ist keine Zukunftsvision mehr. Computer Use und Browser Automation mit AI sind 2026 funktionsfähige Technologien, die bereits in Unternehmen eingesetzt werden. Sie schliessen die letzte grosse Lücke in der Automation-Landschaft: Prozesse, die bisher nicht automatisierbar waren, weil die betroffene Software keine API-Schnittstelle bietet.
Was ist Computer Use?
Computer Use bezeichnet die Fähigkeit von AI-Modellen, einen Computer über die visuelle Benutzeroberfläche zu steuern – analog zu einem menschlichen Nutzer. Der technische Ablauf folgt einem Kreislauf:
- Screenshot aufnehmen: Der Agent macht einen Screenshot des aktuellen Bildschirms
- Analyse: Ein Vision-fähiges LLM (multimodales Modell) analysiert den Screenshot und versteht den Inhalt
- Entscheidung: Basierend auf der Aufgabe und dem aktuellen Zustand entscheidet der Agent, welche Aktion nötig ist
- Aktion ausführen: Mausklick, Tastatureingabe, Scrollen oder andere Interaktionen werden ausgeführt
- Wiederholen: Neuer Screenshot, neue Analyse, nächste Aktion – bis die Aufgabe abgeschlossen ist
Claude Computer Use im Detail
Anthropic hat mit Claude Computer Use einen der fortschrittlichsten Computer-Use-Agenten entwickelt. Claude kann Screenshots analysieren, UI-Elemente identifizieren und präzise Maus- und Tastaturaktionen ausführen.
Technische Architektur
Claude Computer Use nutzt die multimodalen Fähigkeiten von Claude, um Screenshots zu interpretieren. Anthropic nennt das Verfahren «agent loop»: Claude fordert eine Aktion an, die Anwendung führt sie aus und schickt das Ergebnis zurück, worauf Claude die nächste plant. Der Agent kann:
- UI-Elemente erkennen: Buttons, Eingabefelder, Menüs, Tabs, Links
- Text lesen: OCR-ähnliche Fähigkeiten ohne separates OCR-Modul
- Kontext verstehen: Die Bedeutung von Dialogen, Fehlermeldungen und Statusanzeigen interpretieren
- Koordinaten berechnen: Pixel-genaue Mausklicks an die richtige Stelle setzen
- Multi-Step-Aufgaben: Komplexe Aufgaben in einzelne Schritte zerlegen und sequenziell abarbeiten
Quelle der Angaben zu Claude Computer Use: Anthropic — Computer use — abgerufen am 8. September 2026. Wörtlich: «The core of computer use is the ‹agent loop›: a cycle where Claude requests tool actions, your application runs them, and returns results to Claude.» Die Dokumentation warnt ausdrücklich: «Computer use has unique risks distinct from standard API features. These risks are heightened when interacting with the internet.»
Werkzeugversion und Modellbindung
Wer Computer Use nicht als Produkt, sondern als API-Funktion einbindet, hat es nicht mit einem Produktnamen zu tun, sondern mit einem datierten Werkzeug-Bezeichner. Anthropic führte am 10.09.2026 die Version computer_toolset_20260801; die jeweils vorherige Fassung bleibt verfügbar, verlangt aber einen Beta-Header und ist an die vorangegangene Modellgeneration gebunden. Für ein Projekt hat das zwei Folgen: Der Bezeichner gehört in die Dokumentation der eigenen Integration, und ein Modellwechsel kann einen Werkzeugwechsel nach sich ziehen.
Anthropic weist ausserdem darauf hin, dass die Modellwahl die Klickgenauigkeit beeinflusst — nicht nur die Sprachfähigkeit. Für Computer Use ist die Modellauswahl damit eine technische Entscheidung über die Trefferquote von Mausklicks, nicht nur eine über Kosten.
Auflösung als Kostenhebel
Die Bildschirmauflösung entscheidet mit über den Token-Verbrauch, weil jeder Screenshot als Bild in den Kontext geht. Anthropic empfiehlt 1024x768 oder 1280x720 für allgemeine Desktop-Aufgaben und 1280x800 oder 1366x768 für Web-Anwendungen und rät von Auflösungen über 1920x1080 ab. Ein Screenshot schlägt dabei mit rund 1'000–1'800 Eingabe-Tokens zu Buche. Wer eine Automatisierung mit hoher Wiederholzahl plant, senkt die Kosten also zuerst über die Auflösung und die Zahl der Zyklen — nicht über das Modell.
Einsatzmöglichkeiten
- Desktop-Automation: Daten zwischen Anwendungen übertragen, die keine API haben
- Legacy-Software: Alte Systeme automatisieren, ohne sie ersetzen zu müssen
- Formular-Workflows: Komplexe Formulare in Behördenportalen oder ERP-Systemen ausfüllen
- Daten-Migration: Informationen aus alten Systemen extrahieren und in neue übertragen
Browser Automation mit AI-Steuerung
Browser Automation ist ein Spezialfall von Computer Use, der sich auf die Interaktion mit Webseiten konzentriert. Hier kommen etablierte Frameworks zum Einsatz, die durch AI-Steuerung intelligenter werden.
Playwright
Playwright (Microsoft) unterstützt Chromium, Firefox und WebKit sowie die Markenbrowser Google Chrome und Microsoft Edge auf Linux, macOS und Windows, jeweils im Headless- und im Headed-Modus, und ist für TypeScript, Python, .NET und Java verfügbar. Der Anbieter beschreibt es als «reliable web automation for testing, scripting, and AI agents». Es bietet:
- Headless und Headful Modus: Tests und Automation mit oder ohne sichtbaren Browser
- Auto-Wait: Automatisches Warten auf Elemente, bevor Aktionen ausgeführt werden
- Network Interception: HTTP-Requests abfangen und modifizieren
- Multi-Browser: Parallele Ausführung in verschiedenen Browsern
Puppeteer
Puppeteer (Google) steuert nach eigener Dokumentation Chrome oder Firefox über das DevTools-Protokoll oder WebDriver BiDi und läuft standardmässig im Headless-Betrieb. Es eignet sich für:
- PDF-Generierung aus Webseiten
- Screenshot-basiertes Testing
- Single-Page-Application-Automation
- Performance-Monitoring
Selenium
Selenium ist das älteste und am weitesten verbreitete Framework. Es wird von AI-Agenten genutzt, um:
- Cross-Browser-Tests zu automatisieren
- Web-Scraping auf dynamischen Seiten durchzuführen
- Legacy-Web-Anwendungen zu automatisieren
Der ChatGPT-Agent von OpenAI: Der Web-Agent
OpenAIs Web-Agent erledigt Aufgaben im Browser autonom. Im Unterschied zu Claude Computer Use, das den gesamten Desktop steuern kann, liegt der Schwerpunkt auf Browser-Aufgaben. Zur Namensgebung: OpenAI startete diese Funktion im Januar 2025 als eigenständiges Produkt «Operator», stellte es am 31. August 2025 ein und führte die Fähigkeit danach innerhalb von ChatGPT weiter. Wer noch nach «Operator» sucht, findet kein aktuelles Produkt mehr.
Stand 10. September 2026: Auch der Nachfolger steht nicht mehr als eigene Funktion bereit. Der Hilfe-Artikel von OpenAI eröffnet mit dem Satz «ChatGPT agent is no longer available» und verweist auf ChatGPT Work sowie den Cloud Browser. Eine Einschränkung gehört zu diesem Beleg: Derselbe Artikel führt unterhalb dieses Satzes weiterhin Kontingente je Abonnement auf und nennt kein Abschaltdatum. Belegt ist damit der Wortlaut der Übersicht, nicht ein Zeitpunkt und nicht der Ausrollstand. Wer darauf eine Beschaffungsentscheidung stützt, prüft vorher selbst nach.
Fähigkeiten
- Navigation: Websites öffnen, durch Seiten navigieren, Links folgen
- Formular-Interaktion: Felder ausfüllen, Dropdowns wählen, Checkboxen setzen
- Daten-Extraktion: Informationen von Webseiten lesen und strukturiert zurückgeben
- Multi-Tab-Arbeit: Zwischen mehreren Tabs wechseln und Informationen kombinieren
- Aufgaben-Planung: Komplexe Aufgaben in Schritte zerlegen und sequenziell abarbeiten
Einschränkungen
Der Agent überlässt sicherheitskritische Aktionen dem Nutzer: Logins, Zahlungen und andere sensible Interaktionen erfordern manuelle Bestätigung. Das ist ein bewusst gesetztes Guardrail.
Praxisbeispiele für AI Automation
Formular-Ausfüllung in Behördenportalen
Schweizer Behörden bieten oft Webportale ohne API. Computer Use kann Formulare automatisch ausfüllen – von Handelsregister-Einträgen bis zu Bewilligungsanträgen. Der Agent liest die Daten aus dem CRM, navigiert zum Portal und füllt die Felder korrekt aus.
Intelligentes Web Scraping
Statt starre Scraping-Skripte zu schreiben, die bei jedem Website-Update brechen, versteht ein AI-Agent die semantische Struktur einer Seite. Er kann Produktdaten, Preise oder Kontaktinformationen extrahieren, auch wenn sich das Layout ändert.
Automatisiertes Testing
AI-gesteuerte Browser-Tests sind robuster als traditionelle UI-Tests. Statt auf exakte CSS-Selektoren zu setzen, versteht der Agent die Intention des Tests: "Prüfe, ob der Warenkorb den richtigen Preis anzeigt" funktioniert auch nach einem UI-Redesign.
Daten-Migration zwischen Systemen
Wenn ein altes ERP-System durch ein neues ersetzt wird, können Computer-Use-Agenten Daten vom alten System lesen und im neuen eingeben – ohne aufwändige Export/Import-Prozesse oder Datenbank-Migration.
Monitoring und Reporting
AI-Agenten können regelmässig Dashboards öffnen, Screenshots erstellen, KPIs extrahieren und automatisierte Reports generieren – auch wenn das Dashboard keine API für Datenexport bietet.
Computer Use vs API-basierte Automation
| Aspekt | Computer Use | API-basierte Automation |
|---|---|---|
| Geschwindigkeit | Langsamer (Screenshot-Zyklen) | Schnell (direkte Datenkommunikation) |
| Zuverlässigkeit | Gut, aber UI-Änderungen können Probleme verursachen | Sehr hoch (stabile Schnittstellen) |
| Kosten | Höher (LLM-Aufrufe pro Screenshot) | Niedriger (strukturierte Requests) |
| Universalität | Jede Software mit UI | Nur Software mit API |
| Setup-Aufwand | Gering (Aufgabe beschreiben) | Mittel (Integration konfigurieren) |
| Skalierbarkeit | Begrenzt (eine Session pro Agent) | Hoch (parallele API-Calls) |
| Fehlertoleranz | Flexibel (passt sich an Änderungen an) | Starr (bricht bei API-Änderungen) |
Wann Computer Use einsetzen
- Software hat keine API-Schnittstelle
- Legacy-Systeme müssen eingebunden werden
- Einmalige oder seltene Aufgaben (Setup-Aufwand für API-Integration lohnt nicht)
- Prototyping: Automation testen, bevor in API-Integration investiert wird
Wann API-basierte Automation bevorzugen
- Hohe Volumen (tausende Durchläufe pro Tag)
- Geschwindigkeitskritische Prozesse
- Stabile, gut dokumentierte APIs verfügbar
- Produktionsworkflows, die 24/7 zuverlässig laufen müssen
Sicherheit und Risiken: Guardrails für Computer Use Agents
Computer Use bringt einzigartige Sicherheitsherausforderungen mit sich. Ein Agent, der Maus und Tastatur kontrolliert, kann potenziell jede Aktion ausführen, die ein Mensch ausführen kann.
Vertiefen Sie Ihr Wissen:
Risiken
- Unbeabsichtigte Aktionen: Der Agent klickt auf den falschen Button oder löscht Daten
- Prompt Injection über UI: Manipulierte Webseiten könnten Anweisungen in der UI verstecken, die den Agent irreführen
- Credentials-Exposure: Der Agent könnte versehentlich Passwörter in falsche Felder eingeben
- Skalierung von Fehlern: Ein falsch konfigurierter Agent wiederholt den gleichen Fehler hundertfach
Guardrails und Best Practices
- Sandboxing: Computer Use Agents in isolierten Umgebungen (VMs, Container) ausführen
- Bestätigungspflicht: Kritische Aktionen (Löschen, Senden, Zahlungen) erfordern menschliche Bestätigung
- Aufgaben-Scope begrenzen: Der Agent erhält nur Zugriff auf die minimal nötigen Anwendungen
- Monitoring: Jede Aktion wird geloggt und kann nachvollzogen werden
- Rollback-Fähigkeit: Aktionen müssen rückgängig gemacht werden können
- Test-Umgebungen: Neue Workflows zuerst in Staging-Umgebungen testen
Zukunft: Jede Software wird AI-steuerbar
Computer Use markiert den Beginn einer neuen Ära der Automation. Die Entwicklung zeigt in eine klare Richtung:
Kurzfristig (2026-2027)
- Computer Use wird schneller und günstiger durch spezialisierte Modelle
- Browser Agents werden Standardfeature in AI-Assistenten
- Hybrid-Workflows: API-Automation + Computer Use in einem Workflow
Mittelfristig (2027-2029)
- Multi-Application-Agents: Ein Agent arbeitet gleichzeitig mit mehreren Anwendungen
- Selbstheilende Automation: Agents erkennen und beheben Fehler selbstständig
- Natürliche Sprache als universelles Interface: Jede Software wird über Sprache steuerbar
Langfristig (2030+)
- Jede Software wird de facto eine API haben – über Computer Use
- Die Grenze zwischen RPA, API-Automation und Computer Use verschwindet
- Autonome digitale Mitarbeitende arbeiten mit dem gleichen Software-Stack wie Menschen
FAQ: Häufig gestellte Fragen zu Computer Use und Browser Automation
- Ist Computer Use bereit für den produktiven Einsatz?
Computer Use ist 2026 technisch ausgereift genug für ausgewählte Produktionsszenarien, aber noch nicht für alle Anwendungsfälle. Einfache, wiederholbare Aufgaben (Formular-Ausfüllung, Daten-Extraktion, Testing) funktionieren zuverlässig. Komplexe, mehrstufige Prozesse mit vielen Entscheidungspunkten erfordern noch sorgfältiges Monitoring. Die Empfehlung: Starten Sie mit unkritischen Prozessen, bauen Sie Erfahrung auf und erweitern Sie schrittweise. Immer mit menschlichem Oversight und Rollback-Möglichkeit.
- Wie teuer ist Computer Use im Vergleich zu API-basierter Automation?
Computer Use ist pro Durchlauf teurer als API-basierte Automation. Jeder Screenshot-Analyse-Zyklus verbraucht LLM-Tokens (Anthropic nennt rund 1'000–1'800 Eingabe-Tokens je Screenshot), und eine typische Aufgabe erfordert 10-50 Zyklen. Eine einfache Formular-Ausfüllung kostet damit CHF 0.10-0.50 pro Durchlauf, während der gleiche Prozess über API praktisch kostenlos wäre. Der Vorteil von Computer Use liegt nicht im Preis, sondern in der Universalität: Es funktioniert mit Software, die keine API hat.
- Wie unterscheidet sich Computer Use von klassischem RPA?
Klassisches RPA (Robotic Process Automation) arbeitet mit starren Regeln und exakten Bildschirm-Koordinaten. Wenn sich ein Button um 10 Pixel verschiebt, bricht der RPA-Bot. Computer Use mit AI ist fundamental anders: Der Agent versteht den semantischen Inhalt des Bildschirms. Er sucht den "Speichern"-Button, egal wo er sich befindet oder wie er aussieht. Das macht Computer Use robuster gegenüber UI-Änderungen und reduziert den Wartungsaufwand erheblich.
- Kann Computer Use für die AI Automation Implementierung in Legacy-Systemen eingesetzt werden?
Ja, das ist einer der stärksten Anwendungsfälle. Viele Schweizer Unternehmen arbeiten mit Legacy-Systemen (alte ERP-Software, Branchenlösungen, Behörden-Portale), die keine APIs bieten. Computer Use ermöglicht die Automation dieser Systeme, ohne sie ersetzen zu müssen. Der Agent interagiert über die bestehende Benutzeroberfläche und kann Daten zwischen Legacy-Systemen und modernen Cloud-Tools übertragen.
- Wie schützt man einen Computer-Use-Agenten vor Prompt Injection?
Mit Isolation und einer Bestätigungsstufe, nicht mit besseren Anweisungen. Anthropic beschreibt das Problem ausdrücklich: «In some circumstances, Claude will follow commands found in content even when they conflict with your instructions.» Eine Webseite kann also Anweisungen enthalten, die der Agent für Ihre hält. Die Dokumentation empfiehlt vier Massnahmen: eine eigene virtuelle Maschine oder einen Container mit minimalen Rechten, keinen Zugriff auf Zugangsdaten, Internetzugang nur auf eine Positivliste von Domains, und eine menschliche Bestätigung vor Handlungen mit realer Folge — genannt werden Cookie-Banner, Zahlungen und die Zustimmung zu Nutzungsbedingungen. Anthropic gibt an, das Modell gegen solche Einschleusungen trainiert und zusätzlich Klassifikatoren vorgeschaltet zu haben. Verlassen sollte man sich darauf nicht: Die Massnahmen sind kumulativ gemeint, nicht alternativ.
Quellen
Die Angaben zu Claude Computer Use — Ablauf der «agent loop», Werkzeugumfang, unterstützte Modelle sowie die Sicherheits- und Prompt-Injection-Hinweise — stammen aus der Anbieterdokumentation (Anthropic — Computer use), abgerufen am 8. September 2026. Die Angaben zu Playwright folgen der Projektseite (playwright.dev), abgerufen am 8. September 2026, wörtlich «Playwright enables reliable web automation for testing, scripting, and AI agents». Das Abschaltdatum von OpenAI Operator (31. August 2025) und der Übergang in den ChatGPT-Agenten sind im Text als historische Einordnung gekennzeichnet.
Am 10. September 2026 ergänzt und an den Primärquellen geprüft: Der Werkzeug-Bezeichner computer_toolset_20260801, die Auflösungsempfehlungen (1024x768, 1280x720, 1280x800, 1366x768, keine Auflösung über 1920x1080), die Angabe von rund 1'000–1'800 Eingabe-Tokens je Screenshot (wörtlich «roughly 1,000–1,800 input tokens each») sowie der Hinweis auf den Einfluss der Modellwahl auf die Klickgenauigkeit stammen aus der Computer-Use-Dokumentation von Anthropic, abgerufen am 10. September 2026. Die frühere Adresse docs.claude.com antwortet auf diese Seite mit einer Weiterleitung auf platform.claude.com; zitiert ist das Ziel, nicht die Weiterleitung.
Die Aussage zum ChatGPT-Agenten («ChatGPT agent is no longer available») samt Verweis auf ChatGPT Work und den Cloud Browser steht im Hilfe-Artikel «ChatGPT agent» von OpenAI unter help.openai.com/en/articles/11752874-chatgpt-agent, abgerufen am 10. September 2026. Zur Einschränkung dieses Belegs siehe den Hinweis im Abschnitt selbst.
Die Browser-Abdeckung von Playwright (wörtlich «Playwright can run tests on Chromium, WebKit and Firefox browsers as well as branded browsers such as Google Chrome and Microsoft Edge») stammt aus playwright.dev/docs/browsers, die von Puppeteer (wörtlich «a high-level API to control Chrome or Firefox over the DevTools Protocol or WebDriver BiDi») aus pptr.dev, beide abgerufen am 10. September 2026.
Alle Franken- und Zeitangaben in diesem Artikel sind Richtwerte für typische Projektzuschnitte, keine Listenpreise eines Anbieters und keine Werte aus abgerechneten Projekten. Ausdrücklich ohne Quellenbeleg und als gerechnete Grössenordnung zu lesen sind die Spanne von 10-50 Zyklen je Aufgabe und die Angabe von CHF 0.10-0.50 je Formular-Ausfüllung; beide sind weder einer Studie noch einer Anbietermessung zugeordnet. Die Angaben zu Operator (Start Januar 2025, Einstellung 31. August 2025) stammen aus einer früheren Fassung dieses Artikels und wurden bei dieser Überarbeitung nicht erneut an der Primärquelle geprüft.
STAND DER FASSUNG
Modellstände, Werkzeugumfang und Sicherheitshinweise geprüft am 8. September 2026 an der Anbieterdokumentation; Werkzeug-Bezeichner, Token- und Auflösungsangaben, Browser-Abdeckung von Playwright und Puppeteer sowie der Stand des ChatGPT-Agenten am 10. September 2026 nachgezogen. Computer Use ist ein Feld mit hoher Änderungsrate: Modellnamen, Werkzeugversionen und unterstützte Plattformen ändern sich mehrmals jährlich. Vor der Übernahme einzelner Angaben lohnt der Blick in die verlinkte Primärquelle.
Quellen
- Quelle der Angaben zu Claude Computer Use: Anthropic — Computer use — abgerufen am 8. September 2026. Wörtlich: «The core of computer use is the ‹agent loop›: a cycle where Claude requests tool actions, your application runs them, and returns results to Claude.» Die Dokumentation warnt ausdrücklich: «Computer use has unique risks distinct from standard API features. These risks are heightened when interacting with the internet.»
