Anthropic hat intern getestet, was passiert, wenn ein KI-Agent nicht punktuell zur Hilfe gerufen wird, sondern die tägliche Wartung einer Codebasis dauerhaft übernimmt. Claude Code, das agentische Kommandozeilen-Werkzeug des Unternehmens, arbeitet dabei an den eigenen Apps: angestoßen per Slack-Befehl, mit Aufgaben von Crash-Fuzzing bis Dead-Code-Removal.
Crash-Fuzzing bezeichnet das automatisierte Beschicken einer Anwendung mit unerwarteten Eingaben, um Abstürze zu provozieren und so Fehler zu finden. Dead-Code-Removal meint das Entfernen von Programmcode, der nicht mehr aufgerufen wird und die Wartung nur noch erschwert. Beides sind Arbeiten, die in der Praxis oft liegen bleiben, weil sie kein Feature liefern und keinen Kunden sichtbar glücklich machen.
Die Zahlen: 388 Pull-Requests, knapp die Hälfte übernommen
In wenigen Wochen erstellte der Agent 388 Pull-Requests – also Änderungsvorschläge, die vor dem Zusammenführen in die Hauptcodebasis geprüft werden. 46 Prozent davon wurden nach menschlicher Prüfung übernommen. Boris Cherny, der Erfinder von Claude Code, spricht von einem "frühen Lebenszeichen" für autonome Software-Wartung.
Diese Formulierung ist bemerkenswert zurückhaltend, und sie passt zu den Zahlen. Eine Übernahmequote von 46 Prozent bedeutet umgekehrt: Mehr als die Hälfte der Vorschläge war nicht gut genug, nicht relevant oder falsch. Wer diesen Wert als Enttäuschung liest, legt allerdings den falschen Maßstab an. Entscheidend ist nicht, ob ein Agent fehlerfrei arbeitet, sondern ob der Aufwand für Review und Verwerfen kleiner ist als der Nutzen der übernommenen Änderungen.
Genau darin liegt die eigentliche Aussage des Experiments: Ein KI-Agent, der ohne zusätzliche Personalkosten kontinuierlich Wartungsarbeiten vorschlägt, verschiebt die Wirtschaftlichkeitsrechnung. Aufgaben, für die sich vorher niemand einen halben Tag freischaufeln wollte, werden plötzlich bearbeitbar – solange jemand die Ergebnisse prüft.
Der Gegenpol: Studie sieht autonome Forschung in weiter Ferne
Am selben Tag wurde eine Studie bekannt, die den Autonomie-Erwartungen von Anthropic und OpenAI deutlich widerspricht. KI-Agenten auf Basis von Claude Opus 4.8 und GPT-5.6 Sol erhielten sechs Tage Zeit, 3.000 Dollar Budget und Zugang zu GPUs, um eigenständig KI-Forschungspapiere zu verfassen. Bewertet wurden die Ergebnisse von den Originalautoren unveröffentlichter NeurIPS-Papers – der Konferenz, die als eine der wichtigsten Adressen im Feld gilt. Das Urteil: "Reject".
An der Untersuchung waren unter anderem Princeton und das UK AI Security Institute beteiligt. Ihr Befund ist differenzierter als das Gesamturteil vermuten lässt: Die Frontier-Modelle meistern das komplette Research-Engineering, also die handwerkliche Umsetzung – Code schreiben, Experimente aufsetzen, Ergebnisse auswerten. Sie scheitern an drei anderen Dingen: am Forschungsurteil, also der Einschätzung, welche Frage überhaupt lohnend ist; an kreativer Problemlösung; und an der Fähigkeit, gescheiterte Ansätze aufzugeben und einen neuen Weg zu wählen.
Beide Befunde ergänzen sich
Auf den ersten Blick widersprechen sich die zwei Meldungen. Tatsächlich beschreiben sie dieselbe Grenzlinie von zwei Seiten. Wo die Aufgabe klar umrissen ist, ein Erfolgskriterium existiert und die Umsetzung handwerklich ist, liefern Agenten brauchbare Ergebnisse – Crash-Fuzzing und Dead-Code-Removal sind genau solche Aufgaben. Wo Urteilsvermögen gefordert ist, wo entschieden werden muss, was wichtig ist und wann ein Ansatz aufgegeben werden sollte, bleibt der Mensch unverzichtbar.
Für die Softwarepflege lässt sich daraus eine praktikable Aufteilung ableiten:
- Gut geeignet für Agenten: Aufgaben mit maschinell prüfbarem Ergebnis – Testabdeckung erhöhen, tote Codepfade entfernen, veraltete Abhängigkeiten aktualisieren, wiederkehrende Fehlermuster aufspüren.
- Weiterhin menschlich: Architekturentscheidungen, Priorisierung, die Frage, ob ein Problem überhaupt gelöst werden soll, und das Erkennen, wann ein eingeschlagener Weg nicht funktioniert.
- Der Engpass: Review-Kapazität. Bei einer Übernahmequote unter 50 Prozent entsteht Prüfaufwand, der eingeplant werden muss.
Was das für die Projektorganisation heißt
Wer Agenten in die Wartung einbindet, verlagert Arbeit – er lässt sie nicht verschwinden. Aus "Code schreiben" wird "Änderungsvorschläge bewerten". Das ist für viele Teams die angenehmere Tätigkeit, verlangt aber Disziplin: Ohne verbindliche Review-Regeln, automatisierte Tests und eine klare Definition dessen, was ein Agent selbst zusammenführen darf und was nicht, entsteht schnell ein Rückstau ungeprüfter Pull-Requests.
Bemerkenswert ist auch der Zugriffsweg über Slack. Nicht das Modell allein macht den Unterschied, sondern die Einbettung in bestehende Arbeitsabläufe: Der Agent sitzt dort, wo das Team ohnehin kommuniziert, und wird aus dem laufenden Betrieb angestoßen.
Ein Hinweis zur Einordnung: Anthropic berichtet hier über den Einsatz eines eigenen Produkts an eigenem Code. Die Bedingungen sind günstiger als in einem durchschnittlichen Kundenprojekt – vertraute Codebasis, hohe Testabdeckung, erfahrene Reviewer. Die Zahlen sind ein Signal, kein übertragbarer Benchmark.
Für Web- und Softwareprojekte heißt das: Autonome Wartungsagenten sind heute ein realistischer Weg, technische Schulden abzubauen, die sonst liegen bleiben – vorausgesetzt, Testabdeckung und Review-Prozess sind belastbar. Der Nutzen entsteht nicht durch das Weglassen menschlicher Prüfung, sondern dadurch, dass Prüfen weniger Zeit kostet als Selbstschreiben. Und die Entscheidung, welche Aufgaben überhaupt angepackt werden, bleibt vorerst eine menschliche.