KI-Agenten sind Systeme, die nicht nur Texte oder Code vorschlagen, sondern eigenständig mehrere Arbeitsschritte hintereinander ausführen: Dateien lesen, Befehle absetzen, Änderungen einspielen. Genau diese Selbstständigkeit macht sie nützlich – und gleichzeitig riskant.

In der aktuellen Debatte rund um Sicherheitsvorfälle im KI-Umfeld, etwa den Hack bei Hugging Face, verschiebt sich der Fokus. Die Frage, ob ein Vorfall auf Nachlässigkeit oder auf eine neue Angriffsform zurückgeht, ist für die Praxis zweitrangig. Wichtiger ist eine andere: Wie wird ein Fehler korrigiert, bevor er Schaden anrichtet? Wer darauf keine Antwort hat, sollte einen Agenten gar nicht erst starten.

Warum klassische Qualitätssicherung nicht ausreicht

In herkömmlichen Abläufen ist der Mensch der Ausführende, und Prüfschritte wie Code-Review oder Freigaben setzen an klar definierten Punkten an. Ein Agent dagegen produziert viele kleine Schritte in kurzer Zeit. Wer jeden davon einzeln prüft, verliert den Geschwindigkeitsvorteil. Wer gar nicht prüft, bemerkt Fehler erst, wenn sie bereits wirksam geworden sind.

Die Antwort liegt deshalb nicht in mehr Kontrolle an sich, sondern in gezielter Kontrolle an den richtigen Stellen. Der Begriff Human in the Lead beschreibt genau das: Der Mensch führt und entscheidet über Richtung und Grenzen, statt jede einzelne Aktion abzunicken.

Vier Mechanismen, die ein Agenten-Setup braucht

  • Abgegrenzte Rechte: Ein Agent erhält nur Zugriff auf die Systeme, Daten und Umgebungen, die er für seine konkrete Aufgabe benötigt. Produktivsysteme und Zugangsdaten bleiben außen vor, solange es keinen zwingenden Grund gibt.
  • Definierte Freigabepunkte: Nicht jeder Schritt, aber jeder folgenreiche Schritt braucht eine menschliche Bestätigung. Dazu zählen Deployments, Löschvorgänge, externe Kommunikation und Änderungen an Konfigurationen.
  • Nachvollziehbare Protokolle: Jede Aktion muss im Nachhinein rekonstruierbar sein – was wurde wann von welchem Agenten mit welcher Begründung getan. Ohne diese Spur ist eine Korrektur Ratespiel.
  • Rücknahme als Standardfall: Änderungen müssen rückgängig gemacht werden können. Versionskontrolle, Backups und getrennte Umgebungen sind keine Zusatzfeatures, sondern die Voraussetzung dafür, dass ein Agent überhaupt arbeiten darf.

Die eigentliche Frage: Wie schnell wird korrigiert?

Projekte scheitern selten daran, dass ein System einen Fehler macht. Sie scheitern daran, dass der Fehler lange unentdeckt bleibt und sich fortpflanzt. Bei agentischen Systemen beschleunigt sich dieser Effekt, weil ein falscher Zwischenschritt die Grundlage für weitere Schritte bildet.

Vor dem Start eines Agenten-Setups lohnt sich deshalb ein nüchterner Durchgang durch wenige Fragen:

  1. Welche Aktionen kann der Agent ausführen, die sich nicht ohne Weiteres zurücknehmen lassen?
  2. Wer bemerkt einen Fehler – und nach wie vielen Schritten?
  3. Wie lange dauert es vom Erkennen bis zum Zurücksetzen?
  4. Welche Daten könnten bei einem Fehlverhalten nach außen gelangen?

Lässt sich eine dieser Fragen nicht beantworten, ist nicht der Agent das Problem, sondern die Umgebung, in der er laufen soll.

Sicherheit und Tempo sind kein Gegensatz

Eine verbreitete Annahme lautet, dass Kontrollmechanismen den Produktivitätsgewinn aufzehren. In der Praxis gilt eher das Gegenteil: Wer klare Grenzen setzt, kann einem Agenten innerhalb dieser Grenzen deutlich mehr Freiheit lassen. Eine isolierte Testumgebung mit automatisierten Tests erlaubt es, Vorschläge ohne Freigabe durchlaufen zu lassen – weil der Schaden im Fehlerfall begrenzt bleibt.

Umgekehrt zwingt ein Setup ohne Absicherung dazu, jeden Schritt manuell zu kontrollieren. Das kostet mehr Zeit, als es einspart, und führt in der Praxis häufig dazu, dass Prüfungen irgendwann routiniert durchgewinkt werden.

Organisatorische Voraussetzungen

Technik allein genügt nicht. Es braucht eine benannte Verantwortung dafür, welche Agenten mit welchen Rechten im Einsatz sind. Es braucht eine Regel, wann ein Agent abgeschaltet wird, und jemanden, der sie anwenden darf. Und es braucht die Bereitschaft, Vorfälle auszuwerten, statt sie als Einzelfälle abzulegen.

Gerade im Mittelstand entstehen Agenten-Setups oft ungeplant: Ein Team probiert ein Werkzeug aus, es funktioniert, und nach einigen Wochen hängt ein produktiver Prozess daran. Dieser Weg ist nicht grundsätzlich falsch, aber er braucht einen Punkt, an dem aus dem Experiment ein dokumentierter Betrieb wird.

Einordnung für Web- und Softwareprojekte

Für Web- und Softwareprojekte verschiebt sich die zentrale Planungsfrage: Nicht mehr allein, welche Aufgaben ein Agent übernehmen kann, sondern welche Rückfallebenen vorhanden sind, wenn er sie falsch löst. Projekte, die ohnehin über Versionskontrolle, getrennte Umgebungen und automatisierte Tests verfügen, können agentische Werkzeuge mit vergleichsweise geringem Zusatzaufwand einführen. Wo diese Grundlagen fehlen, ist deren Aufbau der sinnvollere erste Schritt – er zahlt unabhängig von jeder KI-Entscheidung auf die Projektqualität ein.

Quellen