KI-Agenten sollen Aufgaben nicht nur beantworten, sondern eigenständig ausführen: Daten abrufen, Systeme ansteuern, Zwischenschritte planen, Ergebnisse weiterreichen. Genau diese Selbstständigkeit rückt nun in den Blick von Aufsichtsbehörden. Nach aktuellen Berichten fordern sowohl die EU als auch US-Behörden eine Echtzeit-Überwachung der Aktivitäten von KI-Agenten. Das Problem dabei: Die gängigen Agenten-Frameworks – also die Softwarebaukästen, mit denen solche Agenten gebaut werden – liefern die dafür nötigen Daten nicht.

Für Unternehmen entsteht damit eine Lücke zwischen Anspruch und Technik. Wer einen Agenten in einen Geschäftsprozess einbaut, kann in vielen Fällen im Nachhinein nicht lückenlos belegen, welche Entscheidung auf welcher Grundlage getroffen wurde, welche Systeme der Agent angesprochen hat und an welcher Stelle er von der erwarteten Route abgewichen ist.

Warum Protokolldaten bei Agenten anders aussehen

Bei klassischer Software ist Nachvollziehbarkeit vergleichsweise einfach: Eingabe, Verarbeitungslogik, Ausgabe. Bei einem Agenten liegt dazwischen eine Kette aus Modellaufrufen, Werkzeugzugriffen und Zwischenentscheidungen, die sich von Durchlauf zu Durchlauf unterscheiden kann. Ein Protokoll, das nur das Endergebnis festhält, reicht hier nicht aus.

Nachvollziehbar wird ein Agentenlauf erst, wenn mehrere Ebenen mitgeschrieben werden:

  • welche Aufgabe gestellt wurde und welcher Kontext dem Agenten zur Verfügung stand,
  • welche Werkzeuge und Schnittstellen er aufgerufen hat, mit welchen Parametern,
  • welche Zwischenergebnisse zu welchem nächsten Schritt geführt haben,
  • wo Abbrüche, Wiederholungen oder Rückfragen stattgefunden haben,
  • welche Person oder welches System den Lauf ausgelöst und freigegeben hat.

Fehlt eine dieser Ebenen, lässt sich im Zweifel weder ein Fehler analysieren noch eine Prüfanfrage beantworten.

Ein Experiment als Anschauungsmaterial

Wie unübersichtlich das Verhalten mehrerer zusammenarbeitender Agenten werden kann, zeigt ein Versuch, über den ebenfalls aktuell berichtet wird: KI-Agenten sollten in Minecraft gemeinsam eine Zivilisation aufbauen – und verloren sich dabei in Bürokratie. Statt die eigentliche Aufgabe voranzutreiben, beschäftigten sich die Agenten mit sich selbst.

Der Versuch ist kein Beleg für Verhalten in produktiven Unternehmenssystemen, und die Spielumgebung ist mit einem Geschäftsprozess nicht vergleichbar. Als Anschauung taugt er trotzdem: Mehrere Agenten, die einander beauftragen und abstimmen, erzeugen Eigendynamik. Ohne Protokolle, die diese Abstimmung sichtbar machen, bemerkt niemand, dass Aufwand entsteht, ohne dass Ergebnis entsteht.

Konsequenzen für die Projektplanung

Die naheliegende Reaktion lautet, Überwachung später nachzurüsten. Das ist bei Agenten schwierig, weil die relevanten Informationen im Moment der Ausführung entstehen und danach nicht rekonstruierbar sind. Was nicht mitgeschrieben wurde, existiert nicht.

Praktisch heißt das, Beobachtbarkeit als Anforderung in die Architektur zu schreiben, nicht in die Betriebsphase:

  1. Protokollierung definieren, bevor der erste Agent läuft. Welche Ereignisse werden erfasst, in welchem Format, wie lange aufbewahrt?
  2. Eigene Protokollschicht einziehen. Wenn das Framework die Daten nicht liefert, muss die Anwendung sie an den Aufrufpunkten selbst erzeugen – idealerweise unabhängig vom verwendeten Framework, damit ein Wechsel möglich bleibt.
  3. Berechtigungen begrenzen. Je weniger Systeme ein Agent erreichen kann, desto überschaubarer ist der Raum, der überwacht werden muss.
  4. Freigabepunkte einbauen. Schritte mit Außenwirkung – Zahlungen, Vertragsdokumente, Kundenkommunikation – sollten eine menschliche Bestätigung verlangen.
  5. Datenschutz mitdenken. Ausführliche Protokolle enthalten häufig personenbezogene Daten; Zweck, Zugriff und Löschfristen gehören festgelegt.

Was offen bleibt

Die vorliegenden Meldungen nennen weder konkrete Fristen noch technische Mindestanforderungen für die geforderte Echtzeit-Überwachung. Welche Nachweise im Einzelfall genügen und wie granular protokolliert werden muss, lässt sich daraus nicht ableiten. Unternehmen sollten die Entwicklung daher beobachten, statt auf eine bestimmte Auslegung zu setzen.

Verlässlich ist die Richtung: Die Erwartung an Nachvollziehbarkeit steigt, während die eingesetzten Werkzeuge noch hinterherhinken. Diese Lücke schließt kein Hersteller kurzfristig für alle Beteiligten.

Einordnung für Web- und Softwareprojekte

Für Projekte, die Agenten in Portale, Redaktionssysteme oder interne Abläufe integrieren, wird Protokollierung zu einem funktionalen Baustein mit eigenem Aufwand und eigenem Budget – nicht zu einem Nebenprodukt des Betriebs. Wer Logging, Freigabepunkte und begrenzte Berechtigungen von Beginn an einplant, bleibt gegenüber künftigen Anforderungen handlungsfähig und kann Fehlverhalten überhaupt erst erkennen. Sinnvoll ist deshalb ein eng abgegrenzter erster Anwendungsfall, an dem sich die Nachvollziehbarkeit praktisch erproben lässt, bevor Agenten breiter eingesetzt werden.

Quellen