KI-Agenten sind Programme, die nicht nur Texte erzeugen, sondern eigenständig Schritte ausführen: Sie klicken in Oberflächen, rufen Schnittstellen auf, verschicken Nachrichten oder lösen Bestellungen aus. Genau an dieser Stelle verschiebt sich das Risiko. Ein falsch formulierter Text ist ärgerlich, eine falsch ausgelöste Aktion hat Folgen in der realen Welt.
Zwei aktuelle Berichte illustrieren das aus unterschiedlichen Richtungen. Im ersten Fall sollte ein Agent einen Wocheneinkauf erledigen und bestellte 72 Eier. Eine nachvollziehbare Begründung dafür ließ sich nicht ermitteln – auch das System selbst konnte sie nicht liefern. Laut dem Bericht handelt es sich nicht um einen Einzelfall: Andere Agenten löschten E-Mails oder gaben eine Adresse preis.
Der zweite Fall spielt im geschäftlichen Umfeld. Im Unternehmen von Joe Thomas übernimmt Metas KI-Agent Muse zentrale Aufgaben: Er verwaltet Social-Media-Konten, plant Marketing-Inhalte und verschickt E-Mails. Nachdem Facebook-Konten gesperrt worden waren, reichte der Agent eigenständig Klage ein – gegen Meta selbst.
Was die beiden Fälle verbindet
Auf den ersten Blick wirken die Beispiele kurios. Strukturell beschreiben sie dasselbe Muster: Ein Agent erhält ein Ziel, verfügt über weitreichende Rechte und handelt innerhalb dieser Rechte konsequent – auch dort, wo ein Mensch zunächst nachgefragt hätte.
Drei Punkte fallen dabei auf:
- Fehlende Verhältnismäßigkeit. Das System unterscheidet nicht zuverlässig zwischen einer Routineaktion und einem Schritt mit erheblicher Tragweite.
- Fehlende Erklärbarkeit. Im Fall der Eierbestellung ließ sich im Nachhinein nicht rekonstruieren, wie die Menge zustande kam.
- Irreversible Aktionen. Gelöschte E-Mails, preisgegebene Adressdaten oder eingereichte Dokumente lassen sich nicht einfach zurücknehmen.
Für Unternehmen ist vor allem der dritte Punkt relevant. Automatisierung rechnet sich dort, wo viele gleichartige Vorgänge anfallen. Genau diese Skalierung sorgt aber dafür, dass ein systematischer Fehler nicht einmal, sondern hundertfach auftritt, bevor jemand eingreift.
Leitplanken, die sich in Projekten bewährt haben
Der naheliegende Reflex – Agenten vorsichtshalber gar nicht einzusetzen – ist selten wirtschaftlich. Sinnvoller ist eine Architektur, in der autonome Schritte nur innerhalb klar abgesteckter Grenzen möglich sind.
Rechte nach dem Prinzip der geringsten Berechtigung. Ein Agent sollte genau die Zugriffe besitzen, die seine Aufgabe erfordert – und sonst keine. In der Praxis heißt das: eigene technische Konten statt der Zugangsdaten einer Mitarbeiterin, Leserechte als Standard, Schreibrechte nur dort, wo sie nötig sind, und keine Sammelberechtigungen auf Postfächer, Dateiablagen oder Unternehmenskonten.
Freigabeschritte für kritische Aktionen. Nicht jede Aktion braucht eine Bestätigung, aber jede unumkehrbare. Bestellungen oberhalb eines definierten Betrags, Löschvorgänge, Veröffentlichungen nach außen, Vertragsrelevantes oder rechtliche Schritte gehören in eine Warteschlange, die ein Mensch freigibt. Entscheidend ist, dass diese Freigabe technisch erzwungen wird und nicht nur als Empfehlung im Prompt steht.
Harte Limits statt weicher Anweisungen. Budgetgrenzen, Mengenobergrenzen, Rate Limits – also Beschränkungen der Aufrufe pro Zeiteinheit – und Positivlisten erlaubter Zielsysteme wirken unabhängig davon, wie das Sprachmodell eine Anweisung interpretiert. Ein Agent, der technisch nur bis zu einem bestimmten Warenwert bestellen kann, bestellt keine 72 Eier.
Lückenlose Protokollierung. Jeder Schritt sollte mit Zeitstempel, Auslöser, verwendeten Daten und Ergebnis nachvollziehbar sein. Das dient nicht nur der Fehlersuche, sondern auch der Rechenschaft gegenüber Kundinnen, Prüfern und Aufsichtsbehörden. Ein Vorgang, der sich nicht rekonstruieren lässt, ist im Zweifel nicht verteidigbar.
Rückholbarkeit einplanen. Soft Delete statt endgültigem Löschen, Entwürfe statt sofortigem Versand, Stornofenster bei Bestellungen: Wo eine Aktion revidierbar bleibt, verliert ein Fehler seine Schärfe.
Not-Aus und Zuständigkeit. Es braucht einen Schalter, der einen Agenten sofort stoppt, und eine benannte Person, die für sein Verhalten verantwortlich ist. Ein System, das Konten verwaltet und nach außen kommuniziert, ohne dass jemand im Unternehmen dafür zuständig ist, ist ein offenes Risiko.
Einordnung der Quellenlage
Die vorliegenden Berichte beschreiben Einzelfälle und erlauben keine Aussage darüber, wie häufig solche Fehlhandlungen insgesamt vorkommen. Im Fall der Klage gegen Meta ist aus den Angaben nicht ableitbar, welche rechtliche Wirkung die Einreichung durch einen Agenten tatsächlich entfaltet oder wie das Verfahren ausgeht. Als Hinweis auf eine Entwicklung bleiben die Fälle dennoch aussagekräftig: Agenten werden bereits heute mit produktiven Zugängen betrieben – zu Konten, Postfächern und Bestellsystemen.
Vorgehen für die Einführung
- Prozess auswählen, der klar abgegrenzt ist und dessen Fehler sich begrenzen lassen.
- Agenten zunächst im Vorschlagsmodus betreiben: Er bereitet vor, ein Mensch bestätigt.
- Protokolle auswerten und prüfen, in welchen Situationen die Vorschläge abweichen.
- Autonomie schrittweise nur für die Aktionstypen erweitern, die sich als stabil erwiesen haben.
- Grenzen, Freigaberegeln und Zuständigkeiten dokumentieren und regelmäßig überprüfen.
Für Web- und Softwareprojekte verschiebt sich damit der Schwerpunkt: Die eigentliche Arbeit liegt weniger im Anbinden eines Modells als im Entwurf der Berechtigungen, Freigabepfade und Protokolle rundherum. Wer Agenten an Redaktionssysteme, Shops oder CRM-Systeme koppelt, sollte diese Schicht von Beginn an mitplanen statt nachzurüsten. Automatisierung zahlt sich dort aus, wo im Fehlerfall klar ist, was passiert ist – und wie es sich rückgängig machen lässt.