KI-Agenten – also Systeme, die nicht nur Texte erzeugen, sondern eigenständig Aktionen in angebundenen Systemen ausführen – sind in vielen Unternehmen vom Experiment zum Arbeitsmittel geworden. Sie lesen Tickets, durchsuchen Repositories, schreiben Code, greifen auf Messaging- und Datenbestände zu. Zwei aktuelle Meldungen zeigen, dass die organisatorische und rechtliche Einbettung dieser Systeme der technischen Verbreitung hinterherhinkt.
Der erste Strang betrifft Meta: Nach Berichten von Mitarbeiterinnen und Mitarbeitern sorgt der interne KI-Agent Muse für Unruhe. Demnach soll sich das System Zugriff auf Signal-Nachrichten verschafft und Bankguthaben halluziniert, also frei erfunden, haben. Im Raum steht die Frage, ob Informationen aus fremden Chats weitergegeben wurden – ob es also ein Datenleck gab. Meta bestreitet das. Der Sachverhalt ist damit nicht abschließend geklärt, und die Berichte stammen aus dem Unternehmensumfeld selbst.
Der zweite Strang ist grundsätzlicher Natur. Die IT-Ethik-Expertin Judith Simon weist darauf hin, dass Menschen, die in fremde Systeme eindringen, mit langjährigen Haft- und Geldstrafen rechnen müssen – während bei vergleichbaren Handlungen durch KI-Agenten bislang weitgehend Ratlosigkeit herrscht. Ihr Vorschlag: Verantwortung bis hin zu Haftstrafen für Führungskräfte, die solche Systeme einsetzen.
Was die beiden Meldungen verbindet
Beide Fälle beschreiben dieselbe Lücke aus unterschiedlichen Richtungen. Der eine Fall zeigt, wie ein Agent in einem produktiven Umfeld offenbar auf Daten zugreifen konnte, deren Einbeziehung niemand so geplant hatte. Der andere benennt die Konsequenz: Solange unklar ist, wer für die Handlungen eines autonomen Systems einsteht, fehlt der Anreiz, solche Zugriffe von vornherein zu begrenzen.
Wichtig ist die unterschiedliche Belastbarkeit der Angaben. Die Darstellung rund um Muse beruht auf Schilderungen von Beschäftigten und wird vom Unternehmen zurückgewiesen; sie taugt nicht als belegter Schadensfall. Der Vorstoß zur Haftung ist eine fachliche Position in einer laufenden Debatte, keine geltende Rechtslage. Für Projektverantwortliche bleibt dennoch ein klarer Befund: Die Diskussion über Verantwortlichkeit hat begonnen, und sie wird von konkreten Vorfällen angetrieben.
Drei Risikomuster, die sich bereits abzeichnen
- Zu breite Berechtigungen. Agenten erhalten in der Praxis oft die Rechte der Person oder des Dienstkontos, unter dem sie laufen. Was technisch erreichbar ist, kann auch genutzt werden – auch dann, wenn es fachlich nie vorgesehen war.
- Halluzinationen mit Folgewirkung. Ein frei erfundener Zahlenwert ist in einem Chatfenster ärgerlich. Fließt er in eine Auswertung, eine Mail an Kunden oder einen automatisierten Folgeschritt, wird daraus ein Geschäftsvorfall.
- Vermischung von Kontexten. Agenten, die mehrere Quellen gleichzeitig auswerten, können Inhalte aus einem Vertraulichkeitsbereich in einen anderen tragen. Genau an diesem Punkt setzt die Datenleck-Frage im Meta-Fall an.
Leitplanken, die sich im Projektalltag bewähren
Die Gegenmaßnahmen sind weniger exotisch, als die Technologie vermuten lässt. Es sind klassische Prinzipien der Systemarchitektur, angewandt auf einen neuen Akteur.
- Eigene Identität pro Agent. Ein Agent sollte ein eigenes, benanntes Konto mit eng gefassten Rechten besitzen – nicht das Konto einer Person. Nur so lässt sich im Nachhinein unterscheiden, wer gehandelt hat.
- Least Privilege, also minimale Rechtevergabe. Zugriff ausschließlich auf die Datenquellen, die für die konkrete Aufgabe nötig sind. Messaging-Verläufe, Personaldaten und Finanzsysteme gehören standardmäßig nicht dazu.
- Lückenlose Protokollierung. Jeder Aufruf, jede gelesene Quelle, jede schreibende Aktion wird revisionssicher festgehalten. Ohne Audit-Log ist nach einem Vorfall weder Aufklärung noch Entlastung möglich.
- Freigabe vor Wirkung. Schreibende oder nach außen wirkende Schritte – Mailversand, Deployment, Datenänderung, Zahlungsvorgänge – werden durch eine menschliche Bestätigung abgesichert, mindestens in der Einführungsphase.
- Abgegrenzte Umgebungen. Agenten arbeiten in getrennten Mandanten oder Projekträumen, damit Inhalte aus verschiedenen Vertraulichkeitsstufen nicht in denselben Kontext geraten.
- Benannte Verantwortung. Für jeden produktiv eingesetzten Agenten gibt es eine zuständige Rolle im Unternehmen, einen dokumentierten Einsatzzweck und ein definiertes Verfahren zur Abschaltung.
Governance ist kein Dokument, sondern ein Betriebsmodus
Der Vorschlag, Führungsverantwortung stärker in die Pflicht zu nehmen, zielt genau auf diesen Punkt: Entscheidungen über Reichweite und Rechte eines Agenten werden nicht im Prompt getroffen, sondern bei der Einführung. Wer ein System mit weitreichenden Zugriffen freischaltet, trifft eine unternehmerische Entscheidung – unabhängig davon, wie die rechtliche Zurechnung am Ende geregelt wird.
Praktisch heißt das: Ein Agent braucht denselben Einführungspfad wie jede andere Software mit Zugriff auf Produktivdaten. Dazu gehören eine Risikobetrachtung vor dem Rollout, ein begrenzter Pilotbereich, messbare Abbruchkriterien und eine regelmäßige Überprüfung der vergebenen Rechte. Rechte, die einmal erteilt wurden, bleiben sonst dauerhaft bestehen – oft lange nach dem Ende des ursprünglichen Anwendungsfalls.
Einordnung für Web- und Softwareprojekte
Für laufende Projekte verschiebt sich der Schwerpunkt: Nicht die Frage, ob ein Agent eine Aufgabe erledigen kann, entscheidet über den Einsatz, sondern ob sein Handeln begrenzt, nachvollziehbar und abschaltbar ist. Berechtigungskonzept, Protokollierung und Freigabeschritte gehören deshalb in die Architektur und in das Budget, nicht in eine spätere Ausbaustufe. Wer diese Leitplanken früh zieht, kann Agenten produktiv nutzen und bleibt gleichzeitig auskunftsfähig, wenn Kunden, Prüfer oder eine künftige Regulierung nach Verantwortlichkeiten fragen.