KI-Agenten – also Systeme, die auf Basis eines Sprachmodells eigenständig Aufgaben planen und ausführen – sind längst kein Laborthema mehr. Sie beantworten Kundenanfragen, durchsuchen Dokumente, erzeugen Code oder stoßen Prozesse in angebundenen Systemen an. Mit dieser Verbreitung wächst das Interesse jener, die solche Systeme missbrauchen wollen.
Sicherheitsforscherinnen und Sicherheitsforscher haben untersucht, wie Betrügerinnen und Betrüger KI-Agenten bei Angriffen einsetzen. Ein Ergebnis ist bemerkenswert nüchtern: Trotz moderner Technik bleibt der menschliche Faktor hinter den Methoden erkennbar. Die Werkzeuge ändern sich, die Muster dahinter weniger.
Warum das für Unternehmen relevant ist
Für Entscheiderinnen und Entscheider ist diese Beobachtung wichtiger, als sie zunächst klingt. Wenn Angriffsmethoden weiterhin menschliche Handschrift tragen, lassen sich Schutzkonzepte nicht allein auf technische Filter stützen. Es geht ebenso um Organisation, Verantwortlichkeiten und Prozesse.
Gleichzeitig verschiebt sich die Angriffsfläche. Ein klassisches Webprojekt hat klar umrissene Eingabepunkte: Formulare, Schnittstellen, Uploads. Ein Agent dagegen verarbeitet Texte aus sehr unterschiedlichen Quellen – E-Mails, Tickets, Webseiten, Dateien – und kann daraus Handlungen ableiten. Jede dieser Quellen ist potenziell eine Eingabe, die das Verhalten des Systems beeinflusst.
Prompt-basierte Angriffe verständlich gemacht
Unter einem Prompt versteht man die Anweisung, mit der ein Sprachmodell gesteuert wird. Prompt-basierte Angriffe zielen darauf, genau diese Steuerung zu übernehmen: Ein Text, den der Agent im Rahmen seiner Arbeit liest, enthält Anweisungen, die er als legitime Aufgabe interpretiert.
Das Problem liegt in der Architektur vieler Systeme: Daten und Anweisungen landen im selben Textkanal. Ein Modell unterscheidet nicht zuverlässig zwischen "das ist Inhalt, den ich zusammenfassen soll" und "das ist ein Befehl, dem ich folgen soll". Je mehr Rechte ein Agent in angebundenen Systemen besitzt, desto größer ist der mögliche Schaden.
Hinzu kommt: Sobald mehrere Modelle oder Agenten zusammenarbeiten, steigt die Komplexität. Ausgaben des einen Systems werden zu Eingaben des nächsten. Fehlerhafte oder manipulierte Inhalte können sich dadurch durch eine Prozesskette ziehen, ohne dass an einer einzelnen Stelle etwas offensichtlich falsch aussieht.
Leitplanken statt Vertrauensvorschuss
Wer Agenten produktiv einsetzt, sollte sie wie jede andere ausführende Komponente behandeln – mit definierten Rechten, Protokollierung und Prüfpunkten. Bewährt hat sich ein Vorgehen, das Technik und Organisation verbindet:
- Rechte minimieren: Ein Agent erhält nur Zugriff auf die Systeme und Datensätze, die er für seine konkrete Aufgabe tatsächlich benötigt.
- Kritische Aktionen absichern: Schreibende oder irreversible Vorgänge – Zahlungen, Löschungen, Veröffentlichungen, Rechteänderungen – laufen über eine menschliche Freigabe.
- Eingaben als unsicher behandeln: Externe Inhalte sind Daten, keine Befehle. Diese Trennung muss im Systemdesign abgebildet sein, nicht nur in der Prompt-Formulierung.
- Nachvollziehbarkeit herstellen: Welche Eingaben hat der Agent verarbeitet, welche Entscheidung folgte daraus, welches Werkzeug hat er aufgerufen? Ohne Protokoll ist eine spätere Analyse kaum möglich.
- Grenzen testen: Agentenverhalten gehört systematisch geprüft, auch mit bewusst manipulierten Eingaben, bevor das System produktiv geht.
Der menschliche Faktor bleibt
Die Beobachtung, dass hinter den Angriffen weiterhin menschliche Muster stehen, verweist auf einen zweiten Hebel: Awareness. Mitarbeitende, die mit KI-gestützten Werkzeugen arbeiten, sollten verstehen, dass eine plausibel formulierte Ausgabe kein Qualitätsnachweis ist. Ein Agent kann überzeugend klingen und dennoch einer fremden Anweisung folgen.
Praktisch heißt das: klare Regeln, wann ein Ergebnis gegengeprüft wird, welche Daten überhaupt in ein KI-System gelangen dürfen und an wen ungewöhnliches Systemverhalten gemeldet wird. Diese Regeln gehören dokumentiert, nicht mündlich weitergegeben.
Einordnung für Web- und Softwareprojekte
Für Web- und Softwareprojekte verschiebt sich damit ein Teil der Sicherheitsarbeit von der klassischen Eingabevalidierung hin zum Design der Agentenlogik: Welche Rechte, welche Datenquellen, welche Freigabepunkte. Wer KI-Funktionen in ein CMS, einen Kundenprozess oder eine Entwicklungsumgebung integriert, sollte diese Fragen vor der ersten produktiven Nutzung beantworten – nicht nachträglich. Ein Agent mit eng gefassten Rechten und sauberer Protokollierung bleibt beherrschbar; ein Agent mit weiten Rechten und ohne Prüfpunkte wird zum Risiko, das sich im Ernstfall schwer rekonstruieren lässt.
