Sprachmodelle erzeugen Texte, die plausibel klingen. Das ist ihre Stärke und zugleich ihr größtes Risiko: Ein Ergebnis kann sprachlich einwandfrei und inhaltlich frei erfunden sein. In der Fachsprache heißt dieses Verhalten Halluzination – das Modell füllt Lücken mit erfundenen, aber überzeugend formulierten Angaben, statt Unwissen einzugestehen.

Ein aktueller Gerichtsfall führt vor, wohin das ohne Kontrolle führt. Dort stützten sich beide Parteien auf Schriftsätze, in denen Urteile zitiert wurden, die es nicht gibt. Die beteiligten Anwälte wurden dafür sanktioniert. Der Zeitgewinn, den die Werkzeuge beim Verfassen der Dokumente gebracht hatten, verwandelte sich in einen Reputations- und Haftungsschaden.

Warum das nicht nur Juristen betrifft

Der Mechanismus ist übertragbar. Wer KI-Systeme in Projekt- und Content-Workflows einsetzt, erzeugt an vielen Stellen Inhalte, die auf den ersten Blick fertig aussehen:

  • Code: Generierte Funktionen rufen Methoden auf, die es in der eingesetzten Bibliotheksversion nicht gibt, oder folgen Mustern, die in einem anderen Framework korrekt wären.
  • Technische Dokumentation: Konfigurationsparameter, Pfade oder Kommandos werden erfunden, weil sie zum Stil der echten Dokumentation passen.
  • Redaktionelle Inhalte: Zahlen, Studien, Normen oder Referenzkunden erscheinen im Text, ohne dass es sie gibt.
  • Rechtliche und regulatorische Aussagen: Fristen, Paragrafen oder Pflichten werden zusammengefasst, ohne dass geprüft wurde, ob die Quelle existiert und aktuell ist.

Der Unterschied zum menschlichen Fehler liegt in der Fehlerkultur der Oberfläche. Ein überforderter Mitarbeiter formuliert unsicher, lässt Lücken oder fragt nach. Ein Sprachmodell liefert auch dann eine geschlossene, selbstbewusste Antwort, wenn die Grundlage fehlt. Genau diese Souveränität senkt die Prüfbereitschaft der Menschen, die den Text weiterverarbeiten.

Verantwortung bleibt bei der Organisation

Der entscheidende Punkt des Gerichtsfalls ist nicht die Technik, sondern die Zurechnung. Sanktioniert wurden nicht die Werkzeuge, sondern die Personen, die deren Ergebnisse ungeprüft eingereicht haben. Dieses Prinzip gilt auch im Unternehmenskontext: Wer ein Angebot, eine Dokumentation, eine Datenschutzerklärung oder ein Stück Produktivcode ausliefert, haftet für den Inhalt – unabhängig davon, welches Hilfsmittel beim Entstehen mitgewirkt hat.

Daraus folgt eine unbequeme Rechnung. Die Zeitersparnis eines KI-Werkzeugs ist nur dann echt, wenn die Prüfzeit in der Kalkulation enthalten ist. Wird der Review weggelassen, um den Effizienzgewinn zu maximieren, verschiebt man den Aufwand lediglich in die Zukunft – in Form von Nacharbeit, Fehlerbehebung oder im schlechteren Fall in Form von Streitigkeiten mit Kunden.

Was ein belastbarer Review-Prozess leisten muss

Ein tragfähiger Umgang mit generierten Inhalten braucht keine neue Bürokratie, sondern wenige klare Regeln, die im Alltag auch eingehalten werden:

  1. Herkunft kennzeichnen. Es muss nachvollziehbar sein, welche Teile eines Dokuments oder Repositorys maschinell entstanden sind. Nur dann lässt sich der Prüfaufwand gezielt steuern.
  2. Nachweispflicht für Fakten. Jede belegbare Behauptung – Zahl, Norm, Referenz, Bibliotheksfunktion – wird gegen eine Primärquelle geprüft. Erfundene Angaben fallen fast immer schon bei der ersten Suche nach der Originalstelle auf.
  3. Vier-Augen-Prinzip für Ausgangsdokumente. Alles, was das Haus verlässt oder in Produktion geht, wird von einer zweiten Person freigegeben, die den Kontext beurteilen kann.
  4. Automatisierte Gegenprüfung im Code. Statische Analyse, Typprüfung, Linting und Tests fangen einen großen Teil erfundener Aufrufe ab, bevor ein Mensch überhaupt liest.
  5. Risikoklassen bilden. Ein interner Meeting-Mitschrieb braucht weniger Kontrolle als ein Vertragstext oder ein Zahlungsmodul. Der Prüfaufwand sollte am möglichen Schaden ausgerichtet sein, nicht am Bauchgefühl.
  6. Verbindliche Nutzungsregeln. Eine kurze interne Richtlinie klärt, für welche Aufgaben KI genutzt werden darf, welche Daten eingegeben werden dürfen und wer freigibt.

Kultur schlägt Werkzeug

Technisch lässt sich das Halluzinationsrisiko dämpfen, etwa indem Modelle mit geprüften internen Quellen arbeiten statt aus dem Gedächtnis zu antworten. Reduzieren lässt es sich dadurch, ausschließen nicht. Deshalb entscheidet die Arbeitskultur: Teams brauchen die ausdrückliche Erlaubnis, generierte Ergebnisse zu verwerfen, und sie dürfen nicht an Zeitzielen gemessen werden, die nur ohne Review erreichbar sind.

Hilfreich ist außerdem, Fehler sichtbar zu machen. Wer erfundene Angaben, die im Review aufgefallen sind, kurz dokumentiert, baut über Monate ein realistisches Bild davon auf, wo die eingesetzten Werkzeuge zuverlässig arbeiten und wo nicht. Das ist eine bessere Entscheidungsgrundlage als jede allgemeine Debatte über Vertrauenswürdigkeit.

Was das für Web- und Softwareprojekte bedeutet

Für Projekte heißt das: Qualitätssicherung ist kein Anhängsel, das man mit KI-Unterstützung einsparen kann, sondern der Teil, der durch sie an Gewicht gewinnt. Wer generierte Inhalte in Redaktion, Dokumentation und Entwicklung einsetzt, sollte den Review als festen Arbeitsschritt einplanen und budgetieren. Der ehrliche Effizienzgewinn zeigt sich erst nach Abzug dieser Prüfzeit – und er ist auch dann noch beträchtlich.

Quellen