Websites werden längst nicht mehr nur von Suchmaschinen und Menschen gelesen. KI-Crawler — automatisierte Programme, die Inhalte für Trainingsdaten oder für die Antworten von KI-Assistenten einsammeln — greifen auf dieselben Seiten zu. Zwei aktuelle Meldungen zeigen, dass daraus ein technisches Kräftemessen geworden ist: einmal von Seiten der Betreiber, die sich gegen das Auslesen wehren, einmal von Seiten eines KI-Anbieters, der Manipulationsversuche unterbindet.
Shieldfont: unauffällig für Menschen, unbrauchbar für Maschinen
Ein Designerduo hat eine Schrift namens Shieldfont veröffentlicht, die das Sammeln von Daten durch KI-Crawler stören soll. Das Prinzip: Für Besucherinnen und Besucher verändert sich an der Darstellung nichts, die Seite sieht aus wie vorher. Was der Crawler aus dem Quelltext extrahiert, ergibt dagegen keinen sinnvollen Text mehr.
Technisch bewegt sich ein solcher Ansatz auf bekanntem Terrain: Eine Schrift ordnet Zeichencodes bestimmten Bildern von Buchstaben zu. Weicht diese Zuordnung vom Standard ab, stimmt das sichtbare Ergebnis nicht mehr mit dem überein, was im Dokument tatsächlich als Zeichenfolge steht. Genau das ist der Hebel — und genau darin liegt auch das Risiko.
Der Preis: Barrierefreiheit und Auffindbarkeit
Wer den maschinenlesbaren Text bewusst verfälscht, trifft nicht nur KI-Crawler. Betroffen sind alle Systeme, die auf denselben Text angewiesen sind:
- Screenreader, die den Inhalt vorlesen, arbeiten mit dem Zeichenstrom im Dokument, nicht mit dem gerenderten Bild.
- Copy-and-paste: Kopierter Text landet in der verfälschten Form in der Zwischenablage.
- Suchmaschinen und interne Suche, die Inhalte indexieren und dabei ebenfalls den Rohtext lesen.
- Übersetzungs- und Vorlesefunktionen in Browsern sowie Reader-Modi.
Für Unternehmen, die gesetzliche Anforderungen an digitale Barrierefreiheit erfüllen müssen, ist das keine Randnotiz. Eine Maßnahme, die Maschinen aussperrt, sperrt in der Praxis auch assistive Technologien aus — und die sind für einen Teil der Nutzerschaft die einzige Zugangsmöglichkeit. Solche Techniken taugen daher allenfalls für klar abgegrenzte Bereiche, in denen sowohl Barrierefreiheit als auch Sichtbarkeit in Suchmaschinen bewusst zurückgestellt werden. Für Inhalte, die gefunden und gelesen werden sollen, sind sie kein Werkzeug.
Perplexity: versteckte Werbung in Markdown-Varianten
Die zweite Meldung dreht das Bild um. Hier ist es nicht der Betreiber, der sich schützt, sondern der KI-Anbieter, der sich gegen Manipulation wehrt. Perplexity geht laut eigener Darstellung gegen Werbung vor, die in speziellen Markdown-Fassungen von Webseiten versteckt wird — also in schlanken, maschinenlesbaren Textvarianten, die Anbieter zunehmend zusätzlich zur normalen HTML-Seite bereitstellen. Markdown ist ein einfaches Textformat mit minimaler Formatierung; solche Varianten sind für Crawler leichter zu verarbeiten als eine vollständige Webseite mit Layout, Skripten und Navigation.
Genau diese Trennung eröffnet eine Lücke. Was in der Markdown-Variante steht, sieht kein menschlicher Besucher. Wer dort Werbebotschaften oder Empfehlungen unterbringt, adressiert ausschließlich das KI-System — mit dem Ziel, in dessen Antworten aufzutauchen. Perplexity bewertet das als manipulative Taktik und sieht das Vertrauen der Nutzerinnen und Nutzer in Suchergebnisse gefährdet, weil bezahlte Inhalte in einer Antwort erscheinen könnten, ohne als Werbung erkennbar zu sein.
Zwei Seiten desselben Problems
Beide Fälle beruhen auf derselben Ursache: Die Version einer Website, die Menschen sehen, und die Version, die Maschinen lesen, sind nicht mehr zwingend identisch. Diese Divergenz lässt sich in beide Richtungen ausnutzen — defensiv, um Crawlern falsche Inhalte zu liefern, oder offensiv, um ihnen zusätzliche Inhalte zuzuspielen.
Aus Sicht der Suchmaschinen ist das ein alter Bekannter. Cloaking, also das Ausliefern unterschiedlicher Inhalte an Crawler und an Nutzer, gilt seit Jahren als Verstoß gegen die Richtlinien der Suchanbieter. Dass ein KI-Anbieter jetzt vergleichbare Regeln durchsetzt, war absehbar. Für Betreiber heißt das: Techniken, die auf einer Abweichung zwischen sichtbarem und maschinenlesbarem Inhalt beruhen, sind kein stabiles Fundament. Sie werden erkannt und sanktioniert, sobald sie in Breite auftreten.
Was Betreiber stattdessen tun können
Die berechtigte Frage hinter Shieldfont bleibt bestehen: Wie viel eigener Inhalt soll in KI-Systeme fließen? Dafür gibt es Wege, die weder Barrierefreiheit noch Vertrauen beschädigen:
- Zugriffssteuerung über robots.txt und Crawler-Kennungen: Viele KI-Crawler identifizieren sich und respektieren Ausschlussregeln. Das ist keine Garantie, aber der dokumentierte, nachvollziehbare Weg.
- Serverseitige Kontrolle: Rate Limits und die Auswertung von Zugriffsmustern in den Logs zeigen, welche Bots in welchem Umfang lesen — Grundlage für jede weitere Entscheidung.
- Inhalte hinter Anmeldung: Was wirklich nicht abfließen soll, gehört nicht in den öffentlich abrufbaren Teil der Website.
- Bewusster Umgang mit maschinenlesbaren Varianten: Wer Markdown- oder API-Fassungen anbietet, sollte sie redaktionell wie die Hauptseite behandeln. Inhaltsgleichheit ist hier eine Compliance-Frage, nicht eine Frage des Geschmacks.
- Werbung als Werbung kennzeichnen — in jeder Ausgabevariante, auch in der, die nur Maschinen lesen.
Für Web- und Softwareprojekte bedeutet das vor allem eines: Die maschinenlesbare Fassung einer Website ist kein Nebenprodukt mehr, sondern ein eigenes Auslieferungsformat mit eigenen Anforderungen an Qualität und Governance. Wer zusätzliche Varianten für KI-Systeme bereitstellt, braucht dafür dieselbe redaktionelle Kontrolle wie für die Hauptseite und muss die Inhaltsgleichheit technisch sicherstellen können. Und wer den Zugriff von KI-Crawlern begrenzen will, sollte das an der Zugriffsschicht regeln — nicht durch Tricks im Rendering, die am Ende die eigenen Nutzerinnen und Nutzer treffen.