Benchmarks für KI-Modelle messen oft Dinge, die mit dem Projektalltag wenig zu tun haben: Multiple-Choice-Fragen, Programmierrätsel, Prüfungsaufgaben. Der Remote Labor Index geht einen anderen Weg. Er setzt KI-Systeme an echte Freelance-Aufträge, also an Arbeitspakete, die reale Auftraggeber tatsächlich vergeben und bezahlt haben, und bewertet, ob das Ergebnis professionellen Ansprüchen genügt.

Die aktuellen Zahlen sind bemerkenswert. Anthropics Modell Fable 5.2 schließt nach dieser Messung 41,3 Prozent der Aufträge in Profiqualität ab. Die nächstplatzierten Systeme Opus 5.5 und GPT 6 Astra kommen auf weniger als die Hälfte dieses Werts. Zur Einordnung des Tempos: Ein Jahr zuvor lag der beste gemessene Wert noch bei 2,5 Prozent.

Warum dieser Benchmark relevanter ist als andere

Für Unternehmen, die Web- oder Softwareprojekte vergeben, ist der Unterschied zwischen Testaufgabe und Auftragsarbeit entscheidend. Ein realer Auftrag bringt all das mit, was in sauberen Benchmarks fehlt: unvollständige Briefings, widersprüchliche Vorgaben, Dateiformate, die niemand dokumentiert hat, und eine Abnahme durch jemanden, der ein konkretes Ergebnis im Kopf hat.

Wenn ein Modell unter diesen Bedingungen vier von zehn Aufträgen so löst, dass das Ergebnis als professionell durchgeht, ist das eine andere Aussage als ein hoher Punktwert in einem Prüfungsformat. Gleichzeitig gilt die Kehrseite: Sechs von zehn Aufträgen erreichen dieses Niveau eben nicht. Der Benchmark beschreibt keine Ablösung von Fachkräften, sondern eine Verschiebung der Grenze, an der sich Automatisierung lohnt.

Wo die Modelle weiterhin schwächeln

Als Schwachstelle werden ausdrücklich Produktdesign und Animation genannt. Das passt zu dem, was sich in Projekten beobachten lässt. Beide Disziplinen sind weniger durch klare Zielvorgaben definiert als durch Abwägung: Welche Variante trägt die Marke? Welche Bewegung wirkt flüssig, welche hektisch? Was lässt sich in sechs Monaten noch warten und erweitern?

Solche Entscheidungen lassen sich schlecht aus einem Briefing ableiten, weil das Briefing sie gar nicht enthält. Sie entstehen im Gespräch, im Vergleich mehrerer Entwürfe und in der Erfahrung damit, welche Lösung sich später rächt. Genau dort bleibt der Beitrag von Menschen bislang unersetzt.

Was sich in Projekten sinnvoll beschleunigen lässt

Aus den Ergebnissen lässt sich eine praktische Faustregel ableiten: Je klarer eine Aufgabe umrissen, je prüfbarer ihr Ergebnis und je enger ihr Kontext, desto eher trägt KI-Unterstützung. Typische Kandidaten in Web- und TYPO3-Projekten sind etwa:

  • Datenaufbereitung vor einer Migration, also das Bereinigen, Umstrukturieren und Zuordnen bestehender Inhalte
  • Erstellen und Pflegen technischer Dokumentation aus vorhandenem Code und bestehenden Konfigurationen
  • Routinearbeiten in der Entwicklung wie Testabdeckung, wiederkehrende Refactorings oder Anpassungen an geänderte Schnittstellen
  • Textvarianten, Metadaten und Übersetzungsentwürfe, die anschließend redaktionell geprüft werden
  • Recherche- und Vergleichsaufgaben, deren Ergebnis sich gegen eine Quelle verifizieren lässt

Zurückhaltender sollte man dort sein, wo Gestaltung, Markenführung, Informationsarchitektur oder langfristige Systemarchitektur im Spiel sind. Nicht weil Modelle dort nichts liefern, sondern weil die Kosten einer falschen Entscheidung erst spät sichtbar werden – und dann teuer sind.

Das Prüfen wird zur eigentlichen Arbeit

Eine Erfolgsquote von rund 40 Prozent hat eine organisatorische Konsequenz, die leicht übersehen wird: Jemand muss feststellen, welche 40 Prozent es sind. Ohne verlässliche Abnahme verschiebt sich der Aufwand nur, statt zu sinken. Wer KI im Projekt einsetzt, braucht deshalb definierte Prüfschritte, klare Verantwortlichkeiten und Aufgabenzuschnitte, bei denen sich ein Ergebnis überhaupt bewerten lässt.

Das spricht für kleine, abgegrenzte Arbeitspakete statt großer Aufträge an ein Modell. Je kürzer die Strecke zwischen Auftrag und Kontrolle, desto geringer das Risiko, dass ein Fehler sich durch nachgelagerte Arbeitsschritte zieht.

Tempo einplanen, nicht abwarten

Der Sprung von 2,5 auf 41,3 Prozent innerhalb eines Jahres sollte weniger als Prognose denn als Hinweis auf Planungsunsicherheit gelesen werden. Niemand kann seriös sagen, ob sich diese Kurve fortsetzt. Für Projektentscheidungen ist aber relevant, dass sich die Lage innerhalb einer typischen Projektlaufzeit spürbar verändern kann.

Praktisch heißt das: Prozesse und Systeme so bauen, dass sich einzelne Arbeitsschritte austauschen lassen, ohne dass das Gesamtsystem daran hängt. Saubere Schnittstellen, dokumentierte Abläufe und gepflegte Daten sind dafür die Voraussetzung – und sie zahlen sich unabhängig davon aus, wie sich die Modelle weiterentwickeln.

Einordnung für Web- und Softwareprojekte

Für Web- und Softwareprojekte verschiebt sich damit vor allem der Zuschnitt der Arbeit: Klar umrissene, prüfbare Aufgaben lassen sich heute deutlich schneller erledigen, während Gestaltung, Architektur und Abwägung weiterhin Erfahrung erfordern. Wer die Budgets entsprechend umschichtet – weniger Routine, mehr Konzeption und Qualitätssicherung – gewinnt an Tempo, ohne die Projektqualität zu riskieren. Entscheidend bleibt, dass jede KI-gestützte Zwischenleistung einen definierten Prüfschritt hat, bevor sie in ein produktives System einfließt.

Quellen