KI-Benchmarks unter Beschuss: Messen wir Fortschritt oder jagen wir Illusionen?
Die Integrität von Benchmarks für künstliche Intelligenz, die entscheidend für die Messung von Fortschritten und die Steuerung der Entwicklung sind, steht unter intensiver Beobachtung. Eine wachsende Sorge ist, dass führende KI-Modelle "benchmarked" werden – also für außergewöhnliche Leistungen in spezifischen Tests optimiert werden –, anstatt ihre realen Fähigkeiten wirklich zu verbessern. Dieses Phänomen spiegelt Goodharts Gesetz wider, das besagt, dass "jede beobachtete statistische Regelmäßigkeit dazu neigt, zusammenzubrechen, sobald Druck zur Kontrolle ausgeübt wird." Einfacher ausgedrückt: Wenn eine Metrik zu einem Ziel wird, hört sie auf, ein zuverlässiger Indikator für die zugrunde liegende Leistung zu sein.
Die Arena-Illusion
Ein Paradebeispiel für dieses Problem ist die Chatbot Arena, eine beliebte Benchmark-Plattform, die von Forschern der UC Berkeley ins Leben gerufen wurde. Benutzer bewerten anonyme Modellantworten und generieren so ein Elo-Bewertungssystem. Im April 2025 erreichte Metas Modell Llama 4 Maverick eine hohe Punktzahl in der Arena, was in Unternehmensmitteilungen angepriesen wurde. Benutzer entdeckten jedoch bald, dass die leistungsstarke Version stark "für Konversationen optimiert" war, eine im Fußnotenbereich vermerkte Einzelheit. Bei erneuter Prüfung mit einer unveränderten Version rangierte Maverick deutlich niedriger. Metas CEO Mark Zuckerberg gab später zu, dass es "relativ einfach für unser Team war, eine Version von Llama 4 Maverick zu optimieren, die ganz oben stehen könnte", was die Anfälligkeit des Benchmarks für Manipulation unterstreicht. Diese Praxis ähnelt dem p-Hacking, bei dem wiederholte Tests von Modellvarianten zufällig günstige Ergebnisse liefern können.
Ein sich ausbreitendes Problem über Labore hinweg
Dieser Trend, dass Benchmarks die reale Nutzbarkeit überholen, ist nicht auf Meta beschränkt. Im Juli 2025 wurde Elon Musks Grok 4 aufgrund seines Humanity's Last Exam (HLE)-Scores beworben, obwohl er Berichten zufolge bei realen Aufgaben schlecht abschnitt. Ebenso sah sich Anthropic's Claude Opus 5, das im Juli 2026 veröffentlicht wurde, Beschwerden über jargongeladene Antworten ausgesetzt, die die Softwareentwicklungsarbeit störten. Zuletzt wurde Googles Gemini 4 Argon, das im September 2026 veröffentlicht wurde, des "Benchmaxxing" beschuldigt, nachdem Berichte darauf hindeuteten, dass es trotz hoher Punktzahlen bei agentischen Coding-Benchmarks immer noch mit bestimmten Coding-Aufgaben zu kämpfen hatte.
Die wachsende Industrie rund um Benchmarks
Die Einsätze sind extrem hoch, da Big Tech für 2026 über 700 Milliarden US-Dollar an Investitionsausgaben plant, ein Großteil davon für KI-Infrastruktur. Benchmarks dienen als kritische Anzeigetafeln, die Investitionsentscheidungen und die Akzeptanz durch Unternehmen beeinflussen. Der Markt für generative KI verzeichnete einen Anstieg der Unternehmensausgaben von 11,5 Milliarden US-Dollar im Jahr 2024 auf 37 Milliarden US-Dollar im Jahr 2025. Unternehmen wie Scale AI, Surge AI und Mercor sahen ihre Bewertungen in die Höhe schnellen, indem sie Daten- und Bewertungsdienste anboten, die für die Verbesserung der Benchmark-Leistung entscheidend sind. Dies schafft einen starken Anreiz, das System zu "spielen", anstatt echte Fähigkeitsverbesserungen anzustreben.
Die Kosten robuster Evaluierung
Der Aufbau wirklich effektiver Benchmarks ist ein teures und komplexes Unterfangen. Die Erstellung eines hochwertigen Benchmarks, wie z. B. eines, das die klinische Fallbegründung testet, könnte für die anfängliche Entwicklung über 800.000 US-Dollar kosten, mit laufenden Kosten für die Aktualisierung von Aufgaben, um eine Sättigung zu verhindern. Beispielsweise könnten die jährliche Aktualisierung von 25 % der Aufgaben 200.000 US-Dollar zusätzlich kosten. Benchmarks, die Kosten sparen, indem sie weniger qualifizierte Bewerter einsetzen oder auf KI-generierte Aufgaben zurückgreifen, opfern oft Fachwissen und führen zu voreingenommenen, fehlerhaften Bewertungen. Terminal-Bench 4.0 litt beispielsweise unter Bewertungsfehlern in fast der Hälfte seiner Aufgaben aufgrund öffentlich beigesteuerter, nicht verifizierter Aufgaben.
Benchmark-Kontamination: Ein versteckter Fehler
Ein weiteres bedeutendes Problem ist die Benchmark-Kontamination, bei der Trainingsdaten versehentlich Benchmark-Testsets enthalten. OpenAI's SWE-bench Verified, ein Benchmark für die KI-Codierungsfähigkeit, erwies sich als kompromittiert, da die für Aufgaben verwendeten Open-Source-Repositories auch Teil der Modelltrainingsdaten waren. Dies ermöglichte es den Modellen, Lösungen aus dem Gedächtnis zu reproduzieren, anstatt tatsächliche Problemlösungsfähigkeiten zu demonstrieren. Ebenso zeigte der ARC-AGI-Benchmark, der zur Prüfung des logischen Denkens entwickelt wurde, Anzeichen von Kontamination, wobei Modelle Antworten basierend auf Trainingsdaten anstatt auf echtem Schlussfolgern abzurufen schienen. Die Verhinderung von Kontamination erfordert nicht nur private Testsets, sondern auch eine sorgfältige Konstruktion aus völlig neuartigen Daten, ein kostspieliger, aber notwendiger Schritt für eine zuverlässige KI-Bewertung.
