LLM-Benchmarks 2019–2026: die Bestmarken auf 16 Ranglisten

Epoch Capabilities Index

veröffentlicht 2025 · Modelle von 2023 bis 2026 · 274 Modelle im Archiv · läuft · Werte: Epoch AI

Fasst die Ergebnisse von mehr als 50 Benchmarks zu einer Zahl je Modell zusammen, sodass sich Modelle vergleichen lassen, auch wenn sie nie auf denselben Benchmarks geprüft wurden. Ein Index, kein Prozentwert: Epoch AI skaliert ihn so, dass Claude 3.5 Sonnet bei 130 und GPT-5 bei 150 steht.

Spitze heute: Claude Opus 5.5 (167,3) · GPT-6 Astra (166,4) · GPT-6.1 Sol (166,1) · Claude Sonnet 5.5 (165,0) · Claude Fable 5.1 (164,7)

METR Time Horizon

veröffentlicht 2025 · Modelle von 2019 bis 2026 · 39 Modelle im Archiv · läuft · Werte: METR

Die Länge der Aufgaben, die ein Modell in etwa der Hälfte der Fälle richtig löst — gemessen daran, wie lange ein menschlicher Experte dafür braucht. Die Zahl ist eine Dauer, kein Punktwert: Ein längerer Horizont heißt, das Modell kann länger selbstständig arbeiten.

Die Balken sind logarithmisch skaliert: Jeder Schritt nach rechts ist eine Vervielfachung.

Spitze heute: Claude Mythos Preview (Early) (17 Std. 25 min) · Claude Opus 4.6 (unknown thinking) (11 Std. 59 min) · Gemini 3.1 Pro Preview (6 Std. 24 min) · GPT-5.2 (high) (5 Std. 52 min) · GPT-5.3 Codex (5 Std. 50 min)

MMLU

veröffentlicht 2020 · Modelle von 2021 bis 2024 · 158 Modelle im Archiv · keine neuen Ergebnisse seit 2024 · Werte: Fachartikel und Stanford HELM, gesammelt von Epoch AI

Multiple-Choice-Fragen aus 57 Fächern, vom Schulniveau bis zur Berufsprüfung. Jahrelang der Standardtest für Allgemeinwissen; heute liegen die besten Modelle so nah an der Obergrenze, dass kaum noch neue Ergebnisse erscheinen.

Die bekannten 43,9 % von GPT-3 führt das Archiv unter der API-Version vom Januar 2022; als Bestmarke tauchen sie deshalb hier nicht auf.

Spitze heute: GPT-4o (88,1 %) · Claude 3.5 Sonnet (20241022) (87,3 %) · DeepSeek v3 (87,2 %) · Gemini 1.5 Pro (002) (86,9 %) · Claude 3.5 Sonnet (20240620) (86,5 %)

GPQA Diamond

veröffentlicht 2023 · Modelle von 2023 bis 2026 · 214 Modelle im Archiv · läuft · Werte: Epoch AI (eigene Läufe)

198 Multiple-Choice-Fragen aus Biologie, Physik und Chemie auf Graduiertenniveau, so gebaut, dass Fachfremde selbst mit Webzugang scheitern. Raten ergibt 25 %.

Spitze heute: GPT-6 Astra (max) (95,8 %) · Claude Sonnet 5.5 (max) (95,6 %) · Gemini 3.8 Flash (high) (95,4 %) · GPT-6.1 Sol (max) (95,4 %) · Gemini 3.7 Flash (high) (94,8 %)

Humanity's Last Exam

veröffentlicht 2025 · Modelle von 2024 bis 2026 · 44 Modelle im Archiv · läuft · Werte: Rangliste von Humanity's Last Exam, gesammelt von Epoch AI

Von Fachleuten geschriebene Fragen an der Grenze des menschlichen Wissens aus vielen Gebieten — gebaut, um schwer zu bleiben, nachdem ältere Tests gelöst waren.

Spitze heute: GPT 6 Astra (54,8 %) · Fable 5.1 (xhigh) (46,5 %) · Gemini 3.1 Pro Preview (thinking high) (46,4 %) · Gemini 3.8 Flash (44,5 %) · GPT-5.4 Pro (44,3 %)

SimpleQA Verified

veröffentlicht 2025 · Modelle von 2024 bis 2026 · 79 Modelle im Archiv · läuft · Werte: Epoch AI (eigene Läufe)

Kurze Faktenfragen mit genau einer richtigen Antwort, beantwortet ohne Hilfsmittel. Zeigt, wie viel ein Modell wirklich weiß — und wie oft es eine Antwort erfindet, statt Nichtwissen zuzugeben.

Spitze heute: GPT-6 Astra (max) (75,6 %) · GPT-6.1 Sol (max) (73,9 %) · Gemini 3.1 Pro Preview (73,5 %) · Claude Opus 5.5 (max) (72,2 %) · Claude Fable 5.1 (max) (70,8 %)

GSM8K

veröffentlicht 2021 · Modelle von 2020 bis 2024 · 146 Modelle im Archiv · keine neuen Ergebnisse seit 2024 · Werte: Fachartikel und Stanford HELM, gesammelt von Epoch AI

Textaufgaben auf Grundschulniveau, die mehrere Rechenschritte brauchen. Einst ein harter Test für logisches Schließen, heute praktisch gelöst.

Spitze heute: DS-Coder-V2-Instruct (94,5 %) · Qwen2.5-Coder-14B-Instruct (94,2 %) · Qwen2.5-Coder-32B-Instruct (93,0 %) · GPT-4 (92,0 %) · GPT-4 (92,0 %)

MATH Level 5

veröffentlicht 2021 · Modelle von 2023 bis 2025 · 94 Modelle im Archiv · läuft · Werte: Epoch AI (eigene Läufe)

Die schwerste Stufe des MATH-Datensatzes: Wettbewerbsaufgaben aus Algebra, Geometrie, Zahlentheorie und Wahrscheinlichkeitsrechnung.

Spitze heute: GPT-5 (high) (98,1 %) · o4-mini (high) (97,8 %) · o3 (high) (97,8 %) · GPT-5 mini (high) (97,8 %) · Claude Sonnet 4.5 (32k thinking) (97,7 %)

FrontierMath (Tiers 1–3)

veröffentlicht 2026 · Modelle von 2024 bis 2026 · 83 Modelle im Archiv · läuft · Werte: Epoch AI (eigene Läufe)

Eigens geschriebene, unveröffentlichte Mathematikaufgaben von Mathematikern, vom fortgeschrittenen Studium bis zur Forschung. Die Aufgaben bleiben unter Verschluss, damit Modelle sie nicht aus dem Training kennen können.

Das Archiv führt diese zweite Fassung des Aufgabensatzes seit Juni 2026, auch mit Ergebnissen älterer Modelle.

Spitze heute: GPT-6 Astra (max) (93,7 %) · GPT-6.1 Sol (max) (93,7 %) · Claude Opus 5.5 (max) (91,2 %) · Claude Fable 5.1 (max) (90,2 %) · GPT-6 Sol (max) (89,8 %)

SWE-bench Verified

veröffentlicht 2024 · Modelle von 2024 bis 2026 · 32 Modelle im Archiv · läuft · Werte: Epoch AI (eigene Läufe)

500 echte Fehlerberichte aus Open-Source-Projekten in Python, von Menschen geprüft. Das Modell muss den Code so ändern, dass die Tests des Projekts bestehen.

Dies sind Epoch AIs eigene Läufe mit einem festen Aufbau; Anbieter melden mit eigenem Werkzeug oft höhere Werte.

Spitze heute: Claude Opus 4.7 (max) (83,5 %) · GPT-5.5 (xhigh) (80,6 %) · Gemini 3.5 Flash (79,3 %) · Claude Opus 4.6 (no thinking) (78,7 %) · GLM-5.2 (78,7 %)

Aider Polyglot

veröffentlicht 2024 · Modelle von 2024 bis 2025 · 54 Modelle im Archiv · läuft · Werte: Aider-Rangliste, gesammelt von Epoch AI

225 schwierige Programmieraufgaben in C++, Go, Java, JavaScript, Python und Rust. Misst, ob ein Modell vorhandenen Code korrekt ändern kann — mit einem zweiten Versuch nach Sicht der Testausgabe.

Spitze heute: GPT-5 (high) (88,0 %) · o3-pro (84,9 %) · Gemini 2.5 Pro Preview (Jun 2025) (83,1 %) · o3 (high) (81,3 %) · Grok 4 (79,6 %)

Terminal-Bench

veröffentlicht 2025 · Modelle von 2025 bis 2026 · 45 Modelle im Archiv · läuft · Werte: Terminal-Bench-Rangliste, gesammelt von Epoch AI

Aufgaben, die ein Agent in einer echten Kommandozeile lösen muss: Software einrichten, ein System reparieren, Daten verarbeiten. Der Wert gehört zu einem Modell samt Agenten-Software; wir zeigen das beste Ergebnis je Modell.

Spitze heute: GPT-5.5 (84,7 %) · GPT-5.4 (81,8 %) · Gemini 3.1 Pro (80,2 %) · Claude Opus 4.7 (80,2 %) · Claude Opus 4.6 (79,8 %)

ARC-AGI

veröffentlicht 2019 · Modelle von 2024 bis 2026 · 91 Modelle im Archiv · läuft · Werte: ARC-Prize-Rangliste, gesammelt von Epoch AI

Gitterrätsel, bei denen aus wenigen Beispielen eine Regel abgeleitet und auf einen neuen Fall angewandt werden muss. Für Menschen leicht, für Sprachmodelle lange unerreichbar — der Test, ob etwas Neues gelernt statt nur abgerufen wird.

Spitze heute: Claude Fable 5 (XHigh) (98,5 %) · Gemini 3.8 Flash (High) (98,5 %) · GPT-6 Astra (XHigh) (98,5 %) · Claude Opus 5.5 (High) (98,5 %) · GPT-6.1 Sol (XHigh) (98,5 %)

ARC-AGI-2

veröffentlicht 2025 · Modelle von 2024 bis 2026 · 86 Modelle im Archiv · läuft · Werte: ARC-Prize-Rangliste, gesammelt von Epoch AI

Der Nachfolger von ARC-AGI aus dem Jahr 2025, mit Rätseln, die gezielt den Methoden widerstehen sollen, mit denen die erste Fassung gelöst wurde.

Spitze heute: GPT-6 Astra (Max) (95,0 %) · GPT-6.1 Sol (Max) (94,2 %) · Claude Opus 5.5 (High) (93,3 %) · GPT-5.6 Sol (Max) (92,5 %) · Claude Opus 5 (Max) (90,4 %)

HellaSwag

veröffentlicht 2019 · Modelle von 2019 bis 2024 · 97 Modelle im Archiv · keine neuen Ergebnisse seit 2024 · Werte: Fachartikel und Stanford HELM, gesammelt von Epoch AI

Aus vier Möglichkeiten die plausibelste Fortsetzung einer Alltagsszene wählen. Ein Test für gesunden Menschenverstand von 2019, den Menschen trivial finden; Raten ergibt 25 %.

Spitze heute: GPT-4 (95,3 %) · LLaMA-3.1 405B Base (89,2 %) · Falcon-180B (89,0 %) · DeepSeek-V3 Base (88,9 %) · DeepSeek-V2 Base (87,1 %)

WinoGrande

veröffentlicht 2019 · Modelle von 2019 bis 2024 · 84 Modelle im Archiv · keine neuen Ergebnisse seit 2024 · Werte: Fachartikel, gesammelt von Epoch AI

Entscheiden, worauf sich ein mehrdeutiges Wort im Satz bezieht — lösbar nur mit Verständnis der Situation. Raten ergibt 50 %.

Spitze heute: LLaMA-3.1 405B Base (89,2 %) · Claude 3 Opus (88,5 %) · GPT-4 (87,5 %) · Falcon-180B (87,1 %) · UNICORN (86,6 %)