{"author":{"@type":"Person","name":"Alexander Bock","url":"https://abxk.ai/de/autor/alexander-bock/"},"categories":["AI Productivity"],"content":{"markdown":"Ein neues Modell erscheint, und die Ankündigung ist voller Zahlen: ein Rekord in einem Test, ein großer Sprung in einem anderen. Ein paar Wochen später beansprucht ein Wettbewerber den Spitzenplatz. Wenn Sie KI-Tools oder Modelle für sich oder Ihr Team auswählen, müssen Sie wissen, was diese Zahlen aussagen können — und was nicht.\n\nDies ist Teil 4 von Level 4 unseres Lernpfads AI Productivity. Sie lernen, was ein Benchmark wirklich misst, warum Tests unbrauchbar werden, was Kontamination und Testeinstellungen mit einem Wert machen, wie Gesamtindizes und Agenten-Tests funktionieren und warum der letzte Test immer Ihr eigener sein muss. Alle Modellergebnisse in diesem Artikel stammen direkt aus unserer [LLM-Datenbank](/de/llm/), die auf Daten von Epoch AI beruht.\n\n## Was ein Benchmark eigentlich ist\n\nEin **Benchmark** ist ein fester Satz von Aufgaben mit einer festen Bewertungsregel. Die meisten Werte geben den Anteil gelöster Aufgaben in Prozent an. Manche funktionieren anders: Der METR Time Horizon ist eine Dauer, der Epoch Capabilities Index ein Index. Unsere LLM-Seiten führen {{\u003c stat \"benchmarks\" \u003e}} Benchmarks für {{\u003c stat \"models\" \u003e}} Modelle; die Daten wurden zuletzt am {{\u003c stat \"retrieved\" \u003e}} abgerufen.\n\nJede Prozentzahl braucht einen Bezugspunkt. Bei Tests mit vier Antwortmöglichkeiten wie MMLU oder GPQA Diamond ergibt reines **Raten** schon 25 %. Ein Wert von 30 % liegt in einem solchen Test nahe am Zufall.\n\n| Gruppe | Beispiele in unseren Daten | Ein hoher Wert zeigt | Er zeigt nicht |\n|---|---|---|---|\n| Wissen und Schlussfolgern | MMLU, GPQA Diamond, Humanity's Last Exam, SimpleQA Verified | Starke Ergebnisse in schriftlichen Expertenprüfungen | Dass das Modell Ihr Unternehmen oder die heutigen Nachrichten kennt |\n| Mathematik | GSM8K, MATH Level 5, FrontierMath | Mehrstufiges Rechnen und Beweisen | Dass Ihre Tabellenformeln stimmen werden |\n| Programmieren und Agenten | SWE-bench Verified, Aider Polyglot, Terminal-Bench | Echten Code reparieren, in einer Kommandozeile arbeiten | Dass es sicher in Ihren Systemen arbeitet |\n| Abstraktion | ARC-AGI, ARC-AGI-2 | Aus wenigen Beispielen eine neue Regel lernen | Allgemeine Intelligenz |\n| Gesamtleistung | Epoch Capabilities Index, METR Time Horizon | Breite Leistungsfähigkeit; Länge der Aufgaben, die ein Agent schafft | Eignung für Ihre konkrete Aufgabe |\n\nIn den Ranglisten dieses Artikels zeigt jede Zeile das Modell, seinen Entwickler, das Erscheinungsdatum und das Ergebnis. Achten Sie auf das Datum: Ein Modell, das letzte Woche erschienen ist, wurde womöglich einfach noch nicht in jedem Benchmark getestet. Und achten Sie auf die Klammern hinter einem Modellnamen, etwa „(high)“ oder „(max)“: Sie nennen die Einstellung, mit der das Ergebnis entstand.\n\nEin Wert ist nie nur eine Eigenschaft des Modells. Er hängt von vielen Entscheidungen derer ab, die den Test durchgeführt haben:\n\n![Sechs Karten: Aufgaben, Bewertung, Modellversion, Einstellungen, Werkzeuge und Agenten-Software sowie wer den Test durchgeführt hat](/images/learn/de/read-llm-benchmarks-like-an-expert-behind-score.webp \"Eine Zahl, viele Entscheidungen: Bevor Sie zwei Werte vergleichen, prüfen Sie, ob diese sechs Punkte übereinstimmen.\")\n\n## Sättigung: wenn ein Test Modelle nicht mehr unterscheidet\n\nEin Benchmark ist **gesättigt**, wenn die besten Modelle so nah am Maximum liegen, dass die verbleibenden Unterschiede wenig bedeuten. MMLU — Multiple-Choice-Fragen aus 57 Fächern — war jahrelang der Standardtest für Wissen. Heute liegen die besten Modelle so nah an der Obergrenze, dass kaum noch neue Ergebnisse erscheinen.\n\nDie Obergrenze liegt zudem niedriger, als es scheint. Forschende, die MMLU nachgeprüft haben, schätzen, dass 6,49 % der Fragen Fehler enthalten; im Teilbereich Virologie waren 57 % der untersuchten Fragen fehlerhaft. (Quelle: Gema u. a., „Are We Done with MMLU?“, 2024, arxiv.org) Ab einer gewissen Höhe kann ein besserer Wert also heißen, dass ein Modell einen falschen Lösungsschlüssel trifft.\n\nSchwerere Tests übernehmen. **GPQA Diamond** umfasst 198 naturwissenschaftliche Fragen auf Graduiertenniveau, an denen Fachfremde selbst mit Webzugang scheitern. **Humanity's Last Exam** (HLE) besteht aus 2.500 von Fachleuten geschriebenen Fragen aus vielen Gebieten und wurde vom Center for AI Safety und Scale AI entwickelt. **FrontierMath** nutzt unveröffentlichte Mathematikaufgaben, die Epoch AI unter Verschluss hält. Die Grafik zeigt das Muster: Jeder neue Test beginnt niedrig und steigt, während die älteren nahe der Obergrenze abflachen.\n\n![Liniendiagramm: Bestwerte im Zeitverlauf für MMLU, GPQA Diamond und Humanity's Last Exam, mit der Rate-Linie für Fragen mit vier Antwortmöglichkeiten](/images/learn/de/read-llm-benchmarks-like-an-expert-saturation.webp \"Bestwerte im Zeitverlauf: MMLU flachte zuerst ab, GPQA Diamond liegt nahe an der Obergrenze, Humanity's Last Exam steigt noch. Daten: Epoch AI, CC BY 4.0.\")\n\nDas sind die aktuellen Spitzenreiter bei Humanity's Last Exam:\n\n{{\u003c llm-top bench=\"hle\" n=\"5\" \u003e}}\n\n## Kontamination: wenn das Modell den Test schon kennt\n\n**Kontamination** heißt: Testfragen oder ihre Antworten sind in die Trainingsdaten eines Modells geraten. Das Modell erinnert sich dann womöglich, statt zu lösen. Jeder Test, der im Internet steht, ist gefährdet — und das Risiko wächst mit seinem Alter.\n\nTypische Warnzeichen: Ein Modell schneidet in einem alten öffentlichen Test deutlich besser ab als in einem neueren, der dieselbe Fähigkeit misst; oder seine Antworten wiederholen wörtlich die offiziellen Lösungen. Den besten Schutz bietet ein Test, der nie veröffentlicht wurde: private Aufgabensätze wie FrontierMath, frische Fragen — oder Ihre eigenen Aufgaben aus Ihrer eigenen Arbeit.\n\nEine einfache Prüfung können Sie selbst machen. Nehmen Sie einige Fragen aus einem öffentlichen Test und formulieren Sie sie um: Ändern Sie Namen, Zahlen und die Reihenfolge der Antwortmöglichkeiten, aber lassen Sie die Aufgabe gleich. Schneidet ein Modell bei den umformulierten Fassungen deutlich schlechter ab, hat es sich vermutlich eher auf sein Gedächtnis verlassen als auf sein Können.\n\n## Einstellungen: gleiches Modell, anderer Wert\n\nDasselbe Modell kann sehr unterschiedliche Werte erreichen, je nachdem, wie getestet wurde. Fünf Einstellungen zählen am meisten:\n\n- **Denkaufwand.** Viele Modelle können länger „nachdenken“, bevor sie antworten. In unseren Daten sehen Sie Modellnamen mit „(high)“ oder „(max)“ — dasselbe Modell mit mehr Denkzeit und oft einem höheren Wert.\n- **Versuche.** Eine Antwort pro Aufgabe ist etwas anderes als die beste von mehreren.\n- **Werkzeuge.** SimpleQA Verified wird ohne Hilfsmittel beantwortet; ein Modell mit Websuche käme auf einen anderen Wert.\n- **Agenten-Software.** Bei Terminal-Bench gehört der Wert zu einem Modell samt der Agenten-Software, die es steuert. Bei SWE-bench Verified stammen unsere Daten aus Epoch AIs eigenen Läufen mit einem festen Aufbau; Anbieter melden mit eigenem Werkzeug oft höhere Werte.\n- **Testgröße.** GPQA Diamond hat 198 Fragen — eine Frage mehr oder weniger verschiebt den Wert also um etwa einen halben Prozentpunkt. Ein Abstand von ein oder zwei Punkten zwischen zwei Modellen ist oft Rauschen.\n\n{{\u003c callout type=\"tip\" title=\"Gleiches mit Gleichem vergleichen\" \u003e}}\nBevor Sie zwei Werte vergleichen, prüfen Sie drei Dinge: dieselbe Fassung des Benchmarks, dieselben Einstellungen und dieselbe Quelle. Die eigene Zahl eines Anbieters neben einem unabhängigen Ergebnis ist kein fairer Vergleich.\n{{\u003c /callout \u003e}}\n\n## Gesamtindizes und Agenten-Tests\n\nNicht jedes Modell wird in jedem Benchmark getestet. Die Grafik zeigt, wie viele Modelle unserer Datenbank Ergebnisse in welchem Test haben. Manche Tests decken mehr als zweihundert Modelle ab, andere nur wenige Dutzend — ein fehlender Wert ist also keine Null, und eine Rangliste in einem seltenen Test lässt die meisten Modelle aus.\n\n![Balkendiagramm: Zahl der Modelle mit Ergebnissen je Benchmark in unserer LLM-Datenbank](/images/learn/de/read-llm-benchmarks-like-an-expert-coverage.webp \"Wie viele Modelle unserer LLM-Datenbank Ergebnisse in jedem Benchmark haben. Daten: Epoch AI, CC BY 4.0.\")\n\nDer **Epoch Capabilities Index** (ECI) löst dieses Problem. Er fasst die Ergebnisse von mehr als 50 Benchmarks zu einer Zahl je Modell zusammen, sodass sich Modelle vergleichen lassen, auch wenn sie nie dieselben Tests absolviert haben. Er ist ein Index, kein Prozentwert: Epoch AI skaliert ihn so, dass Claude 3.5 Sonnet bei 130 und GPT-5 bei 150 steht. Ein Index taugt für den ersten Überblick, verdeckt aber Stärken und Schwächen in einzelnen Bereichen.\n\nDer **METR Time Horizon** misst etwas anderes: die Länge der Aufgaben — gemessen an der Zeit, die ein menschlicher Experte braucht —, die ein Modell in etwa der Hälfte der Versuche richtig löst. METR fand heraus, dass sich dieser Horizont seit 2019 etwa alle sieben Monate verdoppelt hat. (Quelle: METR, „Measuring AI Ability to Complete Long Tasks“, 2025, arxiv.org) Behalten Sie die 50 % im Kopf: Bei dieser Aufgabenlänge scheitert das Modell auch etwa in der Hälfte der Fälle. Die Aufgaben von METR stammen aus der Softwarearbeit, der Horizont sagt also vor allem über diese Art von Aufgaben etwas aus. Ein Horizont von zwei Stunden heißt nicht, dass ein Modell zwei Stunden lang unbeaufsichtigt an Ihrem Projekt arbeiten kann.\n\n{{\u003c llm-top bench=\"metr-time-horizon\" n=\"5\" \u003e}}\n\n## Von der Rangliste zur eigenen Entscheidung\n\nBenchmarks sind ein Filter, kein Urteil. Nutzen Sie sie für eine Vorauswahl und testen Sie diese dann an Ihrer eigenen Arbeit. Level 3 zeigt, wie Sie [das passende LLM für die Aufgabe wählen](/de/ai-productivity/learn/choose-the-right-llm-for-the-task/), und Teil 5 dieses Levels, wie Sie [Ihre Prompts testen und bewerten](/de/ai-productivity/learn/test-and-evaluate-your-prompts/) — mit einem eigenen Testsatz.\n\n![Trichter von öffentlichen Ranglisten über eine Vorauswahl, den eigenen Testsatz und einen Pilotbetrieb mit echten Nutzern bis zur Entscheidung](/images/learn/de/read-llm-benchmarks-like-an-expert-funnel.webp \"Öffentliche Benchmarks grenzen das Feld ein; Ihr eigener Testsatz und ein Pilotbetrieb entscheiden.\")\n\nSieben Fragen helfen Ihnen, jede Benchmark-Aussage zu beurteilen — in einer Anbieter-Ankündigung, einem Nachrichtenartikel oder einer Rangliste:\n\n| Frage | Warum sie zählt | Warnzeichen |\n|---|---|---|\n| Ist der Test gesättigt? | Spitzenwerte nahe am Maximum sagen wenig | Rekorde bei MMLU, GSM8K oder HellaSwag |\n| Könnte das Modell den Test kennen? | Kontamination bläht Werte auf | Nur alte, öffentliche Tests werden genannt |\n| Wer hat getestet? | Anbieter nutzen oft ihren eigenen Aufbau | Keine unabhängigen Ergebnisse |\n| Mit welchen Einstellungen? | Denkzeit, Versuche und Werkzeuge verändern Werte | Einstellungen werden nicht genannt |\n| Wie groß ist der Abstand? | Kleine Tests rauschen | Eine Rangliste, die ein oder zwei Punkte entscheiden |\n| Passt der Test zu Ihrer Aufgabe? | Jeder Benchmark misst bestimmte Fähigkeiten | Ein Programmierwert entscheidet über ein Schreibmodell |\n| Stimmen mehrere Tests überein? | Ein einzelner Test kann täuschen | Ein Rekord, keine weiteren Ergebnisse |","text":"Ein neues Modell erscheint, und die Ankündigung ist voller Zahlen: ein Rekord in einem Test, ein großer Sprung in einem anderen. Ein paar Wochen später beansprucht ein Wettbewerber den Spitzenplatz. Wenn Sie KI-Tools oder Modelle für sich oder Ihr Team auswählen, müssen Sie wissen, was diese Zahlen aussagen können — und was nicht.\nDies ist Teil 4 von Level 4 unseres Lernpfads AI Productivity. Sie lernen, was ein Benchmark wirklich misst, warum Tests unbrauchbar werden, was Kontamination und Testeinstellungen mit einem Wert machen, wie Gesamtindizes und Agenten-Tests funktionieren und warum der letzte Test immer Ihr eigener sein muss. Alle Modellergebnisse in diesem Artikel stammen direkt aus unserer LLM-Datenbank, die auf Daten von Epoch AI beruht.\nWas ein Benchmark eigentlich ist Ein Benchmark ist ein fester Satz von Aufgaben mit einer festen Bewertungsregel. Die meisten Werte geben den Anteil gelöster Aufgaben in Prozent an. Manche funktionieren anders: Der METR Time Horizon ist eine Dauer, der Epoch Capabilities Index ein Index. Unsere LLM-Seiten führen 16 Benchmarks für 343 Modelle; die Daten wurden zuletzt am 17.10.2026 abgerufen.\nJede Prozentzahl braucht einen Bezugspunkt. Bei Tests mit vier Antwortmöglichkeiten wie MMLU oder GPQA Diamond ergibt reines Raten schon 25 %. Ein Wert von 30 % liegt in einem solchen Test nahe am Zufall.\nLLM-Benchmarks lesen wie ein Profi Gruppe Beispiele in unseren Daten Ein hoher Wert zeigt Er zeigt nicht Wissen und Schlussfolgern MMLU, GPQA Diamond, Humanity\u0026rsquo;s Last Exam, SimpleQA Verified Starke Ergebnisse in schriftlichen Expertenprüfungen Dass das Modell Ihr Unternehmen oder die heutigen Nachrichten kennt Mathematik GSM8K, MATH Level 5, FrontierMath Mehrstufiges Rechnen und Beweisen Dass Ihre Tabellenformeln stimmen werden Programmieren und Agenten SWE-bench Verified, Aider Polyglot, Terminal-Bench Echten Code reparieren, in einer Kommandozeile arbeiten Dass es sicher in Ihren Systemen arbeitet Abstraktion ARC-AGI, ARC-AGI-2 Aus wenigen Beispielen eine neue Regel lernen Allgemeine Intelligenz Gesamtleistung Epoch Capabilities Index, METR Time Horizon Breite Leistungsfähigkeit; Länge der Aufgaben, die ein Agent schafft Eignung für Ihre konkrete Aufgabe In den Ranglisten dieses Artikels zeigt jede Zeile das Modell, seinen Entwickler, das Erscheinungsdatum und das Ergebnis. Achten Sie auf das Datum: Ein Modell, das letzte Woche erschienen ist, wurde womöglich einfach noch nicht in jedem Benchmark getestet. Und achten Sie auf die Klammern hinter einem Modellnamen, etwa „(high)“ oder „(max)“: Sie nennen die Einstellung, mit der das Ergebnis entstand.\nEin Wert ist nie nur eine Eigenschaft des Modells. Er hängt von vielen Entscheidungen derer ab, die den Test durchgeführt haben:\nEine Zahl, viele Entscheidungen: Bevor Sie zwei Werte vergleichen, prüfen Sie, ob diese sechs Punkte übereinstimmen. Sättigung: wenn ein Test Modelle nicht mehr unterscheidet Ein Benchmark ist gesättigt, wenn die besten Modelle so nah am Maximum liegen, dass die verbleibenden Unterschiede wenig bedeuten. MMLU — Multiple-Choice-Fragen aus 57 Fächern — war jahrelang der Standardtest für Wissen. Heute liegen die besten Modelle so nah an der Obergrenze, dass kaum noch neue Ergebnisse erscheinen.\nDie Obergrenze liegt zudem niedriger, als es scheint. Forschende, die MMLU nachgeprüft haben, schätzen, dass 6,49 % der Fragen Fehler enthalten; im Teilbereich Virologie waren 57 % der untersuchten Fragen fehlerhaft. (Quelle: Gema u. a., „Are We Done with MMLU?“, 2024, arxiv.org) Ab einer gewissen Höhe kann ein besserer Wert also heißen, dass ein Modell einen falschen Lösungsschlüssel trifft.\nSchwerere Tests übernehmen. GPQA Diamond umfasst 198 naturwissenschaftliche Fragen auf Graduiertenniveau, an denen Fachfremde selbst mit Webzugang scheitern. Humanity\u0026rsquo;s Last Exam (HLE) besteht aus 2.500 von Fachleuten geschriebenen Fragen aus vielen Gebieten und wurde vom Center for AI Safety und Scale AI entwickelt. FrontierMath nutzt unveröffentlichte Mathematikaufgaben, die Epoch AI unter Verschluss hält. Die Grafik zeigt das Muster: Jeder neue Test beginnt niedrig und steigt, während die älteren nahe der Obergrenze abflachen.\nBestwerte im Zeitverlauf: MMLU flachte zuerst ab, GPQA Diamond liegt nahe an der Obergrenze, Humanity\u0026#39;s Last Exam steigt noch. Daten: Epoch AI, CC BY 4.0. Das sind die aktuellen Spitzenreiter bei Humanity\u0026rsquo;s Last Exam:\nHumanity\u0026#39;s Last Exam: die 5 besten Modelle #ModellErschienenErgebnis 1GPT 6 Astra OpenAI03.09.202654,8 % 2Fable 5.1 (xhigh) Anthropic01.09.202646,5 % 3Gemini 3.1 Pro Preview (thinking high) Google DeepMind19.02.202646,4 % 4Sonnet 5.5 (xhigh) Anthropic28.09.202646,1 % 5Gemini 3.8 Flash Google DeepMind02.09.202644,5 % Von Fachleuten geschriebene Fragen an der Grenze des menschlichen Wissens aus vielen Gebieten — gebaut, um schwer zu bleiben, nachdem ältere Tests gelöst waren. Daten: Epoch AI, abgerufen am 17.10.2026, Lizenz CC BY 4.0. Alle Modelle: LLM-Datenbank.\nKontamination: wenn das Modell den Test schon kennt Kontamination heißt: Testfragen oder ihre Antworten sind in die Trainingsdaten eines Modells geraten. Das Modell erinnert sich dann womöglich, statt zu lösen. Jeder Test, der im Internet steht, ist gefährdet — und das Risiko wächst mit seinem Alter.\nTypische Warnzeichen: Ein Modell schneidet in einem alten öffentlichen Test deutlich besser ab als in einem neueren, der dieselbe Fähigkeit misst; oder seine Antworten wiederholen wörtlich die offiziellen Lösungen. Den besten Schutz bietet ein Test, der nie veröffentlicht wurde: private Aufgabensätze wie FrontierMath, frische Fragen — oder Ihre eigenen Aufgaben aus Ihrer eigenen Arbeit.\nEine einfache Prüfung können Sie selbst machen. Nehmen Sie einige Fragen aus einem öffentlichen Test und formulieren Sie sie um: Ändern Sie Namen, Zahlen und die Reihenfolge der Antwortmöglichkeiten, aber lassen Sie die Aufgabe gleich. Schneidet ein Modell bei den umformulierten Fassungen deutlich schlechter ab, hat es sich vermutlich eher auf sein Gedächtnis verlassen als auf sein Können.\nEinstellungen: gleiches Modell, anderer Wert Dasselbe Modell kann sehr unterschiedliche Werte erreichen, je nachdem, wie getestet wurde. Fünf Einstellungen zählen am meisten:\nDenkaufwand. Viele Modelle können länger „nachdenken“, bevor sie antworten. In unseren Daten sehen Sie Modellnamen mit „(high)“ oder „(max)“ — dasselbe Modell mit mehr Denkzeit und oft einem höheren Wert. Versuche. Eine Antwort pro Aufgabe ist etwas anderes als die beste von mehreren. Werkzeuge. SimpleQA Verified wird ohne Hilfsmittel beantwortet; ein Modell mit Websuche käme auf einen anderen Wert. Agenten-Software. Bei Terminal-Bench gehört der Wert zu einem Modell samt der Agenten-Software, die es steuert. Bei SWE-bench Verified stammen unsere Daten aus Epoch AIs eigenen Läufen mit einem festen Aufbau; Anbieter melden mit eigenem Werkzeug oft höhere Werte. Testgröße. GPQA Diamond hat 198 Fragen — eine Frage mehr oder weniger verschiebt den Wert also um etwa einen halben Prozentpunkt. Ein Abstand von ein oder zwei Punkten zwischen zwei Modellen ist oft Rauschen. ✦Gleiches mit Gleichem vergleichen\nBevor Sie zwei Werte vergleichen, prüfen Sie drei Dinge: dieselbe Fassung des Benchmarks, dieselben Einstellungen und dieselbe Quelle. Die eigene Zahl eines Anbieters neben einem unabhängigen Ergebnis ist kein fairer Vergleich.\nGesamtindizes und Agenten-Tests Nicht jedes Modell wird in jedem Benchmark getestet. Die Grafik zeigt, wie viele Modelle unserer Datenbank Ergebnisse in welchem Test haben. Manche Tests decken mehr als zweihundert Modelle ab, andere nur wenige Dutzend — ein fehlender Wert ist also keine Null, und eine Rangliste in einem seltenen Test lässt die meisten Modelle aus.\nWie viele Modelle unserer LLM-Datenbank Ergebnisse in jedem Benchmark haben. Daten: Epoch AI, CC BY 4.0. Der Epoch Capabilities Index (ECI) löst dieses Problem. Er fasst die Ergebnisse von mehr als 50 Benchmarks zu einer Zahl je Modell zusammen, sodass sich Modelle vergleichen lassen, auch wenn sie nie dieselben Tests absolviert haben. Er ist ein Index, kein Prozentwert: Epoch AI skaliert ihn so, dass Claude 3.5 Sonnet bei 130 und GPT-5 bei 150 steht. Ein Index taugt für den ersten Überblick, verdeckt aber Stärken und Schwächen in einzelnen Bereichen.\nDer METR Time Horizon misst etwas anderes: die Länge der Aufgaben — gemessen an der Zeit, die ein menschlicher Experte braucht —, die ein Modell in etwa der Hälfte der Versuche richtig löst. METR fand heraus, dass sich dieser Horizont seit 2019 etwa alle sieben Monate verdoppelt hat. (Quelle: METR, „Measuring AI Ability to Complete Long Tasks“, 2025, arxiv.org) Behalten Sie die 50 % im Kopf: Bei dieser Aufgabenlänge scheitert das Modell auch etwa in der Hälfte der Fälle. Die Aufgaben von METR stammen aus der Softwarearbeit, der Horizont sagt also vor allem über diese Art von Aufgaben etwas aus. Ein Horizont von zwei Stunden heißt nicht, dass ein Modell zwei Stunden lang unbeaufsichtigt an Ihrem Projekt arbeiten kann.\nMETR Time Horizon: die 5 besten Modelle #ModellErschienenErgebnis 1Claude Mythos Preview (Early) Anthropic07.04.202617 Std. 25 min 2Claude Opus 4.6 (unknown thinking) Anthropic05.02.202611 Std. 59 min 3Gemini 3.1 Pro Preview Google DeepMind19.02.20266 Std. 24 min 4GPT-5.2 (high) OpenAI11.12.20255 Std. 52 min 5GPT-5.3 Codex OpenAI05.02.20265 Std. 50 min Die Länge der Aufgaben, die ein Modell in etwa der Hälfte der Fälle richtig löst — gemessen daran, wie lange ein menschlicher Experte dafür braucht. Die Zahl ist eine Dauer, kein Punktwert: Ein längerer Horizont heißt, das Modell kann länger selbstständig arbeiten. Daten: Epoch AI, abgerufen am 17.10.2026, Lizenz CC BY 4.0. Alle Modelle: LLM-Datenbank.\nVon der Rangliste zur eigenen Entscheidung Benchmarks sind ein Filter, kein Urteil. Nutzen Sie sie für eine Vorauswahl und testen Sie diese dann an Ihrer eigenen Arbeit. Level 3 zeigt, wie Sie das passende LLM für die Aufgabe wählen, und Teil 5 dieses Levels, wie Sie Ihre Prompts testen und bewerten — mit einem eigenen Testsatz.\nÖffentliche Benchmarks grenzen das Feld ein; Ihr eigener Testsatz und ein Pilotbetrieb entscheiden. Sieben Fragen helfen Ihnen, jede Benchmark-Aussage zu beurteilen — in einer Anbieter-Ankündigung, einem Nachrichtenartikel oder einer Rangliste:\nLLM-Benchmarks lesen wie ein Profi (2) Frage Warum sie zählt Warnzeichen Ist der Test gesättigt? Spitzenwerte nahe am Maximum sagen wenig Rekorde bei MMLU, GSM8K oder HellaSwag Könnte das Modell den Test kennen? Kontamination bläht Werte auf Nur alte, öffentliche Tests werden genannt Wer hat getestet? Anbieter nutzen oft ihren eigenen Aufbau Keine unabhängigen Ergebnisse Mit welchen Einstellungen? Denkzeit, Versuche und Werkzeuge verändern Werte Einstellungen werden nicht genannt Wie groß ist der Abstand? Kleine Tests rauschen Eine Rangliste, die ein oder zwei Punkte entscheiden Passt der Test zu Ihrer Aufgabe? Jeder Benchmark misst bestimmte Fähigkeiten Ein Programmierwert entscheidet über ein Schreibmodell Stimmen mehrere Tests überein? Ein einzelner Test kann täuschen Ein Rekord, keine weiteren Ergebnisse ","words":1626},"date":"2026-10-14","description":"Was LLM-Benchmarks wirklich messen, warum Tests ausgereizt sind, wie Kontamination und Einstellungen Werte verzerren — und wie Sie damit ein Modell wählen.","image":"https://abxk.ai/images/cover/read-llm-benchmarks-like-an-expert.webp","json":"https://abxk.ai/de/ai-productivity/learn/read-llm-benchmarks-like-an-expert/index.json","kind":"page","language":"de","learning_path":{"category":"ai-productivity","level":4,"level_name":"Experte"},"modified":"2026-10-14","related_tools":["ChatGPT (GPT Image)","Google Gemini (Nano Banana)","Meta AI"],"section":"ai-productivity","tags":["llm","benchmarks","evaluation","modellwahl","experte"],"title":"LLM-Benchmarks lesen wie ein Profi","translations":[{"json":"https://abxk.ai/en/ai-productivity/learn/read-llm-benchmarks-like-an-expert/index.json","language":"en","url":"https://abxk.ai/en/ai-productivity/learn/read-llm-benchmarks-like-an-expert/"}],"url":"https://abxk.ai/de/ai-productivity/learn/read-llm-benchmarks-like-an-expert/"}