{"author":{"@type":"Person","name":"Alexander Bock","url":"https://abxk.ai/de/autor/alexander-bock/"},"categories":["AI Development"],"content":{"markdown":"Wenn ein neues KI-Modell angekündigt wird, kommen meist drei Zahlen mit: wie viele Parameter es hat, mit wie vielen Daten es trainiert wurde und wie viel Rechenleistung sein Training brauchte. Diese drei Zahlen erklären den größten Teil des Fortschritts der letzten fünfzehn Jahre. Die Ideen hinter den heutigen Modellen sind kaum jünger als der Transformer von 2017; was sich geändert hat, ist der Maßstab.\n\nDies ist Teil 4 von Level 0 in unserem Lernpfad KI-Grundlagen. Sie erfahren, was jede der drei Zahlen bedeutet, wie schnell jede laut den Daten von Epoch AI zu bemerkenswerten KI-Modellen gewachsen ist und warum größer bisher besser hieß.\n\n## Drei Zahlen hinter jedem Modell\n\n**Parameter** sind die einstellbaren Zahlen in einem Modell, seine Gewichte. Sie speichern, was das Modell gelernt hat. Unser kleines Ziffern-Netz hatte einige Tausend; große Sprachmodelle haben Milliarden oder, nach Schätzungen, mehr als eine Billion.\n\n**Trainingsdaten** sind die Beispiele, aus denen ein Modell lernt. Bei Sprachmodellen werden sie in **Tokens** gezählt, Wortstücken von im Englischen etwa vier Zeichen, und reichen heute in die Billionen.\n\n**Rechenaufwand** des Trainings ist die Zahl der Rechenoperationen im gesamten Training, gezählt in **FLOP** (Floating-Point Operations, einfache Rechnungen mit Kommazahlen). Er hängt von den beiden anderen ab: Eine verbreitete Faustregel für Transformer-Modelle lautet, dass der Rechenaufwand etwa sechsmal die Zahl der Parameter mal die Zahl der Trainings-Tokens beträgt. Ein doppelt so großes Modell mit doppelt so vielen Daten braucht also etwa viermal so viel Rechenaufwand.\n\n| Zahl | Was sie misst | Einheit | Wächst, wenn |\n|---|---|---|---|\n| Parameter | Einstellbare Gewichte des Modells | Anzahl | Das Modell größer wird |\n| Trainingsdaten | Beispiele, aus denen das Modell lernt | Tokens, Bilder, Datenpunkte | Mehr Daten gesammelt werden |\n| Rechenaufwand | Rechenoperationen des gesamten Trainings | FLOP | Eine der beiden anderen wächst oder länger trainiert wird |\n\n## Wie schnell sie wuchsen\n\nEpoch AI, ein Forschungsinstitut, das die Entwicklung der KI verfolgt, schätzt den Rechenaufwand des Trainings für {{\u003c num \"ai_models\" \"with_compute\" \u003e}} seiner bemerkenswerten Modelle. Wir haben eine Trendlinie durch die seit 2010 veröffentlichten Modelle gelegt. Das Ergebnis: Der Rechenaufwand wuchs um etwa das {{\u003c num \"ai_models\" \"compute_growth_per_year\" \u003e}}-Fache pro Jahr, er verdoppelte sich also ungefähr alle {{\u003c num \"ai_models\" \"compute_doubling_months\" \u003e}} Monate. Die Parameter wuchsen um etwa das {{\u003c num \"ai_models\" \"params_growth_per_year\" \u003e}}-Fache pro Jahr, die Trainingsdaten um etwa das {{\u003c num \"ai_models\" \"data_growth_per_year\" \u003e}}-Fache.\n\n![Streudiagramm auf logarithmischer Skala: Rechenaufwand des Trainings bemerkenswerter KI-Modelle nach Veröffentlichungsdatum seit 1950; die Punkte steigen bis etwa 2010 langsam und danach sehr steil, mit Sprachmodellen an der Spitze](/images/learn/de/parameters-data-compute-compute.webp \"Rechenaufwand bemerkenswerter KI-Modelle. Jede Stufe auf der senkrechten Achse bedeutet das Zehnfache.\")\n\nDer Rechenaufwand wächst am schnellsten, weil er die beiden anderen verbindet: größere Modelle, mit mehr Daten länger trainiert. Zum Vergleich: Die Rechenleistung eines einzelnen Chips wuchs weit langsamer; der Rest kam daher, dass viel mehr Chips gleichzeitig genutzt werden, wie Teil 3 dieses Levels gezeigt hat.\n\n![Balken: durchschnittliches Wachstum pro Jahr seit 2010 für Rechenaufwand, Trainingsdaten und Parameter bemerkenswerter KI-Modelle](/images/learn/de/parameters-data-compute-growth.webp \"Durchschnittliches Wachstum pro Jahr seit 2010, unsere Berechnung aus den Daten von Epoch AI.\")\n\n## Woher die Trainingsdaten kommen\n\nBei Sprachmodellen stammt der größte Teil der Trainingsdaten aus Texten des öffentlichen Webs, gesammelt von Crawlern und stark gefiltert: Dubletten, Spam und minderwertige Seiten fliegen raus, weil die Qualität so viel zählt wie die Menge. Bücher, Fachartikel, Code aus öffentlichen Repositorys und abgeschriebene Tonaufnahmen kommen hinzu. Bild- und Videomodelle lernen aus Bildern und Clips mit passenden Beschreibungen. Zwei Entwicklungen prägen diese Daten heute. Entwickler nutzen zunehmend **synthetische Daten**, also Beispiele, die andere Modelle erzeugt haben, etwa Matheaufgaben mit Lösungsweg. Und die Nutzung urheberrechtlich geschützter Werke fürs Training ist umstritten: Gerichtsverfahren und neue Regeln klären, was genutzt werden darf, und der EU AI Act verpflichtet Anbieter von KI-Modellen mit allgemeinem Verwendungszweck, eine Zusammenfassung der Trainingsinhalte zu veröffentlichen.\n\n## Warum die Zahl der Parameter täuschen kann\n\nMehr Parameter heißt nicht immer ein besseres oder teureres Modell. Viele große Modelle sind heute **Mixtures of Experts**: Sie enthalten viele spezialisierte Teilnetze, und für jedes Wortstück sind nur wenige davon aktiv. Ein solches Modell kann insgesamt Hunderte Milliarden Parameter haben, nutzt aber für jede Antwort nur einen Bruchteil davon — und ist dadurch viel günstiger im Betrieb. In die andere Richtung trainiert die **Destillation** ein kleines Modell darauf, ein großes nachzuahmen, sodass ein Modell mit wenigen Milliarden Parametern viel größere Modelle von vor ein, zwei Jahren erreichen kann. Wenn Sie Modelle vergleichen, schauen Sie auf Benchmark-Ergebnisse und Preise, nicht allein auf die Zahl der Parameter.\n\n## Die größten Trainingsläufe\n\nDie Tabelle zeigt die bemerkenswerten Modelle mit dem größten Rechenaufwand. Die Zahlen sind Schätzungen von Epoch AI, weil Entwickler sie selten veröffentlichen. Der größte Lauf in den Daten brauchte etwa 10 hoch {{\u003c num \"ai_models\" \"largest_compute_log10\" \u003e}} Rechenoperationen — eine Eins mit mehr als zwei Dutzend Nullen.\n\n{{\u003c data \"models-largest\" \u003e}}\n\n## Warum größer besser hieß\n\nSeit etwa 2020 haben Forschende festgestellt, dass der Fehler von Sprachmodellen erstaunlich regelmäßig sinkt, wenn Rechenaufwand, Parameter und Daten gemeinsam wachsen. Diese **Skalierungsgesetze** erlauben es Entwicklern, vorherzusagen, wie gut ein Modell wird, bevor sie es trainieren — und sie erklären, warum Unternehmen Milliarden in immer größere Trainingsläufe stecken. Eine zweite Erkenntnis prägte das Feld: Bei gegebenem Rechenaufwand lohnt es sich, Modellgröße und Datenmenge auszubalancieren, statt das größtmögliche Modell mit zu wenig Daten zu bauen.\n\nDas Wachstum hat Grenzen. Trainingsläufe brauchen jedes Jahr mehr Chips, mehr Strom und mehr Daten, und hochwertiger Text aus dem Internet ist endlich. Deshalb suchen Entwickler inzwischen auch nach anderen Wegen, Modelle zu verbessern, etwa indem sie sie vor der Antwort länger „nachdenken“ lassen — das verlagert Rechenaufwand vom Training in die Inferenz.\n\nDer letzte Teil von Level 0 öffnet die Kiste: was ein neuronales Netz eigentlich ist, mit den Neuronen, Schichten und Gewichten unseres eigenen kleinen Netzes.","text":"Wenn ein neues KI-Modell angekündigt wird, kommen meist drei Zahlen mit: wie viele Parameter es hat, mit wie vielen Daten es trainiert wurde und wie viel Rechenleistung sein Training brauchte. Diese drei Zahlen erklären den größten Teil des Fortschritts der letzten fünfzehn Jahre. Die Ideen hinter den heutigen Modellen sind kaum jünger als der Transformer von 2017; was sich geändert hat, ist der Maßstab.\nDies ist Teil 4 von Level 0 in unserem Lernpfad KI-Grundlagen. Sie erfahren, was jede der drei Zahlen bedeutet, wie schnell jede laut den Daten von Epoch AI zu bemerkenswerten KI-Modellen gewachsen ist und warum größer bisher besser hieß.\nDrei Zahlen hinter jedem Modell Parameter sind die einstellbaren Zahlen in einem Modell, seine Gewichte. Sie speichern, was das Modell gelernt hat. Unser kleines Ziffern-Netz hatte einige Tausend; große Sprachmodelle haben Milliarden oder, nach Schätzungen, mehr als eine Billion.\nTrainingsdaten sind die Beispiele, aus denen ein Modell lernt. Bei Sprachmodellen werden sie in Tokens gezählt, Wortstücken von im Englischen etwa vier Zeichen, und reichen heute in die Billionen.\nRechenaufwand des Trainings ist die Zahl der Rechenoperationen im gesamten Training, gezählt in FLOP (Floating-Point Operations, einfache Rechnungen mit Kommazahlen). Er hängt von den beiden anderen ab: Eine verbreitete Faustregel für Transformer-Modelle lautet, dass der Rechenaufwand etwa sechsmal die Zahl der Parameter mal die Zahl der Trainings-Tokens beträgt. Ein doppelt so großes Modell mit doppelt so vielen Daten braucht also etwa viermal so viel Rechenaufwand.\nParameter, Daten und Rechenaufwand: warum KI-Modelle so schnell wuchsen Zahl Was sie misst Einheit Wächst, wenn Parameter Einstellbare Gewichte des Modells Anzahl Das Modell größer wird Trainingsdaten Beispiele, aus denen das Modell lernt Tokens, Bilder, Datenpunkte Mehr Daten gesammelt werden Rechenaufwand Rechenoperationen des gesamten Trainings FLOP Eine der beiden anderen wächst oder länger trainiert wird Wie schnell sie wuchsen Epoch AI, ein Forschungsinstitut, das die Entwicklung der KI verfolgt, schätzt den Rechenaufwand des Trainings für 478 seiner bemerkenswerten Modelle. Wir haben eine Trendlinie durch die seit 2010 veröffentlichten Modelle gelegt. Das Ergebnis: Der Rechenaufwand wuchs um etwa das 4,3-Fache pro Jahr, er verdoppelte sich also ungefähr alle 5,7 Monate. Die Parameter wuchsen um etwa das 2,2-Fache pro Jahr, die Trainingsdaten um etwa das 3-Fache.\nRechenaufwand bemerkenswerter KI-Modelle. Jede Stufe auf der senkrechten Achse bedeutet das Zehnfache. Der Rechenaufwand wächst am schnellsten, weil er die beiden anderen verbindet: größere Modelle, mit mehr Daten länger trainiert. Zum Vergleich: Die Rechenleistung eines einzelnen Chips wuchs weit langsamer; der Rest kam daher, dass viel mehr Chips gleichzeitig genutzt werden, wie Teil 3 dieses Levels gezeigt hat.\nDurchschnittliches Wachstum pro Jahr seit 2010, unsere Berechnung aus den Daten von Epoch AI. Woher die Trainingsdaten kommen Bei Sprachmodellen stammt der größte Teil der Trainingsdaten aus Texten des öffentlichen Webs, gesammelt von Crawlern und stark gefiltert: Dubletten, Spam und minderwertige Seiten fliegen raus, weil die Qualität so viel zählt wie die Menge. Bücher, Fachartikel, Code aus öffentlichen Repositorys und abgeschriebene Tonaufnahmen kommen hinzu. Bild- und Videomodelle lernen aus Bildern und Clips mit passenden Beschreibungen. Zwei Entwicklungen prägen diese Daten heute. Entwickler nutzen zunehmend synthetische Daten, also Beispiele, die andere Modelle erzeugt haben, etwa Matheaufgaben mit Lösungsweg. Und die Nutzung urheberrechtlich geschützter Werke fürs Training ist umstritten: Gerichtsverfahren und neue Regeln klären, was genutzt werden darf, und der EU AI Act verpflichtet Anbieter von KI-Modellen mit allgemeinem Verwendungszweck, eine Zusammenfassung der Trainingsinhalte zu veröffentlichen.\nWarum die Zahl der Parameter täuschen kann Mehr Parameter heißt nicht immer ein besseres oder teureres Modell. Viele große Modelle sind heute Mixtures of Experts: Sie enthalten viele spezialisierte Teilnetze, und für jedes Wortstück sind nur wenige davon aktiv. Ein solches Modell kann insgesamt Hunderte Milliarden Parameter haben, nutzt aber für jede Antwort nur einen Bruchteil davon — und ist dadurch viel günstiger im Betrieb. In die andere Richtung trainiert die Destillation ein kleines Modell darauf, ein großes nachzuahmen, sodass ein Modell mit wenigen Milliarden Parametern viel größere Modelle von vor ein, zwei Jahren erreichen kann. Wenn Sie Modelle vergleichen, schauen Sie auf Benchmark-Ergebnisse und Preise, nicht allein auf die Zahl der Parameter.\nDie größten Trainingsläufe Die Tabelle zeigt die bemerkenswerten Modelle mit dem größten Rechenaufwand. Die Zahlen sind Schätzungen von Epoch AI, weil Entwickler sie selten veröffentlichen. Der größte Lauf in den Daten brauchte etwa 10 hoch 27,0 Rechenoperationen — eine Eins mit mehr als zwei Dutzend Nullen.\nDie größten Trainingsläufe nach Rechenaufwand ModellOrganisationVeröffentlichtRechenaufwand (FLOP)Bereich GPT-6 AstraOpenAI03.09.20269,3 × 1026Multimodal Grok 4xAI09.07.20255,0 × 1026Sprache GPT-4.5OpenAI27.02.20253,8 × 1026Sprache Grok 3xAI17.02.20253,5 × 1026Sprache GPT-5OpenAI07.08.20256,6 × 1025Multimodal Llama 4 Behemoth (preview)Meta AI05.04.20255,1 × 1025Multimodal Gemini 1.0 UltraGoogle DeepMind06.12.20235,0 × 1025Multimodal Composer 2.5Cursor18.05.20263,9 × 1025Sprache Llama 3.1-405BMeta AI23.07.20243,8 × 1025Sprache Claude 3.7 SonnetAnthropic24.02.20253,4 × 1025Sprache Quelle wie bei der ersten Tabelle dieser Seite.\nWarum größer besser hieß Seit etwa 2020 haben Forschende festgestellt, dass der Fehler von Sprachmodellen erstaunlich regelmäßig sinkt, wenn Rechenaufwand, Parameter und Daten gemeinsam wachsen. Diese Skalierungsgesetze erlauben es Entwicklern, vorherzusagen, wie gut ein Modell wird, bevor sie es trainieren — und sie erklären, warum Unternehmen Milliarden in immer größere Trainingsläufe stecken. Eine zweite Erkenntnis prägte das Feld: Bei gegebenem Rechenaufwand lohnt es sich, Modellgröße und Datenmenge auszubalancieren, statt das größtmögliche Modell mit zu wenig Daten zu bauen.\nDas Wachstum hat Grenzen. Trainingsläufe brauchen jedes Jahr mehr Chips, mehr Strom und mehr Daten, und hochwertiger Text aus dem Internet ist endlich. Deshalb suchen Entwickler inzwischen auch nach anderen Wegen, Modelle zu verbessern, etwa indem sie sie vor der Antwort länger „nachdenken“ lassen — das verlagert Rechenaufwand vom Training in die Inferenz.\nDer letzte Teil von Level 0 öffnet die Kiste: was ein neuronales Netz eigentlich ist, mit den Neuronen, Schichten und Gewichten unseres eigenen kleinen Netzes.\n","words":927},"date":"2026-10-18","description":"Was Parameter, Trainingsdaten und Rechenaufwand bedeuten, wie schnell sie laut Epoch AI seit 2010 wuchsen und warum mehr davon KI-Modelle besser machte.","image":"https://abxk.ai/images/cover/parameters-data-compute.webp","json":"https://abxk.ai/de/ai-development/fundamentals/parameters-data-compute/index.json","kind":"page","language":"de","learning_path":{"category":"ai-development","level":0,"level_name":"Einstieg"},"modified":"2026-10-18","related_tools":["Runpod","Pinecone","MindStudio"],"section":"ai-development","seo_title":"Parameter, Daten, Rechenaufwand: wie KI-Modelle wachsen","tags":["parameter","rechenaufwand","skalierung","ki-grundlagen","einstieg"],"title":"Parameter, Daten und Rechenaufwand: warum KI-Modelle so schnell wuchsen","translations":[{"json":"https://abxk.ai/en/ai-development/fundamentals/parameters-data-compute/index.json","language":"en","url":"https://abxk.ai/en/ai-development/fundamentals/parameters-data-compute/"}],"url":"https://abxk.ai/de/ai-development/fundamentals/parameters-data-compute/"}