{"author":{"@type":"Person","name":"Alexander Bock","url":"https://abxk.ai/de/autor/alexander-bock/"},"categories":["Physical AI"],"content":{"markdown":"Jedes Robotergehirn, jedes selbstfahrende Auto und jeder Chatbot läuft auf Chips. Wird ein neuer KI-Chip vorgestellt, macht eine Zahl die Schlagzeilen: wie viele Rechenschritte er pro Sekunde schafft. Doch diese Zahl allein sagt erstaunlich wenig darüber, wie schnell ein Chip KI in der Praxis ausführt. Die eigentliche Grenze liegt oft woanders: wie schnell der Chip Daten aus seinem Speicher holen kann.\n\nDies ist Teil 5 von Level 1 in unserem Lernpfad Physical AI. Mit Daten von Epoch AI, einem Forschungsinstitut, das KI-Hardware erfasst, vergleichen wir die Spitzen-Chips jedes Jahres seit 2017. Sie erfahren, welche drei Kennzahlen einen KI-Chip beschreiben, warum die Rechenleistung mehr als doppelt so schnell gewachsen ist wie die Speichergeschwindigkeit und was diese **Speicherwand** für das Tempo von KI-Antworten bedeutet.\n\n## Drei Kennzahlen eines KI-Chips\n\n| Kennzahl | Bedeutung | Einheit | Warum sie zählt |\n|---|---|---|---|\n| Rechenleistung | Rechenschritte pro Sekunde, hier mit 16-Bit-Zahlen | TFLOP/s (Billionen pro Sekunde) | Grenze für große, gleichmäßige Rechnungen wie das Training |\n| Speicher | Wie viele Daten direkt neben dem Chip Platz haben | GB | Entscheidet, ob ein Modell auf einen Chip passt oder geteilt werden muss |\n| Speicherbandbreite | Wie schnell Daten zwischen Speicher und Chip fließen | TB/s (Terabyte pro Sekunde) | Grenze immer dann, wenn der Chip viele Daten für wenig Rechnung lesen muss |\n\nHeutige KI-Chips sind meist Grafikprozessoren (GPUs) oder reine KI-Chips wie Googles TPUs. Beide enthalten Tausende kleine Recheneinheiten, die parallel arbeiten — passend für die Matrizenrechnung neuronaler Netze. Bei den Chip-Verkäufen, die Epoch AI seit Anfang 2024 erfasst, entfallen {{\u003c num \"ai_infra\" \"chips_nvidia_share_pct\" \u003e}} % der verkauften Rechenleistung auf NVIDIA.\n\n## Die Rechenleistung wuchs schneller als die Speichergeschwindigkeit\n\nWir haben für jedes Jahr den leistungsstärksten verbreiteten KI-Chip von NVIDIA, AMD oder Google genommen und mit dem Spitzen-Chip von 2017 verglichen. Die Rechenleistung wuchs auf das {{\u003c num \"ai_infra\" \"ms_flops_growth\" \u003e}}-Fache, die Speichergröße auf das {{\u003c num \"ai_infra\" \"ms_mem_growth\" \u003e}}-Fache. Die Speicherbandbreite dagegen wuchs nur auf das {{\u003c num \"ai_infra\" \"ms_bw_growth\" \u003e}}-Fache, von {{\u003c num \"ai_infra\" \"ms_bw_2017_tbs\" \u003e}} auf {{\u003c num \"ai_infra\" \"ms_bw_peak_tbs\" \u003e}} Terabyte pro Sekunde.\n\n![Liniendiagramm von 2017 bis 2025, alle Werte im Verhältnis zu 2017: Die Rechenleistung steigt auf etwa das Zwanzigfache, die Speichergröße auf etwa das Achtzehnfache, die Speicherbandbreite nur auf etwa das Neunfache](/images/learn/de/ai-chips-memory-wall-growth.webp \"Spitzen-Chips je Jahr im Vergleich zu 2017. Die Speicherbandbreite fällt zurück.\")\n\n{{\u003c data \"hw-mainstream\" \u003e}}\n\nDie letzte Spalte der Tabelle zeigt die Folge. Der Spitzen-Chip von 2017 schaffte {{\u003c num \"ai_infra\" \"ms_ratio_2017\" \u003e}} Rechenschritte in der Zeit, in der er ein Byte aus dem Speicher las. Der schnellste Chip der Tabelle schafft {{\u003c num \"ai_infra\" \"ms_ratio_peak\" \u003e}}. Ein Programm, das weniger Rechenschritte je Byte ausführt, lässt einen Teil des Chips ungenutzt warten. Fachleute nennen das die **Speicherwand** (Memory Wall).\n\n## Warum ein einzelner Nutzer den Chip kaum auslastet\n\nSchreibt ein Sprachmodell eine Antwort, erzeugt es ein Wortstück (Token) nach dem anderen. Für jedes Token muss der Chip alle Gewichte des Modells einmal aus dem Speicher lesen und rechnet etwa zwei Schritte je Gewicht. Mit 16-Bit-Zahlen belegt jedes Gewicht zwei Byte, der Chip rechnet also etwa einen Schritt je gelesenem Byte. Das liegt weit unter den {{\u003c num \"ai_infra\" \"ms_ratio_peak\" \u003e}}, die der Chip schaffen könnte: Bedient er einen einzelnen Nutzer, nutzt er höchstens {{\u003c num \"ai_infra\" \"ms_batch1_util_pct\" \u003e}} % seiner Rechenleistung.\n\n![Roofline-Diagramm mit logarithmischen Achsen: erreichbare Rechenleistung gegen Rechenschritte je gelesenem Byte; die Linie steigt schräg an, solange die Speicherbandbreite begrenzt, und wird flach bei der Spitzenleistung des Chips; Punkte markieren einen, acht, vierundsechzig und fünfhundertzwölf gleichzeitig bediente Nutzer](/images/learn/de/ai-chips-memory-wall-roofline.webp \"Die Roofline des schnellsten Chips der Tabelle. Mehr gleichzeitig bediente Nutzer schieben die Arbeit nach rechts, zur vollen Auslastung.\")\n\nDer Trick besteht darin, viele Nutzer gleichzeitig zu bedienen. Erzeugt ein Chip das nächste Token für 64 Unterhaltungen auf einmal, liest er die Gewichte einmal, nutzt sie aber 64-mal: etwa 64 Rechenschritte je Byte. Das heißt **Batching**, und es ist der Hauptgrund, warum KI-Anbieter Millionen Nutzer mit einer begrenzten Zahl von Chips bedienen können. Es erklärt auch, warum das Tempo einer einzelnen Antwort so stark von der Speicherbandbreite abhängt und nicht nur von der Rechenleistung.\n\nEin Rechenbeispiel mit unserer eigenen Annahme: Ein Sprachmodell mit {{\u003c num \"ai_infra\" \"ex_params_bn\" \u003e}} Milliarden Parametern braucht für seine Gewichte in 16-Bit-Form {{\u003c num \"ai_infra\" \"ex_weights_gb\" \u003e}} GB. 2017 hätte es mindestens {{\u003c num \"ai_infra\" \"ex_chips_2017\" \u003e}} Spitzen-Chips gebraucht, nur um es zu speichern; heute passt es auf {{\u003c num \"ai_infra\" \"ex_chips_peak\" \u003e}}. Für einen einzelnen Nutzer begrenzt die Speicherbandbreite das Tempo auf höchstens etwa {{\u003c num \"ai_infra\" \"ex_tokens_s\" \u003e}} Token pro Sekunde auf dem schnellsten Chip der Tabelle, verglichen mit etwa {{\u003c num \"ai_infra\" \"ex_tokens_s_2017\" \u003e}} auf dem Chip von 2017, hätte das Modell darauf gepasst. Echte Systeme erreichen weniger, weil kein Chip seine volle Bandbreite ständig nutzt.\n\n## Was Chip-Entwickler dagegen tun\n\nDie Speicherwand prägt fast jedes neue Design:\n\n- **Schnellerer Speicher direkt neben dem Chip.** High-Bandwidth Memory (HBM) sitzt in Stapeln unmittelbar neben dem Prozessor und gehört zu den teuersten Teilen eines KI-Chips.\n- **Kleinere Zahlen.** Gewichte mit 8 oder 4 Bit statt 16 zu speichern halbiert oder viertelt die Bytes je Gewicht und erhöht so die Rechenschritte je Byte. Der Preis ist ein kleiner Verlust an Genauigkeit, der für jedes Modell geprüft werden muss.\n- **Mehr Speicher auf dem Chip selbst.** Manche Chips, die fürs Antworten statt fürs Training gebaut sind, halten große Teile eines Modells im schnellen Speicher auf dem Chip.\n- **Arbeit aufteilen.** Große Modelle werden über viele Chips mit schnellen Verbindungen verteilt, sodass jeder Chip nur einen Teil der Gewichte liest.\n\nIn der Physical AI zeigt sich dieselbe Abwägung im Kleinen. Ein Roboter oder ein Auto muss seine Modelle an Bord ausführen, mit einem Strombudget von einigen Dutzend bis Hunderten Watt statt der Kilowatt eines Server-Racks im Rechenzentrum. Jedes bewegte Byte kostet Zeit und Energie — deshalb sind Modelle für Roboter und Fahrzeuge oft kleiner, nutzen weniger Bits und sind eng auf ihren Chip abgestimmt.\n\n## So haben wir die Daten ausgewertet\n\nDie Chip-Daten stammen aus der Datenbank von Epoch AI zu Hardware für maschinelles Lernen. Für jedes Jahr haben wir die leistungsstärkste GPU oder TPU von NVIDIA, AMD oder Google mit Angaben zu 16-Bit-Rechenleistung, Speicher und Bandbreite genommen. Rechenschritte je Byte sind Rechenleistung geteilt durch Bandbreite. Das Rechenbeispiel nutzt unsere eigenen, vereinfachten Annahmen: zwei Rechenschritte je Parameter und Token, 16-Bit-Gewichte und kein weiterer Speicherverkehr. Echte Werte hängen von Software, Modell und tatsächlicher Bandbreite des Chips ab.","text":"Jedes Robotergehirn, jedes selbstfahrende Auto und jeder Chatbot läuft auf Chips. Wird ein neuer KI-Chip vorgestellt, macht eine Zahl die Schlagzeilen: wie viele Rechenschritte er pro Sekunde schafft. Doch diese Zahl allein sagt erstaunlich wenig darüber, wie schnell ein Chip KI in der Praxis ausführt. Die eigentliche Grenze liegt oft woanders: wie schnell der Chip Daten aus seinem Speicher holen kann.\nDies ist Teil 5 von Level 1 in unserem Lernpfad Physical AI. Mit Daten von Epoch AI, einem Forschungsinstitut, das KI-Hardware erfasst, vergleichen wir die Spitzen-Chips jedes Jahres seit 2017. Sie erfahren, welche drei Kennzahlen einen KI-Chip beschreiben, warum die Rechenleistung mehr als doppelt so schnell gewachsen ist wie die Speichergeschwindigkeit und was diese Speicherwand für das Tempo von KI-Antworten bedeutet.\nDrei Kennzahlen eines KI-Chips Im Inneren von KI-Chips: Rechenleistung, Speicher und die Speicherwand Kennzahl Bedeutung Einheit Warum sie zählt Rechenleistung Rechenschritte pro Sekunde, hier mit 16-Bit-Zahlen TFLOP/s (Billionen pro Sekunde) Grenze für große, gleichmäßige Rechnungen wie das Training Speicher Wie viele Daten direkt neben dem Chip Platz haben GB Entscheidet, ob ein Modell auf einen Chip passt oder geteilt werden muss Speicherbandbreite Wie schnell Daten zwischen Speicher und Chip fließen TB/s (Terabyte pro Sekunde) Grenze immer dann, wenn der Chip viele Daten für wenig Rechnung lesen muss Heutige KI-Chips sind meist Grafikprozessoren (GPUs) oder reine KI-Chips wie Googles TPUs. Beide enthalten Tausende kleine Recheneinheiten, die parallel arbeiten — passend für die Matrizenrechnung neuronaler Netze. Bei den Chip-Verkäufen, die Epoch AI seit Anfang 2024 erfasst, entfallen 65,1 % der verkauften Rechenleistung auf NVIDIA.\nDie Rechenleistung wuchs schneller als die Speichergeschwindigkeit Wir haben für jedes Jahr den leistungsstärksten verbreiteten KI-Chip von NVIDIA, AMD oder Google genommen und mit dem Spitzen-Chip von 2017 verglichen. Die Rechenleistung wuchs auf das 20,1-Fache, die Speichergröße auf das 18-Fache. Die Speicherbandbreite dagegen wuchs nur auf das 8,9-Fache, von 0,9 auf 8 Terabyte pro Sekunde.\nSpitzen-Chips je Jahr im Vergleich zu 2017. Die Speicherbandbreite fällt zurück. Verbreitete Spitzen-Chips je Jahr: Rechenleistung, Speicher und wie viel gerechnet werden muss, damit der Speicher nicht bremst JahrChipTFLOP/sSpeicherbandbreite (TB/s)Speicher (GB)Rechenschritte je gelesenem Byte 2017NVIDIA V100 SXM21250,916139 2018NVIDIA V100 DGXS 16 GB1250,916139 2019NVIDIA V100S PCIe 32 GB1301,132115 2020NVIDIA A100 SXM4 80 GB3122,080153 2021AMD Radeon Instinct MI250X3833,3128117 2022NVIDIA H100 SXM5 80GB9893,480295 2023AMD Instinct MI300X1.3075,3192247 2024NVIDIA B2002.2507,7180292 2025AMD Instinct MI355X2.5178,0288315 Daten: Epoch AI, Data on machine learning hardware, abgerufen am 18.10.2026, Lizenz CC BY 4.0. Je Jahr der leistungsstärkste GPU- oder TPU-Chip von NVIDIA, AMD oder Google mit Angaben zu Rechenleistung (16 Bit), Bandbreite und Speicher; Rechenschritte je Byte: unsere Berechnung.\nDie letzte Spalte der Tabelle zeigt die Folge. Der Spitzen-Chip von 2017 schaffte 139 Rechenschritte in der Zeit, in der er ein Byte aus dem Speicher las. Der schnellste Chip der Tabelle schafft 315. Ein Programm, das weniger Rechenschritte je Byte ausführt, lässt einen Teil des Chips ungenutzt warten. Fachleute nennen das die Speicherwand (Memory Wall).\nWarum ein einzelner Nutzer den Chip kaum auslastet Schreibt ein Sprachmodell eine Antwort, erzeugt es ein Wortstück (Token) nach dem anderen. Für jedes Token muss der Chip alle Gewichte des Modells einmal aus dem Speicher lesen und rechnet etwa zwei Schritte je Gewicht. Mit 16-Bit-Zahlen belegt jedes Gewicht zwei Byte, der Chip rechnet also etwa einen Schritt je gelesenem Byte. Das liegt weit unter den 315, die der Chip schaffen könnte: Bedient er einen einzelnen Nutzer, nutzt er höchstens 0,3 % seiner Rechenleistung.\nDie Roofline des schnellsten Chips der Tabelle. Mehr gleichzeitig bediente Nutzer schieben die Arbeit nach rechts, zur vollen Auslastung. Der Trick besteht darin, viele Nutzer gleichzeitig zu bedienen. Erzeugt ein Chip das nächste Token für 64 Unterhaltungen auf einmal, liest er die Gewichte einmal, nutzt sie aber 64-mal: etwa 64 Rechenschritte je Byte. Das heißt Batching, und es ist der Hauptgrund, warum KI-Anbieter Millionen Nutzer mit einer begrenzten Zahl von Chips bedienen können. Es erklärt auch, warum das Tempo einer einzelnen Antwort so stark von der Speicherbandbreite abhängt und nicht nur von der Rechenleistung.\nEin Rechenbeispiel mit unserer eigenen Annahme: Ein Sprachmodell mit 70 Milliarden Parametern braucht für seine Gewichte in 16-Bit-Form 140 GB. 2017 hätte es mindestens 9 Spitzen-Chips gebraucht, nur um es zu speichern; heute passt es auf 1. Für einen einzelnen Nutzer begrenzt die Speicherbandbreite das Tempo auf höchstens etwa 57 Token pro Sekunde auf dem schnellsten Chip der Tabelle, verglichen mit etwa 6 auf dem Chip von 2017, hätte das Modell darauf gepasst. Echte Systeme erreichen weniger, weil kein Chip seine volle Bandbreite ständig nutzt.\nWas Chip-Entwickler dagegen tun Die Speicherwand prägt fast jedes neue Design:\nSchnellerer Speicher direkt neben dem Chip. High-Bandwidth Memory (HBM) sitzt in Stapeln unmittelbar neben dem Prozessor und gehört zu den teuersten Teilen eines KI-Chips. Kleinere Zahlen. Gewichte mit 8 oder 4 Bit statt 16 zu speichern halbiert oder viertelt die Bytes je Gewicht und erhöht so die Rechenschritte je Byte. Der Preis ist ein kleiner Verlust an Genauigkeit, der für jedes Modell geprüft werden muss. Mehr Speicher auf dem Chip selbst. Manche Chips, die fürs Antworten statt fürs Training gebaut sind, halten große Teile eines Modells im schnellen Speicher auf dem Chip. Arbeit aufteilen. Große Modelle werden über viele Chips mit schnellen Verbindungen verteilt, sodass jeder Chip nur einen Teil der Gewichte liest. In der Physical AI zeigt sich dieselbe Abwägung im Kleinen. Ein Roboter oder ein Auto muss seine Modelle an Bord ausführen, mit einem Strombudget von einigen Dutzend bis Hunderten Watt statt der Kilowatt eines Server-Racks im Rechenzentrum. Jedes bewegte Byte kostet Zeit und Energie — deshalb sind Modelle für Roboter und Fahrzeuge oft kleiner, nutzen weniger Bits und sind eng auf ihren Chip abgestimmt.\nSo haben wir die Daten ausgewertet Die Chip-Daten stammen aus der Datenbank von Epoch AI zu Hardware für maschinelles Lernen. Für jedes Jahr haben wir die leistungsstärkste GPU oder TPU von NVIDIA, AMD oder Google mit Angaben zu 16-Bit-Rechenleistung, Speicher und Bandbreite genommen. Rechenschritte je Byte sind Rechenleistung geteilt durch Bandbreite. Das Rechenbeispiel nutzt unsere eigenen, vereinfachten Annahmen: zwei Rechenschritte je Parameter und Token, 16-Bit-Gewichte und kein weiterer Speicherverkehr. Echte Werte hängen von Software, Modell und tatsächlicher Bandbreite des Chips ab.\n","words":1005},"date":"2026-10-18","description":"Was die Kennzahlen eines KI-Chips bedeuten, warum die Speicherbandbreite langsamer wächst als die Rechenleistung und warum Batching die Chips besser auslastet.","image":"https://abxk.ai/images/cover/ai-chips-memory-wall.webp","json":"https://abxk.ai/de/physical-ai/learn/ai-chips-memory-wall/index.json","kind":"page","language":"de","learning_path":{"category":"physical-ai","level":1,"level_name":"Grundlagen"},"modified":"2026-10-18","section":"physical-ai","seo_title":"KI-Chips erklärt: Rechenleistung, Bandbreite, Speicherwand","tags":["ki-chips","gpu","speicherbandbreite","inferenz","einstieg"],"title":"Im Inneren von KI-Chips: Rechenleistung, Speicher und die Speicherwand","translations":[{"json":"https://abxk.ai/en/physical-ai/learn/ai-chips-memory-wall/index.json","language":"en","url":"https://abxk.ai/en/physical-ai/learn/ai-chips-memory-wall/"}],"url":"https://abxk.ai/de/physical-ai/learn/ai-chips-memory-wall/"}