{"author":{"@type":"Person","name":"Alexander Bock","url":"https://abxk.ai/de/autor/alexander-bock/"},"categories":["Physical AI"],"content":{"markdown":"Roboter, die durch Versuch und Irrtum lernen, brauchen viele Versuche, oft Millionen. In der echten Welt würde das Jahre dauern, die Hardware verschleißen und unterwegs einiges zerbrechen. Deshalb findet das meiste Roboterlernen heute in der **Simulation** statt, wo ein Computer Tausende Übungsversuche pro Minute schafft. Das Problem: Keine Simulation trifft die Wirklichkeit genau. Motoren sind etwas schwächer, Sensoren etwas verrauschter, Signale etwas später. Eine Strategie, die im Simulator perfekt funktioniert, kann am echten Roboter scheitern. Das heißt **Sim-to-Real-Lücke**.\n\nDies ist Teil 4 von Level 2 in unserem Lernpfad Physical AI. Wir haben die klassische Balancieraufgabe gebaut, einen Stab auf einem fahrenden Wagen, und zwei Strategien sie mit demselben Verfahren lernen lassen: eine in einer einzigen, festen Simulation, die andere in Simulationen, deren Massen, Längen, Verzögerungen und Sensorrauschen sich von Versuch zu Versuch zufällig änderten. Danach haben wir beide in je {{\u003c num \"physical_sims\" \"sr_tests\" \u003e}} verschiedenen „echten“ Welten pro Bedingung getestet. Sie erfahren, was diese **Domain Randomization** bewirkt und warum sie funktioniert.\n\n## Die Aufgabe: einen Stab aufrecht halten\n\nEin Wagen kann auf einer Schiene nach links und rechts fahren, darauf steht ein Stab, nur von einem Gelenk gehalten. Wie beim Balancieren eines Besens auf der Hand muss der Wagen unter den Stab fahren, sobald dieser zu kippen beginnt. Fünfzigmal pro Sekunde bekommt die Strategie vier Messwerte — Position und Tempo des Wagens, Winkel und Drehtempo des Stabs — und entscheidet, wie stark sie schiebt. Ein Versuch gilt als Erfolg, wenn der Stab zehn Sekunden aufrecht bleibt, ohne dass der Wagen die Schiene verlässt.\n\n![Skizze eines Wagens auf einer Schiene mit einem Stab darauf; Pfeile zeigen die vier Messwerte, die zur Strategie gehen, und die Kraft, die zum Wagen zurückgeht; ein zweites Feld zeigt denselben Wagen mit längerem Stab, einer Uhr für Verzögerung und einem verrauschten Signal als Beispiele für Unterschiede in der echten Welt](/images/learn/de/sim-to-real-domain-randomization-task.webp \"Die Balancieraufgabe und die Unterschiede zwischen Simulation und Wirklichkeit, die wir getestet haben.\")\n\n| Was sich ändert | Feste Simulation | Zufällige Übungswelten |\n|---|---|---|\n| Masse des Wagens | Immer 1 kg | 0,5 bis 2 kg |\n| Masse des Stabs | Immer 0,1 kg | 0,05 bis 0,4 kg |\n| Länge des Stabs | Immer gleich | Von etwas kürzer bis doppelt so lang |\n| Verzögerung der Messwerte | Keine | Bis zu 40 Millisekunden |\n| Sensorrauschen | Keins | Von keinem bis stark |\n\n## Wie die Strategien lernten\n\nBeide Strategien sind einfach: vier Zahlen, die sagen, wie stark auf jeden Messwert zu reagieren ist. Sie lernten mit der **Cross-Entropy-Methode**: 48 zufällige Strategien ausprobieren, die besten acht behalten, neue ausprobieren, die diesen ähneln, und wiederholen. Nach {{\u003c num \"physical_sims\" \"sr_iters\" \u003e}} Runden hielten beide den Stab in ihren eigenen Trainingswelten die vollen zehn Sekunden aufrecht. Im Training waren sie nicht zu unterscheiden.\n\n## Der Test in der „echten Welt“\n\nDer Unterschied zeigte sich im Test. Solange die Testwelt der festen Simulation glich, gelangen beiden Strategien alle Versuche. Ein längerer oder schwererer Stab machte kaum Probleme. Doch als die Messwerte 60 Millisekunden zu spät kamen, gelang der Strategie aus der festen Simulation {{\u003c num \"physical_sims\" \"sr_delay60_nominal\" \u003e}} von {{\u003c num \"physical_sims\" \"sr_tests\" \u003e}} Versuchen, der Strategie aus den Zufallswelten {{\u003c num \"physical_sims\" \"sr_delay60_randomized\" \u003e}}. Bei starkem Sensorrauschen stand es {{\u003c num \"physical_sims\" \"sr_noise_nominal\" \u003e}} zu {{\u003c num \"physical_sims\" \"sr_noise_randomized\" \u003e}}. In einer zufälligen Mischung aller Abweichungen, die einem echten Roboter am nächsten kommt, gelang der Strategie aus der festen Simulation der Versuch in {{\u003c num \"physical_sims\" \"sr_mixed_nominal\" \u003e}} von {{\u003c num \"physical_sims\" \"sr_tests\" \u003e}} Welten, der aus den Zufallswelten in {{\u003c num \"physical_sims\" \"sr_mixed_randomized\" \u003e}}.\n\n{{\u003c data \"sr-tests\" \u003e}}\n\n![Liniendiagramm: Anteil erfolgreicher Versuche gegen die Verzögerung der Messwerte von 0 bis 80 Millisekunden; die Strategie aus der festen Simulation bricht ab 40 Millisekunden stark ein, die Strategie aus den zufälligen Übungswelten bleibt bis 60 Millisekunden bei 100 Prozent und scheitert erst bei 80](/images/learn/de/sim-to-real-domain-randomization-delay.webp \"Erfolg gegen Verzögerung der Messwerte. Beide Strategien scheitern jenseits dessen, was sie je geübt haben.\")\n\nWarum? Die Strategie aus der festen Simulation lernte, sich auf perfekte, sofortige Messwerte zu verlassen, und reagiert scharf. Jede scharfe Reaktion auf einen verspäteten Messwert kommt zu spät, und wie beim Regelkreis aus Level 1 beginnen die Korrekturen zu schwingen. Die Strategie aus den Zufallswelten hatte diesen Luxus nie. Sie lernte, ruhiger zu reagieren — das kostet nichts, wenn die Welt perfekt ist, und rettet sie, wenn sie es nicht ist.\n\n## Die Grenzen der Zufallsvarianten\n\nDas Diagramm zeigt auch die Grenze. Bei 80 Millisekunden Verzögerung, doppelt so lang wie alles in den Übungswelten, scheiterte auch die Strategie aus den Zufallswelten. Zufallsvarianten machen eine Strategie robust innerhalb des geübten Bereichs, nicht darüber hinaus. Sie haben auch Kosten: Das Training braucht mehr Versuche, und eine Strategie, die überall funktionieren muss, ist womöglich langsamer oder vorsichtiger als eine, die auf einen einzigen, gut bekannten Roboter abgestimmt ist.\n\nIn der Praxis verbinden Roboterbauer deshalb mehrere Werkzeuge:\n\n- **Den echten Roboter vermessen**, um die Bereiche der Simulation sinnvoll zu setzen, etwa indem man die echten Verzögerungen misst.\n- **Variieren, worauf es ankommt**, etwa Reibung, Massen, Verzögerungen, Licht und Kamerapositionen bei Robotern, die sehen.\n- **Am echten Roboter nachtrainieren** mit wenigen echten Versuchen nach dem Training in der Simulation.\n- **Von vielen Robotern zugleich lernen** — eine Idee hinter den Foundation Models für Roboter, die dieser Lernpfad in Level 0 behandelt.\n\n## So haben wir das Experiment durchgeführt\n\nWir haben die klassischen Gleichungen von Wagen und Stab in Python mit numpy umgesetzt, mit Zeitschritten von 20 Millisekunden und höchstens 10 Newton Kraft. Jede Strategie ist eine lineare Regel mit vier Zahlen. Das Training lief {{\u003c num \"physical_sims\" \"sr_iters\" \u003e}} Runden mit je 48 Kandidaten und fünf Versuchen pro Kandidat. Für jede Testbedingung liefen {{\u003c num \"physical_sims\" \"sr_tests\" \u003e}} Versuche mit leicht verschiedenen Startlagen und festem Zufallsstartwert. Der nächste Teil kehrt zum Gehirn zurück: Was einen Decoder für Hirnsignale besser oder schlechter macht.","text":"Roboter, die durch Versuch und Irrtum lernen, brauchen viele Versuche, oft Millionen. In der echten Welt würde das Jahre dauern, die Hardware verschleißen und unterwegs einiges zerbrechen. Deshalb findet das meiste Roboterlernen heute in der Simulation statt, wo ein Computer Tausende Übungsversuche pro Minute schafft. Das Problem: Keine Simulation trifft die Wirklichkeit genau. Motoren sind etwas schwächer, Sensoren etwas verrauschter, Signale etwas später. Eine Strategie, die im Simulator perfekt funktioniert, kann am echten Roboter scheitern. Das heißt Sim-to-Real-Lücke.\nDies ist Teil 4 von Level 2 in unserem Lernpfad Physical AI. Wir haben die klassische Balancieraufgabe gebaut, einen Stab auf einem fahrenden Wagen, und zwei Strategien sie mit demselben Verfahren lernen lassen: eine in einer einzigen, festen Simulation, die andere in Simulationen, deren Massen, Längen, Verzögerungen und Sensorrauschen sich von Versuch zu Versuch zufällig änderten. Danach haben wir beide in je 100 verschiedenen „echten“ Welten pro Bedingung getestet. Sie erfahren, was diese Domain Randomization bewirkt und warum sie funktioniert.\nDie Aufgabe: einen Stab aufrecht halten Ein Wagen kann auf einer Schiene nach links und rechts fahren, darauf steht ein Stab, nur von einem Gelenk gehalten. Wie beim Balancieren eines Besens auf der Hand muss der Wagen unter den Stab fahren, sobald dieser zu kippen beginnt. Fünfzigmal pro Sekunde bekommt die Strategie vier Messwerte — Position und Tempo des Wagens, Winkel und Drehtempo des Stabs — und entscheidet, wie stark sie schiebt. Ein Versuch gilt als Erfolg, wenn der Stab zehn Sekunden aufrecht bleibt, ohne dass der Wagen die Schiene verlässt.\nDie Balancieraufgabe und die Unterschiede zwischen Simulation und Wirklichkeit, die wir getestet haben. In der Simulation trainiert: Warum Roboter unordentliche Übungswelten brauchen Was sich ändert Feste Simulation Zufällige Übungswelten Masse des Wagens Immer 1 kg 0,5 bis 2 kg Masse des Stabs Immer 0,1 kg 0,05 bis 0,4 kg Länge des Stabs Immer gleich Von etwas kürzer bis doppelt so lang Verzögerung der Messwerte Keine Bis zu 40 Millisekunden Sensorrauschen Keins Von keinem bis stark Wie die Strategien lernten Beide Strategien sind einfach: vier Zahlen, die sagen, wie stark auf jeden Messwert zu reagieren ist. Sie lernten mit der Cross-Entropy-Methode: 48 zufällige Strategien ausprobieren, die besten acht behalten, neue ausprobieren, die diesen ähneln, und wiederholen. Nach 25 Runden hielten beide den Stab in ihren eigenen Trainingswelten die vollen zehn Sekunden aufrecht. Im Training waren sie nicht zu unterscheiden.\nDer Test in der „echten Welt“ Der Unterschied zeigte sich im Test. Solange die Testwelt der festen Simulation glich, gelangen beiden Strategien alle Versuche. Ein längerer oder schwererer Stab machte kaum Probleme. Doch als die Messwerte 60 Millisekunden zu spät kamen, gelang der Strategie aus der festen Simulation 0 von 100 Versuchen, der Strategie aus den Zufallswelten 100. Bei starkem Sensorrauschen stand es 57 zu 100. In einer zufälligen Mischung aller Abweichungen, die einem echten Roboter am nächsten kommt, gelang der Strategie aus der festen Simulation der Versuch in 51 von 100 Welten, der aus den Zufallswelten in 97.\nErfolgreiche Versuche von je 100 in der „echten Welt“ TestbedingungTrainiert in einer festen SimulationTrainiert mit Zufallsvarianten Wie in der Simulation100100 Doppelt so langer Stab97100 Viermal so schwerer Stab100100 Messung 40 ms verzögert20100 Messung 60 ms verzögert0100 Starkes Messrauschen57100 Zufällige Mischung aller Abweichungen5197 Quelle wie bei der ersten Tabelle dieser Seite.\nErfolg gegen Verzögerung der Messwerte. Beide Strategien scheitern jenseits dessen, was sie je geübt haben. Warum? Die Strategie aus der festen Simulation lernte, sich auf perfekte, sofortige Messwerte zu verlassen, und reagiert scharf. Jede scharfe Reaktion auf einen verspäteten Messwert kommt zu spät, und wie beim Regelkreis aus Level 1 beginnen die Korrekturen zu schwingen. Die Strategie aus den Zufallswelten hatte diesen Luxus nie. Sie lernte, ruhiger zu reagieren — das kostet nichts, wenn die Welt perfekt ist, und rettet sie, wenn sie es nicht ist.\nDie Grenzen der Zufallsvarianten Das Diagramm zeigt auch die Grenze. Bei 80 Millisekunden Verzögerung, doppelt so lang wie alles in den Übungswelten, scheiterte auch die Strategie aus den Zufallswelten. Zufallsvarianten machen eine Strategie robust innerhalb des geübten Bereichs, nicht darüber hinaus. Sie haben auch Kosten: Das Training braucht mehr Versuche, und eine Strategie, die überall funktionieren muss, ist womöglich langsamer oder vorsichtiger als eine, die auf einen einzigen, gut bekannten Roboter abgestimmt ist.\nIn der Praxis verbinden Roboterbauer deshalb mehrere Werkzeuge:\nDen echten Roboter vermessen, um die Bereiche der Simulation sinnvoll zu setzen, etwa indem man die echten Verzögerungen misst. Variieren, worauf es ankommt, etwa Reibung, Massen, Verzögerungen, Licht und Kamerapositionen bei Robotern, die sehen. Am echten Roboter nachtrainieren mit wenigen echten Versuchen nach dem Training in der Simulation. Von vielen Robotern zugleich lernen — eine Idee hinter den Foundation Models für Roboter, die dieser Lernpfad in Level 0 behandelt. So haben wir das Experiment durchgeführt Wir haben die klassischen Gleichungen von Wagen und Stab in Python mit numpy umgesetzt, mit Zeitschritten von 20 Millisekunden und höchstens 10 Newton Kraft. Jede Strategie ist eine lineare Regel mit vier Zahlen. Das Training lief 25 Runden mit je 48 Kandidaten und fünf Versuchen pro Kandidat. Für jede Testbedingung liefen 100 Versuche mit leicht verschiedenen Startlagen und festem Zufallsstartwert. Der nächste Teil kehrt zum Gehirn zurück: Was einen Decoder für Hirnsignale besser oder schlechter macht.\n","words":854},"date":"2026-10-18","description":"Roboter lernen in der Simulation, doch die Wirklichkeit ist unordentlicher. Unser Experiment: Training in Zufallswelten hilft gegen Verzögerung und Rauschen.","image":"https://abxk.ai/images/cover/sim-to-real-domain-randomization.webp","json":"https://abxk.ai/de/physical-ai/learn/sim-to-real-domain-randomization/index.json","kind":"page","language":"de","learning_path":{"category":"physical-ai","level":2,"level_name":"Fortgeschritten"},"modified":"2026-10-18","section":"physical-ai","seo_title":"Sim-to-Real und Domain Randomization im Experiment","tags":["sim-to-real","domain-randomization","roboterlernen","simulation","experiment"],"title":"In der Simulation trainiert: Warum Roboter unordentliche Übungswelten brauchen","translations":[{"json":"https://abxk.ai/en/physical-ai/learn/sim-to-real-domain-randomization/index.json","language":"en","url":"https://abxk.ai/en/physical-ai/learn/sim-to-real-domain-randomization/"}],"url":"https://abxk.ai/de/physical-ai/learn/sim-to-real-domain-randomization/"}