Physical AI · Level 0 · Einstieg

Wie Roboter greifen und gehen lernen

Wie Roboter lernen: vom programmierten Industriearm über Vorführungen und Simulation bis zu Foundation Models, die aus Bildern und Worten Bewegungen machen.

Von 6 Min. Lesezeit
Wie Roboter lernen: vom programmierten Industriearm über Vorführungen und Simulation bis zu Foundation Models, die aus Bildern und Worten Bewegungen machen.

Jahrzehntelang waren Roboter schnell und präzise, aber blind für Veränderungen. Ein Schweißroboter am Fließband wiederholt denselben Weg millionenfach; verschiebt man die Karosserie um zwei Zentimeter, schweißt er in die Luft. Roboter, die unter Menschen arbeiten, in Lagern, Küchen oder Krankenhäusern, brauchen etwas anderes: Sie müssen mit Gegenständen zurechtkommen, die sie nie gesehen haben, an Orten, die sich jeden Tag ändern. Hier kommt KI ins Spiel.

Dies ist Teil 3 von Level 0 in unserem Lernpfad Physical AI. Sie erfahren, auf welchen vier Wegen Roboter heute ihre Fähigkeiten bekommen, warum das Üben in der Simulation so wichtig ist, was die neuen Foundation Models für Roboter leisten und wie Sie die Daten zu den bemerkenswerten Robotermodellen der letzten Jahre lesen.

Vier Wege, einem Roboter etwas beizubringen

Vier Wege nebeneinander: jede Bewegung programmieren, von Hand oder per Fernsteuerung vorführen, in der Simulation mit Belohnungen üben und ein Foundation Model, das Anweisungen folgt
Vier Wege, auf denen ein Roboter seine Fähigkeiten bekommt. Moderne Roboter kombinieren mehrere davon.

Programmieren ist der klassische Weg. Ein Ingenieur legt jeden Punkt der Bewegung fest, oft mit einem Handbediengerät. Das Ergebnis ist exakt und wiederholbar — und scheitert, sobald etwas nicht dort liegt, wo es sein sollte.

Lernen aus Vorführungen, auch Imitationslernen genannt, zeigt dem Roboter, was er tun soll. Ein Mensch bewegt den Roboterarm von Hand oder steuert ihn fern, der Roboter zeichnet Kamerabilder und Gelenkstellungen auf, und ein Modell lernt, die Bewegung aus den Bildern nachzuahmen. Ein paar Dutzend bis einige Hundert Vorführungen können für eine Aufgabe reichen, etwa um Geschirr in einen Korb zu stellen.

Üben in der Simulation nutzt bestärkendes Lernen (Reinforcement Learning): Der Roboter probiert in einer virtuellen Welt Handlungen aus und bekommt für Erfolg eine Belohnung, zum Beispiel für jeden Schritt, den er geht, ohne zu fallen. Über Millionen Versuche lernt ein Modell eine Strategie, die kein Ingenieur aufgeschrieben hat. Laufroboter mit Beinen lernen ihren Gang auf diese Weise.

Foundation Models für Roboter sind der neueste Weg. Es sind große Modelle, die Bilder, Sprache und Handlungen verbinden. Weil Teile davon mit Bildern und Texten aus dem Internet trainiert wurden, bringen sie Allgemeinwissen mit: Ein Roboter kann der Anweisung „Heb das Spielzeug auf, das ein ausgestorbenes Tier ist“ folgen und den Spielzeug-Dinosaurier greifen, obwohl ihm niemand genau diese Aufgabe vorgeführt hat.

Wie Roboter greifen und gehen lernen
WegWie die Fähigkeit hineinkommtStärkeGrenze
ProgrammierenIngenieur legt jede Bewegung festExakt, schnell, vorhersehbarVersagt, sobald sich etwas ändert
VorführungenRoboter ahmt aufgezeichnete menschliche Bewegungen nachLernt Aufgaben, die schwer zu beschreiben sindBraucht viele Vorführungen je Aufgabe
SimulationRoboter übt mit Belohnungen in einer virtuellen WeltMillionen sichere, günstige VersucheDie virtuelle Welt gleicht nie genau der echten
Foundation ModelGroßes Modell verbindet Bilder, Worte und HandlungenFolgt neuen Anweisungen, hat AllgemeinwissenBraucht viele Daten und Rechenleistung; noch fehleranfällig

Warum die Simulation so wichtig ist

Ein echter Roboter kann nur so schnell üben, wie die reale Welt es zulässt, und jeder Sturz kann Hardware zerstören. In einer Simulation üben Tausende virtuelle Roboter parallel, schneller als in Echtzeit. Der Haken ist die Sim-to-Real-Lücke: Reibung, Licht, Gewicht und Sensorrauschen stimmen in einer Simulation nie genau mit der Wirklichkeit überein. Ein verbreiteter Trick ist, diese Eigenschaften beim Üben zufällig zu verändern — hier etwas rutschiger, dort etwas dunkler —, damit das Modell eine Strategie lernt, die unter vielen Bedingungen funktioniert, und die echte Welt nur eine weitere Variante ist.

Foundation Models für Roboter

Die wichtigste Veränderung der letzten Jahre ist das Vision-Language-Action-Modell (VLA). Es nimmt ein Kamerabild und eine Anweisung in Worten entgegen und gibt Handlungen aus, etwa die nächsten Stellungen der Armgelenke, mehrmals pro Sekunde.

Ein Kamerabild und eine geschriebene Anweisung gehen in ein Vision-Language-Action-Modell, das mehrmals pro Sekunde die nächsten Bewegungen des Roboterarms ausgibt
Ein Vision-Language-Action-Modell: Bild und Anweisung hinein, Bewegungen heraus, viele Male pro Sekunde.

Epoch AI, ein Forschungsinstitut, das bemerkenswerte KI-Modelle erfasst, führt 31 Modelle für Roboter und Fahrzeuge, seit der ersten Robotermaus, die 1950 ein Labyrinth löste. 19 davon erschienen 2022 oder später, die meisten für die Manipulation, also das Greifen und Bewegen von Gegenständen. Die neuesten in der Tabelle sind Foundation Models dieser Art.

Bemerkenswerte KI-Modelle für Roboter und Fahrzeuge, neueste zuerst
ModellOrganisationVeröffentlichtAufgabe
GEN-1.5Generalist19.08.2026Greifen und Bewegen von Objekten
MolmoAct 2Allen Institute for AI05.04.2026Greifen und Bewegen von Objekten
π0.6 (pi-0.6)Physical Intelligence17.11.2025Greifen und Bewegen von Objekten
Eagle 2Nvidia20.01.2025–
RDT-1BTsinghua University10.10.2024Greifen und Bewegen von Objekten
GR-2ByteDance08.10.2024Video
Table Tennis AgentGoogle DeepMind07.08.2024Sport
OpenVLAStanford University13.06.2024Greifen und Bewegen von Objekten
Octo-BaseUniversity of California (UC) Berkeley20.05.2024Greifen und Bewegen von Objekten
ManiGaussianTsinghua University13.03.2024Greifen und Bewegen von Objekten
RT-TrajectoryGoogle DeepMind03.11.2023Greifen und Bewegen von Objekten
RT-2-XGoogle DeepMind13.10.2023Greifen und Bewegen von Objekten
Robot ParkourShanghai Qi Zhi institute12.09.2023Bewegungen nachahmen
SwiftIntel Labs30.08.2023Drohnenflug
RT-2Google DeepMind28.07.2023Greifen und Bewegen von Objekten
Agile Soccer RobotGoogle DeepMind26.04.2023Bewegungen nachahmen
PaLM-EGoogle06.03.2023Fragen zu Bildern
RT-1Google13.12.2022Greifen und Bewegen von Objekten
GatoDeepMind12.05.2022Atari-Spiele
6-Act TetherFacebook AI Research03.08.2021Objekterkennung
SemExpCarnegie Mellon University (CMU)02.07.2020Objekterkennung
DD-PPOGeorgia Institute of Technology19.12.2019Objekterkennung
Walking Minotaur robotUniversity of California (UC) Berkeley19.06.2019Bewegungen nachahmen
MetaMimicGoogle11.10.2018Greifen und Bewegen von Objekten
Deep Deterministic Policy GradientsGoogle DeepMind09.09.2015Greifen und Bewegen von Objekten
Truck backer-upperStanford University18.06.1989Autonomes Fahren
Q-learningUniversity of London01.01.1989Wegfindung
ASE+ACEUniversity of Massachusetts Amherst01.09.1983Stab balancieren
Heuristic Reinforcement LearningPurdue University01.10.1965Steuerung
SNARCHarvard University08.01.1952Labyrinth lösen
TheseusBell Laboratories02.07.1950Labyrinth lösen

Daten: Epoch AI, Data on AI models (1078 bemerkenswerte Modelle), abgerufen am 18.10.2026, Lizenz CC BY 4.0; unsere Auswertung.

Warum so viele neue Roboter wie Menschen aussehen

Viele der Roboter, die in den letzten Jahren vorgestellt wurden, sind Humanoide: zwei Beine, zwei Arme, Hände. Der Grund ist praktisch: Unsere Welt ist für menschliche Körper gebaut, mit Treppen, Türklinken, Regalen auf Armhöhe und Werkzeugen für Hände. Ein Roboter in Menschengestalt kann im Prinzip überall arbeiten, wo ein Mensch arbeitet, und er kann aus Aufzeichnungen von Menschen lernen, die dieselben Aufgaben erledigen. Doch Humanoide sind auch die am schwersten zu bauenden Roboter: Gehen auf zwei Beinen kostet Energie, und eine menschliche Hand hat mehr Bewegungsfreiheit als die meisten Greifer. Die meisten Roboter im echten Einsatz sind deshalb heute keine Humanoiden, sondern Arme auf festen Sockeln und fahrende Maschinen, die Waren durch Lager tragen.

Was Robotern noch schwerfällt

Foundation Models für Roboter stehen dort, wo Sprachmodelle vor ein paar Jahren standen: beeindruckend in Vorführungen, unzuverlässig im Alltag. Aufgaben, die ein Kind ohne Nachdenken erledigt, bleiben schwierig: ein zerknittertes Hemd falten, eine unbekannte Tür öffnen, mit weichen oder durchsichtigen Gegenständen umgehen. Der größte Engpass sind die Daten. Ein Sprachmodell lernt aus Texten eines großen Teils des Internets; Roboterdaten müssen mit echten Robotern aufgezeichnet oder in Simulationen erzeugt werden. Teams auf der ganzen Welt teilen ihre Aufzeichnungen deshalb in offenen Datensätzen, und Unternehmen sammeln Aufzeichnungen von Robotern im Einsatz, um das nächste Modell zu trainieren.

Wenn Sie ein Video eines Roboters bei der Hausarbeit sehen, achten Sie auf drei Dinge: ob es beschleunigt ist, ob ein Mensch den Roboter fernsteuert und wie oft die Aufgabe bei Wiederholung gelingt. Der nächste Teil von Level 0 widmet sich einer ganz anderen Art von Physical AI: Schnittstellen, die das Gehirn direkt mit einem Computer verbinden.