Physical AI · Level 0 · Einstieg

Wie selbstfahrende Autos die Straße sehen: Kamera, Radar, Lidar

So funktioniert autonomes Fahren: die SAE-Stufen, was Kamera, Radar und Lidar sehen, wie Software daraus Lenkbefehle macht und was Unfallmeldungen zeigen.

Von 5 Min. Lesezeit
So funktioniert autonomes Fahren: die SAE-Stufen, was Kamera, Radar und Lidar sehen, wie Software daraus Lenkbefehle macht und was Unfallmeldungen zeigen.

Ein menschlicher Fahrer nutzt zwei Augen, zwei Ohren und jahrelange Erfahrung. Ein selbstfahrendes Auto ersetzt sie durch einen Ring aus Sensoren und Software, die Millionen Messwerte pro Sekunde in drei Entscheidungen übersetzt: wohin lenken, wann beschleunigen, wann bremsen. In mehreren US-Städten funktioniert das schon ohne Menschen am Steuer — und jeder Unfall dieser Autos wird der US-Verkehrssicherheitsbehörde gemeldet.

Dies ist Teil 2 von Level 0 in unserem Lernpfad Physical AI. Sie erfahren, was die Stufen des automatisierten Fahrens bedeuten, welche Sensoren ein selbstfahrendes Auto nutzt und was jeder sieht, wie die Software von den Sensordaten zur Lenkung kommt und was öffentliche Unfallmeldungen darüber zeigen, wie diese Autos tatsächlich in Unfälle geraten.

Sechs Stufen der Automatisierung

„Selbstfahrend“ wird für sehr unterschiedliche Systeme verwendet. Die Norm SAE J3016 von SAE International, einem Verband von Fahrzeugingenieuren, ordnet sie in sechs Stufen. Die entscheidende Frage ist, wer für die Beobachtung der Straße verantwortlich ist.

Eine Treppe aus sechs Stufen von Stufe 0 keine Automatisierung bis Stufe 5 volle Automatisierung; bis Stufe 2 fährt der Mensch und beobachtet die Straße, ab Stufe 3 fährt das System unter festgelegten Bedingungen
Die sechs SAE-Stufen. Der große Schritt liegt zwischen Stufe 2 und 3: wer die Straße beobachtet.

Auf Stufe 1 und 2 hilft das Auto: Es hält Abstand und Spur, aber Sie fahren und müssen die Straße jederzeit beobachten, auch wenn die Hände nicht am Lenkrad sind. Ab Stufe 3 fährt das System unter festgelegten Bedingungen selbst, und auf Stufe 4 braucht es innerhalb seines Einsatzbereichs (englisch Operational Design Domain, ODD) gar keinen Menschen: in dem Gebiet, auf den Straßen, bei den Geschwindigkeiten, Tageszeiten und dem Wetter, für die es gebaut und getestet wurde. Ein Robotaxi, das eine Stadt bedient, ist ein Fahrzeug der Stufe 4. Stufe 5, ein Auto, das überall fährt, wo auch ein Mensch fahren könnte, gibt es noch nicht.

Die Sensoren und was sie sehen

Kein einzelner Sensor sieht alles, deshalb kombinieren die meisten selbstfahrenden Fahrzeuge mehrere Arten. Jede ist stark, wo eine andere schwach ist.

Wie selbstfahrende Autos die Straße sehen: Kamera, Radar, Lidar
SensorWas er misstStärkenSchwächen
KameraFarbbilder, wie ein AugeLiest Schilder, Ampeln und Fahrbahnmarkierungen; günstigBraucht Licht; tief stehende Sonne blendet; Entfernung muss geschätzt werden
RadarEntfernung und Tempo über FunkwellenFunktioniert bei Regen, Nebel und Dunkelheit; misst Tempo direktGrobes Bild; schwer zu erkennen, was ein Objekt ist
LidarEntfernung über Laserpulse, als 3D-PunktwolkeGenaue 3D-Form von allem rund ums AutoTeuer; schwächer bei starkem Regen, Schnee und Nebel
UltraschallEntfernung über Schall, ganz nahEinparken und RangierenReichweite nur wenige Meter
Satellitenortung und TrägheitssensorenPosition und Bewegung des eigenen AutosWeiß, wo das Auto ist und wie es sich bewegtKein Satellitensignal in Tunneln und zwischen Hochhäusern

Draufsicht auf ein Auto mit sich überlappenden Sensorfeldern: Fernbereichsradar und Kameras nach vorn, Lidar rundum, Nahbereichssensoren an den Ecken
Sich überlappende Sensorfelder ums Auto. Wo ein Sensor schwach ist, deckt ein anderer die Lücke.

Das Zusammenführen der Messwerte heißt Sensorfusion. Blendet die Sonne die Kamera, misst das Radar weiter den Vordermann. Sieht das Radar ein Objekt, kann aber nicht sagen, was es ist, hilft die Kamera. Ob ein Auto wie ein Mensch nur mit Kameras fahren könnte, ist eine der großen offenen Debatten der Branche; die meisten Robotaxis, die heute ohne Sicherheitsfahrer unterwegs sind, kombinieren Kamera, Radar und Lidar.

Von den Sensordaten zur Lenkung

Die Software eines selbstfahrenden Autos hat vier klassische Stufen. Die Wahrnehmung findet und benennt Objekte in den Sensordaten: Autos, Radfahrer, Fußgänger, Leitkegel. Die Vorhersage schätzt, wo jedes davon in den nächsten Sekunden sein wird. Die Planung wählt einen Weg und ein Tempo, die sicher und angenehm sind. Die Regelung setzt diesen Plan in Lenkwinkel, Gas und Bremsdruck um. Die meisten Stufen nutzen maschinelles Lernen, vor allem die Wahrnehmung, wo neuronale Netze Objekte in Kamerabildern und Lidar-Punktwolken erkennen.

Ein neuerer Ansatz ersetzt mehrere Stufen durch ein großes Modell, das direkt von Kamerabildern zu Fahrbefehlen geht, genannt End-to-End-Fahren. Es lernt aus vielen Stunden aufgezeichneter Fahrten, ähnlich wie ein Sprachmodell aus Text lernt. Es bewältigt Situationen, die sich schwer in Regeln fassen lassen, doch es ist schwerer nachzuvollziehen, warum es eine Entscheidung getroffen hat.

Viele Robotaxis haben außerdem eine detaillierte HD-Karte ihres Gebiets dabei, mit jeder Spur, jedem Bordstein und jeder Ampel. Das Auto vergleicht, was es sieht, mit der Karte und weiß so genau, wo es ist — ein Grund, warum solche Dienste in einer Stadt beginnen und Straße für Straße wachsen.

Wenn das Auto unsicher ist

Auch ein Fahrzeug der Stufe 4 trifft auf Situationen, die es allein nicht lösen kann: eine Straße, die ein umgestürzter Baum blockiert, ein Polizist, der mit Handzeichen regelt, eine Baustelle, die nicht in der Karte steht. Für solche Momente gibt es zwei Sicherheitsnetze. Erstens kann das Auto ein Manöver mit minimalem Risiko fahren: Es bremst ab und hält an einer sicheren Stelle, möglichst am Straßenrand. Zweitens haben die meisten Robotaxi-Betreiber Personal in einer Leitstelle, das Fragen des Autos beantworten kann — etwa bestätigen, wie es ein Hindernis umfahren soll —, während das Auto weiter selbst lenkt. Für Fahrgäste heißt das: Ein Robotaxi hält manchmal an und wartet. Das ist sicherer als Raten — und womöglich ein Grund, warum an so vielen gemeldeten Unfällen ein stehendes Fahrzeug beteiligt ist.

Was die Unfallmeldungen zeigen

In den USA muss jeder Unfall eines Fahrzeugs mit automatisiertem Fahrsystem der National Highway Traffic Safety Administration (NHTSA) gemeldet werden. Wir haben alle 1.551 Meldungen seit Juni 2025 ausgewertet. In 83,3 % davon saß niemand am Steuer, und in 50,9 % stand das automatisierte Fahrzeug still, als es zum Unfall kam.

Was das automatisierte Fahrzeug unmittelbar vor dem Unfall tat
BewegungMeldungenAnteil
Stand (Verkehr, Ampel)66042,6 %
Fuhr geradeaus54335,0 %
Geparkt1187,6 %
Bog links ab684,4 %
Bog rechts ab422,7 %
Wechselte die Spur372,4 %
Fuhr rückwärts261,7 %
Überholte211,4 %

Daten: NHTSA, Standing General Order 2021-01, Unfallmeldungen zu Fahrzeugen mit automatisiertem Fahrsystem (ADS), Unfälle von Juni 2025 bis August 2026, je Meldung die neueste Fassung; abgerufen am 18.10.2026, unsere Auswertung.

Das ist eine Lehre aus den Daten: Bei vielen Unfällen bewegte sich das automatisierte Fahrzeug nicht, ein anderer Verkehrsteilnehmer fuhr also hinein. Ob das Roboterauto an einer unerwarteten Stelle angehalten hatte, sagen die Meldungen nicht. Sie sagen auch nicht, wer einen Unfall verursacht hat, und sie enthalten keine gefahrenen Kilometer — ob Robotaxis sicherer sind als menschliche Fahrer, lässt sich daraus nicht ablesen. Die vollständige Auswertung mit allen Tabellen steht auf unserer Seite zu den Unfalldaten selbstfahrender Autos.

Selbstfahrende Autos sind Roboter auf Rädern. Der nächste Teil von Level 0 widmet sich Robotern, die greifen und gehen, und wie sie lernen.