AR-Methoden zur Erprobung kamerabasierter Fahrerassistenzsysteme

Fahrerassistenzsysteme tragen zur Sicherheit der Fahrzeuginsassen und der anderen Verkehrsteilnehmer bei. Um diese Sicherheit zu gewährleisten, müssen die Systeme in der jeweiligen Fahrsituation unter allen Umständen verlässlich funktionieren. Aus diesem Grund ist eine detaillierte Prüfung der Assistenzsysteme zwingend erforderlich. Evomotiv diskutiert, wie mithilfe von Augmented Reality (AR) Fahrerassistenzsysteme erprobt werden können.

Prüfung von Fahrerassistenzsystemen

Fahrerassistenzsysteme (FAS) wie der aktive Spurhalteassistent, die Verkehrszeichenerkennung oder der Totwinkelassistent finden immer mehr Einzug in moderne Fahrzeuge. Dazu gehören zum Beispiel die elektronische Stabilitätskontrolle oder auch ein Fahrspurerkennungssystem. Ersteres verhindert durch kontrollierte Bremsaktivierung das Ausbrechen des Fahrzeugs. Letzteres warnt den Fahrer mit akustischen und haptischen Signalen vor einem ungewollten Verlassen der eigenen Fahrspur.

Fahrerassistenzsysteme unterstützen den Fahrer, bieten Komfort, übernehmen Verantwortung und tragen zur Steigerung der Sicherheit der Fahrzeuginsassen und der anderen Verkehrsteilnehmer bei. Um diese Sicherheit zu gewährleisten, müssen die Systeme in der jeweiligen Fahrsituation unter allen Umständen verlässlich funktionieren. Aus diesem Grund ist eine detaillierte Prüfung der Assistenzsysteme zwingend erforderlich [1, 2].

Der Umfang der Prüfungen variiert. Je mehr Funktionen ein Fahrerassistent umfasst, desto komplexer werden die Systeme. Daraus ergeben sich, vor allem bei der Erprobung, Optimierungspotenziale hinsichtlich Erprobungsqualität und -kosten.

Viele moderne, komplexe Fahrerassistenten arbeiten auf der Basis von Kamerabildern. Die heutigen Testmethoden für kamerabasierte FAS lassen sich weitestgehend in zwei Kategorien einteilen: Die Erprobung des Assistenzsystems mithilfe von virtuellen Welten und die Erprobung auf der Teststrecke mithilfe realer Objekte [3].

Aktuell ersetzen oft virtuelle Umgebungen (Virtual Reality, VR) das echte Videomaterial. Bei der Entwicklung virtueller Umgebungen wird die gesamte Umwelt am Computer generiert. Unterschiedlichste Fahrsituationen können so auf einfache und reproduzierbare Weise bereitgestellt werden. Die Anforderungen an VR sind jedoch hoch, da die Qualität der Tests von einer realistischen Abbildung der Bilder abhängt. Umstände wie die Licht- und Wetterbedingungen und die daraus resultierenden Reflexionen und Schatten müssen berücksichtigt werden. Es gilt, nicht nur die Szenerie zu erzeugen, sondern auch Informationen wie die Tiefe und die Größe der Objekte [4].

Die Nutzung virtueller Welten und die Erprobung im Fahrzeug sind bei kamerabasierten FAS mit hohem zeitlichem und finanziellem Aufwand verbunden. Deshalb gilt es, effiziente Wege zu finden, um diese Assistenzsysteme zu testen. Die Verbesserung der bestehenden Entwicklungs- und Testmethoden ist eine der Herausforderungen für heute und die nächsten Jahre [5].

Steigerung der Testeffizienz

Eine Möglichkeit, die Effizienz von Tests zu steigern, ist der verstärkte Einsatz von VR. Die Durchführung des gesamten FAS-Testprozesses in einer virtuellen Umgebung bietet verschiedene Vorteile. Alle Umgebungsfaktoren sind bekannt. VR ist unabhängig von Teststrecke und -fahrzeug umsetzbar und die Ergebnisse sind reproduzierbar.

Eine weitere innovative Methode ist die Entwicklung eines Tools, das die Reaktion eines FAS auf Basis von virtuellen Kamera- und Distanzsensoreingaben und physikalisch dynamischen Eingaben testet. Das bedeutet, dass Umgebungsfaktoren wie Kamerabilder und Abstandsinformationen computergeneriert werden, während die Reaktion des Systems mit realen Aktoren verbunden ist [6].

Die beiden Testmethoden haben zwar den Vorteil, dass sie mit geringeren Testkosten verbunden sind, allerdings sind die Anforderungen an die VR-Anteile sehr hoch. Sie müssen sehr realistisch sein, um die Ergebnisse mit der realen Welt vergleichen zu können. Zusätzlich sind die Auswirkungen des FAS auf den menschlichen Körper genauso schwierig zu testen wie die Interaktion zwischen Fahrzeug und Fahrer [7].

Eine andere Möglichkeit, die Testeffizienz zu steigern, sind realitätserweiternde Methoden (Augmented Reality). Diese Methoden verbinden die beiden Erprobungskategorien, indem sie VR nutzen und das FAS dennoch im Fahrzeug unter realen Bedingungen erproben. Die Kamerabilder des Fahrzeugs werden dabei um zusätzliche Informationen erweitert [8].

Das Kernelement ist die Überlagerung des realen Kamerabilds mit computergenerierten Objekten. Dadurch werden die Hauptvorteile einer virtuellen Welt, die Reproduzierbarkeit und die beliebige Komplexität einer Testszene, mit dem Realismus der Teststrecke verbunden. Somit können zum Beispiel Kameradaten durch Fahrspuren, Fußgänger oder vorausfahrender Verkehr ergänzt werden, Bild 1.

Bild 1

So könnte AR im Fahrzeug aussehen, vor allem die Fahrspuren (© vchal | Getty Images, iStock)

In der Öffentlichkeit erlangte AR einen größeren Bekanntheitsgrad durch das Spiel "Pokémon Go" für Mobilgeräte, Bild 2. Bei diesem Spiel werden kleine Geschöpfe in das Kamerabild des Geräts eingefügt. So scheint es für den Nutzer, als seien die Geschöpfe in der realen Welt [9].

Bild 2

"Pokémon Go" auf dem Smartphone (© georgeclerk | Getty Images, iStock)

In der Automobilindustrie werden AR-Systeme bisher hauptsächlich dazu eingesetzt, um Bauteile zu entwerfen, die Kompatibilität verschiedener Teile zu prüfen und Komponenten innerhalb der Produktionslinie präzise zu positionieren [10].

Ein schwedisches Team um Jonas Nilsson stellte bereits 2010 auf einer Konferenz ein Software-Framework vor, das AR zur Auswertung eines Fußgängerdetektionssystems verwendet. Das Framework konnte die Bilder der Fahrzeugkamera um einen sich bewegenden Fußgänger erweitern. Die Ergebnisse des Detektionssystems waren vergleichbar mit den Testergebnissen, die mit realen Hindernissen gewonnen wurden [11].

AR-basiertes Erprobungssystem

Ein AR-basiertes Erprobungssystem kann zum Beispiel Fahrspuren einblenden und damit die Erprobung eines Spurhalteassistenten unabhängig der Fahrbahn ermöglichen. Diese Fähigkeit ermöglicht, dass Szenarien wie temporäre Fahrbahnmarkierungen oder das Fehlen von Abschnitten ohne großen Mehraufwand auf derselben Erprobungsfläche getestet werden können. Fahrspurverengungen und -verbreiterungen sind ebenso darstellbar wie auch internationale Unterschiede zwischen den Fahrbahnmarkierungen.

Für die Erprobung von Stauassistenzsystemen kann durch AR ein vorausfahrendes Fahrzeug in das Kamerabild eingeblendet werden. Dabei werden nicht nur die Kameradaten durch die Software erweitert, sondern auch die Informationen der Abstandssensoren an der Fahrzeugfront entsprechend der Situation ergänzt.

Mit AR kann in den ersten Phasen der Erprobung auf Erprobungsdummys oder Zweitfahrzeuge inklusive Fahrer verzichtet werden. Dadurch werden die Kosten der Tests gesenkt und im gleichen Zug die Sicherheit der Testingenieure gesteigert.

Auch die Kombination aus verschiedenen Testsituationen ist möglich. Das Einblenden mehrerer Fahrzeuge, Fahrbahnmarkierungen und Straßenschilder lässt das gleichzeitige Erproben aller kamerabasierten Fahrerassistenzsystemen zu. Die unbegrenzte Vielfalt an Testszenarien lässt eine deutliche Zunahme der Erprobungstiefe in einem frühen Entwicklungsstadium zu. Dies erhöht die Qualität der Erprobung und somit des Gesamtsystems.

Probleme bei AR-Anwendungen

AR kommt aktuell vor allem in mobilen Endgeräten zum Einsatz. Der Mensch ist derjenige, der die erweiterte Realität betrachtet und bewertet. Die Anwendung von AR zur Erprobung von Fahrerassistenzsystemen ist auch deshalb ein innovativer Gedanke, da ein FAS-Steuergerät die Auswertung der Bilder vornimmt und dabei nicht bemerken darf, dass die Bilder virtuell sind. So dürfen Verkehrsschilder nicht mitten auf der Straße stehen oder Fußgänger nicht über den Zebrastreifen schweben. Andere Verkehrsteilnehmer müssen entsprechend ihrer relativen Geschwindigkeit im Bild größer oder kleiner dargestellt werden.

Diese und zahlreiche weitere Bedingungen sind bei der Entwicklung eines neuen Erprobungssystems zu berücksichtigten. Aktuell existiert außer dem beschriebenen schwedischen Modell von Jonas Nilsson kein vergleichbares System zum Testen von FAS auf dem Markt. Gründe dafür könnten sein, dass es noch kein skalierbares und universelles Framework gibt, mit dem AR bei Automobilkameras eingesetzt werden kann.

Ausblick

Bei der Weiterentwicklung der Fahrzeugerprobung mit AR-Methoden sind viele Fragen offen. Wie realistisch müssen Objekte sein, damit kamerabasierte FAS genauso reagieren wie bei realen Zielen? Was sind die Randbedingungen? Wie können Objekte in die Bilder der Fahrzeugkamera eingesetzt werden? Welche Art von Objekten können eingefügt werden?

Viele dieser Fragen werden sich im Verlauf der Softwareentwicklung beantworten lassen. Die Weiterentwicklung der Software und der Vergleich mit realen Testergebnissen können sicherstellen, welche Objekte eingefügt und erkannt werden können. Moderne AR-Anwendungen offenbaren schon das Potenzial dieser Technologie. Es stehen noch viele Entwicklungsarbeiten an, bis mithilfe von AR die Erprobung von Fahrerassistenzsystemen erleichtert wird.

Fest steht, dass AR nicht nur eine vielversprechende Möglichkeit ist, um die Qualität und damit auch die Sicherheit der Assistenzsysteme zu steigern. AR wird auch nachhaltig die Erprobungszeit verkürzen und die Versuche sicherer und effektiver gestalten.

Literaturhinweise

• [1] Bengler, K. et al.: Three Decades of Driver Assistance Systems: Review and Future Perspectives. In: IEEE Intelligent Transportation Systems Magazine 6.4 (2014), pp. 6-22

• [2] Verband der Automobilindustrie: Automation Magazine. September, 2015

• [3] Nentwig, M.; Stamminger, M.: Hardware-in-the-loop testing of computer vision based driver assistance systems. In: 2011 IEEE Intelligent Vehicles Symposium (IV). June, 2011

• [4] Gruyer, D.; Grapinet, M.; De Souza, P.: Modeling and validation of a new generic virtual optical sensor for ADAS prototyping. In: 2012 IEEE Intelligent Vehicles Symposium. July, 2012, pp. 969-974

• [5] European Road Transport Research Advisory Council: Connected Automated Driving Roadmap. 2019

• [6] Ferrer A. et al.: Virtual Reality for Automated Vehicles: Coupling virtual testing with real dynamic performance. Formforum, 2016

• [7] Lawson, G.; Salanitri, D.; Waterfield, B.: VR Processes in the Automotive Industry. In: Kurosu M. (Eds.): Human-Computer Interaction: Users and Contexts. HCI 2015. Lecture Notes in Computer Science, Vol. 9171. Cham, 2015

• [8] Augmented Reality (AR). Online: https://whatis.techtarget.com/definition/augmented-reality-AR, aufgerufen: 03. März 2020

• [9] Serino, M. et al.: Pokémon Go and augmented virtual reality games: A cautionary commentary for parents and pediatricians. In: Current opinion in pediatrics, (28) 2016

• [10] Regenbrecht, H.; Baratoff, G.; Wilke, W.: Augmented Reality Projects in the Automotive and Aerospace Industries. In: IEEE computer graphics and applications 25 (2005), pp. 48-56.

• [11] Nilsson, J. et al.: Performance evaluation method for mobile computer vision systems using augmented reality. In: 2010 IEEE Virtual Reality Conference (VR). March, 2010, pp. 19-22