Aufgabenstellung

Im Bereich der Automobilentwicklung spielt die Nutzung von Fahrerassistenzsystemen längst eine enorm wichtige Rolle. Vor allem die Realisierung eines autonom navigierenden Fahrzeugs rückte in den letzten Jahren kontinuierlich in den Fokus der Entwickler. Ziel der Entwicklung ist dabei nicht nur ein komfortableres Fahrgefühl, sondern auch die Erhöhung der Fahrsicherheit. Bei der Weiterentwicklung von Fahrerassistenzsystemen in Richtung höherer Automatisierung steigt die Anforderung an umfassendere Informationen zum Fahrzeugumfeld ständig.
Aufgrund ihrer darstellbaren Funktionsfülle haben sich Kamerasysteme als Standardsensoren inzwischen etabliert, allerdings gibt es derzeit noch Grenzen bei der videobasierten Hinderniserkennung. Sehr niedrige Hindernisse sind schwer zu erkennen und wechselhafte Steigungsverläufe der Fahrbahn führen zu Problemen bei der Objekterkennung. In diesen Bereichen gibt es noch viel Verbesserungspotential unter der Voraussetzung, dass der Verlauf der Fahrbahnsteigung bekannt ist.
Es ist sinnvoll, für die Erfassung der Straßenoberfläche eine Erweiterung der bestehenden Monokamerasysteme zu nutzen, da mit Hilfe von Stereotechnik neben den Bildinformationen auch Erkenntnisse über das Tiefenbild der Szene gewonnen werden können. Dadurch sind eine genauere Hinderniserkennung und die Nachbildung von Steigungsverläufen möglich.
Im Rahmen der Diplomarbeit soll in Zusammenarbeit mit der BMW Group ein Fahrbahnoberflächenschätzer entwickelt werden, der als Grundlage für seine Berechnungen die Daten einer Stereokamera nutzt. Auf Basis des bereitgestellten Disparitätsbildes soll der Steigungsverlauf der Straße berechnet werden. Das anschließende Ziel ist eine zuverlässige Freiraumerkennung, die den zur Verfügung stehenden Raum in befahrbare und nicht befahrbare Bereiche klassifiziert und für die Berechnungen die Schätzung der Fahrbahnsteigung nutzt.
Da bei Monokamerasystemen besonders Szenarien mit Bordsteinen und Parkhausrampen zu Problemen führen, soll das System vor allem niedrige Hindernisse und Fahrbahnbegrenzungen zuverlässig erkennen und sich durch Robustheit gegenüber Steigungsänderungen der Fahrbahn auszeichnen. Natürlich müssen die Berechnungen auch echtzeitfähig sein, um die Anwendung im Automobil zu ermöglichen.

Durchführung

Für die Bestimmung der Fahrbahnsteigung wird das vom Stereosystem gelieferte Disparitätsbild zunächst in den V-Disparitätsraum übersetzt. Dieser Schritt vereinfacht die Steigungsberechnung im dreidimensionalen Raum auf eine zweidimensionale Kurvenbestimmung. Anschließend wird der RANSAC-Algorithmus eingesetzt, um den Verlauf der Straßensteigung im V-Disparitätsraum anzunähern. Das Ergebnis des RANSAC-Algorithmus wird daraufhin mit Hilfe des Kalman-Filters zusätzlich zeitlich gefiltert, um Störwerten und Messschwankungen entgegen zu wirken.

Anschließend erfolgt die Klassifizierung der Szene in befahrbare und nicht befahrbare Bereiche. Dazu wird zuerst eine Initialschätzung vorgenommen. Diese basiert auf den Disparitätswerten des Stereosystems und dem geschätzten Steigungsverlauf der Straße. Alle Pixel werden als straßenzugehörig (schwarz) oder als potentielle Hindernis-, Fahrbahnbegrenzungs- und Umgebungspixel (weiß) markiert. Aufgrund von verrauschten Disparitätswerten befinden sich in der potentiellen Straßenregion noch sehr viele Störwerte, die beseitigt werden müssen, da sonst ständig fehlerhafte Hindernisse in der Fahrspur erkannt werden. Um die Markierung von Straßenpixeln zuverlässiger gestalten zu können, muss bekannt sein, an welchen Stellen im Bild Straßenflächen existieren, weshalb die folgenden Schritte durchgeführt werden.

Auf Basis der Initialschätzung der Szenenklassifikation wird zunächst eine Segmentierung erstellt. Ziel dieses Schritts ist die Detektion des Fahrbahnrands. Um den Fahrbahnrand möglichst zuverlässig erkennen zu können, müssen fehlerhafte Rauschwerte aus der Initialschätzung entfernt werden. Dabei wird relativ grob vorgegangen, so dass auch kleinere Hindernisse auf der Straße aus der Darstellung gelöscht werden. Daraufhin wird zeilenweise sowohl von links als auch von rechts ausgehend im gefilterten Bild nach Übergängen zwischen weißen Umgebungs- und schwarzen Straßenpixeln gesucht. Wird ein Übergang erkannt und als ausreichend ausgeprägt eingestuft, erfolgt die Markierung als Fahrbahnrand.

Abschließend erfolgt erneut eine Klassifizierung der Szene. Allerdings basiert diese nicht nur auf den Disparitätswerten des Stereosystems und dem geschätzten Steigungsverlauf der Straße, sondern auch auf einem Schwellenwertbild. Dieses Schwellenwertbild wird mit Hilfe der Fahrbahnrandmarkierungen erzeugt und liefert für Straßenbereiche größere Werte als für Umgebungspixel. Bei der finalen Klassifizierung der Szene werden dann die Werte des Schwellenwertbildes als Offset zu den errechneten Disparitätswerten für den Straßenbereich benutzt. Da dieser Offset im Straßenbereich höher als in den übrigen Bereichen gewählt ist, werden Messfehler auf der Straße eliminiert und nicht fälschlicherweise als Hindernisse erkannt. Gleichzeitig sorgt der niedrigere Offset in nicht befahrbaren Bereichen dafür, dass keine fehlerhaften Straßenpixel gesetzt werden. Durch die erneut durchgeführte Klassifizierung der Szenen wird darüber hinaus sicher gestellt, dass keine tatsächlich vorhandenen Hindernisse, die im Segmentierungsschritt gelöscht wurden, vernachlässigt werden.

Ergebnisse

Für die Bewertung des entwickelten Algorithmus wurden verschiedene Szenen ausgewählt und sowohl per Hand als auch mit Hilfe des Oberflächenschätzers klassifiziert. Der Vergleich der beiden Klassifikationen wird anschließend berechnet und farbig dargestellt. Dabei wird zwischen korrekt berechneten Straßenpixeln (grün), falsch berechneten Straßenpixeln (rot), korrekt berechneten Umgebungspixeln (gelb) und falsch berechneten Umgebungspixeln (blau) unterschieden. Alle Pixel mit ungültigen Disparitätswerten und außerhalb der ROI werden schwarz markiert. Die hier präsentierten Szenen werden durch das Kamerabild (oben links), die berechnete Klassifikation (oben rechts), die von Hand erzeugte Klassifikation (unten links) und das Vergleichsbild (unten rechts) dargestellt.

Basierend auf der errechneten Klassifikation der Szene in befahrbare und nicht befahrbare Bereiche werden die Disparitätsdaten für die Weiterverarbeitung angepasst. Dabei werden alle zur Straße gehörenden Disparitätswerte gelöscht, so dass nur potentielle Hindernisse im Disparitätsbild übrig bleiben.
Das Video zeigt die Verarbeitung der Disparitätsdaten anfangs ohne und zu späterem Zeitpunkt mit vorgeschaltetem Oberflächenschätzer. Dabei werden die Disparitätsdaten in dreidimensionale Punkte umgerechnet, auf die Bodenebene projiziert und mit einem Occupancy Grid zeitlich ortsfest gesammelt. Anhand der belegten Zellen des Grids wird dann eine Straßenbegrenzung (pink) geschätzt.
Dabei fällt auf, dass der linke durch einen niedrigen Bordstein begrenzte Fahrbahnrand ohne den Oberflächenschätzer nicht erkannt wird, da die präzise Trennung zwischen Straße und Fahrbahnbegrenzung nicht möglich ist. Der Mehrwert des entwickelten Moduls ist hier deutlich zu erkennen.