Diplomarbeit_KlausMueller
Objektlokalisierung auf landwirtschaftlichen Flächen unter Verwendung autonomer Roboter in Luft-Boden-Kooperation
Betreuer:
Prof. Dr.-Ing. Klaus-Dieter Kuhnert, Dipl.-Inform. Lars Kuhnert
Bearbeiter:
Klaus Müller
Aufgabenstellung
Eine der zentralen Aufgaben der Menschheit besteht in der Ernährung der wachsenden Weltbevölkerung. Besonders die Weiterentwicklung in der Landtechnik hat in der Vergangenheit im großen Maße zur Produktivitätssteigerung beigetragen. Auch für die Zukunft sehen Experten in der Fortentwicklung der Agrartechnik eine der Schlüsseltechnologien, um die Produktivität weiter zu steigern. Neben der Produktivitätssteigerung werden weitere Anforderungen an die moderne Landwirtschaft gestellt: Die Schonung der Umwelt bei gleichzeitiger Qualitätssteigerung der Lebensmittel.
In diesem Kontext hat sich in den letzten Jahren ein neuer Forschungszweig der Landmaschinentechnik entwickelt: Serviceroboter in der Landwirtschaft. Diese eröffnen die Möglichkeit neue Flächenbewirtschaftungskonzepte einzusetzen. Anders als in der konventionellen Landtechnik könnten kleine, autonome, bodenschonende Robotersysteme rund um die Uhr betrieben werden.
Das Institut für Echtzeit Lernsysteme an der Universität Siegen beschäftigt sich schon seit mehreren Jahren mit autonomen Fahrzeugen. Besonderes Augenmerk der Forschungsgruppe liegt dabei auf der Kooperation von Boden-Luft-Robotersystemen. So wird z. B. ein autonomer Bodenroboter (AMOR) durch eine autonome Drohne (PSYCHE) aus der Luft unterstützt.
Vor allem im agrarischen Bereich bietet sich ebendiese Kombination aus Boden- und Luftroboter an. So kann z. B. eine landwirtschaftliche Nutzfläche aus der Luft auf Unkraut untersucht werden und die Bodeneinheit kann anschließend auf kürzestem Weg, ohne unnötig dem Erntegut zu schaden, lokal und pflanzenbezogen das gefundene Unkraut bekämpfen.
Vor dem oben genannten Hintergrund wurde in dieser Diplomarbeit ein Konzept entwickelt, ausgearbeitet und umgesetzt, um auf landwirtschaftlichen Flächen mit Hilfe einer Luft-Boden-Kooperation zwischen autonomen Robotern zuvor definierte Objekte aufzufinden. Das System basiert auf Drohnen-Luftaufnahmen, die zur besseren Übersicht automatisch zu einem großen Luftbild zusammengefügt und anschließend durch Algorithmen auf vom Benutzer zuvor definierte Objekte abgesucht werden. Die so gefundenen Objekte werden anschließend möglichst genau georeferenziert und von der Bodeneinheit angefahren. Die Anfahrt erfolgt auf kürzestem Weg, um möglichst wenig Erntegut zu beschädigen. Für die erforderlichen Benutzereingaben, wie Auswahl der abzusuchenden Fläche und Objektdefinition, wurde eine grafische Benutzeroberfläche implementiert.
Durchführung
Im ersten Schritt des Verfahrens wird nach Auswahl des Areals sowie Festlegung der Bodenauflösung des Luftbildes und des Überlappungsanteils der Fotos die Drohnentrajektorie zur Luftbildaufnahme berechnet. Die Drohne fliegt anschließend autonom die Trajektorie ab, erstellt Aufnahmen und überträgt diese per Funkverbindung direkt zur Bodenstation.
Abbildung 1: Ablauf der Objektlokalisierung. Die blauen Prozesse werden auf der Bodenstation, der rote wird auf der Drohne PSYCHE und der gelbe auf dem Bodenroboter AMOR ausgeführt.
Um die aufgenommenen Fotos aneinanderzufügen, wird in dieser Arbeit ein Merkmalspunkt-basiertes Stitching-Verfahren verwendet, welches als Merkmalspunktextraktor den SURF-Algorithmus nutzt. Nach der Merkmalspunktextraktion werden die Merkmalspunkte der einzelnen Fotos untereinander verglichen und im Falle einer großen Ähnlichkeit als korrespondierendes Merkmalspunktpaar abgespeichert. Um fehlerhafte Korrespondenzen zu vermeiden, werden mit Hilfe des RANSAC-Algorithmus falsche Merkmalspunktpaare entfernt. Im weiteren Schritt berechnet ein Optimierungsalgorithmus anhand der Referenzpunktpaare die Lage und Ausrichtung der Fotos zueinander, um diese bestmöglich aneinander fügen zu können. Zur Initialisierung des Verfahrens werden auch die Lageposition der Drohne zum Zeitpunkt der Fotoauslösung genutzt.
Auf den hochaufgelösten (bis zu mehreren hundert Pixel pro Meter) Luftbildern werden mittels eines Bilderkennungsalgorithmus Objekte detektiert (hier: weiße Schilder 20 x 30 cm). Für zukünftige Projekte kann der Bilderkennungsalgorithmus je nach Anwendungsfall angepasst und so z. B. zur Unkrautdetektion eingesetzt werden.
Die gefundenen Objekte werden mittels eines in dieser Arbeit entwickelten Verfahrens georeferenziert. Dabei nutzt das Verfahren neben den GPS-Positionen der Drohne zum Zeitpunkt der Fotoauslösung auch die gewonnen Informationen aus dem Stitching-Prozess, um mit Hilfe mehrerer Triangulationen eine möglichst genaue Objektposition zu bestimmen.
Im letzten Schritt wird der kürzeste Weg zwischen den gefundenen Objekten berechnet und dieser als Trajektorie zum Bodenroboter AMOR übertragen. AMOR fährt anschließend autonom die gefundenen Objekte an.
Ergebnisse
Die Länge der berechneten Drohnen-Trajektorie und die damit in Verbindung stehende Anzahl von Aufnahmen pro Hektar ist stark von der gewünschten Auflösung und vom Überlappungsfaktor der Bilder abhängig. In Abbildung 2 ist die Anzahl der Bilder pro Hektar in Anhängigkeit von Auflösung, Überlappung und Kameratyp zu sehen. Bei einer Auflösung von 100 Pixel pro Meter und einer Überlappung von 50 % kann pro Drohnen-Akkumulatorladung eine Fläche von ca. 7 Hektar abgeflogen werden.
Abbildung 2: Anzahl der Aufnahmen in Abhängigkeit von Auflösung und Überlappungsfaktor.
Abbildung 3: Bildausschnitte mit unterschiedlicher Auflösung. Bildausschnitt a hat eine Auflösung von 250 Pixel pro Meter, b eine Auflösung von 150 Pixel pro Meter und c einen Auflösung von 100 Pixel pro Meter.
Für das Stitching der Bilder reicht bei guter Bild-Texturierung eine Bildüberlappung von 30 % aus, wird jedoch die Texturierung schlechter ist eine Überlappung von 50 % zu wählen. In den Tests wurden Luftbildaufnahmen von homogenen Grünlandflächen mit Auflösungen zwischen 100 Pixel pro Meter und 250 Pixel pro Meter zusammengefügt.
Abbildung 4: Zusammengefügte Luftbilder. Die Bilder haben eien Bodenauflösung von 100 (a), 150 (b) und 250 Pixel pro Meter (c).
Durch das implementierte Georeferenzierungsverfahren konnten die gefundenen Objekte mit einer durchschnittlichen Abweichung von unter einem Meter referenziert werden. Diese Ungenauigkeit ist auf das GPS der Drohne zurückzuführen, welches vom Hersteller mit einer Genauigkeit von 1,5 bis 3,5 Metern angegeben ist. Die relative Genauigkeit ist deutlich höher.
Das gesamte System wurde mit Drohne und Bodenroboter (Abbildung 5) in der Praxis getestet. AMOR fuhr die gefundenen Gegenstände bis auf einen Meter an. Für zukünftige Anwendungen, könnte diese Distanz durch den Einsatz der Roboter-Nahbereichssensoren zusätzlich verringert werden. Somit wäre eine objektbezogene Anwendung möglich.
Abbildung 5: Drohnen- und AMOR-Trajektorien während des Testlaufes. Die abgefahrene AMOR-Trajektorie ist gelb und die abgeflogene Drohnen-Trajektorie rot gekennzeichnet. Die gefundenen Objekte sind hellblauumrandet.
Das Video zeigt den kompletten Ablauf der Objektlokalisierung.