Visual SLAM mit UAVs

Die Dissertation befasst sich mit der Entwicklung und Evaluierung von Kalman-Filter-basierten Ansätzen für die simultane Lokalisierung und Kartierung (SLAM) mittels Bildsequenzen, die von unbemannten Luftfahrzeugen (UAVs) aufgenommen werden. Der Schwerpunkt liegt auf Visual SLAM (V-SLAM), wobei ausschließlich Richtungsinformationen aus den Bildern zur Lösung des SLAM-Problems verwendet werden. Dies ist besonders relevant für den Einsatz in Umgebungen, in denen kein Zugriff auf globale Positionierungssysteme (GPS) oder Trägheitsnavigationssysteme (INS) besteht, beispielsweise in Innenräumen, zwischen Hochhäusern, unter Brücken, in Tunneln oder in militärischen Szenarien mit GPS-Störungen. Die Verwendung von Kalman-Filtern wird aufgrund ihrer Eignung für Echtzeit-Anwendungen und rekursive Schätzmethoden bevorzugt. Allerdings führt die Nichtlinearität der Triangulation bei der Verwendung von Richtungsdaten zu Genauigkeits- und Konsistenzverlusten. Die Arbeit baut auf den Arbeiten von Ackermann (1965) und Li (1987) auf, die sich mit der Genauigkeit und Sensitivitätsanalyse der Outlier-Erkennung bei der Triangulation von hochauflösenden Luftbildern mit großen Basislinien befassten. Im Gegensatz dazu wird hier eine Bildsequenz mit niedriger Auflösung verwendet.

Die Dissertation unterscheidet zwischen Online-SLAM, bei dem nur die momentane Position geschätzt wird, und Full-SLAM, bei dem die gesamte Trajektorie bestimmt wird. Aero-Triangulation wird als Beispiel für einen Full-SLAM-Ansatz in der Photogrammetrie genannt. Für große Karten und Echtzeitanwendungen ist Full-SLAM jedoch oft nicht praktikabel. Online-SLAM integriert neue Beobachtungen nacheinander, wobei ein Rückgriff auf frühere Beobachtungen typischerweise nicht möglich ist. Die Informationen werden in einer a-posteriori-Verteilung von Karte und Beobachterposition akkumuliert. Optimale Ansätze berücksichtigen alle Informationen und lösen Inkonsistenzen zwischen vergangenen und aktuellen Beobachtungen. Approximative Ansätze bieten eine schnellere Berechnung und benötigen weniger Speicherplatz. Die Arbeit diskutiert verschiedene existierende Ansätze, darunter die Faktorisierungsmethode von Grün (1982), den Fast-SLAM Algorithmus von Montemerlo et al. (2002) und Methoden basierend auf Scan-Matching und dichten Tiefenkarten. Die unterschiedlichen Map-Repräsentationen (Feature Maps, topologische Maps, Gitterkarten) werden ebenfalls betrachtet, wobei die inverse Distanz Parametrisierung als Methode zur Reduktion von Linearsierungsfehlern hervorgehoben wird.

Ein zentraler Beitrag der Dissertation ist die Erweiterung der klassischen Modellierung für Einkamerasysteme auf Mehrkamerasysteme im Kalman-Filter-Rahmen. Diese Erweiterung ermöglicht eine vollständig lineare Prädiktion für lineare Bewegungsmodelle. Ein weiterer wichtiger Beitrag ist die Einführung eines neuen Verfahrens zur Initialisierung von Neupunkten im Kalman-Filter. Die Arbeit analysiert verschiedene Ansätze zur Initialisierung und deren Einfluss auf die Genauigkeit und Konsistenz der Ergebnisse. Ausführlich werden die Methoden der kleinsten Quadrate (Least Squares), die Outlier-Erkennung und -Robustifizierung im Kontext des Kalman-Filters behandelt. Die Auswahl geeigneter Einfluss- und Gewichtsfunktionen zur Reduktion des Einflusses von Ausreißern wird diskutiert. Die Verwendung des Unscented Kalman Filters und dessen Vorteile und Nachteile werden beleuchtet. Das Problem der Initialisierung von Echtzeitsystemen und die Bedeutung der korrekten Wahl der Anfangswerte für den Zustandsvektor und dessen Kovarianzmatrix werden betont. Die Arbeit beschreibt verschiedene Methoden zur Behandlung des Initialisierungsproblems, insbesondere die Wahl geeigneter Linearisierungspunkte für das nichtlineare Beobachtungsmodell.

Ein wichtiger Teil der Arbeit befasst sich mit der Erweiterung klassischer Kalman-Filter-basierter Modellierungen von Einkamera- auf Mehrkamerasysteme. Diese Erweiterung ermöglicht eine entscheidende Vereinfachung: die Prädiktion für ein lineares Bewegungsmodell kann nun vollständig linear berechnet werden. Diese Linearität verbessert die Effizienz und die numerische Stabilität des Algorithmus, insbesondere bei der Verarbeitung von Bildsequenzen mit vielen Kameras. Die Erweiterung auf Mehrkamerasysteme ist relevant für eine Vielzahl von Anwendungen, insbesondere dort, wo eine höhere Redundanz und Robustheit gegenüber Ausfällen einzelner Kameras erwünscht ist. Die verbesserte Linearität der Prädiktion wirkt sich positiv auf die Genauigkeit und die Rechenzeit des gesamten SLAM-Prozesses aus und erlaubt den Einsatz in Echtzeit-Anwendungen mit komplexeren Szenarien und einer höheren Anzahl von Messpunkten.

Ein weiterer Schwerpunkt der Dissertation liegt auf der Entwicklung eines neuartigen Verfahrens zur Initialisierung von Neupunkten im Kalman-Filter. Diese Initialisierung ist entscheidend für die Genauigkeit und Konsistenz des SLAM-Prozesses, da die anfänglichen Schätzungen der Lage neuer Punkte einen großen Einfluss auf die nachfolgenden Schätzungen haben. Das vorgeschlagene Verfahren wird anhand von empirischen Untersuchungen mit simulierten und realen Daten einer photogrammetrischen Bildfolge evaluiert. Die Auswertung umfasst den Vergleich verschiedener Initialisierungsmethoden und die Analyse ihres Einflusses auf die erreichbare Genauigkeit unter verschiedenen Bedingungen. Die Ergebnisse zeigen den Einfluss der Initialisierungsmethode auf die Konsistenz der Ergebnisse auf. Untersucht wird insbesondere der Einfluss von kleinen Disparitäten in aufeinanderfolgenden Bildern, die zu einer nicht-Gaußschen Wahrscheinlichkeitsdichteverteilung führen können und damit zu systematischen Fehlern in der Schätzung.

Die Wahl der Map-Repräsentation hat einen erheblichen Einfluss auf die Performance des Kalman-Filter-basierten SLAM-Systems. Die Arbeit untersucht verschiedene Repräsentationen, darunter Feature Maps, topologische Karten und Gitterkarten. Die Vor- und Nachteile der jeweiligen Methoden werden im Kontext des Kalman-Filters diskutiert. Ein besonderer Fokus liegt auf der inversen Distanz-Parametrisierung für monokulare Visual-SLAM-Systeme, die dazu beitragen soll, die Auswirkungen von Linearsierungsfehlern zu reduzieren und Punkte im Unendlichen zu behandeln. Die Problematik der Outlier-Erkennung und -Robustifizierung wird im Detail behandelt. Die Methode der kleinsten Quadrate und deren Anpassung für den Kalman-Filter werden analysiert, insbesondere die Herausforderung, zwischen groben Fehlern in der Prädiktion und in den Beobachtungen zu unterscheiden. Die Arbeit beschreibt und bewertet verschiedene Techniken zur Robustifizierung, um den Einfluss von Ausreißern auf die Schätzungen zu minimieren.

Dieser Abschnitt erweitert das Gesetz von Finsterwalder & Hofmann (1964) zur Bestimmung der theoretischen Genauigkeit von photogrammetrischen Streifenflügen. Das originale Gesetz beschreibt die Genauigkeit von Kameraposition und -orientierung in Abhängigkeit von Bildnummer und Basislänge. Die Erweiterung integriert nun zusätzlich Flugkonfigurationsparameter und Kameraparameter, um ein umfassenderes und präziseres Modell zu erhalten. Die Herausforderung liegt darin, diese Parameter in das Genauigkeitsgesetz zu integrieren und deren Einfluss auf die Genauigkeit der Kameraorientierung zu quantifizieren. Die Genauigkeit wird durch eine Bündelblockausgleichung (Bundle Adjustment) unter idealisierten Bedingungen (fehlerfreie Beobachtungen, exakte Näherungswerte) geschätzt. Die Varianzen der geschätzten Kameraparameter werden zur Kurvenanpassung eines vereinfachten Übergangsmodells verwendet, woraus die Varianzübergangsfaktoren bestimmt werden. Ein marginal höherer Genauigkeitsvorteil wird durch die Verwendung von mehr als 40 Merkmalspunkten pro Bild erzielt.

Dieser Abschnitt analysiert den Einfluss verschiedener Initialisierungsmethoden für neue Objektpunkte im Kalman-Filter auf die Genauigkeit und Konsistenz der SLAM-Ergebnisse. Die Initialisierung ist besonders kritisch bei kleinen Disparitäten zwischen aufeinanderfolgenden Bildern, die zu einer nicht-Gaußschen Verteilung der Objektpunktbestimmung führen und einen Bias verursachen können. Die Evaluation erfolgt an Hand von synthetischen Datensätzen mit bekannten Ground-Truth-Daten. Hierbei werden verschiedene Initialisierungsmethoden verglichen. Die Initialisierung der neuen Objektpunkte erfolgt entweder sofort (instantly) oder verzögert (delayed sliding window), wobei verschiedene Roundness-Test-Werte (ΘL) verwendet werden. Die Ergebnisse zeigen, dass eine verzögerte Initialisierung mit einem geeigneten Roundness-Test-Wert zu konsistenteren und genaueren Ergebnissen führt. Der Einfluss des Bias auf die geschätzten Kameraparameter wird analysiert. Insbesondere wird untersucht, wie die Korrelation zwischen den geschätzten Kameraparametern und den Objektpunkten den Bias beeinflusst.

Die Evaluierung der Kalman-Filter-basierten SLAM-Ansätze erfolgt zunächst an synthetischen Datensätzen, um den Einfluss der verschiedenen Initialisierungsmethoden zu isolieren und zu quantifizieren. Es werden zwei verschiedene synthetische Szenen verwendet: eine planare Fläche mit realen Bilddaten von Vexcel und ein Modell der Basilika St. Peter in Rom. Die synthetischen Daten ermöglichen eine präzise Kontrolle der systematischen und stochastischen Fehler. Im Vergleich dazu wird der Algorithmus auf eine reale Bildsequenz angewendet, die mit einem UAV von Microdrones GmbH aufgenommen wurde. Hierbei wird eine Panasonic Lumix Kamera mit einer Auflösung von 848 x 480 Pixel verwendet. Die Besonderheit der Realdaten liegt im Auftreten von zusätzlichen systematischen Fehlern aufgrund von Kamerakalibrierungsfehlern und unerwarteten Fehlern im Merkmalspunkt-Tracking. Für die Auswertung der realen Daten wird ein robustes Bundle Adjustment mit hochgenauen Kontrollpunkten als Referenz verwendet. Die Ergebnisse des Kalman-Filters werden mit den Ergebnissen des Bundle Adjustments verglichen, wobei der Einfluss von Ausreißern und systematischen Fehlern analysiert wird.

Die Evaluierung der entwickelten Kalman-Filter-basierten SLAM-Methoden beginnt mit synthetischen Datensätzen. Dies ermöglicht die exakte Kontrolle über systematische und stochastische Fehlerquellen und erlaubt eine gezielte Analyse des Einflusses einzelner Parameter. Die Genauigkeitsanalyse konzentriert sich auf die theoretische Genauigkeit photogrammetrischer Streifen, wobei ein erweitertes Gesetz von Finsterwalder & Hofmann (1964) herangezogen wird, welches die Abhängigkeit der Genauigkeit von verschiedenen Parametern wie Basislänge, Kameraeigenschaften und der Anzahl der Merkmalspunkte berücksichtigt. Die Genauigkeit wird anhand eines Bundle Adjustment unter idealisierten Bedingungen geschätzt. Darüber hinaus wird der Einfluss der Repräsentation und Initialisierung neuer Objektpunkte im Kalman-Filter analysiert. Hierbei werden verschiedene Szenarien simuliert, darunter eine planare Fläche mit realen Bilddaten von Vexcel und ein Modell der Basilika St. Peter in Rom. Der Vergleich verschiedener Initialisierungsmethoden erlaubt die Beurteilung ihrer Auswirkungen auf Genauigkeit und Konsistenz der Ergebnisse. Es wird untersucht, inwiefern die nicht-Gaußsche Verteilung der Objektpunktbestimmung durch Schnitt von Projektionsstrahlen mit kleinen Disparitäten einen Bias in den Ergebnissen erzeugt.

Die Anwendung des Kalman-Filter-basierten SLAM-Ansatzes wird an einer realen Bildsequenz demonstriert, die mit einem UAV (Microdrones GmbH) aufgenommen wurde. Das UAV ist ein elektrisch angetriebener Quadrocopter, der mit einer Panasonic Lumix Kamera (848 x 480 Pixel, 60° Blickwinkel, 30 Hz) ausgestattet ist. Im Gegensatz zu den Simulationen sind hier systematische Fehler durch Kamerakalibrierungsfehler und Ungenauigkeiten im Feature Tracking zu berücksichtigen. Es wird ein Vergleich mit den Ergebnissen eines robusten Bundle Adjustments durchgeführt, das hochgenaue Kontrollpunkte in allen Bildern verwendet, um als Referenz zu dienen. Die Ergebnisse zeigen einen kontinuierlichen Drift in den geschätzten Kameraparametern und verdeutlichen den signifikanten Einfluss von groben Fehlern (Outliern) im Feature Tracking. Die Effektivität der implementierten Robustifizierungsmethode zur Reduktion des Einflusses von Outliern wird bewertet und deren Grenzen aufgezeigt. Die Diskussion beinhaltet die Schwierigkeiten bei der vollständigen Eliminierung von Outliern und das Potential einer Vorfilterung zur Identifizierung grober Fehler im Feature Tracking.