Kamerakalibrierung: Mathematische Methoden

Die Arbeit beginnt mit der Betrachtung des mathematischen Problems der Selbstkalibration. Photogrammetrische Selbstkalibration, oder der Aufbau von Selbstkalibrationsmodellen, wird als Funktionalapproximation dargestellt. Abweichungen von der idealen Perspektivgeometrie werden mittels linearer Kombination spezieller mathematischer Basisfunktionen approximiert. Algebraische Polynome, insbesondere orthogonale, univariate Legendre-Polynome, bilden die Grundlage für die Entwicklung einer Reihe von Legendre-Selbstkalibrationsmodellen. Der Weierstraßsche Approximationssatz garantiert die effektive Kalibrierung geometrischer Abweichungen eines flächenhaft aufzeichnenden Kamerasystems durch Legendre-Polynome geeigneten Grades. Das Legendre-Modell wird als wesentliche Verallgemeinerung historischer Modelle von Ebner und Grün betrachtet, wobei Legendre-Polynome zweiten und vierten Grades besonders hervorgehoben werden. Die Arbeit unterstreicht die Bedeutung der Verzeichnungskorrektur als wesentliche Komponente der photogrammetrischen Selbstkalibration, im Gegensatz zum Computer Vision Bereich, wo dies nicht zwingend der Fall ist.

Der Einsatz zusätzlicher Parameter für die Selbstkalibration in der Luftbildphotogrammetrie hat lange Tradition, oft pragmatisch und ohne fundierte mathematische oder physikalische Begründung. Diese Parameter weisen häufig hohe Korrelationen mit anderen Korrekturparametern auf. Im photogrammetrischen Nahbereich sind solche hohen Korrelationen ebenfalls bekannt, insbesondere beim weit verbreiteten Brown’schen Selbstkalibrationsmodell. Die negativen Auswirkungen dieser hohen Korrelationen sind bisher unzureichend untersucht. Die Arbeit führt Simulationen und empirische Tests mit digitalen Luftbildkamerasystemen durch. Dabei zeigt sich, dass sowohl Legendre- als auch Fourier-Polynome zur Korrektur geometrischer Abweichungen von Kamerasystemen (DMC, DMC II, UltraCamX, UltraCam Xp, DigiCAM etc.) mit verschiedenen Sensorformaten (groß, mittel, klein) in Einkopf- oder Mehrkopf-Systemen effektiv einsetzbar sind. Fourier-Polynome benötigen weniger Parameter und erzielen eine bessere Verzeichnungskorrektur. Tests im Nahbereich bestätigen die zuverlässige Rekonstruktion der Bildhauptpunktlage trotz hoher Korrelationen mit dezentralen Verzeichnungsparametern. Kombinierte „Radial+Legendre“- und „Radial+Fourier“-Modelle zeigen gute Ergebnisse. Die verbesserte Brennweitenbestimmung durch das „Im-Bild“-Kalibrationsmodell wird ebenfalls hervorgehoben.

Die Arbeit präsentiert Ergebnisse von Simulationen und empirischen Tests verschiedener Selbstkalibrationsmodelle für Luftbildkameras. Die Tests an digitalen Luftbildkamerasystemen (z.B. DMC mit unterschiedlicher Ground Sample Distance (GSD)) zeigen die hohe Performance der Legendre- und Fourier-Modelle im Vergleich zu herkömmlichen Ansätzen. Beide Modelle erweisen sich als flexibel, generisch und effektiv zur Korrektur der Verzeichnung verschiedener digitaler Luftbildkameras. Fourier-Polynome benötigen in der Regel weniger Parameter und liefern zuverlässigere Kalibrationen. Tests im Nahbereich bestätigen die theoretischen Analysen zu Korrelationen. Die zuverlässige und präzise Lokalisierung des Bildhauptpunktes wird auch unter Berücksichtigung hoher Korrelationen mit der dezentralen Verzeichnung demonstriert. Ein verfeinertes Modell für die ebene Verzeichnung reduziert die Korrelation mit der Brennweite und verbessert deren Kalibration. Der Vergleich umfasst das 10-Parameter-Brown-Modell, das erweiterte Brown-Modell, Modelle von Ebner und Grün sowie Legendre- und Fourier-Modelle unterschiedlicher Ordnung. Die Analyse von Korrelationen zwischen den zusätzlichen Parametern (APs) und anderen Parametern (Orientierungsparameter, IMU-Fehlorientierungen) zeigt die Vorteile der Legendre- und Fourier-Ansätze. Die Orthogonalität der Legendre- und Fourier-APs trägt zur Stabilität des Anpassungsprozesses bei.

Überparametrisierung stellt ein wichtiges Thema dar. Die Arbeit unterscheidet zwischen mathematischer Überparametrisierung (Überanpassung zufälliger Fehler) und photogrammetrischer Überparametrisierung (Verzerrung der Blockgeometrie). Die erste Form ist im Allgemeinen unkritisch, da die Anzahl der Bildmessungen die Anzahl der unbekannten Parameter deutlich übersteigt. Die zweite Form hängt von der Blockgeometrie ab (GCP-Verteilung, Überlappung). Die Arbeit untersucht verschiedene Arten von Korrelationen: Korrelationen zwischen Brennweite und radialer Verzeichnung, zwischen Bildhauptpunkt und dezentraler Verzeichnung. Hohe Korrelationen bei Kameras mit langer Brennweite werden diskutiert, während sie bei anderen Konfigurationen weniger relevant sind. Die Arbeit konzentriert sich auf in der Praxis häufig auftretende Korrelationen zwischen Bildhauptpunkt und dezentraler Verzeichnung. Es wird gezeigt, dass der Bildhauptpunkt trotz hoher Korrelationen mit den Parametern der dezentralen Verzeichnung zuverlässig bestimmt werden kann, wenn die Bildkonfigurationen geeignet sind. Ein verfeinertes Modell der ebenen Verzeichnung verringert die Korrelation mit der Brennweite und verbessert deren Kalibrierung. Die Arbeit beleuchtet den Einfluss der Flughöhe auf die Verzerrung und empfiehlt die In-situ-Kalibration auf einer einzigen Flughöhe.

Dieser Abschnitt führt einen detaillierten Vergleich verschiedener Selbstkalibrationsmodelle durch, die in Bezug auf externe Genauigkeit, Korrelationsanalysen und Systemkalibration bewertet werden. Die untersuchten Modelle umfassen das 10-Parameter Brown-Modell (Brown, 1971; Fraser, 1997), das erweiterte 21-Parameter Brown-Modell (Brown, 1976), die Modelle von Ebner (1976) und Grün (1978) sowie die in dieser Arbeit entwickelten Legendre- und Fourier-Modelle. Die Modelle werden mit der Notation „Brown (10)“, „Brown (21)“, „Ebner (12)“, „Grün (44)“, „Legendre (n)“ und „Fourier (n)“ bezeichnet, wobei die Zahl in Klammern die Anzahl der unbekannten zusätzlichen Parameter (APs) angibt, und 'n' die Anzahl der Legendre- bzw. Fourier-APs in Abhängigkeit vom gewählten Grad repräsentiert. Der Vergleich erfolgt unter gleichen Bedingungen (Blockkonfigurationen, Gewichtung von Messungen und Korrekturparametern), um eine faire Bewertung zu gewährleisten. Die Ergebnisse werden in Tabellen (z.B. Tabelle 3.2 und 3.3) und Abbildungen (z.B. Abbildung 3.17 und 3.18) präsentiert und diskutiert. Die Analyse umfasst die Korrelationen der APs mit den externen Orientierungsparametern (EO-Parameter), den inneren Orientierungsparametern (IO-Parameter) und den IMU-Fehlorientierungen.

Ein Schwerpunkt liegt auf der Analyse der Korrelationen zwischen den zusätzlichen Parametern der verschiedenen Selbstkalibrationsmodelle und anderen Parametern des Systems. Es wird festgestellt, dass die Legendre- und Fourier-APs im Vergleich zu den Brown- und Grün-Modellen deutlich niedrigere Korrelationen mit den IO-Parametern und den IMU-Fehlorientierungen aufweisen. Obwohl die Fourier-APs in bestimmten Metriken (z.B. '< 0.1' in Tabelle 3.2) leicht schlechter abschneiden als die Legendre-APs, sind diese Unterschiede aufgrund ähnlicher maximaler Korrelationen vernachlässigbar. Die 'Intra-Korrelation' zeigt die Orthogonalität der Legendre- und Fourier-APs, was die Stabilität des Anpassungsprozesses unterstützt, obwohl es keinen großen Einfluss auf die Kalibration und Genauigkeit hat. Die Arbeit untersucht den Einfluss hoher Korrelationen auf die Kalibration der IO-Parameter, insbesondere der Brennweite. Das Brown (21)-Modell zeigt im Vergleich zu den Legendre- und Fourier-Modellen divergierende Ergebnisse, insbesondere bei der Brennweitenkalibration. Die Legendre- und Fourier-Modelle liefern hingegen übereinstimmende Ergebnisse, was auf ihre effektive Verzeichnungskorrektur und niedrige Korrelationen mit den IO-Parametern und IMU-Fehlorientierungen zurückzuführen ist.

Die Arbeit untersucht die Auswirkungen von Über- und Unterparametrisierung. Es wird gezeigt, dass Unterschiede in den maximalen Verzerrungswerten zwischen Legendre- und Fourier-Modellen wahrscheinlich nicht auf Überparametrisierung zurückzuführen sind, sondern auf die Eliminierung stark korrelierter Terme bei den Legendre-APs. Diese Eliminierung führt zu unerwünschten Einschränkungen und kann die Verzerrungsbestimmung verfälschen. Im Gegensatz dazu liefert die mit Fourier-APs bestimmte Verzerrung aufgrund ihrer idealen theoretischen Eigenschaften zuverlässigere und realistischere Ergebnisse. Die Ergebnisse zeigen außerdem, dass die Verzerrung einer einzelnen Kamera bei unterschiedlichen Flughöhen variiert. Die Mittelwerte und Maximalwerte der Verzerrung, bestimmt durch das Fourier-Modell, sind bei niedrigeren Flughöhen (GSD 8cm) deutlich geringer als bei höheren Flughöhen (GSD 20cm), sowohl für die DMC- als auch für die UltraCamX-Kamera. Diese Variationen werden durch atmosphärische Einflüsse (Temperatur, Feuchtigkeit, Druck) erklärt und führen zu der Empfehlung, die In-situ-Kalibration auf einer einzigen Flughöhe durchzuführen, die der des jeweiligen Projekts entspricht.

Für den Einsatz im Computer Vision wird eine neue Autokalibrationsmethode vorgestellt, die im Wesentlichen auf der Fundamentalmatrix und den drei (abhängigen) Bedingungen basiert, die sich aus der Rang-2-Essentialmatrix ableiten. Diese Methode benötigt lediglich Bildkorrespondenzen und setzt keinen (oder einen bekannten) Skew-Parameter voraus. Ein wichtiger Vorteil ist die Unabhängigkeit von Bildverzerrungen und den anfänglichen Werten der internen Parameter. Im Gegensatz zu herkömmlichen Methoden, die alle internen Parameter simultan rekonstruieren, verwendet diese Methode ein rekursives Verfahren. Zuerst werden Brennweite und Aspektverhältnis geschätzt, dann wird der Hauptpunkt berechnet, wobei die Schätzungen von Brennweite und Aspektverhältnis fixiert sind. Dieser Prozess wird iterativ wiederholt, bis eine Konvergenz erreicht ist. Die Methode zeichnet sich durch drei Hauptvorteile aus: Erstens, die Verwendung einer rekursiven Strategie zur Bestimmung der Brennweite und der Lage des Bildhauptpunktes; zweitens, die Auswahl optimaler geometrischer Bedingungen unter Berücksichtigung minimaler Varianz mittels Fehlerfortpflanzung; und drittens, die Durchführung einer nichtlinearen Optimierung für die vier internen Parameter mit dem Levenberg-Marquardt-Algorithmus. Diese Autokalibrationsmethode ist schnell, effizient und liefert eine eindeutige Kalibration. Die Methode wird mit bestehenden Ansätzen verglichen (z.B. Stew nius et al., 2005; Sturm et al., 2005; Li, 2008), wobei die Vorteile in Einfachheit und Flexibilität hervorgehoben werden.

Ein wichtiger Aspekt der neuen Autokalibrationsmethode ist die Auswahl optimaler geometrischer Bedingungen. Die Fehlerfortpflanzung wird eingesetzt, um die für die Berechnung von Brennweite und Aspektverhältnis sowie des Hauptpunktes geeignetsten Bedingungen zu identifizieren. Diese Auswahl reduziert den Rechenaufwand und verbessert die Stabilität der Autokalibration, indem ungeeignete Lösungen aus degenerierten Epipolargeometrien (z.B. reine Kamera-Translation) ausgeschlossen werden. Die rekursive Strategie, die eine koordinatenorientierte Transformation verwendet, ermöglicht eine effiziente Schätzung von Brennweite und Aspektverhältnis unabhängig vom unbekannten Hauptpunktversatz. Im Gegensatz zu herkömmlichen Methoden, die alle internen Parameter simultan rekonstruieren, wird hier ein iterativer Prozess verwendet: Zuerst werden Brennweite und Aspektverhältnis geschätzt, dann der Hauptpunkt, und die Schätzung des Hauptpunktes wird dann wieder zur Verfeinerung der Brennweite und des Aspektverhältnisses verwendet. Die finale nichtlineare Optimierung der vier internen Parameter erfolgt über den Levenberg-Marquardt Algorithmus, wobei die rekursiven Ergebnisse als Startwerte dienen. Dieser Ansatz führt zu einer schnellen und effizienten Kalibration.

Die vorgestellte Autokalibrationsmethode wird mit bestehenden Methoden verglichen, wobei die Vorteile in Einfachheit und Flexibilität hervorgehoben werden. Im Gegensatz zu Methoden, die einen bekannten Hauptpunkt voraussetzen (z.B. Sturm et al., 2005), benötigt die neue Methode diesen nicht. Der Vergleich mit Li's Methode (Li, 2008) zeigt eine höhere Robustheit gegenüber Rauschen. Die analytische Natur der Methode führt zu einer deutlich schnelleren Berechnung im Vergleich zu iterativen Verfahren. Die Bedeutung der Koordinatentransformation, insbesondere bei unbekanntem Hauptpunkt, wird betont. Die Auswahl optimaler geometrischer Bedingungen reduziert den Rechenaufwand und verbessert die Stabilität. Die Methode wird als vielversprechend für zukünftige Anwendungen bewertet, obwohl sie noch nicht vollständig ausgereift ist. Die Arbeit schließt mit einer Diskussion über zukünftige Verbesserungen und den Potenzialen der Autokalibration und der Zweibild-Kalibration, die in Simulationen und praktischen Experimenten gezeigt werden.

Dieser Abschnitt diskutiert die Vor- und Nachteile physikalischer und mathematischer Selbstkalibrationsmodelle. Physikalische Modelle basieren auf dem präzisen Wissen über die Verzerrungsquellen und sind daher kompakt und effizient. Jeder zusätzliche Parameter (AP) in diesen Modellen ist physikalisch interpretierbar. Allerdings können physikalische Modelle aufgrund des begrenzten Wissens zur Unterparametrisierung führen und müssen möglicherweise an verschiedene Kameratechnologien (z. B. Einkopf- oder Mehrkopf-Kameras) angepasst werden. Hohe Korrelationen zwischen einzelnen APs und anderen Korrekturparametern können ebenfalls auftreten. Mathematische Selbstkalibrationsmodelle hingegen basieren auf dem abstrakten mathematischen Prinzip der Funktionalapproximation und sind unabhängig von den physikalischen Verzerrungsquellen. Die Legendre- und Fourier-Modelle sind theoretisch fundiert, flexibel und generisch effektiv. Während die Genauigkeit physikalischer Modelle von der Präzision des empirischen Wissens über die Verzerrung abhängt, können Legendre- und Fourier-Modelle Verzerrungen sehr geringer Größenordnung kompensieren. Sie sind daher besonders nützlich, wenn das empirische Wissen ungenau oder unvollständig ist, aber eine hohe Genauigkeit erforderlich ist. Die Legendre- und Fourier-APs weisen sehr geringe Korrelationen mit anderen Parametern auf und liefern zuverlässige und präzise Kalibrierungsergebnisse. Allerdings sind mathematische APs nicht physikalisch interpretierbar und das Risiko der Überparametrisierung muss beachtet werden.

Um die Vorteile sowohl physikalischer als auch mathematischer Selbstkalibrationsmodelle zu nutzen, wird die Kombination beider Ansätze empfohlen. Kombinierte Modelle nutzen das Wissen über die Verzerrung und die Vorteile der Funktionalapproximation. Die Arbeit schlägt die kombinierten „Radial + Legendre“- und „Radial + Fourier“-Modelle vor, die sich sowohl bei Luftbild- als auch bei Nahbereichskameras als effektiv erweisen. Die unterschiedliche Wahl des Grades der Legendre- und Fourier-Modelle in Luftbild- und Nahbereichskameras wird durch die unterschiedlichen Anforderungen an die Kalibrationsgenauigkeit erklärt: In der Luftbildphotogrammetrie können selbst kleine Verzerrungen die externe Genauigkeit erheblich beeinträchtigen, daher sind hier Legendre- und Fourier-Modelle höheren Grades erforderlich. Im Nahbereich ist die Größenordnung der verbleibenden Verzerrung oft vernachlässigbar, und eine Überparametrisierung sollte vermieden werden, um die Blockstabilität zu gewährleisten. Eine synthetische Betrachtungsweise, die das Prinzip der physikalischen und mathematischen Modellierung kombiniert, verdeutlicht die jeweiligen Stärken und Schwächen der beiden Ansätze. Eine unbekannte (Verzerrungs-)Funktion wird in einen Teil mit signifikanter Tendenz und einen Teil ohne erkennbares Muster unterteilt. Der erste Teil wird mit empirischen Funktionen (physikalische Modellierung) modelliert, der zweite Teil wird approximiert (mathematische Modellierung). Physikalische Modelle kompensieren die Hauptverzerrung (z. B. radiale Verzerrung), während mathematische Modelle die restliche Verzerrung korrigieren.