Fassadentexturierung mit IR-Bildern

Die 3D-Rekonstruktion von Gebäuden beginnt mit der Erfassung von Bildsequenzen mittels einer Kamera. Die Methode der relativen Orientierung, basierend auf Structure from Motion (SFM) oder Simultaneous Localization and Mapping (SLAM), verbindet die 2D-Bilder zunächst zueinander, ohne Vorwissen über die Szene. Dies erfolgt durch die Analyse der 2D-Bildräume und die Suche nach Korrespondenzen von Bildpunkten in verschiedenen Bildern, bevor ein Übergang in den 3D-Raum stattfindet. Die Bestimmung der relativen Orientierung nutzt nur 2D-Bildpunkte und deren Korrespondenzen im Bildraum, ohne unmittelbare 3D-Raum-Transformation. Erst danach erfolgt die 3D-Szenenrekonstruktion. Die Methode ist besonders vorteilhaft in unbekannten Szenen oder bei kleinen Bildausschnitten, wo eine direkte Positionsbestimmung der Kamera aufgrund zu weniger bekannter Punkte schwierig ist. Die Bestimmung der äußeren Orientierung mittels GPS ist fehlerbehaftet; daher ist eine Koregistrierung mit Passpunkten an einem vorhandenen Gebäudemodell notwendig, um die Bilddaten zu kombinieren. In städtischen Umgebungen ist eine direkte Zuordnung zwischen Bildern und Modell oft nicht möglich. Die Orientierung im Weltkoordinatensystem erfolgt mittels GPS/INS-Systemen. Die Genauigkeit der äußeren Orientierung ist entscheidend für die Qualität der 3D-Modellierung und wird durch die Verwendung von Passpunkten und Ausgleichungsverfahren verbessert. Methoden zur Bestimmung der Kameraposition aus drei oder mehr 2D-Bildpunkten mit bekannten 3D-Objektkoordinaten werden diskutiert, inklusive der Behandlung von Mehrdeutigkeiten in der Lösung. Die Verwendung der essentiellen Matrix zur relativen Orientierung in kalibrierten Fällen reduziert die Anzahl der benötigten Punktepaare und wird ebenfalls erläutert, inklusive der Anwendung des RANSAC-Verfahrens zur robusten Schätzung und des Hypothesentests zur Aussortierung falscher Punktpaare. Die Erweiterung auf Bildsequenzen erfolgt durch sukzessives Hinzufügen von Bildern und Wiederverwendung bereits akzeptierter Punktpaare.

Die Kalibrierung der Infrarotkamera ist essentiell für die Genauigkeit der 3D-Modellierung. Zwei Hauptansätze werden beschrieben: die Kalibrierung mittels Testfeldern und die Kalibrierung über Passpunkte im 3D-Gebäudemodell. Bei der Testfeldkalibrierung werden Messmarken verwendet, um die inneren Orientierungsparameter der Kamera zu bestimmen. Die Eigenschaften der Messmarken im thermischen Infrarotspektrum werden detailliert diskutiert. Aktive Strahler bieten einen besseren Kontrast, während reflektierende Messmarken (z.B. Metallgitter oder CDs) die Umgebungsstrahlung reflektieren und somit eine Blickwinkelabhängigkeit aufweisen. Die Wahl des Testfeldes (vertikal oder horizontal) beeinflusst die möglichen Blickwinkelvariationen und die Genauigkeit der Kalibrierung. Die Fokussierung der Kamera spielt ebenfalls eine Rolle. Die Verwendung reflektierender Messmarken auf einem flachen Testfeld ermöglicht die Reflexion des kalten Himmels und ist daher für Außentestfelder besser geeignet. Alternativ kann die Kalibrierung über Passpunkte im 3D-Gebäudemodell erfolgen. Hier werden entsprechende Bildpunkte manuell in mehreren Bildern markiert. Diese Methode ist besonders relevant für fest verbaute oder luftgetragene Kamerasysteme, wo eine Testfeldkalibrierung schwierig ist. In terrestrischen Aufnahmen ist die geringe Sichtbarkeit von Fassadenkanten problematisch, weshalb zusätzliche Aufnahmen mit großer Gebäudesichtbarkeit benötigt werden. Die Ausgleichung der Passpunkte erfolgt ähnlich wie im Fall der Testfeldkalibrierung, jedoch mit einer unregelmäßigen Verteilung der Passpunkte. Die Genauigkeit der Kalibrierung hängt stark von der Anzahl und Verteilung der Passpunkte ab. Die Bestimmung der inneren Orientierungsparameter (z.B. Brennweite, Hauptpunktkoordinaten) und der radialsymmetrischen Verzeichnung wird diskutiert.

Nachdem die relative Orientierung der Bildsequenz bestimmt wurde, erfolgt die Überführung in ein globales Koordinatensystem, also die absolute Orientierung. Da die GPS-Daten ungenau sind, wird eine Koregistrierung mit dem 3D-Gebäudemodell mittels einer räumlichen Ähnlichkeitstransformation durchgeführt. Die Bestimmung der sieben Parameter der absoluten Orientierung (Translationsvektor, Rotationsmatrix, Skalierungsfaktor) wird erläutert. Die Beobachtungen sind die Kamerapositionen aus der relativen Orientierung und die GPS-Positionen, die über Zeitstempel einander zugeordnet werden. Das Ziel ist die Minimierung des quadratischen Abstands zwischen den beiden Positionen. Für die Kombination von Bildsequenzen werden drei Ansätze vorgestellt: die gemeinsame Auswertung aller Bilder über Passpunkte (rechenintensiv), die sequentielle Abarbeitung der Bilder (geeignet für bewegte Systeme), und ein hierarchisches Verfahren, das benachbarte Bildgruppen iterativ zusammenfasst. Der sequentielle Ansatz wird hier bevorzugt, da auf den Fassaden keine Passpunkte vorhanden sind und das Gebäudemodell zusätzliche Informationen liefert, um den Einfluss von Fehlern in den ersten Bildern zu minimieren. Bilder mit mehreren sichtbaren Fassaden erzielen eine höhere Genauigkeit, da die 3D-Objektpunkte in verschiedenen Ebenen angeordnet sind. Die Schätzung der 3D-Objektkoordinaten unbekannter Punkte und die Wahl der optimalen Bildbasis für die Schätzung werden ebenfalls diskutiert, wobei die Genauigkeit der äußeren Orientierung und die mögliche Entstehung eines schleifenden Schnitts bei kleiner Basis berücksichtigt werden müssen.

Die Textur einer Fassade wird mithilfe des bereits erstellten 3D-Gebäudemodells und der bekannten inneren und äußeren Orientierung der Kamera extrahiert. Im Gegensatz zu aufwändigen Verfahren wie dem Semi-Global-Matching, die eine dichte 3D-Punktwolke aus mehreren Bildern generieren, wird hier ein direkter Ansatz verfolgt. Für jedes Pixel im Bildraum wird mithilfe der bekannten Orientierungsparameter ein korrespondierender 3D-Objektpunkt im Gebäudemodell bestimmt. Dadurch ist die Extraktion der Textur aus einem Einzelbild möglich. Die geometrische Auflösung der extrahierten Textur ist dabei von verschiedenen Faktoren abhängig, darunter das Basis-Höhen-Verhältnis (Abstand Fassade-Kamera, Brennweite, Sensorgröße) und der Blickwinkel der Kamera. Im Nadirfall (Kamera blickt senkrecht auf die Fassade) ist die geometrische Auflösung konstant, bei schräger Sicht hingegen variabel. Die Vorgabe, dass eine Fassade nur mit einem Bildstreifen aufgenommen wird, beeinflusst die erreichbare geometrische Auflösung. Im optimalen Fall (Kamera blickt direkt auf die Fassade) ergibt sich die Auflösung aus der Fassadenhöhe geteilt durch die Anzahl der Zeilen des Kamerasensors. Bei schräger Sicht ändert sich die Auflösung über den Bildstreifen, wobei die höchste Auflösung in der Sichtebene der Kamera liegt und mit zunehmendem Abstand von dieser abnimmt. Die Projektion der Fassadentextur erfolgt über die Kollinearitätsgleichungen, wobei für jedes Pixel die Pixelkoordinaten im Kamerabild ermittelt und der Intensitätswert durch bilineare Interpolation bestimmt wird. Pixel ohne vier Nachbarn für die Interpolation (z.B. am Bildrand) werden als 'NaN' markiert.

Die Kombination der aus Einzelbildern extrahierten Texturen zur vollständigen Fassadentextur wird beschrieben. Die Methode nutzt die bereits berechneten Orientierungsparameter, um die Einzeltexturen präzise aneinanderzufügen. Der Prozess wird als sehr stabil beschrieben, insbesondere im einstufigen Verfahren, das eine Ausgleichung über alle Bilder einer Fassade durchführt. Die geometrische Auflösung ist in den Einzeltexturen nicht konstant und ändert sich mit dem Blickwinkel. Die Kombination der Texturen wird durch diesen Umstand vereinfacht, da Folgetexturen in der Vorwärtssicht und Vorgängertexturen in der Rückwärtssicht in den sichtbaren Bereichen eine höhere geometrische Auflösung aufweisen. Trotzdem können am Übergang zwischen den Texturen sichtbare Kanten entstehen, abhängig von der Aufnahmefrequenz und dem Abstand benachbarter Bilder. Auf eine Weichzeichnung der Übergänge oder Kantensuche wurde jedoch verzichtet, um eine möglichst hochaufgelöste Darstellung zu gewährleisten. Die Kombination von Texturen aus verschiedenen Blickrichtungen (vorwärts/rückwärts) ermöglicht die Erkennung von Objekten, die nicht in der Fassadenebene liegen (z.B. Fensternischen, Dachüberstände). Die Differenzbildung der Texturen hilft, diese Objekte zu identifizieren, da sie an der falschen Position abgebildet werden. Allerdings funktioniert dies nicht für waagerechte Abweichungen von der Fassadenebene. Die Kombination von Texturen aus verschiedenen Aufnahmezeitpunkten wird ebenfalls diskutiert. Der Höhenversatz zwischen vorwärts und rückwärts blickenden Aufnahmen wird hauptsächlich durch den Blickwinkel und die unterschiedliche Verdeckung erklärt. Der Vergleich von Texturen derselben Blickrichtung zu unterschiedlichen Zeitpunkten zeigt, dass bei unveränderten Aufnahmebedingungen die Genauigkeit der Textur-Extraktion hoch ist. Der Vergleich von Texturen aus verschiedenen Kamerasystemen (z.B. Infrarot und RGB) wird ebenfalls angesprochen. Die Überlagerung der aus einer RGB-Textur extrahierten Kanten mit der Infrarot-Textur ermöglicht eine Beurteilung der Positionsgenauigkeit der Infrarot-Textur.

Die Auswertung der kombinierten Fassadentexturen umfasst verschiedene Ansätze der digitalen Bildverarbeitung, um 3D-referenzierte und semantische Informationen zu extrahieren. Die Kombination von Texturen aus unterschiedlichen Wellenlängenbereichen, Aufnahmezeitpunkten, Blickrichtungen und Kamerasystemen verspricht einen Mehrwert gegenüber der manuellen Beurteilung von Einzelaufnahmen. Die Leckagedetektion wird als konkrete Anwendung erwähnt. Hierfür werden Texturen aus vorwärts und rückwärts blickenden Aufnahmen benötigt, um Temperaturunterschiede zu analysieren und potenzielle Wärmeverluste zu identifizieren. Die Maskierung von nicht relevanten Bereichen wie Fenstern, um die Leckagedetektion zu verbessern, wird beschrieben. Die Genauigkeit der Maskierung hängt von der geometrischen Auflösung der Fenster ab. Der Vergleich von Infrarot-Texturen mit einer manuell erstellten RGB-Textur zeigt die Genauigkeit der extrahierten Infrarot-Textur. Der Einfluss von Faktoren wie die Verdeckung des Fassadensockels durch Fahrzeuge und die begrenzte Genauigkeit des Gebäudemodells auf die Genauigkeit der Textur wird diskutiert. Schwierigkeiten bei der automatischen Koregistrierung von Texturen aus verschiedenen Blickrichtungen, bedingt durch unterschiedliche verdeckte Bereiche, werden angesprochen. Die nicht konstante geometrische Auflösung der Texturen, bedingt durch die Aufnahmegeometrie, vereinfacht die Kombination der Teiltexturen, aber kann an den Übergängen zu sichtbaren Kanten führen.

Die Genauigkeit der absoluten Orientierung, also die präzise Positionierung der Kamera im 3D-Raum, ist ein zentraler Aspekt der Genauigkeitsanalyse. Die erzielten Standardabweichungen liegen im Bereich weniger Zentimeter, was trotz der Koregistrierung der Punktwolke mit dem 3D-Gebäudemodell als relativ gering eingeschätzt wird. Jedoch zeigen sich Unterschiede in der Genauigkeit je nach Fassade. Die Ostfassade weist kleinere Standardabweichungen auf, obwohl der mittlere Abstand der 3D-Punkte zu ihrer korrespondierenden Fassadenfläche größer ist als bei anderen Fassaden. Dies wird auf die strukturelle Beschaffenheit der Ostfassade zurückgeführt, die durch mehrere kleine Gebäudeteile und nicht nur eine entlang der Straße verlaufende Fassadenebene gekennzeichnet ist. Die unterschiedlichen Orientierungen der Fassaden ermöglichen eine genauere Bestimmung der Orientierungsparameter. Gleichzeitig führen jedoch kleine Abweichungen in der Skalierung dazu, dass Punkte nicht mehr auf ihren Fassaden liegen. Baumbedeckung als Artefakt beeinflusst die Genauigkeit ebenfalls negativ. Die Genauigkeit der absoluten Orientierung hängt somit von verschiedenen Faktoren ab, darunter die Genauigkeit der GPS-Daten, die Qualität des 3D-Gebäudemodells und die Verteilung der 3D-Punkte auf den Fassaden. Ein zweistufiges Verfahren, das zunächst eine grobe absolute Orientierung über eine Koregistrierung der Projektionszentren mit den GPS-Positionen durchführt und anschließend eine Feinabstimmung mit dem 3D-Gebäudemodell vornimmt, wird eingesetzt. Die Genauigkeit wird durch den mittleren Abstand der 3D-Punkte von ihrer korrespondierenden Fassadenfläche quantifiziert.

Neben der geometrischen Genauigkeit spielt die Radiometrie der Infrarotkameras eine entscheidende Rolle für die Genauigkeit der Ergebnisse. Nur Objekte mit unterschiedlicher Abstrahlung im infraroten Spektrum sind unterscheidbar, was entweder auf unterschiedliche Emissionskoeffizienten oder Objekttemperaturen zurückzuführen ist. Da die Emissionskoeffizienten ähnlicher Objekte sehr ähnlich sind, werden Objekte meist nur durch Temperaturunterschiede getrennt wahrgenommen. Die Wärmeausbreitung in massiven Fassaden erschwert eine scharfe Abgrenzung. Die Anzahl der detektierten Interestpunkte ist in den Infrarotbildern deutlich geringer als in Grauwert-Bildern einer Videokamera, was auf schwächere Kontraste zurückzuführen ist. Sowohl gradientenbasierte Verfahren (Förstner-Operator) als auch blob-basierte Verfahren (SIFT) wurden auf thermische Infrarotbilder angewendet. Die Zuordnung homologer Punkte innerhalb einer Sequenz ist stabil, nimmt aber mit größer werdenden Blickwinkeländerungen und zeitlichem Versatz ab, da die Abstrahlung im Infrarotspektrum von Blickwinkel und Temperatur abhängt. Die Kalibrierung allein aus einer Bildsequenz mit konstanter Blickrichtung ist instabil und liefert keine signifikanten Ergebnisse für die inneren Orientierungsparameter. Dies liegt an der geringen Sichtbarkeit des Gebäudeteils und der Anordnung der meisten Punkte auf einer Ebene. Die Hinzunahme von Bildern mit unterschiedlichen Blickwinkeln und/oder Bildern mit voller Fassadensicht verbessert die Kalibrierung.

Bei der Kombination von Texturen aus verschiedenen Bildsequenzen treten ebenfalls Fehler auf, die im Detail analysiert werden. Der Höhenversatz zwischen vorwärts und rückwärts blickenden Aufnahmen wird hauptsächlich durch den Blickwinkel und unterschiedliche Verdeckungen durch Objekte erklärt, während die Genauigkeit für dieselbe Aufnahmekonfiguration relativ hoch ist. Verdeckungen, z.B. durch parkende Fahrzeuge, führen zu einer falschen Schätzung des Bodenpunktes der Fassade und einer Verschiebung der Textur nach oben. Die begrenzte Genauigkeit des Gebäudemodells führt dazu, dass die Unterseite des Dachüberstandes auf die Fassadenebene projiziert wird. Diese Fehler wirken sich auf die Genauigkeit der Gesamttextur aus, insbesondere bei der Kombination von Texturen aus unterschiedlichen Blickrichtungen. Unterschiedliche verdeckte Bereiche führen zu Versätzen der Texturen, was eine automatische Koregistrierung erschwert. Die nicht konstante geometrische Auflösung, bedingt durch die Aufnahmegeometrie, führt zu sichtbaren Kanten zwischen den Teiltexturen. Diese Kanten sind abhängig von der Aufnahmefrequenz und dem Abstand benachbarter Bilder. Die Kombination von Texturen aus gleicher Blickrichtung zu verschiedenen Zeitpunkten liefert annähernd gleiche Ergebnisse, sofern sich die verdeckten Bereiche nicht signifikant ändern. Größere Objekte wie Lastwagen können jedoch die Schätzung der Fassadenfläche und die Positionierung der Textur beeinflussen. Die Zuordnung von markanten Punkten in verschiedenen Texturen hängt von den äußeren Bedingungen ab (z.B. Sichtbarkeit von Heizungsleitungen im Sommer/Winter).

Die Arbeit untersucht zwei Verfahren zur Detektion und zum Vergleich von Interestpunkten: den Förstner-Operator (gradientenbasiert) und den SIFT-Algorithmus (blob-basiert). Beide Verfahren werden auf thermische Infrarotbilder angewendet. Die Ergebnisse zeigen, dass beide Ansätze auf Infrarotbilder übertragbar sind. Aufgrund schwächerer und weicherer Kantenübergänge und weniger Details in den Infrarotbildern ist die Anzahl der detektierten Interestpunkte jedoch deutlich geringer als bei Bildern im sichtbaren Lichtspektrum bei gleicher Bildgröße und geometrischer Auflösung. Die Zuordnung homologer Punkte innerhalb einer Bildsequenz zeigt sich als relativ stabil. Die Korrelation, ein schnelles Berechnungsverfahren, wird als Methode zur Suche nach Punktkorrespondenzen in benachbarten Bildern beschrieben und ihre Vorteile bei Translationen auf ebenen Flächen hervorgehoben. Ihre Grenzen liegen in großen Skalierungsänderungen, Rotationen und projektiven/affinen Transformationen. Der normierte Korrelationskoeffizient erlaubt die Beurteilung der Qualität der Punktkorrespondenzen. Der SIFT-Algorithmus erzeugt einen 128-dimensionalen Deskriptor für jeden markanten Punkt, der robust gegenüber Helligkeitsänderungen und geometrischen Projektionen ist. Dieser Deskriptor ist unempfindlich gegenüber kleinen affinen Transformationen, jedoch nimmt die Erfolgsquote der Zuordnung bei größeren Blickwinkeländerungen deutlich ab (z.B. 50% Erfolgsquote bei 50° Blickwinkeländerung).

Die Merkmalsextraktion in thermischen Infrarotbildern stellt im Vergleich zu Bildern im sichtbaren Lichtspektrum besondere Herausforderungen dar. Die geringere Anzahl an Interestpunkten, bedingt durch schwächere Kontraste und weniger Details, beeinflusst die Genauigkeit der Ergebnisse. Eine Reduktion der Schwellwerte für detektierte Interestpunkte erhöht zwar die Anzahl der gefundenen Punkte, verbessert aber die Anzahl korrekter Zuordnungen kaum. Die Stabilität der Zuordnung homologer Punkte innerhalb einer Sequenz ist vergleichbar mit Grauwertbildern, nimmt aber bei größeren Blickwinkeländerungen und zeitlichem Versatz ab. Diese Abnahme der Zuverlässigkeit wird auf die Abhängigkeit der Abstrahlung im Infrarotspektrum von Blickwinkel und Temperatur zurückgeführt. Modelle, die auf lokale Intensitätsverhältnisse zurückgreifen, sind in diesen Fällen nicht mehr uneingeschränkt anwendbar. Die Verwendung des Förstner-Operators in Verbindung mit einer Korrelation und der SIFT-Algorithmus wurde untersucht, um die Detektion und den Vergleich von Interestpunkten zu optimieren. Die Ergebnisse zeigen die Anwendbarkeit beider Verfahren auf thermische Infrarotbilder, wobei aber die genannten Einschränkungen berücksichtigt werden müssen. Die Radiometrie der Infrarotkameras spielt eine entscheidende Rolle, da nur Objekte mit unterschiedlicher Abstrahlung unterschieden werden können. Die Wärmeausbreitung in massiven Fassaden erschwert die scharfe Abgrenzung von Objekten. Bei der Kalibrierung über Passpunkte allein aus einer Sequenz mit konstanter Blickrichtung zeigt sich eine Instabilität der Ergebnisse, da die meisten Punkte auf einer Ebene liegen, und die Hinzunahme von Bildern mit unterschiedlichen Blickwinkeln nur eine geringe Verbesserung bringt.