Automatic texturing of 3D models of urban areas using image sequences from airborne TIR cameras

3D-Stadtmodellierung mit TIR-Bildern

Dokumentinformationen

Autor

Dorota Iwaszczuk

instructor/editor Univ.-Prof. Dr.-Ing. Uwe Stilla
Schule

Technische Universität München

subject/major Geoinformatik/Geodäsie (vermutlich)
Dokumenttyp Dissertation
city_where_the_document_was_published München
Sprache German
Format | PDF
Größe 4.37 MB

Zusammenfassung

I.Präzise Texturextraktion aus thermischen Infrarot TIR Bildern für 3D Gebäudemodelle

Diese Arbeit befasst sich mit der Entwicklung von Methoden zur präzisen Texturextraktion aus thermischen Infrarot (TIR) Bildsequenzen für die Verwendung in 3D-Gebäudemodellen. Die Hauptprobleme bestehen in der ungenauen Koregistrierung von 3D-Gebäudemodellen und TIR-Bildern, der Berücksichtigung von Fehlern und Unsicherheiten in den 3D-Modellen und der Qualität der extrahierten Texturen. Es werden daher neue Ansätze für das Model-to-Image Matching, insbesondere linienbasierte Verfahren, entwickelt, die Unsicherheiten in den Bildmerkmalen und den 3D-Modellen berücksichtigen. Die Außenorientierung der Kamera wird optimiert, um die geometrische Diskrepanz zwischen Modell und Bild zu minimieren. Die Genauigkeit der Texturextraktion und die Qualität der Texturen werden bewertet. Ein besonderes Augenmerk liegt auf der automatischen Erkennung von Fenstern in den TIR-Texturen, um diese bei der Analyse von Wärmeverlusten auszuschließen. Die Ergebnisse zeigen, dass linienbasiertes Matching mit Berücksichtigung von Unsicherheiten eine Verbesserung der Koregistrierung ermöglicht, jedoch nicht immer signifikant ist. Die Arbeit verwendet CityGML als Datenformat.

II.Methoden des Model to Image Matching und Sichtbarkeitsanalyse

Die Koregistrierung von 3D-Gebäudemodellen und TIR-Bildern erfolgt mittels Model-to-Image Matching. Die Arbeit untersucht linienbasierte Verfahren, da Linien im Gegensatz zu Punkten repräsentativere Merkmale für künstliche Objekte darstellen. Es werden Methoden zur robusten Linienzuordnung zwischen Bild und Modell vorgestellt, die Fehler und Ungenauigkeiten berücksichtigen. Die Sichtbarkeitsanalyse, unerlässlich für die Texturextraktion, wird mit Raytracing-Verfahren optimiert. Dabei werden typische Probleme wie Selbst- und durch andere Objekte verursachte verdeckte Flächen (Okklusionen) berücksichtigt. Die Qualität der erzeugten Texturen wird durch lokale Auflösungskarten bewertet. Die Arbeit vergleicht verschiedene Ansätze und bewertet deren Vor- und Nachteile für die Texturextraktion aus schräg aufgenommenen Luftbildern.

1. Model to Image Matching Ansätze und Herausforderungen

Dieser Abschnitt beleuchtet verschiedene Ansätze zum Model-to-Image Matching, die für die präzise Textur-Extraktion aus TIR-Bildern unerlässlich sind. Es wird festgestellt, dass viele bestehende Methoden die Fehler und Unsicherheiten in den 3D-Gebäudemodellen nicht ausreichend berücksichtigen. Die meisten Verfahren konzentrieren sich auf triangulierte Modelle und vernachlässigen die Repräsentation durch beliebige Polygone, wie sie z.B. in CityGML verwendet werden. Ein weiterer Kritikpunkt ist die mangelnde Bewertung der Passgenauigkeit zwischen extrahierten Texturen und 3D-Modellen. Die meisten Methoden zur Fassadenrekonstruktion basieren auf Klassifikations- oder Lernverfahren und benötigen umfangreiche Trainingsdaten, die für TIR-Bilder meist nicht vorhanden sind. Die beschriebenen Limitierungen bestehender Model-to-Image Matching Verfahren betonen die Notwendigkeit für verbesserte Ansätze, die sowohl die Genauigkeit als auch die Robustheit des Verfahrens steigern, besonders im Hinblick auf die spezifischen Eigenschaften von TIR-Bildern. Die Arbeit betont die Notwendigkeit einer genauen und robusten Model-Bild-Zuordnung, welche die Fehlerquellen der 3D-Daten berücksichtigt. Die Verwendung von Linien als Bildmerkmale wird hervorgehoben, da diese für die Beschreibung von künstlichen Strukturen wie Gebäuden besonders geeignet sind.

2. Linienbasiertes Model to Image Matching

Die Arbeit konzentriert sich auf linienbasierte Model-to-Image Matching Verfahren als vielversprechende Alternative zu punktbasierten Ansätzen. Linien werden als repräsentativere Merkmale für künstliche Objekte wie Gebäude angesehen. Es werden Methoden entwickelt, welche die Fehler und Ungenauigkeiten in den 3D-Gebäudemodellen und den extrahierten Bildlinien berücksichtigen. Die Berechnung optimaler Parameter der äußeren Orientierung der Kamera wird ermöglicht. Die verbleibende geometrische Diskrepanz zwischen Gebäudemodell und TIR-Bild wird für jede Textur einzeln lokal kompensiert. Dies geschieht durch die Anpassung der Kanten des projizierten 3D-Gebäudemodells an ein Gradientenbild aus dem TIR-Bild. Die Arbeit untersucht außerdem, inwieweit eine Linienverfolgung durch die Bildsequenz die Zuordnung unterstützt und somit die Effizienz des Verfahrens steigert. Die Genauigkeit der Extraktion und die Qualität der Texturen werden durch die linienbasierte Methode verbessert, wobei die Berücksichtigung von Unsicherheiten eine zentrale Rolle spielt.

3. Sichtbarkeitsanalyse und Berücksichtigung von Okklusionen

Ein wichtiger Aspekt der Texturextraktion ist die Sichtbarkeitsanalyse, um verdeckte Bereiche im 3D-Modell zu identifizieren. Es werden zwei Hauptgruppen von Methoden unterschieden: bildbasierte Methoden (z.B. Z-Buffer, Ray Casting) und polygonbasierte Methoden (Polygon Clipping). Die Arbeit beschreibt die Funktionsweise dieser Methoden und diskutiert deren Vor- und Nachteile. Es wird hervorgehoben, dass die meisten existierenden Methoden auf triangulierten Modellen basieren und die Repräsentation durch beliebige Polygone, wie sie in CityGML möglich ist, nicht berücksichtigen. Ein weiterer Punkt ist die Berücksichtigung von dauerhaft verdeckten Flächen, die besonders in dicht bebauten Gebieten relevant sind. Die entwickelten Methoden berücksichtigen sowohl selbst-verursachte als auch durch andere Objekte verursachte Okklusionen und sind auf die spezifischen Herausforderungen der TIR-Bildgebung zugeschnitten, um die Qualität der Texturextraktion zu verbessern. Die Arbeit setzt sich kritisch mit bestehenden Sichtbarkeitsanalysen auseinander und entwickelt Strategien, um die Schwierigkeiten bei der Texturierung dicht bebauter Gebiete zu überwinden.

III.Fensterdetektion in TIR Texturen und Qualitätsbewertung

Ein weiterer Schwerpunkt liegt auf der Detektion von Fenstern in den extrahierten TIR-Texturen. Dies ist wichtig, um Wärmeverluste korrekt zu identifizieren und Fehlerquellen bei der Wärmeverlustdetektion zu reduzieren. Es wird eine Methode basierend auf maskierter Korrelation vorgestellt, die die unterschiedlichen Erscheinungsbilder von Fenstern in TIR-Bildern berücksichtigt. Die Qualitätsbewertung der extrahierten Texturen beinhaltet die Analyse der lokalen Auflösung und der Passgenauigkeit zum 3D-Modell. Die Arbeit diskutiert die Herausforderungen bei der Fensterdetektion in TIR-Bildern, die durch niedrige Auflösung, geringe Kontraste und Reflexionen auf den Fensterscheiben entstehen. Die Genauigkeit der Fensterdetektion wird anhand von terrestrischen und luftgestützten Daten evaluiert. Beispiele zeigen, dass die Detektion bei terrestrischen Daten erfolgreicher ist als bei luftgestützten Daten.

IV.Fehler in 3D Gebäudemodellen und deren Behandlung

Die Arbeit analysiert typische Fehler in 3D-Gebäudemodellen, wie z.B. ungenaue Geometrien und fehlerhafte Normalenvektoren. Diese Fehler beeinflussen die Qualität der Texturextraktion. Es werden Strategien zur Behandlung dieser Fehler vorgestellt, darunter die lokale Anpassung des Matchings zwischen Bild und Modell an jeder Kante und die Verbesserung der Modellgeometrie. Die unterschiedlichen Möglichkeiten der Geometrie-Darstellung im CityGML-Format, insbesondere im Hinblick auf die gemeinsame Darstellung von Flächen an Gebäudeschnittstellen, werden diskutiert und im Kontext der Texturextraktion bewertet. Die Arbeit zeigt, dass ungenaue 3D-Modelle die Qualität der extrahierten Texturen beeinträchtigen und eine Verbesserung der Modellgeometrie wünschenswert ist.

1. Typische Fehler in 3D Gebäudemodellen

Dieser Abschnitt untersucht die Auswirkungen von Fehlern in 3D-Gebäudemodellen auf die Qualität der Texturextraktion. Es werden verschiedene Arten von Modellfehlern beschrieben, die die Genauigkeit der Ergebnisse beeinträchtigen können. Dazu gehören beispielsweise fehlerhafte Geometrien, wie z.B. unerwünschte Einbuchtungen oder Lücken zwischen den Gebäudeteilen, sowie ungenaue oder unsystematisch ausgerichtete Normalenvektoren der Flächen. Ein Beispiel ist ein manuell erstelltes 3D-Gebäudemodell im CityGML-Format, welches verschiedene geometrische Ungenauigkeiten aufweist, inklusive fehlerhafter Verbindung von Wandflächen und nicht perfekt ausgerichteten Primitiven. Weitere Beispiele verdeutlichen fehlerhaftes „Snapping“ von Primitiven und Lücken zwischen Gebäuden. Die beschriebenen Fehler zeigen, dass die Genauigkeit des 3D-Modells einen entscheidenden Einfluss auf die Qualität der Texturierung hat und eine sorgfältige Modellierung oder Nachbearbeitung notwendig ist, um präzise Ergebnisse zu erzielen. Die in den Abbildungen 5.2 und 5.3 gezeigten Beispiele verdeutlichen die Problematik von unpräzisen 3D-Modellen, welche die Genauigkeit der Texturextraktion negativ beeinflussen können.

2. Darstellung von Geometrie in CityGML und deren Einfluss

Der Abschnitt beleuchtet die verschiedenen Möglichkeiten der Geometriedarstellung im CityGML-Format, insbesondere im Hinblick auf die Behandlung von Flächen an Gebäudeschnittstellen. Am Beispiel zweier benachbarter Gebäude wird gezeigt, dass es verschiedene Möglichkeiten gibt, die gemeinsamen Flächen darzustellen, z.B. durch ein gemeinsames Polygon oder durch separate Polygone für jedes Gebäude. Es werden die Vor- und Nachteile der verschiedenen Darstellungsweisen diskutiert. Insbesondere wird der Einfluss der Darstellung auf die Texturierung und die Möglichkeit, Topologieinformationen zu modellieren, betrachtet. Das CityGML-Format mit seiner Möglichkeit, mehrere Texturen zu speichern und XLinks für die Verknüpfung geometrischer Elemente zu verwenden, wird als besonders geeignet für die Bearbeitung von komplexen Gebäudegeometrien hervorgehoben. Die verschiedenen Darstellungsweisen haben einen erheblichen Einfluss auf die Effizienz und Komplexität der Texturierung. Die Auswahl der optimalen Repräsentation ist abhängig von den Anforderungen an die Datenverarbeitung und der gewünschten Genauigkeit.

3. Strategien zur Behandlung von Modellungenauigkeiten

Dieser Abschnitt präsentiert Strategien zur Bewältigung der in 3D-Gebäudemodellen auftretenden Ungenauigkeiten. Eine Strategie besteht in der lokalen Anpassung des Matchings zwischen Bild- und Modellkanten für jede Textur separat. Dies ermöglicht eine Kompensation von Fehlern im Modell durch eine lokale Anpassung an die Bilddaten. Alternativ wird die Verbesserung der Modellgeometrie als weitere Möglichkeit zur Steigerung der Genauigkeit der Texturextraktion vorgeschlagen. Die Arbeit unterstreicht, dass eine hohe geometrische Genauigkeit des 3D-Modells für eine optimale Texturierung unerlässlich ist. Die Auswahl der geeigneten Strategie hängt von der Komplexität der Modellfehler und dem Aufwand für die Modellkorrektur ab. Der Abschnitt unterstreicht die Notwendigkeit, entweder die Modellierungsfehler zu korrigieren oder Methoden zu entwickeln, die robust gegenüber solchen Fehlern sind. Automatische Korrekturen erweisen sich jedoch als komplex, besonders bei komplizierten Gebäudeformen.

V.Ergebnisse und Diskussion

Die Ergebnisse zeigen, dass die entwickelten Methoden zur Koregistrierung von 3D-Gebäudemodellen und TIR-Bildern, insbesondere das linienbasierte Model-to-Image Matching, eine präzisere Texturextraktion ermöglichen. Die Berücksichtigung von Unsicherheiten verbessert zwar die Robustheit der Verfahren, führt aber nicht immer zu einer signifikanten Verbesserung der Passgenauigkeit. Die Fensterdetektion in TIR-Texturen erweist sich als herausfordernd, ist aber mit der vorgestellten Methode, insbesondere bei terrestrischen Daten, erfolgreich. Die Arbeit diskutiert Limitationen der Methode, wie z.B. die Abhängigkeit von der Bildqualität und der Modellgenauigkeit. Zukünftige Forschungsarbeiten konzentrieren sich auf die Verbesserung der Genauigkeit des Linienmatchings, die automatische Korrektur von 3D-Modellfehlern und die Erweiterung der Fensterdetektionsmethoden.