LiDAR & SAR Datenfusion: Stadtveränderungserkennung

GeoRaySAR baut auf dem bestehenden Simulator RaySAR auf und erweitert diesen zu einer vollständig automatisierten Verarbeitungskette. Der Fokus liegt auf der Verwendung digitaler Oberflächenmodelle (DSMs) als Eingabedaten, wobei Informationen über Gebäude aus optischen Daten, LiDAR-Daten oder einem digitalen Höhenmodell (DEM) stammen können. Die Geoinformationen des DSMs, zusammen mit den Orbit- und Projektionsparametern des realen SAR-Bildes, werden verwendet, um das simulierte Bild zu geokodieren. Dies ermöglicht einen direkten Vergleich mit dem realen SAR-Bild, ein entscheidender Vorteil gegenüber bestehenden Simulatoren. Die automatisierte Kette umfasst Raytracing, Bilderstellung und Geokodierung, wobei die Hauptleistung dieser Dissertation in der Extrapolation der notwendigen Parameter für diese Schritte liegt. Die Verwendung verschiedener Softwarepakete und Programmiersprachen (Python, C, Matlab) unterstreicht die Komplexität und Effizienz des entwickelten Systems. Die automatische Parameterberechnung und die Geokodierung der simulierten Bilder sind wesentliche Beiträge, die den Vergleich mit realen SAR-Daten deutlich vereinfachen und die Effizienz der SAR-Bildanalyse erheblich steigern.

Für das Raytracing wird das DSM in das POV-Ray-Format (.pov) konvertiert, welches Dreiecke zur Modellbeschreibung verwendet. RaySAR ist für die Analyse lokaler städtischer Szenen konzipiert, wobei der lokale Einfallswinkel des Radarsignals als konstant angenommen wird (Flat-Wavefront-Annahme im Fernfeld der Antenne). Daher wird in POV-Ray eine Signalquelle mit parallelem Licht definiert, die den Radarsender repräsentiert, und eine orthografische Kamera, die paralleles Licht empfängt und den Radar Empfänger darstellt. Dies ermöglicht die direkte Simulation der Signalkoordinaten im Fernfeld, ohne das synthetische Aperture modellieren zu müssen. Die Simulation geht von einheitlichen Materialeigenschaften aller Oberflächen aus, was die radiometrische Genauigkeit begrenzt. Diese Vereinfachung ist jedoch akzeptabel, da die Signalgebung in den simulierten Bildern ausreichend ist, um die geometrischen Informationen zur Szenenidentifizierung zu extrahieren. Die Überbewertung diffuser Reflexionen wird in Kauf genommen, da dem DSM geometrische Details fehlen. Für eine detailliertere Darstellung von Punktstreuern, wie sie in realen SAR-Bildern (z.B. TerraSAR-X im Spotlight-Modus) dominieren, wäre ein detaillierteres Stadtmodell mit Fassaden- und Dachstrukturen notwendig. Das verwendete 2.5D DSM (ein Höhenwert pro Pixel) ermöglicht die Darstellung des Ausmaßes von Oberflächen und ist ausreichend für die Trennung von Layover-, Schatten- und Bodenbereichen.

Die Genauigkeit der Geocodierung von Gebäuden ist im Szenenzentrum maximal und an den Szenengrenzen minimal, da aufgrund der Annahme paralleler Strahlen ein konstanter Einfallswinkel (interpoliert auf das Szenenzentrum) für die Simulation der gesamten Szene verwendet wird. Die Korrektur der Erdkrümmung für die Projektion simulierter Bilder auf eine horizontale Ebene wird vernachlässigt. Beide Annahmen haben bei lokalen Szenen nur geringe Auswirkungen (Übersetzungsfehler unter 0,1 Metern bei einer Objekthöhe von 100 Metern, einem Einfallswinkel von ca. 40 Grad und einer Szenenbreite von 400 Metern). Neben diesen theoretischen Annahmen hängt die Genauigkeit der Geokodierung von der Genauigkeit des Eingabe-DSMs ab. Fehler in der DSM-Position führen zu einer Verschiebung der simulierten Bilder. Ein großer Pixelabstand (z.B. > 2 m) des DSMs führt zu einer geringen Vergleichbarkeit der simulierten Bilder. Die Generierung verschiedener Bildschichten (Schatten, Boden, Layover, Doppelreflexionen, Hintergrund) aus den Simulationsergebnissen verbessert das Verständnis der unterschiedlichen Helligkeit in den SAR-Bildern. Die Doppelfallschicht hebt den Großteil der hellen Rückstreuung im SAR-Bild hervor. Die Dicke dieser Schicht ist aufgrund der Dreiecksmodellierung der Gebäudewände im DSM höher als erwartet. Für die Zwecke dieser Dissertation ist die generierte Doppelfallschicht jedoch ausreichend.

Ein Hauptziel dieser Arbeit ist die Identifizierung verschiedener Ebenen in SAR-Bildern. Ausgehend von den durch den GeoRaySAR-Simulator erzeugten Daten werden Algorithmen entwickelt, um verschiedene Informationsebenen im digitalen Oberflächenmodell (DSM), einzelnen Gebäuden und deren Wänden zu unterscheiden. Die Herausforderung besteht darin, einzelne Wände von Gebäuden zu trennen, was besonders in dicht bebauten städtischen Gebieten schwierig ist. Hierfür wird ein Algorithmus auf Basis von Bildverarbeitungstechniken entwickelt. Ein wichtiger Aspekt des Algorithmus ist die Erhaltung von Wänden, die zu großen Layover-Bereichen im SAR-Bild beitragen. Zusätzlich werden verschiedene relevante Parameter der segmentierten Wände extrahiert, die für die weitere SAR-Bildanalyse auf Wandebene von Bedeutung sind. Die Kombination von simulierten Bildern der Eingabehöhenmodelle erlaubt die Generierung verschiedener Ebenen (Layover und Schatten) für das DSM, einzelne Gebäude und Wände. Die Fusion lokaler (Gebäude, Wände) und globaler (DSM) Ebenen liefert vielversprechende Ergebnisse. Diese Identifizierung verbessert die Interpretation von SAR-Szenen in dicht bebauten Gebieten, wo die Rückstreuung verschiedener Objekte oft vermischt ist, und ermöglicht eine objektbasierte SAR-Bildanalyse. Die Ergebnisse verbessern das Verständnis von komplexen städtischen Szenarien und erleichtern die Interpretation von SAR-Daten.

Die Segmentierung einzelner Wände aus Gebäudemodellen stellt eine besondere Herausforderung dar. Der vorgestellte Algorithmus basiert auf Bildverarbeitung und zeichnet sich dadurch aus, dass er Wände erhält, die zu großen Layover-Bereichen im SAR-Bild beitragen. Dies ist wichtig für die spätere Analyse und Änderungserkennung. Der Algorithmus beschreibt die Wände mit einem triangulierten Netz (statt vertikaler Ebenen), was die Datenkonsistenz mit der DSM-Beschreibung im SAR-Simulator gewährleistet und systematische Fehler vermeidet. Die Segmentierung berücksichtigt relevante Wandparameter wie die Gradientenrichtung, die für die Wandselektion und die Wand-Layover-Konvertierung in den Änderungsdetektionsmethoden entscheidend sind. Die 1-Pixel-breiten Randsegmente werden unter Verwendung der Pixelnachbarschaft und ähnlicher Gradientenrichtung vergrößert (Dilatation von 3 Pixeln, Unterschied kleiner als 30°), was zu Wandmasken für die Gebäudefassaden führt. Diese werden zu einer Wandkarte fusioniert, in der Pixel desselben Wandmodells denselben ganzzahligen Wert aufweisen. Zusätzliche Wandparameter (mittlere Gradientenrichtung, Länge, Höhe) werden generiert und sind nützlich für die Auswahl relevanter Wände und für die Wand-Layover-Konvertierung. Die Gradientenrichtung entspricht dabei auch der horizontalen Komponente der Wandnormalenrichtung in der Physik. Beispiele zeigen die Segmentierung von Wandsegmenten in komplexen Gebäudekomplexen, wobei auch die Herausforderungen wie Übersegmentierung und die Behandlung zu kurzer Wandsegmente adressiert werden.

Die Arbeit beschreibt einen pixelbasierten Algorithmus zur Gebäude-Änderungserkennung, der auf der Analyse von SAR-Pixelwerten basiert, die aus simulierten Schichten extrahiert werden. Dieser Algorithmus dient insbesondere zur Detektion von neu errichteten Gebäuden. Durch den Vergleich der erhöhten Rückstreuung in SAR-Bildern mit den Werten aus den simulierten Schichten wird eine Unterscheidung ermöglicht. Die Methode analysiert die SAR-Pixelwerte, die auf Basis der simulierten Schichten extrahiert wurden. Der Algorithmus konzentriert sich auf die Erkennung positiver Veränderungen (Neubauten), indem helle Pixel in den Schatten- und Bodenschichten extrahiert werden. Ein Versuch, diesen Ansatz auch auf die Erkennung negativer Veränderungen (Abrisse) durch Analyse von Pixeln mit niedriger Intensität in den Layover- und Doppelfallschichten anzuwenden, scheiterte aufgrund der Abhängigkeit der Radarsignalreflexion von verschiedenen physikalischen Parametern (Oberflächenmaterial, Rauheit), die in der Simulation nur ungenau berücksichtigt werden und im LiDAR-DSM nicht enthalten sind. Die im DSM bereitgestellten Informationen reichen für eine generalisierte pixelbasierte Analyse negativer Veränderungen nicht aus und führen zu vielen Fehlalarmen. Daher ist eine objektbasierte Methode notwendig, um dieses Problem zu lösen.

Für die Detektion abgerissener Gebäude werden objektbasierte Methoden eingesetzt, die die simulierten und realen SAR-Bilder vergleichen. Hierbei kommen zwei Vergleichsoperatoren zum Einsatz: die normierte gegenseitige Information (NMI) und der Joint Histogram Slope (JHS). Die NMI betrachtet nur das Auftreten gleicher Wertepaare in den Eingangsdaten (Pixelwerte in den simulierten und realen SAR-Bildern) und ist daher unempfindlich gegenüber den absoluten Werten. Dies ist zwar vorteilhaft für den Vergleich multimodaler Daten, stellt aber auch einen Nachteil dar, da der zunehmende oder abnehmende Zusammenhang der Wertepaare nicht berücksichtigt wird. Der JHS hingegen nutzt die absoluten Werte und berücksichtigt die Beziehung zwischen den simulierten und realen SAR-Bildwerten. Um die absoluten Werte von X1 und X2 sinnvoll nutzen zu können und einen JHS mit physikalischer Bedeutung zu erhalten, müssen X1 und X2 ähnliche Verteilungseigenschaften haben. Die radiometrischen Eigenschaften des simulierten und des realen SAR-Bildes sind jedoch sehr unterschiedlich. Um dies zu kompensieren, werden die SAR-Bildwerte zunächst in natürliche logarithmische Werte umgewandelt und anschließend beide Bilder separat mit Histogramm-Equalisierung (histeq) verarbeitet. Die Berechnung der Steigung erfolgt mittels einfacher linearer Regression, welche jedoch empfindlich gegenüber Ausreißern ist. Experimente mit Daten aus München zeigen, dass sowohl NMI als auch JHS eine Gesamtrechnungsgenauigkeit von über 90% erreichen. Eine Kombination beider Vergleichsoperatoren mit Entscheidungsbäumen verbessert die Ergebnisse weiter. Der Algorithmus verwendet die simulierten Schichten (Schatten, Layover, Doppelfall) als eine Art Trainingsdaten, obwohl diese auf LiDAR-Daten und nicht direkt auf dem SAR-Bild basieren.

Die meisten bestehenden Methoden zur Änderungserkennung in SAR-Bildern vergleichen Aufnahmen mit dem gleichen Einfallswinkel. Dies ist jedoch nicht immer möglich, da die Wiederholungsrate von Satelliten wie TerraSAR-X (ca. 11 Tage für die gleiche Bahn, maximal 2,5 Tage für benachbarte Bahnen) in dringenden Situationen wie Erdbeben zu lange sein kann. Die erste verfügbare Aufnahme nach einem Ereignis kann daher einen anderen Einfallswinkel aufweisen. Die Interpretation der erkannten Änderungen ist oft schwierig, besonders bei hochauflösenden Daten, da nur Pixel mit erhöhter oder verringerter Intensität angezeigt werden können. Die Interpretation dieser Pixel stellt eine Herausforderung dar, insbesondere in komplexen städtischen Umgebungen. Vorhandene Methoden sind oft auf spezifische Gebäudetypen (z.B. isolierte rechteckige Gebäude) beschränkt. Die Notwendigkeit, SAR-Bilder mit identischer Aufnahmegeometrie zu verwenden, schränkt den praktischen Einsatz bestehender Verfahren stark ein, insbesondere in Notfallsituationen, wo die schnelle Analyse von Daten unerlässlich ist. Die Entwicklung von Algorithmen, die auch SAR-Bilder mit unterschiedlichen Einfallswinkeln vergleichen können, ist daher von großer Bedeutung für eine zeitnahe und umfassende Auswertung.

Um Änderungen zwischen zwei SAR-Bildern mit unterschiedlichen Einfallswinkeln zu erkennen, wird ein Gebäude-Ebenen-Algorithmus entwickelt. Dieser Algorithmus basiert auf dem Füllverhältnis von Gebäudeebenen. Mithilfe von Simulationsmethoden werden Bildausschnitte extrahiert, die denselben Gebäuden in beiden SAR-Bildern entsprechen. Für jedes extrahierte Bildausschnittpaar wird das Änderungsverhältnis basierend auf dem Füllverhältnis der Gebäudeebenen geschätzt. Die Änderungsraten aller Gebäude werden dann mit dem Expectation-Maximization-Algorithmus in zwei Klassen (verändert/ unverändert) klassifiziert. Dieser Ansatz funktioniert gut für Gebäude unterschiedlicher Größe und Form in komplexen städtischen Szenarien. Eine Einschränkung besteht darin, dass kleine, teilweise veränderte Gebäude möglicherweise nicht erkannt werden, da der Algorithmus die gesamten Gebäude als ein Objekt betrachtet. Diese Limitation kann durch einen Wand-Ebenen-Algorithmus kompensiert werden, welcher auf der gleichen Idee basiert. Die Verwendung des Füllverhältnisses als Vergleichsoperator bietet einen robusten Ansatz für die Änderungserkennung, besonders in herausfordernden urbanen Umgebungen.

Zusätzlich zum Gebäude-Ebenen-Algorithmus werden zwei Wand-Ebenen-Algorithmen vorgestellt, die ebenfalls Änderungen zwischen SAR-Bildern mit unterschiedlichen Einfallswinkeln detektieren. Diese Algorithmen basieren auf der gleichen Grundidee wie der Gebäude-Ebenen-Algorithmus, konzentrieren sich aber auf die Analyse einzelner Wände. Bildausschnitte, die denselben Wänden in den beiden SAR-Bildern entsprechen, werden extrahiert und so konvertiert, dass sie die gleiche Geometrie aufweisen. Diese konvertierten Paare von Bildausschnitten werden dann mit dem Änderungsverhältnis basierend auf dem Füllverhältnis oder der Füllposition verglichen. Die Ergebnisse der Wandänderungen werden schließlich fusioniert, um ein Ergebnis für die Gebäudeänderung zu liefern. Der zweite Wand-Ebenen-Algorithmus vergleicht die Positionen lokaler Maxima in den beiden SAR-Bildern derselben Fassade. Dieser Algorithmus bietet vielversprechende Ergebnisse und könnte mit höher aufgelösten Daten die Erkennung detaillierterer Fassadenstrukturen verbessern. Die Wand-Ebenen-Algorithmen sind zwar zeitaufwendiger als der Gebäude-Ebenen-Algorithmus, liefern aber bessere Ergebnisse für teilweise zerstörte Gebäude. Eine Kombination beider Ansätze wird vorgeschlagen: der Gebäude-Ebenen-Algorithmus wird für alle Gebäude verwendet, der Wand-Ebenen-Algorithmus zusätzlich für ausgewählte große Gebäude.

Die Dissertation präsentiert simulationsbasierte Algorithmen zur Objekterkennung in SAR-Bildern und zur Gebäude-Änderungserkennung in städtischen Szenarien. Ein neu entwickelter SAR-Simulator, GeoRaySAR, nutzt LiDAR-digitale Oberflächenmodelle (DSMs) als Eingabe und generiert automatisch geokodierte, simulierte Bilder. Basierend auf diesem Simulator können verschiedene Schichten (Layover, Schatten) von DSMs, einzelnen Gebäuden und Wänden in SAR-Bildern identifiziert werden. Ein Algorithmus zur Segmentierung einzelner Wände aus Gebäudemodellen wurde entwickelt. Die Arbeit beschreibt fünf verschiedene Änderungsdetektionsalgorithmen: einen pixelbasierten Algorithmus zur Detektion erhöhter Rückstreuung durch Vergleich von LiDAR- (Vor-Ereignis) und SAR-Daten (Nach-Ereignis); zwei Algorithmen zur Erkennung abgerissener Gebäude mithilfe von normierter gegenseitiger Information (NMI) und dem Joint Histogram Slope (JHS) zum Vergleich von Bildausschnitten; und drei Algorithmen zur Detektion von Änderungen zwischen zwei SAR-Bildern mit unterschiedlichen Einfallswinkeln – ein Gebäude-Ebenen- und zwei Wand-Ebenen-Algorithmen. Die entwickelten Algorithmen wurden an Szenen in München und San Francisco mit TerraSAR-X-Bildern und meterauflösenden LiDAR-Daten getestet, wobei die Genauigkeit der Änderungsdetektion für abgerissene und neu errichtete Gebäude bei über 90% lag.

Die Dissertation liefert wesentliche Beiträge zur SAR-Bildanalyse und -Änderungserkennung. Ein zentraler Beitrag ist die Entwicklung des GeoRaySAR-Simulators, der die automatische Generierung geokodierter SAR-Bilder ermöglicht und somit den Vergleich mit realen Daten vereinfacht. Die entwickelten Algorithmen zur Objektidentifizierung verbessern die Interpretation von SAR-Bildern, insbesondere in dicht bebauten Gebieten. Die fünf vorgestellten Änderungsdetektionsalgorithmen bieten verschiedene Optionen für unterschiedliche Anwendungen, von pixelbasierten Ansätzen bis hin zu objekt- und wandbasierten Methoden, die sowohl Änderungen auf Gebäude- als auch auf Wandebene erfassen. Die Arbeit zeigt die Wirksamkeit simulationsbasierter Methoden für die Analyse von SAR-Daten und die automatisierte Gebäude-Änderungserkennung. Insbesondere die Fähigkeit, Änderungen auch zwischen SAR-Bildern mit unterschiedlichen Einfallswinkeln zu detektieren, ist ein wichtiger Fortschritt. Die Ergebnisse unterstreichen das Potenzial der Kombination von LiDAR- und SAR-Daten für präzise und effiziente Änderungserkennung in urbanen Umgebungen.

Die Arbeit skizziert auch zukünftige Forschungsrichtungen. Eine Erweiterung von GeoRaySAR unter Verwendung von CityGML-Daten als Eingabe wird an der Professur für Fernerkundungstechnik der Technischen Universität München entwickelt. Die Integration detaillierterer 3D-Gebäudemodelle könnte die Genauigkeit der Simulation und damit der Änderungsdetektion weiter verbessern. Die Verbesserung des DSMs durch DSM-Enhancement oder die Verwendung von Daten aus optischer Stereomatching könnte die Eingabedatenqualität steigern. Eine Weiterentwicklung der Wand-Ebenen-Algorithmen, insbesondere des Algorithmus basierend auf der Lokalisierung von Punktmerkmalen, ist vielversprechend, da eine höhere Auflösung zu einer verbesserten Detektion von detaillierten Fassadenstrukturen führen könnte. Die Kombination der Gebäude- und Wand-Ebenen-Methoden bietet ein vielversprechendes Vorgehen für eine möglichst umfassende und genaue Änderungsdetektion.