Autoerkennung aus Luftbildern

Die Methode beginnt mit der Extraktion von befahrbaren Flächen, die in dicht besiedelten Städten oft mit Bodenflächen übereinstimmen. Hierfür werden Disparitätskarten mithilfe des Semi-Global Matching (SGM) Algorithmus berechnet. Dieser Algorithmus nutzt die Informationen aus zwei oder mehr überlappenden Bildern, um Tiefeninformationen zu extrahieren und so ein Höhenmodell zu erstellen. Anschließend wird ein automatischer Schwellenwert (Minimum Error Thresholding) bestimmt, um Bodenflächen von Nicht-Bodenflächen zu trennen. Dieser Schritt ist essentiell, um die nachfolgende Fahrzeugerkennung auf relevante Bereiche zu beschränken und Fehlklassifizierungen durch Objekte auf Dächern oder in anderen Nicht-Fahrbereichen zu vermeiden. Die Genauigkeit dieser Bodenklassifizierung ist entscheidend für die Effizienz und die Genauigkeit des gesamten Verfahrens. Die automatisierte Schwellenwertbestimmung minimiert den manuellen Eingriff und erhöht die Robustheit des Verfahrens gegenüber unterschiedlichen Bildbedingungen.

Im zweiten Schritt wird eine objektbasierte Methode zur Identifizierung potenzieller Fahrzeugkandidaten eingesetzt. Das Eingabebild wird zunächst mithilfe des Mean Curvature Flow geglättet, um Rauschen zu reduzieren und die Kanten der Objekte zu verstärken. Anschließend wird ein Region-Growing-Algorithmus angewendet, der zusammenhängende Pixel mit ähnlichen Eigenschaften zu Regionen gruppiert. Diese Regionen stellen die initialen Fahrzeugkandidaten dar. Um Fehlklassifizierungen zu minimieren, werden diese Regionen mehrfach anhand ihrer geometrischen Eigenschaften (z.B. Form, Größe, Aspektverhältnis) gefiltert. Dieser Filterungsprozess eliminiert Regionen, die aufgrund ihrer geometrischen Eigenschaften unwahrscheinlich als Fahrzeuge identifiziert werden können. Die Wahl der geometrischen Merkmale und der Schwellenwerte für die Filterung ist entscheidend für die Effektivität dieser Stufe und beeinflusst die Anzahl der falsch-positiven und falsch-negativen Ergebnisse. Der Fokus liegt auf der Identifizierung von robusten geometrischen Eigenschaften, die für Fahrzeuge typisch sind.

Die verbliebenen, gefilterten Regionen werden schließlich von einem gradientenbasierten Klassifikator untersucht. Dieser Klassifikator nutzt Histogramms of Oriented Gradients (HOG) Merkmale, die lokale Gradienteninformationen im Bild repräsentieren. Diese Merkmale sind relativ robust gegenüber Variationen in Beleuchtung und Blickwinkel. Der Klassifikator wird mit dem AdaBoost Algorithmus trainiert, einem Ensemble-Lernverfahren, das mehrere schwache Klassifikatoren kombiniert. Ein wichtiger Aspekt ist, dass der Klassifikator mit nur wenigen Trainingsbeispielen trainiert wird, was den manuellen Aufwand deutlich reduziert. Trotz des geringen Trainingsaufwands soll eine hohe Generalisierungsfähigkeit erzielt werden. Die Leistung des Klassifikators hängt stark von der Qualität und Repräsentativität der Trainingsdaten ab. Die Auswahl der HOG-Merkmale und die Parameter des AdaBoost-Algorithmus beeinflussen die Genauigkeit und die Robustheit der Fahrzeugklassifizierung.

Die entwickelte Methode wurde an fünf verschiedenen Datensätzen evaluiert, die mit zwei unterschiedlichen Kamerasystemen aufgenommen wurden: dem 3K+/3K+ System mit einer Bodenauflösung (GSD) von 13 cm und dem UltraCam Eagle System mit einer GSD von 20 cm. Die Datensätze umfassen verschiedene städtische Umgebungen mit unterschiedlichen Dichten an Bebauung und Verkehrsaufkommen. Die Auswahl der Datensätze soll die Robustheit und Generalisierbarkeit des vorgeschlagenen Verfahrens demonstrieren. Die unterschiedlichen GSD-Werte ermöglichen die Bewertung der Methode unter verschiedenen Auflösungs-bedingungen. Die Verwendung von verschiedenen Kamerasystemen zeigt die Übertragbarkeit des Algorithmus auf unterschiedliche Sensoren. Die detaillierte Beschreibung der Datensätze und deren Eigenschaften (z.B. Aufnahmeort, Bebauungsdichte, Lichtverhältnisse) ist im Originaldokument verfügbar.

Die Ergebnisse zeigen eine signifikante Verbesserung der Fahrzeugerkennungsqualität in dicht bebauten Stadtgebieten im Vergleich zu bestehenden Ansätzen. Die Verwendung von Disparitätskarten ermöglicht die effektive Eliminierung von Fehlklassifizierungen durch Objekte auf Dächern und in Nicht-Fahrbereichen. Trotz der hohen Genauigkeit werden auch Limitationen der Methode diskutiert, wie z.B. die Anfälligkeit für Schattenbereiche und die Rotationsvarianz des gradientenbasierten Detektors. Die Ergebnisse werden anhand von Vollständigkeits- und Korrektheitsraten sowie qualitativen Analysen der Detektorleistung präsentiert. Die Diskussion umfasst auch die Rolle der Fahrzeugfarbe als Merkmal und die Bedeutung der Trainingsdatenqualität für die Klassifikationsgenauigkeit. Die Studie identifiziert Verbesserungspotenziale, insbesondere hinsichtlich der Robustheit gegenüber Schatten und der Generalisierbarkeit des Klassifikators gegenüber unterschiedlichen Fahrzeugorientierungen.

Die Arbeit präsentiert eine effektive Strategie zur automatischen Fahrzeugerkennung in Luftbildern, die objektbasierte und gradientenbasierte Methoden kombiniert. Die Verwendung von Disparitätskarten erweist sich als entscheidend für die Verbesserung der Genauigkeit, besonders in komplexen städtischen Umgebungen. Die Methode zeichnet sich durch geringen manuellen Aufwand und hohe Generalisierbarkeit aus. Trotz der guten Ergebnisse werden auch Limitationen, insbesondere bezüglich der Robustheit gegenüber Schatten und Rotationen, aufgezeigt. Zukünftige Forschungsarbeiten sollten sich auf die Verbesserung des Klassifikators, die Behandlung von Schattenbereichen und die Erweiterung auf Drohnendaten (UAVs/RPAS) konzentrieren. Die Integration von zusätzlichen Datenquellen und Merkmalen könnte ebenfalls die Genauigkeit weiter steigern. Die Entwicklung hin zu robusteren und effizienteren Algorithmen für die automatische Fahrzeugerkennung in Luftbildern bleibt ein wichtiges Forschungsgebiet.

Die präzise Identifizierung von Bodenflächen ist ein essentieller erster Schritt im Prozess der automatischen Fahrzeugerkennung. Die zugrundeliegende Annahme ist, dass in dicht bebauten Stadtgebieten befahrbare Flächen größtenteils mit Bodenflächen übereinstimmen. Um diese Flächen zu extrahieren, wird die Methode der Disparitätskarten angewendet. Hierbei werden mittels des Semi-Global Matching (SGM) Algorithmus aus überlappenden Luftbildern Disparitätskarten generiert. Diese Karten repräsentieren die Tiefeninformation der Szene, wobei größere Disparitäten größere Höhenunterschiede anzeigen. Anschließend wird ein automatischer Schwellenwert bestimmt, der anhand des Minimum Error Thresholding Verfahrens ermittelt wird. Dieser Schwellenwert dient zur Trennung von Boden- und Nicht-Bodenbereichen in der Disparitätskarte. Die genaue Bestimmung des Schwellenwerts ist entscheidend für die Qualität der Bodenflächenextraktion, da eine zu niedrige Schwelle zu einer Untererkennung und eine zu hohe Schwelle zu einer Übererkennung führen würde. Das Ziel ist die präzise Identifizierung von befahrbaren Bereichen, um die nachfolgende Fahrzeugsuche auf diese Regionen zu beschränken und so die Rechenzeit zu optimieren und Fehlklassifizierungen zu reduzieren.

Nachdem die Bodenflächen extrahiert wurden, konzentriert sich der nächste Schritt auf die Identifizierung von potenziellen Fahrzeugkandidaten. Hierfür wird ein objektbasierter Ansatz verwendet. Zuerst wird das Bild mittels eines Mean Curvature Flow geglättet. Dieser Glättungsschritt reduziert das Rauschen und verbessert die Kontraste, was die nachfolgende Segmentierung erleichtert. Anschließend wird ein Region-Growing-Algorithmus angewendet. Dieser Algorithmus gruppiert zusammenhängende Pixel mit ähnlichen Eigenschaften zu Objekten, die als potenzielle Fahrzeugkandidaten betrachtet werden. Die so gewonnenen Regionen werden als autonome Objekte behandelt und mehrfach anhand ihrer geometrischen Eigenschaften gefiltert. Diese Filterung dient dazu, Regionen zu entfernen, die aufgrund ihrer Form, Größe, oder anderer geometrischer Parameter unwahrscheinlich als Fahrzeuge zu identifizieren sind. Das mehrfache Filtern mit verschiedenen geometrischen Kriterien optimiert die Auswahl der potentiellen Fahrzeugkandidaten und verringert den Anteil an Fehlklassifizierungen in der weiteren Verarbeitung. Die Parameter des Region-Growing-Algorithmus und die geometrischen Filterkriterien werden sorgfältig gewählt, um eine optimale Trennung von Fahrzeugkandidaten von anderen Objekten im Bild zu erreichen.

Die verbleibenden Fahrzeugkandidaten, nach der objektbasierten Filterung, werden mithilfe eines gradientenbasierten Klassifikators weiter untersucht. Dieser Klassifikator basiert auf Histogramms of Oriented Gradients (HOG) Features. HOG-Features beschreiben die Verteilung von Gradientenrichtungen in lokalisierten Bildbereichen. Sie sind relativ robust gegenüber Veränderungen in Beleuchtung und kleinen geometrischen Verzerrungen, was sie für die Fahrzeugerkennung in Luftbildern gut geeignet macht. Die Berechnung der HOG-Features beinhaltet die Berechnung von Gradienten, die Bildung von Gradientenhistogrammen in Zellen und die anschließende Normalisierung der Histogramme über größere Blöcke. Die resultierenden HOG-Featurevektoren repräsentieren die texturale Information der jeweiligen Region und dienen als Eingabe für den Klassifikator. Die Wahl der Zell- und Blockgrößen sowie die Normalisierungsmethode beeinflussen die Leistungsfähigkeit der HOG-Merkmale. Die Extraktion dieser Merkmale ist ein wichtiger Schritt zur Unterscheidung zwischen Fahrzeugkandidaten und anderen Objekten.

Die extrahierten HOG-Features dienen als Eingabe für einen Klassifikator, der mit dem AdaBoost-Algorithmus trainiert wurde. AdaBoost ist ein Ensemble-Lernverfahren, das mehrere schwache Klassifikatoren zu einem starken Klassifikator kombiniert. Jeder schwache Klassifikator wird auf Basis der Trainingsdaten trainiert und gewichtet. Falsch klassifizierte Trainingsbeispiele erhalten in den nächsten Trainingsrunden ein höheres Gewicht, wodurch der AdaBoost-Algorithmus sich iterativ auf schwierig zu klassifizierende Fälle konzentriert. Ein bemerkenswerter Aspekt dieser Arbeit ist, dass der Klassifikator mit einer vergleichsweise kleinen Anzahl von Trainingsbeispielen trainiert wurde. Dies reduziert den manuellen Aufwand für die Datenaufbereitung deutlich. Die geringe Anzahl an Trainingsbeispielen stellt jedoch eine Herausforderung dar und könnte zu einer geringeren Generalisierungsfähigkeit des Klassifikators führen, insbesondere bei variierenden Fahrzeugorientierungen, Lichtverhältnissen oder Auflösungen. Die Effizienz des AdaBoost-Algorithmus bei der Fahrzeugklassifizierung wird in dieser Arbeit untersucht und die Ergebnisse analysiert.

Die erfolgreiche Klassifizierung der Fahrzeugkandidaten hängt stark von der Qualität der Trainingsdaten ab. Es ist nicht ausreichend, die Fahrzeugregionen zufällig aus den Bildern herauszuschneiden. Die Trainingsdaten werden daher sorgfältig vorbereitet. Zunächst wird eine Aufteilung in Trainings- und Testdatensätze vorgenommen. Der Testdatensatz dient der Validierung des Modells und zur Bestimmung von optimalen Parametern. Die Trainingsdaten werden in positive (Fahrzeuge) und negative (Nicht-Fahrzeuge) Beispiele unterteilt, wobei die negativen Beispiele zufällig aus Bereichen ausgewählt werden, die keine Fahrzeuge enthalten. Die verschiedenen Größen und Ausrichtungen von Fahrzeugen stellen eine Herausforderung für die Trainingsdatenaufbereitung dar. Um dies zu adressieren, kann es notwendig sein, die Trainingsdaten in verschiedene Fahrzeugklassen zu unterteilen (z.B. große und kleine Fahrzeuge). Der gesamte Trainingsprozess zielt darauf ab, einen Klassifikator zu erzeugen, der sowohl eine hohe Erkennungsrate als auch eine geringe Falsch-positiv-Rate aufweist. Die Optimierung der Trainingsdaten und des Trainingsprozesses ist entscheidend für die Leistung des gradientenbasierten Klassifikators.

Die vorgestellte Methode zur automatischen Fahrzeugerkennung wurde mit Luftbildern von zwei verschiedenen Kamerasystemen getestet: dem kostengünstigen 3K+/3K+ System und dem höherwertigen UltraCam Eagle System. Das 3K+/3K+ System zeichnet sich durch eine Ground Sample Distance (GSD) von 13 cm aus, während das UltraCam Eagle System eine höhere Auflösung mit einer GSD von 20 cm bietet. Der Unterschied in der Auflösung beeinflusst die Genauigkeit der Fahrzeugerkennung und die Detailgenauigkeit der erkannten Objekte. Während das 3K+/3K+ System als kostengünstige Lösung für Luftbildaufnahmen eingesetzt wird, verfügt das UltraCam Eagle System über weitere technische Features, wie beispielsweise eine Kompensation von Vorwärtsbewegungsunschärfe. Die Wahl der Kamerasysteme war darauf ausgerichtet, die Robustheit und Übertragbarkeit des entwickelten Algorithmus für verschiedene Sensor- und Auflösungsstufen zu demonstrieren. Obwohl die Methode primär für kostengünstige Systeme entwickelt wurde, wird durch den Vergleich mit dem UltraCam Eagle System dessen allgemeine Anwendbarkeit untermauert. Der Unterschied in der Bildrate zwischen den Systemen spielt ebenfalls eine Rolle bei der Berechnung der Disparitätskarten.

Die Evaluierung der Fahrzeugerkennungsmethode erfolgte an fünf verschiedenen Datensätzen, die repräsentative städtische Szenarien abbilden. Die Datensätze umfassen Bilder aus dicht bebauten Innenstadtbereichen, sowie aus weniger dicht bebauten Gebieten. Ein besonderer Datensatz stammt von der Münchner Innenringstraße, die sich durch eine dynamische Umgebung aufgrund einer Baustelle und einer Kurve im Straßenverlauf auszeichnet. Die Variation der Umgebungen soll die Robustheit des Algorithmus gegenüber unterschiedlichen topografischen und strukturellen Bedingungen aufzeigen. Zusätzlich werden die Datensätze dazu genutzt, die Sensitivität des Algorithmus auf verschiedene Faktoren zu testen, wie z.B. die Auswirkung von starken Kanten durch Straßenmarkierungen auf die Erkennungsgenauigkeit. Die Wahl der Datensätze zielt darauf ab, ein breites Spektrum von Herausforderungen für die Fahrzeugerkennung in städtischen Umgebungen abzudecken und die Leistungsfähigkeit der Methode unter verschiedenen Bedingungen zu bewerten. Die Unterschiede in der Bildqualität und den Lichtverhältnissen zwischen den verschiedenen Datensätzen wurden ebenfalls berücksichtigt.

Für das Training des gradientenbasierten Klassifikators wurden Trainingsdaten aus einem separaten Flug mit dem 3K+ Kamerasystem (13cm GSD) verwendet. Die Beleuchtung dieser Aufnahmen unterschied sich leicht von den Testdatensätzen, um die Robustheit des Algorithmus zu testen. Es wurden nur 50 positive Trainingsbeispiele (Fahrzeuge) manuell ausgewählt, während die negativen Beispiele (Nicht-Fahrzeuge) zufällig aus einem großen Bildausschnitt generiert wurden. Die geringe Anzahl an manuell selektierten Trainingsbeispielen verdeutlicht den geringen manuellen Aufwand im Trainingsprozess. Es wurde kein Online-Training durchgeführt, bei dem falsch klassifizierte Objekte in den Trainingsprozess zurückgeführt werden. Dieser Ansatz dient der Demonstration der Generalisierungsfähigkeit des Klassifikators mit minimalem manuellem Aufwand bei der Datenvorbereitung. Die Qualität der Trainingsdaten hat einen maßgeblichen Einfluss auf die Genauigkeit und Robustheit des Klassifikators, daher wurde auf eine sorgfältige Auswahl der Beispiele geachtet.

Die Ergebnisse der Fahrzeugerkennung werden anhand von fünf Datensätzen präsentiert, die mit dem 3K+/3K+ und dem UltraCam Eagle Kamerasystem aufgenommen wurden. Die Datensätze repräsentieren verschiedene städtische Umgebungen mit unterschiedlicher Bebauungsdichte und Komplexität. Die Ergebnisse zeigen, dass die Methode in dicht bebauten Innenstadtbereichen eine hohe Genauigkeit erzielt. Die Verwendung von Disparitätskarten ermöglicht es, Objekte auf Dächern und in Nicht-Fahrbereichen effektiv auszuschließen, was zu einer deutlichen Reduktion von Fehlklassifizierungen führt. Die Methode zeigt sich robust gegenüber unterschiedlichen Sensoren und Auflösungen, da die Parametereinstellungen für alle Datensätze gleich blieben. Allerdings werden auch Limitationen der Methode deutlich, wie z.B. die Herausforderungen bei der Erkennung von Fahrzeugen in schattigen Bereichen und die Abhängigkeit von der Orientierung der Fahrzeuge im Bild. Die Ergebnisse werden sowohl qualitativ anhand von Beispielbildern als auch quantitativ anhand von Vollständigkeits- und Korrektheitsraten dargestellt, wobei eine Abhängigkeit der Leistung von der Komplexität der Szene ersichtlich ist.

Ein wesentlicher Aspekt der Diskussion konzentriert sich auf die Auswirkungen von Schatten auf die Fahrzeugerkennung. Schattenbereiche führen zu einem geringeren Kontrast und erschweren die Identifizierung von Fahrzeugen, insbesondere von dunklen Fahrzeugen. Dies führt zu Fehlklassifizierungen, bei denen Fahrzeuge als Schattenbereiche interpretiert werden. Auch die Orientierung der Fahrzeuge im Bild hat einen Einfluss auf die Erkennungsrate. Eine Abweichung von der idealen Ausrichtung kann zu Fehlklassifizierungen oder Nichterkennungen führen. Die Methode zeigt eine gewisse Toleranz gegenüber Rotationen, jedoch sind größere Abweichungen problematisch. Diese Limitationen werden anhand von Beispielbildern illustriert, wobei die Schwierigkeiten bei der Erkennung von Fahrzeugen in Schatten und bei stark abweichenden Orientierungen gezeigt werden. Potentielle Lösungsansätze, wie z.B. die Anpassung von Parametern im Region-Growing-Algorithmus, werden kurz angesprochen, jedoch wird auch auf mögliche negative Auswirkungen dieser Anpassungen hingewiesen.

Die Leistung der Methode wird anhand von Vollständigkeits- und Korrektheitsraten evaluiert und graphisch in einem Completeness-Correctness-Diagramm dargestellt. Die Ergebnisse zeigen eine hohe Leistung in einfacheren Szenarien, während die Leistung in komplexeren Szenen mit großen, nicht befahrbaren Flächen abnimmt. Die Ergebnisse werden im Kontext bestehender Methoden diskutiert. Es wird darauf hingewiesen, dass in anderen Arbeiten oft Benchmark-Zahlen berechnet werden, die nur auf präzise maskierten Straßenabschnitten beruhen – ein Szenario, das kaum vergleichbar ist. Ein wichtiger Aspekt der Diskussion ist die Frage nach der Relevanz von Farbe als Merkmal. Eine statistische Analyse zeigt, dass die Farbe für die Fahrzeugerkennung nur eine untergeordnete Rolle spielt, da ein Großteil der neu zugelassenen Fahrzeuge in unauffälligen Farben (schwarz, weiß, grau) registriert wird. Die Farbe könnte jedoch eher zur Ausschließung bestimmter Bereiche als zur direkten Fahrzeugerkennung genutzt werden.

Die vorgestellte Strategie zur Fahrzeugerkennung in Luftbildern zeigt vielversprechende Ergebnisse, insbesondere in dicht bebauten städtischen Gebieten. Die Kombination aus objektbasierter und gradientenbasierter Fahrzeugerkennung, unterstützt durch die präzise Extraktion von Bodenflächen mittels Disparitätskarten, führt zu einer signifikanten Verbesserung der Erkennungsgenauigkeit. Die Methode erweist sich als robust gegenüber unterschiedlichen Sensoren und Auflösungen (getestet mit 3K+/3K+ und UltraCam Eagle Systemen mit 13cm und 20cm GSD), ohne dass Parameteranpassungen notwendig sind. Insbesondere die Ausschaltung von Objekten auf Dächern durch die Verwendung von Disparitätskarten stellt einen wichtigen Fortschritt dar. Allerdings zeigen sich auch Limitationen, insbesondere in Bezug auf die Erkennung von Fahrzeugen in Schattenbereichen und die Abhängigkeit von der Fahrzeugorientierung. Die Genauigkeit wird durch einen Completeness-Correctness-Graphen veranschaulicht, der die Leistungsfähigkeit der Methode in Abhängigkeit von der Komplexität der Szene zeigt. Komplexe Szenarien mit großen, nicht-befahrbaren Flächen führen zu einer geringeren Genauigkeit.

Die wichtigsten Herausforderungen der Methode liegen in der Robustheit gegenüber Schatten und der Rotationsvarianz des gradientenbasierten Fahrzeugdetektors. Schattenbereiche führen zu einem Kontrastverlust, was die Erkennung, insbesondere von dunklen Fahrzeugen, erschwert. Die Rotationsvarianz des Detektors führt zu falsch-negativen Ergebnissen, d.h. Fahrzeuge werden nicht erkannt, obwohl sie vorhanden sind. Diese Probleme manifestieren sich in den Ergebnissen, die für verschiedene Datensätze unterschiedlich ausfallen, abhängig von der Komplexität der Szene und den Lichtverhältnissen. Die unzureichende Trainingsphase des gradientenbasierten Detektors wird als Schwachstelle identifiziert. Obwohl die Kombination von HOG-Features und AdaBoost grundsätzlich effektiv ist, erfordert ein robustes System ein intensiveres Training mit deutlich mehr Daten. Die Verwendung von Farbmerkmalen wird als relativ unwirksam eingeschätzt, da die Farbe von Fahrzeugen zu wenig aussagekräftig ist um eine zuverlässige Erkennung zu ermöglichen.

Die fortschreitende technologische Entwicklung von Luftbildplattformen eröffnet neue Möglichkeiten. Während die Fahrzeugerkennung bisher hauptsächlich auf Daten aus bemannten Flugzeugen basiert, gewinnen unbemannte Luftfahrtsysteme (UAVs/RPAS) zunehmend an Bedeutung. Der Einsatz von Drohnen ermöglicht eine höhere räumliche Auflösung (bis zu 2cm GSD), was die Genauigkeit der Fahrzeugerkennung weiter verbessern könnte. Zukünftige Forschungsarbeiten sollten sich auf die Verbesserung des gradientenbasierten Detektors durch intensiveres Training und die Entwicklung robusterer Strategien zur Behandlung von Schattenbereichen konzentrieren. Die Erweiterung der Methode auf Daten von UAVs/RPAS und die Integration zusätzlicher Datenquellen (z.B. präzisere Straßenkarten) stellen vielversprechende Forschungsansätze dar, um die Genauigkeit und Zuverlässigkeit der automatischen Fahrzeugerkennung in Luftbildern weiter zu optimieren.