Automatische Krankheitsdetektion an Nutzpflanzen

Das Hauptziel der Arbeit ist die Entwicklung eines automatisierten Verfahrens zur Erkennung von Blattkrankheiten an Nutzpflanzen mithilfe von Multispektralbildern. Der Fokus liegt auf der Verbesserung der Effizienz und Objektivität der Diagnose im Vergleich zu manuellen Methoden. Blattkrankheiten führen zu erheblichen Ernteausfällen, beispielsweise bei Salat durch Ungenießbarkeit oder bei Zuckerrüben durch reduzierte Zuckerproduktion und Nährstoffmangel. Ein automatisiertes System würde die Kosten reduzieren, eine objektive Bewertung ermöglichen und für jedes Blatt identische Ergebnisse liefern. Die Vision ist ein System, das mit Hilfe von Digitalkameras und automatischer Erkennungssoftware die Bestimmung des Pathogens durch jedermann ermöglicht und die Anzahl der untersuchten Pflanzen erheblich steigert. Die Entwicklung solcher automatischer Erkennungsverfahren für Blattkrankheiten bildet den Kern dieser Arbeit und soll einen Beitrag zur Präzisionslandwirtschaft leisten.

Die Literatur zu automatischer Blattkrankheitserkennung anhand von Bildern ist spärlich. Bisherige Ansätze basieren meist auf RGB-Farbinformationen (Rot, Grün, Blau), vernachlässigen aber den informativeren nahen Infrarotbereich. Dieser Bereich ist jedoch entscheidend, da Chlorophyll dort eine hohe Reflexivität aufweist, während befallene Blattbereiche diese Eigenschaft nicht mehr zeigen. Die Fernerkundung nutzt diese Eigenschaft bereits zur Unterscheidung von Vegetation und Nicht-Vegetation. Im Bereich der Präzisionslandwirtschaft könnte die automatische Erkennung mittels Kameras an Traktoren die gezielte Behandlung befallener Pflanzen ermöglichen, was die Effizienz des Pflanzenschutzes signifikant steigert. Die Arbeit berücksichtigt auch die 3D-Struktur von Blättern, um die Fusion von RGB- und Multispektraldaten zu optimieren, ein Aspekt, der in bisherigen Publikationen (Cui et al., 2010; Sanyal und Patel, 2008; Huang, 2007; Pydipati et al., 2006; Albertz, 1999; Lelong et al., 1998; Mewes et al., 2010; Rösch et al., 2006; Stuppy et al., 2003; Hanan et al., 2004; Pan et al., 2004) weniger Beachtung fand. Die Variabilität der visuellen Symptome im Krankheitsverlauf und die Vielzahl an Nutzpflanzen und Blattkrankheiten stellen weitere Herausforderungen dar. Die Arbeit konzentriert sich daher zunächst auf Zuckerrüben, eine wirtschaftlich bedeutende Pflanze in Deutschland und den USA (Wolf und Verreet, 2002; Steddom et al., 2005), und die Blattkrankheiten Cercospora beticola und Uromyces betae, um die Komplexität zu reduzieren. Die geringe Größe der Uromyces-Rostpusteln und ihre niedrige a-priori-Wahrscheinlichkeit stellen spezielle Herausforderungen für die Klassifikation dar.

Die Studie verwendet ein multimodales Kamerasystem bestehend aus einer RGB-Kamera (FujiFilm FinePix S5600, Auflösung 2592x1944 Pixel) und einer Multispektralkamera (Tetracam ADC, Auflösung 1280x1024 Pixel) mit Rot-, Grün- und Infrarotkanälen. Die Fusion der Daten aus beiden Kameras erfolgt über ein 3D-Modell des Blattes, das mittels Stereobildern erstellt wurde. Die Kamerakalibrierung (innere Orientierung) wurde mit der Software von Abraham (1999) durchgeführt, die Berechnung der relativen Lage der Kameras im Raum (äußere Orientierung) mit AURELO (Läbe und Förstner, 2006). Die resultierenden multispektralen Orthofotos dienen als Testdaten. Die Bilddaten wurden auf geometrische Genauigkeit geprüft; Datensätze mit Verschiebungen zwischen RGB- und Infrarotebenen wurden ausgeschlossen. Für die Klassifikation wurden die Rot-, Grün- und Blau-Kanäle des RGB-Bildes sowie der Infrarotkanal des Multispektralbildes verwendet. Als Referenzdaten dienten manuell klassifizierte Bilder von Blättern mit Cercospora beticola und Uromyces betae in verschiedenen Krankheitsstadien. Insgesamt wurden 98 Cercospora- und 145 Uromyces-Bilder in den Testdatensatz einbezogen. Die geringe Größe der Uromyces-Rostpusteln und die damit verbundenen Herausforderungen bei der Klassifizierung wurden explizit berücksichtigt.

Der entwickelte hierarchische Klassifikationsprozess besteht aus drei Schritten: einer pixelweisen, adaptiven Bayesklassifikation (Bauer et al., 2011), einer Glättung des Ergebnisses mittels Majoritätsfilterung oder bedingter Markovscher Zufallsfelder (CRFs), und einer regionenbasierten Maximum-Likelihood-Klassifikation. Die adaptive Bayesklassifikation ermittelt die Kosten für Fehlklassifikationen iterativ und gewichtet die Klassen, um die Genauigkeit der seltenen Klassen (insbesondere Uromyces betae) zu verbessern. Experimente untersuchten den Einfluss der Berücksichtigung der 4-Nachbarschaft im Merkmalsvektor, der optimalen Anzahl von Clustern in der Gaußschen Mischverteilung und des Einsatzes von Majoritätsfilterung und CRFs. Die Ergebnisse zeigten eine deutliche Verbesserung der Klassifikationsgenauigkeit durch die Berücksichtigung der Nachbarschaft. Die Wahl der Kostenmatrix beeinflusste die Klassifikationsgenauigkeit der einzelnen Klassen. Die Glättung mit CRFs erwies sich als rechenintensiv, aber effektiv zur Verbesserung der Genauigkeit, insbesondere bei der Detektion von Cercospora beticola, während sie bei der Detektion des seltenen Uromyces betae zu einer geringeren Genauigkeit führte. Die Regionenklassifikation reduzierte Fehlklassifikationen gesunder Bereiche, benötigte aber weitere Optimierung zur Verbesserung der Erkennung von Blattkrankheiten, vor allem des Braunrostes (Uromyces betae).

Die Übertragbarkeit des entwickelten Verfahrens wurde anhand von Reisblättern und der Erkennung von Eisentoxizität getestet. Eine pixelweise ML-Klassifikation zeigte eine gute Anwendbarkeit, obwohl Fehlklassifikationen an den Blatträndern auftraten, wahrscheinlich bedingt durch Schattenwurf. Die Ergebnisse bestätigen die vier zentralen Arbeitshypothesen, unter anderem die signifikante Verbesserung der Klassifikationsgenauigkeit durch die Berücksichtigung der 4-Nachbarschaft. Das Verfahren zeigt großes Potential für die automatische Detektion von Blattkrankheiten, wobei die adaptive Bayesklassifikation sich durch ihre Anpassungsfähigkeit an verschiedene Blattkrankheiten und Pflanzenarten auszeichnet. Die Majoritätsfilterung benötigt keine Anpassung, während die CRF-Glättung noch Optimierungspotential aufweist, insbesondere bezüglich der Detektion des Braunrostes. Die Regionenklassifikation funktionierte automatisiert und ist vor allem zur Reduktion von Fehlklassifikationen in gesunden Bereichen geeignet. Weitere Forschung ist nötig, um die Genauigkeit, insbesondere bei der Detektion von Uromyces betae weiter zu verbessern und die Rechenzeit der CRF-Glättung zu optimieren.

Die Bilddaten wurden mit einem multimodales Kamerasystem gewonnen, bestehend aus einer handelsüblichen RGB-Kamera (FujiFilm FinePix S5600) mit einer Auflösung von 2592 x 1944 Pixeln und einer Multispektral-Kamera (Tetracam ADC) mit einer Auflösung von 1280 x 1024 Pixeln. Die Multispektralkamera erfasste die spektralen Informationen in den Kanälen Rot, Grün und Nahinfrarot (700-950 nm). Die Bildaufnahme erfolgte an inokulierten Pflanzen, wobei von jeder Pflanze alle zwei Tage zwei markierte Blätter unter kontrollierten Bedingungen (diffuses Licht im Labor) fotografiert wurden. Diese detaillierte Datenerfassung über mehrere Tage zielte darauf ab, die Entwicklung der Blattkrankheiten über die Zeit zu erfassen und in die Analyse einzubeziehen. Die Wahl der Kamerasysteme und die Aufnahmebedingungen waren entscheidend für die Qualität der Rohdaten und die spätere Genauigkeit der Klassifizierung. Die unterschiedliche Auflösung der Kameras stellte später eine Herausforderung bei der Datenfusion dar.

Ein zentraler Aspekt der Methodologie ist die Fusion der Daten aus der RGB- und der Multispektralkamera. Dies erfolgte mittels eines 3D-Modells jedes Blattes, das aus Stereobildern generiert wurde. Die Erstellung dieses Modells erfordert die Bestimmung aller Aufnahmepositionen, auch als gemeinsame Orientierung bekannt. Nach der Erstellung des 3D-Modells wird ein multispektrales Orthobild erzeugt. Ein Orthobild ist ein rektifiziertes Bild, bei dem geometrische Verzerrungen, wie sie beispielsweise durch die Oberflächenstruktur eines Zuckerrübenblattes entstehen, eliminiert wurden. Die Software INPHO MATCH-T (Lemaire, 2008) wurde für die Erstellung des Oberflächenmodells verwendet. Obwohl genauer 2 1/2-D Modelle erstellt wurden, wird im Text vereinfachend von 3D-Modellen gesprochen, da die Tiefeninformation für die Sensorfusion ausreicht. Die 3D-Modellierung spielt eine entscheidende Rolle, da die verwendeten Kameras nicht in allen vier Kanälen die gleiche Empfindlichkeit aufweisen, daher ist die Fusionierung mittels des 3D-Modells notwendig.

Die Genauigkeit der Bilddaten und deren Fusion hängt von der korrekten Orientierung der Aufnahmen ab. Die innere Orientierung, auch Kamerakalibrierung genannt, wurde einmalig für jede Kamera (RGB und Multispektral) mit den jeweiligen Aufnahmeeinstellungen berechnet. Dabei wurden mittels der Software von Abraham (1999) aus verschiedenen Aufnahmepositionen und -richtungen 24 Bilder eines Testfeldes mit bekannten Koordinaten aufgenommen, um die Kameraparameter (Hauptpunktverschiebung, radiale Verzerrung, Kamerakonstante) zu bestimmen. Die äußere Orientierung, die die Lage der Kameras im Raum berechnet, wurde mit der Software AURELO (Läbe und Förstner, 2006) durchgeführt. AURELO liefert für jedes Bild eine Projektionsmatrix mit den Rotations- und Translationsparametern der äußeren Orientierung sowie den Parametern der inneren Orientierung. Da zwei verschiedene Kameras verwendet wurden, mussten die Bilder der MS-Kamera an die RGB-Kamera angepasst werden, indem die innere Orientierung berechnet und die Kamerakonstanten angeglichen wurden. Die unterschiedlichen Helligkeiten und das höhere Rauschen in den Multispektralbildern wurden als zusätzliche Herausforderungen bei der Fusion der Daten berücksichtigt.

Die Analyse der fusionierten Bilder zeigte, dass in 27% der Datensätze die Ebenen von RGB- und Multispektralbildern übereinstimmten, in 56% Stellenweise Verschiebungen von bis zu 5 Pixeln und in 17% stärkere Verschiebungen von bis zu 10 Pixeln auftraten. Diese Ungenauigkeiten könnten auf Abweichungen bei der Bestimmung identischer Punkte oder Interpolationsfehler bei der Erstellung der 3D-Oberfläche zurückzuführen sein. Um den Einfluss dieser Verschiebungen auf die Klassifikationsergebnisse zu minimieren, wurden nur Datensätze ohne Verschiebungen verwendet. Das höhere Rauschen und die geringere Helligkeit der Multispektralbilder im Vergleich zu den RGB-Bildern stellten weitere Herausforderungen dar. Die Entwicklung des SIFT-Operators erfolgte auf Basis von Grauwert-bildern, was im vorliegenden Fall mit unterschiedlichen Grauwertverteilungen in den verschiedenen Kanälen zu Problemen führen konnte. Die gemeinsame Orientierung der Farb- und Multispektralaufnahmen lieferte die Projektionsmatrizen, die Grundlage für die Erstellung des Oberflächenmodells und die spätere Bildfusion sind.

Das Herzstück der Methode ist ein dreistufiger hierarchischer Klassifikationsprozess. Der erste Schritt besteht aus einer pixelweisen, adaptiven Bayesklassifikation, die speziell auf die Erkennung von Blattkrankheiten optimiert ist. Diese Methode basiert auf der Bayesklassifikation mit Risikominimierung (Fukunaga, 1972) und unterscheidet sich von herkömmlichen Ansätzen durch die automatische Bestimmung der Kostenfunktion für verschiedene Fehlklassifikationen mittels eines iterativen Optimierungsprozesses. Die resultierenden Werte repräsentieren Gewichtungen der einzelnen Klassen und dienen dazu, seltenen Krankheiten wie Uromyces betae ein höheres Gewicht zu geben und so deren Erkennungsrate zu verbessern. Im zweiten Schritt wird das pixelweise Klassifizierungsergebnis durch eine Glättung verbessert, wobei zwischen einer Majoritätsfilterung und der Anwendung bedingter Markovscher Zufallsfelder (CRFs) gewählt werden kann. Der letzte Schritt umfasst eine regionenbasierte Maximum-Likelihood-Klassifikation, die auf den geglätteten Labelbildern operiert. Die Wahl der Glättungsmethode und die Parametereinstellungen beeinflussen die endgültige Klassifikationsgenauigkeit. Die Arbeit untersucht detailliert die Vor- und Nachteile beider Glättungsmethoden.

Als Testdaten dienten die fusionierten multispektralen Orthofotos, die aus den RGB- und Multispektralaufnahmen generiert wurden. Eine Überprüfung der geometrischen Genauigkeit zeigte teilweise Verschiebungen zwischen den RGB- und Infrarotebenen, die in einigen Fällen zur vollständigen Entfernung betroffener Datensätze führten. Der endgültige Testdatensatz umfasste 98 Bilder mit Cercospora beticola und 145 Bilder mit Uromyces betae in verschiedenen Krankheitsstadien. Die Referenzdaten, die zum Training der Klassifikatoren und zur Bewertung der Ergebnisse verwendet wurden, basieren auf manuellen Klassifizierungen der Bilder. Dabei wurden pro Pixel bis zu 15 Farbwerte als Merkmale berücksichtigt, wobei redundante Informationen aufgrund einheitlicher Beleuchtung reduziert wurden. Der Fokus lag auf den Rot-, Grün- und Blau-Kanälen des RGB-Bildes sowie der Infrarotinformation des Multispektralbildes.

Die Bewertung der Klassifikationsergebnisse erfolgte nicht anhand der Gesamtgenauigkeit, sondern auf der Ebene einzelner Klassen. Dies ist notwendig, da die a-priori-Wahrscheinlichkeiten der Klassen stark variieren. Beispielsweise hat die Klasse 'Braunrost' (Uromyces betae) eine a-priori-Wahrscheinlichkeit von nur 0,06%, während die Klasse 'Gesund' 99,94% beträgt. Eine Optimierung auf die Gesamtgenauigkeit könnte zu einer vernachlässigbaren Erkennungsrate seltener Krankheiten führen. Die Klassifikationsgenauigkeit jeder einzelnen Klasse wird daher separat betrachtet und ausgewertet. Die Herausforderungen bei der regionenbasierten Klassifikation werden ebenfalls angesprochen, insbesondere die Problematik der Zuordnung kleiner Regionen zu ihrer korrekten Referenzklasse, insbesondere bei der Detektion von Uromyces betae aufgrund der geringen Größe der Läsionen. Die Ergebnisse der regionenbasierten Klassifikation werden deshalb auch auf Pixelebene dargestellt.

Der erste Schritt des Klassifikationsprozesses, die pixelweise, adaptive Bayesklassifikation, spielt eine zentrale Rolle. Sie basiert auf dem Ansatz von Fukunaga (1972), wobei die Kostenfunktion, die die Gewichtung der verschiedenen Fehlentscheidungen bestimmt, nicht manuell festgelegt, sondern iterativ optimiert wird, um die Klassifikationsgenauigkeit zu maximieren. Das Ziel ist die Verbesserung der Erkennung seltener Krankheiten. Die resultierende Gewichtungsfunktion legt höhere Gewichte für die selteneren Klassen Cercospora beticola und vor allem Uromyces betae fest, um die Erkennungsrate dieser Klassen zu erhöhen, ohne die Genauigkeit für die Klasse 'Gesund' übermäßig zu reduzieren. Experimente zeigen, dass die Klassifikationsgenauigkeit der beiden Blattkrankheiten mit ML-Klassifikation (Maximum Likelihood) höher liegt als mit MAP-Klassifikation (Maximum a posteriori). Daher wurde die Gewichtungsfunktion basierend auf einer ML-Klassifikation entwickelt, um die Seltenheit der Krankheit Uromyces betae zu berücksichtigen. Ein Experiment zur Bestimmung der a-priori-Wahrscheinlichkeit der Klassen wurde durchgeführt. Eine detaillierte Analyse der Gewichtungsmatrix zeigt, wie die Wahrscheinlichkeiten für verschiedene Kombinationen benachbarter Klassen definiert wurden, um Fehlklassifikationen, insbesondere am Rand der Cercospora-Blattflecken, zu vermeiden.

Ein Experiment untersuchte den Einfluss der Berücksichtigung der Farbinformationen der vier Nachbarpixel im Merkmalsvektor auf die Klassifikationsgenauigkeit. Verglichen wurden zwei Szenarien: ein Merkmalsvektor mit nur den vier Farbinformationen des Pixels selbst und ein erweiterter Vektor mit zusätzlichen Informationen der vier Nachbarpixel (insgesamt 20 Farbwerte). Als Klassifikator diente ein k-Nearest-Neighbor (kNN)-Algorithmus. Die Ergebnisse zeigten eine signifikante Verbesserung der Klassifikationsgenauigkeit für alle drei Klassen ('Gesund', Cercospora beticola, Uromyces betae) durch die Einbeziehung der Nachbarschaftsinformation. Dies deutet darauf hin, dass die Berücksichtigung räumlicher Kontextinformationen die Leistung des Klassifikators deutlich verbessert. Die Verbesserung war besonders deutlich bei der Erkennung von Uromyces betae, was auf die geringe Größe der Läsionen und die damit verbundene Bedeutung des Kontextes hindeutet. Die Datenbasis für dieses Experiment bestand aus 55 Cercospora- und 73 Uromyces-Datensätzen, jeweils mit 350 Bildausschnitten der Größe 64x64 Pixel.

Ein weiteres Experiment untersuchte den Einfluss der Anzahl der Gaußschen Verteilungen (Cluster) in der angenommenen Gaußschen Mischverteilung pro Klasse auf die Klassifikationsgenauigkeit. Der Experiment wurde mit einer ML-Klassifikation (Maximum Likelihood) durchgeführt, um den Einfluss der a-priori-Wahrscheinlichkeit und der Gewichtungsfunktion auszuschließen. Die Anzahl der Cluster variierte von eins bis fünf pro Klasse. Zur Parameterschätzung wurde der Expectation-Maximization (EM)-Algorithmus verwendet. Die Ergebnisse zeigten, dass die Klassifikationsgenauigkeit mit zunehmender Anzahl von Clustern zunächst steigt, dann aber relativ konstant bleibt, bevor ein Plateau erreicht wird. Die benötigte Rechenzeit für Training und Test stieg dabei jedoch erheblich an. Dies unterstreicht den Kompromiss zwischen Rechenaufwand und Genauigkeitssteigerung. Für jede Klasse sollte daher die minimale Anzahl an Verteilungen gewählt werden, die noch eine hohe Klassifikationsgenauigkeit gewährleistet. Diese Erkenntnis ist relevant für die praktische Anwendung des Verfahrens, da eine hohe Rechenleistung nicht immer verfügbar ist.

Die Arbeit vergleicht zwei Glättungsverfahren zur Verbesserung des Ergebnisses der pixelweisen, adaptiven Bayesklassifikation: eine einfache Majoritätsfilterung und die Anwendung bedingter Markovscher Zufallsfelder (CRFs). Die CRFs erwiesen sich als deutlich rechenintensiver, was zu längeren Berechnungszeiten führte (ca. 3,5 Stunden pro Bild im Vergleich zur Majoritätsfilterung). Die Ergebnisse zeigen, dass die Glättung sowohl mit der Majoritätsfilterung als auch mit den CRFs die Klassifikationsgenauigkeit für Cercospora beticola verbessert. Bei Uromyces betae führte die Glättung jedoch zu einer Verringerung der Klassifikationsgenauigkeit aufgrund der kleinen Größe der Rostpusteln, die durch die Glättungsfilter eliminiert werden können. Die maximale Klassifikationsgenauigkeit für Uromyces betae konnte durch beide Verfahren auf 94% gesteigert werden. Die minimale Genauigkeit sank allerdings bei der CRF-Glättung leicht ab. Die Wahl des Glättungsverfahrens hängt somit vom Kompromiss zwischen Rechenaufwand und der gewünschten Genauigkeit ab, besonders im Hinblick auf die Seltenheit von Uromyces betae und die Notwendigkeit, kleine Läsionen zu detektieren.

Um die Übertragbarkeit des entwickelten Verfahrens auf andere Pflanzenarten zu untersuchen, wurde ein Experiment mit Reisblättern durchgeführt. Das Ziel war die Erkennung von Eisentoxizität. Im Gegensatz zu den vorherigen Experimenten mit Zuckerrüben, wurden hier nur die Rot-, Grün- und Blau-Kanäle verwendet, und es wurde eine pixelweise ML-Klassifikation (Maximum Likelihood) eingesetzt, da diese in früheren Experimenten bessere Ergebnisse als die MAP-Klassifikation gezeigt hatte. Für die Klassen 'gesunde' und 'zerstörte' Blattoberfläche wurde jeweils eine Gaußsche Mischverteilung aus zwei Verteilungen angenommen. Das Ergebnis zeigte eine relativ hohe Genauigkeit bei der Unterscheidung zwischen gesunden und durch Eisentoxizität betroffenen Bereichen. Jedoch traten Fehlklassifikationen an den Blatträndern auf, die wahrscheinlich auf Schattenwurf zurückzuführen sind und durch eine Anpassung der Aufnahmegeometrie oder des Hintergrundes behoben werden könnten. Dieses Experiment demonstriert das grundsätzliche Potential des Verfahrens für die Anwendung auf andere Pflanzen und Krankheiten, jedoch ist eine Anpassung der Parameter und der Vorgehensweise für optimale Ergebnisse bei neuen Pflanzenarten erforderlich.