Pflanzenerkennung in 3D-Punktwolken

Die zentrale Herausforderung dieser Arbeit besteht in der Entwicklung eines zuverlässigen und schnellen Systems zur Pflanzenerkennung auf Basis von Blattformen. Gegeben ist eine Datenbank mit 2D-Scans von Blättern, die mit einem Flachbettscanner erstellt wurden. Das System soll jedoch mit 3D-Daten aus einer natürlichen Umgebung (z.B. einer Wiese) arbeiten. Die Hauptproblematik liegt in der Transformation der komplexen 3D-Daten (Punktwolken aus einem Laser-Triangulationssensor) in die 2D-Repräsentation der Datenbank. Ein wesentlicher Aspekt ist die Echtzeitfähigkeit: Datenakquisition, Segmentierung, Transformation und Klassifizierung müssen innerhalb einer Sekunde erfolgen. Dies ist essentiell für den Einsatz in der modernen Landwirtschaft, wo schnelle und effiziente Lösungen gefragt sind. Die Blattform, insbesondere deren Rand, wird als Hauptmerkmal zur Identifizierung verwendet, da der Rand präzise die Form beschreibt und im Vergleich zur gesamten Blattoberfläche deutlich weniger Daten benötigt. Die zuverlässige Segmentierung von Objekten in unübersichtlichen Umgebungen wie Wiesen stellt dabei eine besondere Herausforderung dar, die durch die zusätzliche Dimension des 3D-Sensors adressiert wird. Ein Algorithmus basierend auf der rekursiven Methode der kleinsten Quadrate wird vorgestellt, um diese Herausforderungen zu bewältigen.

Ein entscheidender Schritt im Prozess ist die Transformation der dreidimensionalen Blattformen in eine zweidimensionale Darstellung, analog zum Prozess des Pressens eines Blattes auf einen Flachbettscanner. Dieses 'Abflachen' wird durch eine polynomiale Approximation der Daten im Tiefenbild und die anschließende Entfaltung der Polynome in die Ebene erreicht. Die so entstandenen Verzerrungen ähneln den Verzerrungen, die durch den Flachbettscanner entstehen. Dieser Ansatz ermöglicht einen effizienten Vergleich der 3D-Daten mit den 2D-Referenzdaten in der Datenbank. Es wird gezeigt, dass die extrahierten Ränder der abgeflachten 3D-Blätter eine höhere Ähnlichkeit zu den 2D-Referenzformen aufweisen als axonometrische Projektionen. Die Wahl des Algorithmus, der auf der rekursiven Methode der kleinsten Quadrate basiert, wird damit begründet, dass die erhöhte Rechenzeit in einer komplexen Umgebung wie einer Wiese durch die höhere Genauigkeit gerechtfertigt ist. Der Vergleich mit 2D-Referenzdaten erfolgt nach der Transformation in die Ebene.

Das entwickelte System, ausgestattet mit einem Laser-Triangulationssensor, erreicht eine Erkennungsrate von 80% für Unkrautpflanzen. Das vorgegebene Ziel von maximal 15% Fehlklassifikationen wird jedoch verfehlt; bis zu 40% der Blätter werden falsch positiv klassifiziert. Diese hohe Falsch-Positiv-Rate wird hauptsächlich auf die unzureichende Auflösung des Sensors und die daraus resultierende geringe Genauigkeit in der Höhenbestimmung zurückgeführt. Die vorgestellte Lösung ist somit noch nicht produktreif, stellt aber einen signifikanten Fortschritt im Bereich der Einzelpflanzen-Erkennung in Wiesen dar. Weitere Forschungsarbeit im Bereich der Sensortechnologie und der Algorithmen ist notwendig, um ein autonomes, zuverlässiges und robustes System zur Unkrauterkennung und -behandlung zu entwickeln. Die hohe Rechenleistung moderner Prozessoren, insbesondere Multi-Core-Prozessoren, unterstützt die Implementierung der Algorithmen auf Standardhardware, anstatt auf spezialisierter Echtzeit-Hardware.

Die Arbeit beschreibt die Verwendung eines Laser-Triangulationssensors zur Erfassung von dreidimensionalen (3D) Daten von Pflanzen in einer natürlichen Umgebung, konkret einer Wiese. Im Gegensatz zu traditionellen 2D-Bildgebungsverfahren liefert dieser Sensor explizite Tiefeninformationen, die als Range Images oder Tiefenbilder dargestellt werden. Jeder Pixel repräsentiert dabei nicht nur Intensitätswerte (wie bei Farb- oder Graustufenbildern), sondern auch die Entfernung zum Sensor. Dieser Ansatz ist besonders vorteilhaft in komplexen Umgebungen, da die zusätzliche Tiefeninformation die Segmentierung und Objekterkennung deutlich verbessert. Die Verwendung von Range Images vereinfacht die Berechnung direkter Beziehungen zwischen Punkten anhand von Winkeln und Entfernungen, im Gegensatz zu Intensitätsübergängen in 2D-Bildern. Die Organisation der Punkte in triangulierten Netzen ermöglicht eine robuste Oberflächenanalyse. Die Datenakquisition muss im Kontext der Echtzeitanforderung innerhalb einer Sekunde erfolgen, was die Leistungsfähigkeit der verwendeten Sensoren und Algorithmen unterstreicht. Die hohe Datenmenge, die von modernen 3D-Sensoren in kürzester Zeit erfasst wird, stellt eine weitere Herausforderung dar, die durch effiziente Algorithmen und ggf. parallele Verarbeitung bewältigt werden muss.

Ein wichtiger Schritt im Prozess ist die Segmentierung der erfassten 3D-Punktwolken, um einzelne Pflanzen und deren Blätter zu identifizieren. Dies ist in einer komplexen Umgebung wie einer Wiese eine nicht-triviale Aufgabe, da Überlappungen und Rauschen die Segmentierung erschweren. Die zusätzliche Tiefeninformation aus den 3D-Daten erlaubt jedoch im Vergleich zu rein 2D-Verfahren die Entwicklung robusterer und genauerer Segmentierungsalgorithmen. Die Arbeit erwähnt die Herausforderungen der Segmentierung und betont, dass zuverlässige Segmentierung die Grundlage für die nachfolgende Form- und Merkmalsextraktion ist. Die Verwendung von Filtern zur Rauschreduktion und zur Erkennung von Objektkanten wird als essentieller Bestandteil des Segmentierungsprozesses beschrieben. Die Wahl des geeigneten Filters hängt von der Komplexität der Szene und den Anforderungen an die Echtzeitverarbeitung ab. Die Dissertation erwähnt den Kalman-Filter und den Partikel-Filter als geeignete Kandidaten für die Echtzeit-Filterung.

Um die 3D-Daten mit den 2D-Referenzdaten aus der Datenbank vergleichen zu können, müssen die dreidimensionalen Blattformen in eine zweidimensionale Darstellung transformiert werden. Dieser Prozess wird als 'Abflachen' bezeichnet und simuliert das Pressen eines Blattes auf einen Flachbettscanner. Die Transformation erfolgt durch eine polynomiale Approximation der Tiefenbilddaten. Dabei wird die unregelmäßige 3D-Oberfläche des Blattes durch Polynome angenähert, und jedes Polynom wird anschließend in die Ebene entfaltet. Die resultierenden Verzerrungen der Blattform ähneln denen, die beim Scannen mit einem Flachbettscanner entstehen. Dieser Ansatz ermöglicht einen robusten Vergleich zwischen den 3D- und 2D-Daten, da die Verzerrungen in beiden Fällen ähnlich sind. Die Arbeit betont, dass diese 'Abflachung' im Gegensatz zu geodätischen Projektionen (wie UTM oder Gauss-Krüger) die möglichst originalgetreue Erhaltung der Blattform priorisiert. Die Genauigkeit des Abflachungsprozesses hängt stark von der Auflösung der 3D-Daten ab; eine höhere Auflösung führt zu einer besseren Approximation der Oberfläche.

Nach der Segmentierung und Transformation der 3D-Blattformen in eine 2D-Darstellung, wird die Form durch Elliptische Fourier Deskriptoren (EFDs) beschrieben. Diese Deskriptoren sind ein wichtiges Werkzeug der Formbeschreibung und besitzen den Vorteil der Invarianz gegenüber Translation, Rotation und Skalierung. Dies ist essentiell, da die Position und Ausrichtung der Blätter im 3D-Raum variieren kann. Die EFDs reduzieren die Datenmenge im Vergleich zur Verwendung der gesamten Blattoberfläche und ermöglichen dennoch eine präzise Darstellung der Blattform. Die Arbeit hebt hervor, dass die Blattform und der Blattrand ausreichend Information zur Identifizierung der Pflanzenart enthalten, wobei auch die Blattvenation einen zusätzlichen Beitrag leisten kann. Die EFDs der extrahierten Ränder der abgeflachten 3D-Blätter werden zur Klassifizierung verwendet. Die Auswahl der EFDs begründet sich auf ihrer Fähigkeit, die Form prägnant und invariant gegenüber verschiedenen Transformationen zu beschreiben, was für den Vergleich mit den 2D-Scans aus der Datenbank unerlässlich ist.

Für die Klassifizierung der extrahierten Blattformen wird maschinelles Lernen (ML) eingesetzt, konkret Support Vector Machines (SVMs). Die SVMs werden mit den zuvor extrahierten EFDs trainiert, um verschiedene Pflanzenarten zu unterscheiden. Ein wichtiger Aspekt ist die Generalisierungsfähigkeit des Klassifikators, d.h. seine Fähigkeit, auch unbekannte Blattformen korrekt zu klassifizieren. Die Dissertation diskutiert die Herausforderungen bei der Auswahl geeigneter ML-Methoden und betont die Bedeutung einer ausreichenden und repräsentativen Trainingsdatenmenge. Alternative Methoden wie k-Means Clustering und Künstliche Neuronale Netze (ANNs) werden kurz erwähnt, wobei ANNs aufgrund ihrer Eignung abgelehnt werden. Die erfolgreiche Klassifizierung hängt entscheidend von der Trennbarkeit der Merkmale ab; eine starke Korrelation zwischen den Merkmalen kann die Klassifikationsgenauigkeit beeinträchtigen. Die Arbeit verweist auf die Problematik der Merkmalseparierbarkeit und deutet an, dass selbst hochentwickelte ML-Methoden bei stark korrelierten Merkmalen an ihre Grenzen stoßen.

Die Arbeit identifiziert die begrenzte Sensorauflösung als Hauptursache für die hohe Falsch-Positiv-Rate im Testsystem. Dies unterstreicht die Notwendigkeit weiterer Forschungsarbeiten im Bereich der Sensortechnologie. Es wird deutlich gemacht, dass die vollständige Ersetzung menschlicher Arbeit durch das System in naher Zukunft unwahrscheinlich ist. Ein wichtiger Punkt ist der Kompromiss zwischen Verarbeitungsgeschwindigkeit und Genauigkeit. Die Erweiterung der bestehenden Algorithmen um Regioneninvarianten, wie z.B. Zernike-Momente, wird als vielversprechender Ansatz zur Verbesserung der Klassifikationsergebnisse genannt. Die Integration weiterer Sensoren, um zusätzliche Informationen (z.B. Blattvenation) zu erfassen, könnte die Robustheit und Genauigkeit des Systems weiter steigern. Die Dissertation verweist auf die Notwendigkeit weiterer Forschung im Bereich des maschinellen Lernens und der Datenerfassung, um die Ziele einer vollständig automatisierten und zuverlässigen Pflanzenerkennung zu erreichen.

Die vorgestellte Lösung wird in einem Prototypsystem namens SmartWeeder implementiert. Dieser Prototyp dient der Echtzeit-Erkennung und -Markierung von Pflanzen, während er kontinuierlich über die Vegetation geführt wird. Der SmartWeeder verzichtet auf absolute Positionierungssysteme wie GPS und basiert auf einer reinen Totrecknung, die durch einen erweiterten Kalman-Filter stabilisiert wird. Das System ist für die unmittelbare Behandlung der erkannten Pflanzen konzipiert und nicht für mobile Kartierung. Die Behandlungseinrichtung besteht aus einer Reihe von Sprühdüsen, die eine Fläche von ca. 20x20 cm abdecken. Die Lokalisierungsgenauigkeit ist daher nicht besonders anspruchsvoll. Die Datenverarbeitung erfolgt in Echtzeit, wobei ein dreidimensionales Tiefenbild erfasst und verarbeitet wird. Dies beinhaltet Schritte wie Datenakquisition, Filterung, Segmentierung, Formextraktion, 'Abflachung' der 3D-Formen und Merkmalsextraktion (Elliptische Fourier Deskriptoren). Die klassifizierten Formen werden an einen Echtzeit-Computer übertragen, der die Behandlung der markierten Bereiche steuert. Die Architektur des Systems betont die Echtzeitfähigkeit und die Notwendigkeit einer effizienten Datenverarbeitung. Die Verwendung paralleler Algorithmen wird hervorgehoben, um die kurzen Verarbeitungszeiten zu gewährleisten.

Das Testsystem erreicht eine bemerkenswerte Erkennungsrate von 80% für Unkrautpflanzen in einer Wiese. Es verfehlt jedoch das Ziel einer maximalen Falsch-Positiv-Rate von 15%; stattdessen werden bis zu 40% der Blätter falsch positiv klassifiziert. Die Hauptursache hierfür ist die unzureichende Auflösung des Sensors, was zu Ungenauigkeiten bei der Höhenmessung führt und die Segmentierung und Klassifizierung beeinträchtigt. Obwohl der SmartWeeder einen signifikanten Fortschritt in der Einzelpflanzenerkennung darstellt, ist die Lösung noch nicht produktreif. Die Arbeit zeigt deutlich, dass das Ziel der vollständigen Ersetzung menschlicher Arbeitskraft in diesem Bereich noch nicht erreicht ist. Die begrenzte Sensorauflösung und die daraus resultierenden Probleme bei der Erkennung von filigranen Blattstrukturen werden als zentrale Limitierungen hervorgehoben. Weitere Forschung ist notwendig, um die Genauigkeit und Zuverlässigkeit des Systems zu verbessern und die Falsch-Positiv-Rate deutlich zu reduzieren.

Die rechenintensiven Filterprozesse stellen einen Engpass im System dar. Die Arbeit untersucht daher das Potenzial der GPU-Beschleunigung, um die Verarbeitungszeit zu verkürzen. Die Verwendung von GPUs wird als vielversprechende Möglichkeit zur Beschleunigung der rechenintensiven Filterprozesse und damit zur Verbesserung der Echtzeitfähigkeit des Systems gesehen. Die Anwendung des GPU-Moduls der OpenCV-Bibliothek in Verbindung mit der NVIDIA CUDA-Umgebung wird als möglicher Ansatz erwähnt. Konkrete Laufzeitmessungen mit MATLAB-Skripten werden als Beispiel angeführt, um das Potenzial der GPU-Beschleunigung zu verdeutlichen. Die Arbeit argumentiert, dass die derzeitige Entwicklungstendenz von Multi-Core-Prozessoren die Notwendigkeit für spezialisierte Hardware für das System minimiert und eine Implementierung auf Standard-PC-Hardware möglich macht.

Die Dissertation identifiziert die niedrige Auflösung des verwendeten Sensors als Hauptgrund für die hohe Falsch-Positiv-Rate (bis zu 40%) bei der Pflanzenerkennung. Die Verbesserung der Sensortechnologie steht daher im Mittelpunkt der zukünftigen Forschungsarbeiten. Eine höhere Auflösung würde die Genauigkeit der Höhenmessung und damit die Zuverlässigkeit der Segmentierung und Klassifizierung deutlich steigern. Zusätzlich sollten verbesserte Algorithmen entwickelt werden, um das Rauschen in den Sensordaten effizienter zu reduzieren und die Robustheit des Systems gegenüber variierenden Umgebungsbedingungen zu erhöhen. Die Entwicklung von robusteren Segmentierungsalgorithmen ist besonders wichtig, um Überlappungen von Blättern zuverlässig zu erkennen und zu trennen. Die Echtzeitfähigkeit des Systems muss bei allen Verbesserungen gewährleistet bleiben. Die Integration von Multi-Sensor-Systemen zur Verbesserung der Datenqualität wird vorgeschlagen. Dies könnte beispielsweise die Kombination von RGB-, NIR- und Infrarot-Daten umfassen, um zusätzliche Informationen zur Blattstruktur und -textur zu gewinnen.

Die Arbeit schlägt vor, die bestehende Merkmalsanalyse um Regioneninvarianten zu erweitern, um die Klassifikationsgenauigkeit zu verbessern. Bisher werden hauptsächlich die Ränder der Blätter (Elliptische Fourier Deskriptoren) zur Klassifizierung verwendet. Die Integration von Regioneninvarianten, wie z.B. Zernike-Momente, würde zusätzliche Informationen über die gesamte Blattfläche liefern und so die Diskriminierungskraft des Systems erhöhen. Zernike-Momente sind bereits in anderen Bereichen wie der optischen Zeichenerkennung erfolgreich eingesetzt worden und stellen einen vielversprechenden Ansatz zur Verbesserung der Genauigkeit dar. Die Entwicklung effizienter Algorithmen zur Berechnung und Integration dieser Regioneninvarianten in den Klassifizierungsprozess ist eine zentrale Aufgabe zukünftiger Forschung. Die Berücksichtigung der Blattvenation als zusätzliches Merkmal wird ebenfalls als vielversprechender Ansatz erwähnt.

Die Dissertation betont das langfristige Ziel, menschliche Arbeitskraft im Bereich der Unkrautbekämpfung zu ersetzen. Dies erfordert die Entwicklung autonomer, flexibler und robuster Systeme. Der SmartWeeder-Prototyp stellt einen ersten Schritt in diese Richtung dar. Die Integration neuer Algorithmen und Sensortechnologien ist notwendig, um autonome, mobile Einheiten für die Einzelpflanzenerkennung zu entwickeln. Die Arbeit erwähnt die Notwendigkeit von flexiblen und zuverlässigen Machine-Learning-Verfahren, um ein adaptives Systemverhalten zu ermöglichen. Die Benutzerschnittstelle des Systems muss einfach und intuitiv gestaltet sein, um eine einfache Bedienung durch den Anwender zu gewährleisten. Die Entwicklung solcher Systeme erfordert eine interdisziplinäre Zusammenarbeit von Forschern aus verschiedenen Bereichen wie Informatik, Agrarwissenschaften und Robotik. Die Finanzierung und die Überführung der Forschungsergebnisse in die industrielle Anwendung werden als entscheidende Faktoren für den Erfolg zukünftiger Arbeiten im Bereich der automatisierten Unkrautbekämpfung hervorgehoben.