3D-Kameradaten: Bewegungsanalyse

Die Arbeit untersucht den Einsatz von 3D-Kameras als Messinstrumente für die Analyse von Bewegung, insbesondere im Kontext zwischenmenschlichen Verhaltens. Die Verarbeitung der erzeugten Daten erfordert die Anpassung und Weiterentwicklung von Verfahren der Computer Vision und Photogrammetrie. Der Schwerpunkt liegt auf der Entwicklung von Methoden zur Sensorkalibrierung und 3D-Bewegungsanalyse. Die Dissertation betont die Vorteile der simultanen Nutzung aller 3D-Kamerainformationen (Amplituden- und Entfernungsdaten) in einem integrierten Ansatz. Dieser Ansatz soll Genauigkeit und Zuverlässigkeit steigern, indem die komplementären Eigenschaften der Messkanäle gegenseitig unterstützt werden. Ein erweitertes stochastisches Modell mit Varianzkomponentenschätzung ermöglicht die vollständige Ausnutzung des heterogenen Informationshaushaltes. Die Verwendung von Time-of-Flight (ToF) Kameras wird als besonders relevant hervorgehoben.

Ein wichtiger Aspekt der Arbeit ist die Modellierung von Abweichungen vom idealen Abbildungsmodell einer 3D-Kamera. Es werden verschiedene Fehlerquellen klassifiziert und ihr Einfluss auf die Messergebnisse quantifiziert. Die Dissertation beschreibt die Entwicklung einer integrierten Kalibrierroutine, die sowohl optische als auch distanzmessspezifische Fehler korrigiert. Dabei werden gemessene Schrägstrecken auf Horizontaldistanzen reduziert. Die Kalibrierroutine basiert auf dem Prinzip der Selbstkalibrierung und benötigt keine zusätzlichen Objektrauminformationen, was den experimentellen Aufwand reduziert. Die Genauigkeit der 3D-Neupunktkoordinaten nach Kalibrierung wird mit 5 mm angegeben. Die Arbeit adressiert explizit Fehlerquellen wie Multipath-Effekte (Mehrfachreflexionen im Objektraum), Scattering (Streuung) und Linsenreflexionen (lens flare) und deren Einfluss auf die Genauigkeit der Distanzmessungen. Diese Fehler werden durch die Implementierung von Korrekturparametern im Modell berücksichtigt.

Die Dissertation vergleicht die 3D-Kamera-basierte Methode mit etablierten Verfahren zur Erfassung und Analyse von Bewegung. Genannt werden Motion-Capture-Systeme, die mit Bewegungssensoren arbeiten, und die Motion Energy Analysis (MEA), ein Verfahren das auf der Differenzbildung konsekutiver Bilder basiert. Motion-Capture-Verfahren werden als aufwendig und für natürliche Interaktionen potentiell störend beschrieben. MEA hingegen wird als weniger genau und mit Informationsverlust behaftet dargestellt, da Bewegungen verschiedener Körperteile auf ein skalares Maß reduziert werden. Die Photogrammetrie wird als flexible und vielseitige Alternative für diverse Aufgaben der Bewegungsanalyse hervorgehoben, die hochgenaue und berührungslose Erfassung räumlicher Objekte erlaubt, im Gegensatz zu den genannten Alternativen.

Die Dissertation beschreibt den 2,5D Least Squares Tracking (LST) Algorithmus, eine integrierte Methode zur räumlich-zeitlichen Zuordnung von Daten aus 3D-Kamerabildsequenzen. LST basiert auf der in der Photogrammetrie etablierten Methode der kleinsten Quadrate. Der Algorithmus ordnet kleine Oberflächensegmente konsekutiver Datensätze aufeinander ab. Die Abbildungsvorschrift, basierend auf einer 2D-Affintransformation, wurde an die Datenstruktur einer 3D-Kamera angepasst. Das integrierte Modell verknüpft Grau- und Entfernungswerte. Neben Parametern für Translation und Rotation werden Maßstabs- und Neigungsparameter zur Modellierung perspektivischer Effekte durch Distanzänderungen in Aufnahmerichtung verwendet. Vor der eigentlichen Verarbeitung werden die Eingabedaten mittels einer Kalibrierroutine von optischen und distanzmessspezifischen Fehlern bereinigt und Schrägstrecken auf Horizontaldistanzen reduziert. Das Ergebnis von LST sind vollständige 3D-Verschiebungsvektoren, zusammen mit Genauigkeits- und Zuverlässigkeitsangaben, die als Entscheidungskriterien für die weitere Verarbeitung dienen können.

Die Validierung von LST zeigte eine signifikante Verbesserung der Genauigkeit und Zuverlässigkeit bei der Lösung des Korrespondenzproblems. Insbesondere bei schwierigen Kontrastverhältnissen in einem Kanal profitiert die Methode von der Integration komplementärer Informationen. Die Genauigkeit der Maßstabs- und Neigungsparameter, die direkt mit Distanzkorrekturtermen verknüpft sind, verbesserte sich deutlich. Die Erweiterung des geometrischen Modells brachte Vorteile, besonders bei der Zuordnung natürlicher, nicht vollständig ebener Oberflächensegmente. LST ermöglicht somit eine präzisere und robustere 3D-Bewegungsanalyse aus Bildsequenzen im Vergleich zu Methoden, die nur einen der verfügbaren Datenkanäle (Grauwerte oder Distanzinformationen) verwenden. Die Methode liefert zuverlässigere Ergebnisse und kann als robustes Werkzeug für die Anwendung in verschiedenen Bereichen der 3D-Bewegungsanalyse eingesetzt werden.

Die Erfassung menschlichen Bewegungsverhaltens erfolgte traditionell mittels Feldbeobachtungen und manueller Dokumentation, oft mit Papier und Bleistift. Diese Methode, kritisiert wegen des Einflusses des Beobachters auf das Verhalten der Probanden (Webb u.a., 1975), wurde durch den Einsatz von Videoaufzeichnungen ergänzt. Die Auswertung von Videosequenzen kann interaktiv oder automatisiert erfolgen. Interaktive Auswertung nutzt zwar das Kontextverständnis des Operators, ist aber aufwendig, subjektiv und fehleranfällig. Die Notwendigkeit einer automatisierten, objektiven Erhebung verhaltensrelevanter Körperbewegungen wird betont, um Effizienz und Objektivität in datenintensiven Studien zu gewährleisten. Die Arbeit argumentiert, dass Verfahren der Computer Vision und Photogrammetrie hier einen wertvollen Beitrag leisten können. Beispiele für die manuelle Kodierung von Bewegungsdaten werden genannt: Schmitter (2005) zur Bewertung von Körperhaltungen am Arbeitsplatz, Lausberg u.a. (2007) und Lausberg & Sloetjes (2009) mit Annotationssoftware (ELAN) für die Analyse von therapeutischen Gesprächen, und Doherty-Sneddon & Phelps (2007) zur Untersuchung nonverbalen Verhaltens von Lehrkräften.

Für die automatisierte Kodierung von Bewegungen werden zwei etablierte Verfahren vorgestellt: Motion Capture und Motion Energy Analysis (MEA). Motion Capture verwendet kommerziell verfügbare Systeme zur vollständigen Erfassung von Bewegungsabläufen. Ein Beispiel ist die Studie von Boker u.a. (2005) zur Symmetrie von Körperhaltungen tanzender Paare mit Magnetsensoren. Kawaguchi u.a. (2010) analysierten das Verhalten autistischer Kinder in Spielsituationen mit einem Mehrkamerasystem und passiven Zielmarken. Motion Capture wird als aufwendig und für verhaltensanalytische Anwendungen wegen des Mehraufwandes und der notwendigen Markierung der Probanden nicht immer als geeignet beschrieben. Als Alternative dient die Motion Energy Analysis (MEA), welche auf der schwellenwertbasierten Detektion von Grauwertänderungen in konsekutiven Bildern basiert. Grammer u.a. (2003) setzten MEA zur Analyse von Tanzbewegungen ein, Ramseyer (2010) in der Quantifizierung nonverbaler Synchronisation in Psychotherapien und Altmann (2010) in einem Experiment zur Schülerkooperation. MEA wird als weniger genau und mit Informationsverlust behaftet eingeschätzt, da Bewegungen indirekt erfasst und auf ein skalares Maß reduziert werden.

Die Arbeit präsentiert die Photogrammetrie als eine flexible Alternative zu den oben beschriebenen Verfahren der automatischen Bewegungskodierung. Photogrammetrische Methoden ermöglichen eine zeitaufgelöste, hochgenaue und berührungslose Erfassung und Modellierung räumlicher Objekte. Die Nahbereichsphotogrammetrie hat durch digitale Bildaufnahmeverfahren und Fortschritte in der Rechnerleistung vielfältige interdisziplinäre Anwendungsgebiete erschlossen. Bisher konzentrierten sich diese Anwendungen hauptsächlich auf technisch-industrielle Anwendungen und Geoinformationssysteme. Die Arbeit identifiziert die hochaufgelöste quantitative Erfassung von Bewegungsabläufen in der Analyse nonverbaler Kommunikation als ein interessantes neues Anwendungsgebiet der Photogrammetrie. Diese Methode bietet eine spatiotemporale hochauflösende, automatische Generierung von Bewegungsinformationen ohne Beeinträchtigung des natürlichen Interaktionsverlaufs, im Gegensatz zu den anderen beschriebenen Verfahren.

Die Arbeit untersucht systematisch die Fehlerquellen bei 3D-Kameramessungen. Es werden Fehler in Amplituden- und Distanzmessungen unterschieden. Geräteexterne Fehlerquellen umfassen Mehrwegeeffekte (Multipath), bei denen die Sensoren Mischsignale aus direkt und mehrfach reflektierter Strahlung empfangen, was zu verfälschten Entfernungswerten führt. Geräteinterne Fehlerquellen beinhalten Scattering (Streuung) und Linsenreflexionen (lens flare), die zu einer Überlagerung des Messsignals mit Streulicht führen und die Distanzwerte, besonders bei hohem Amplituden- und Tiefenkontrast, beeinflussen (Mure-Dubois & Hügli 2007; Kavli u.a. 2008; Karel u.a. 2010). Die Auswirkungen auf die Amplitudenwerte werden als in der Regel vernachlässigbar betrachtet. Zusätzlich werden lineare, zyklische und signalwegeffektbedingte Fehleranteile in der Distanzmessung modelliert. Die Arbeit quantifiziert den Einfluss der Fehlerquellen auf die Messergebnisse und legt die Grundlage für die Entwicklung von Korrekturmethoden. Der Einfluss der Reflektivität auf die Distanzmessung wird mit Hilfe eines Modells (ähnlich zu Kahlmann 2007; Karel & Pfeifer 2009) modelliert, das Ähnlichkeiten zu einer Hyperbelform aufweist und in die Bündelblockausgleichung integriert wird.

Die Dissertation gibt einen Überblick über in der Literatur vorgestellte Kalibrieransätze zur Modellierung von Fehlern bei 3D-Kameramessungen. Verschiedene Strategien mit ihren prinzipbedingten Vor- und Nachteilen werden diskutiert. Westfeld (2007a) kombiniert Bildkoordinaten geometrischer Primitive (Kugel, Pyramide) und Distanzmessungen in einer Bündelblockausgleichung. Lichti (2008) verwendet ebene Testfelder mit Zielmarken zur Selbstkalibrierung, wobei die Interpolation der Entfernungswerte an den Zielmarkenrändern als Fehlerquelle identifiziert wird (mittelschwere quadratische Abweichung von 5 cm). Eine verbesserte Methode von Lichti u.a. (2010) verwendet ein einzelnes Testfeld mit kreisförmigen Zielmarken und erreicht eine RMS von 8 mm. Die Arbeiten von Jaakkola u.a. (2008), Radmer u.a. (2008), Lindner & Kolb (2007), und Kahlmann & Ingensand (2007a) werden hinsichtlich ihrer Ansätze zur empirischen Kalibrierung von Amplitudenwerten und der Distanzkorrektur erwähnt. Die Notwendigkeit eines flexiblen und simultanen Kalibrierverfahrens, das alle verfügbaren Datenkanäle integriert und originäre Distanzbeobachtungen verwendet wird hervorgehoben, im Gegensatz zu den oft verwendeten zweistufigen Kalibrierverfahren (Pattinson 2010b).

Im Gegensatz zu sequentiellen Ansätzen, die Amplituden- und Distanzdaten getrennt verarbeiten, wird ein simultanes, integriertes Kalibrierverfahren vorgestellt. Die simultane Ausgleichung von Messgrößen in beiden Kanälen ermöglicht es, die komplementären Eigenschaften der Beobachtungen gegenseitig zu stützen und die Genauigkeit zu verbessern (ähnlich der gemeinsamen Ausgleichung von 2D-Kameramessungen und Laserscannerdaten nach Schneider 2009). Der Vorteil der Integration originärer Distanzbeobachtungen gegenüber interpolierten Werten wird hervorgehoben, um Ausreißer zu erkennen und a-priori und a-posteriori Genauigkeiten anzugeben. Die Flexibilität und Modularität des entwickelten mathematischen Modells erlauben zukünftige Erweiterungen. Die Verwendung zusätzlicher Sensorik oder Messeinrichtungen zur Referenzgeometrie-Ermittlung wird als aufwendig und hinderlich für ein flexibles photogrammetrisches 3D-Messverfahren angesehen. Die Arbeit von Lichti (2008 und 2010) mit der SwissRanger SR3k Kamera dient als Vergleichsbeispiel.

Ein Kernpunkt der Arbeit ist die Entwicklung eines simultanen Kalibrierverfahrens für 3D-Kameras, im Gegensatz zu sequentiellen 2-Stufen-Kalibrierungen. Die simultane Kalibrierung nutzt die Amplituden- und Entfernungsinformationen, die aus dem gleichen Messsignal rekonstruiert werden, gemeinsam aus. Dieser Ansatz wird als logische Konsequenz des inhärenten Designs und Messprinzips von 3D-Kameras hervorgehoben. Die komplementären Eigenschaften der Beobachtungen aus den verschiedenen Messkanälen unterstützen sich gegenseitig und führen zu einer Steigerung von Genauigkeit und Zuverlässigkeit. Eine sequentielle Kalibrierung hingegen würde diese synergistischen Effekte nicht nutzen. Die Arbeit argumentiert, dass der Einsatz zusätzlicher Sensorik (z.B. 2D-Kameras oder Laserscanner) oder aufwendiger Messeinrichtungen zur Ermittlung einer Referenzgeometrie den experimentellen Aufwand erheblich erhöht und die Reproduzierbarkeit der Ergebnisse erschwert. Die Verwendung originärer, direkt gemessener Beobachtungen erlaubt eine bessere Kontrolle der Einzelmessungen und die Angabe von a-priori und a-posteriori Genauigkeiten.

Das vorgeschlagene Kalibrierverfahren basiert auf einer integrierten Bündelblockausgleichung, die simultan Amplituden- und Distanzdaten verarbeitet. Das Amplitudenbild dient, analog zu 2D-Kameras in der Photogrammetrie, zur Messung von Bildkoordinaten von Referenzpunkten. Das Entfernungsbild liefert zusätzliche Schrägdistanzen. Um Interpolationen im ursprünglichen Datenmaterial zu vermeiden, werden geeignete Referenzpunkte benötigt, die sowohl die direkte Integration der Entfernungswerte als auch einen geometrischen Zusammenhang zu den im Amplitudenbild gemessenen Koordinaten ermöglichen. Der iterative, nichtlineare 2D-LSM-Ansatz benötigt Näherungswerte für die Affintransformationsparameter. Diese werden durch automatische Messung kreisförmiger Zielmarken (Burkhart 2007) und dynamische Template-Erzeugung ermittelt. Radiometrische Unterschiede werden durch lineare Histogrammanpassung korrigiert. Ein Signifikanztest verhindert eine Überparametrisierung des Gleichungssystems.

Die integrierte Bündelblockausgleichung schätzt alle Kalibrierwerte simultan. Das Modell beinhaltet Distanzkorrekturterme zur Modellierung linearer, zyklischer und signalwegeffektbedingter Fehler. Der lineare Anteil (∆D_lin) besteht aus einem additiven (ca. 80 mm) und einem multiplikativen Term (ca. 1,2% der gemessenen Strecke). Zyklische Fehler (∆D_zykl) werden durch Amplituden einer periodischen Korrekturfunktion modelliert (maximale Auslenkung ±30 mm). Ein Radialfaktor (d₆) modelliert sensorpositionsabhängige Fehler (bis zu 6 mm an den Bildrändern). Die Ergebnisse werden anhand der verbleibenden Residuen der Distanzbeobachtungen (v_D) bewertet. Die RMS-Abweichung der Residuen konnte durch die Anwendung des Distanzkorrekturmodells von 40,86 mm auf 8,66 mm reduziert werden. Diese Ergebnisse sind vergleichbar mit den Untersuchungen von Böhm & Pattinson (2010) und Lichti u.a. (2010). Die Qualität des Kalibrierverfahrens wird durch die a-posteriori Standardabweichungen der Residuen und die Verbesserung der Genauigkeit der Bildkoordinatenmessungen und Distanzmessungen quantifiziert.

Die Erfassung menschlichen Bewegungsverhaltens in der Verhaltensforschung erfolgte traditionell durch Feldbeobachtungen und manuelle Auswertung mit Papier und Bleistift (LaFrance & Broadbent 1976; Stoffert 1985; York-Barr & Duke 2004). Diese Methode ist jedoch aufwendig und wegen des Einflusses des Beobachters auf das Verhalten der Probanden kritisch zu betrachten (Webb u.a., 1975). Der zunehmende Einsatz von Videoaufnahmen verbessert die Datenerfassung, die Auswertung bleibt jedoch oft interaktiv und damit subjektiv, aufwendig und mit Generalisierungseffekten behaftet. Eine umfassende Automatisierung der Auswertung wird als wünschenswert bezeichnet, um Effizienz und Objektivität in datenintensiven Studien zu gewährleisten. Computer Vision und Photogrammetrie werden als wertvolle Werkzeuge zur quantitativen Analyse von Bewegungsdaten genannt. Beispiele für die Anwendung von Videoaufnahmen mit manueller Kodierung werden genannt: Schmitter (2005) zur Bewertung von Körperhaltungen am Arbeitsplatz, Lausberg u.a. (2007) und Lausberg & Sloetjes (2009) zur Analyse nonverbalen Verhaltens in therapeutischen Gesprächen, und Doherty-Sneddon & Phelps (2007) zur Untersuchung des nonverbalen Verhaltens von Lehrkräften gegenüber Schülern.

Die Arbeit betont den Übergang von zweidimensionaler Videoanalyse zur dreidimensionalen Rekonstruktion von Bewegungsabläufen. Remondino (2004) nutzt Amateurvideos zur 3D-Rekonstruktion von Basketballspielen, unter Ausnutzung von Informationen über das Spielfeld und die Körperproportionen. Howe u.a. (1999) rekonstruieren 3D-Bewegungen aus 2D-Sequenzen mit Hilfe von Trainingsdaten. Sidenbladh u.a. (2000) verwenden ein probabilistisches Modell für die 3D-Verfolgung von Personen in 2D-Videos, und Urtasun & Fua (2004) setzen zeitliche Bewegungsmodelle zur Personenverfolgung ein. Die Dissertation argumentiert, dass die automatisierte 3D-Bewegungsanalyse, z.B. mit den entwickelten Methoden, objektivere und effizientere Ergebnisse liefert als die traditionellen, manuell ausgewerteten Verfahren. Die Vorteile der automatisierten 3D-Bewegungserfassung für die Verhaltensforschung werden hervorgehoben, insbesondere im Hinblick auf die Untersuchung nonverbaler Kommunikation in verschiedenen Interaktionsszenarien (z.B. Patient-Therapeut, Schüler-Lehrer).

Die Analyse von 3D-Kamerabildsequenzen wird diskutiert, wobei die Verwendung nur eines Datenkanals (Amplituden- oder Distanzbilder) als praktikabel, aber nicht optimal dargestellt wird. Die Nutzung nur eines Kanals ist zwar für viele Anwendungen ausreichend, da z.B. ein Kanal Tiefeninformationen in Videorate liefert, jedoch wird das volle Potential der Time-of-Flight (ToF) Technologie nicht ausgeschöpft. Viele Arbeitsgruppen verwenden sequentielle Ansätze, bei denen Amplituden- und Distanzdaten separat verarbeitet und anschließend kombiniert werden. Im Gegensatz dazu wird die simultane Auswertung beider Datenkanäle als überlegen angesehen, da dies zu einer genaueren und zuverlässigeren Analyse führt. Eine simultane Auswertung schöpft den gesamten Informationshaushalt aus und erlaubt eine funktionale und stochastische Verknüpfung der Amplituden- und Distanzbeobachtungen in einem integrierten Ansatz.

Sequentielle Ansätze zur Analyse von 3D-Kamerabildsequenzen werden mit integrierten Verfahren verglichen. Sequentielle Ansätze verwenden adaptierte oder neu entwickelte Methoden der Bewegungsextraktion unabhängig in beiden Kanälen (Amplituden- und Distanzbilder), bevor die Ergebnisse kombiniert werden. Im Gegensatz dazu integriert ein simultaner Ansatz die Amplituden- und Distanzinformationen in einem gemeinsamen Berechnungsverfahren. Diese simultane Verarbeitung wird als die effizientere und genauere Methode hervorgehoben, da sie den Informationsgehalt der Daten vollständig ausnutzt. Die Arbeit verweist auf die Anwendung des Least Squares Matching (LSM) in der Photogrammetrie und dessen Adaption durch Maas (2000, 2001) zur Auswertung von 2,5D-Laserscannerdaten. Maas kombiniert sequentiell Höhen- und Intensitätsdaten. Die Dissertation diskutiert die Grenzen der Anwendung von 2D-LSM auf Grauwertbilder und die Erweiterung um Distanzdaten, sowie die Unmöglichkeit der Verwendung einer Voxeldatenstruktur aufgrund der Oberflächen-basierten Natur von ToF-Daten. Least Squares 3D Surface Matching (LS3D; Grün & Akca 2004) wird als Verfahren erwähnt, das zwar geometrische Informationen optimal verarbeitet, aber die Intensitätsinformationen nicht berücksichtigt.

Als Beispiel für einen integrierten Ansatz wird das integrierte Least Squares Tracking (LST) vorgestellt. Der Algorithmus nutzt die in der Photogrammetrie etablierte Least Squares Matching (LSM) Methode, angepasst an die Datenstruktur einer 3D-Kamera. LST kombiniert Grauwert- und Distanzinformationen in einem Modell, das Translation, Rotation, Maßstab und Neigung berücksichtigt. Ein Vergleich mit anderen Ansätzen zur 3D-Bewegungsanalyse wird angedeutet, wie z.B. der von Knoop u.a. (2006) vorgestellte Algorithmus basierend auf einem Stereokamerasystem und einer ToF-Kamera mit einem 3D-Körpermodell aus Zylindern und ICP-basierter Punktwolkenzuordnung. Breidt u.a. (2010) wird als Beispiel für modellbasierte Gesichtsrekonstruktion mit ICP-Algorithmus genannt. Die Dissertation betont abschließend die Vorteile integrierter Verfahren mit simultaner Verwendung aller Beobachtungsarten und adäquater Gewichtung für die 3D-Kameradatenverarbeitung in der Bewegungsanalyse.