Mobile Mixed Reality: Virtuelles Erbe

Das zentrale Konzept der Arbeit beschreibt die Entwicklung eines mobilen Mixed-Reality-Mediums für umweltbezogenes Storytelling im Bereich des kulturellen Erbes. Dieses Medium soll mittels depth-sensitive Compositing von Echtzeit-3D-Inhalten in das Live-Video eines Smartphones ein immersives und interaktives Erlebnis schaffen. Der Nutzer kann die Mixed-Reality-Umgebung (MRE) erkunden, mit virtuellen Charakteren und Artefakten interagieren und an inszenierten 3D-Ereignissen teilnehmen. Die Arbeit fokussiert sich darauf, wie dieses Medium als Edutainment-Tool an Orten des kulturellen Erbes eingesetzt werden kann, um Besuchern ein ansprechendes und informatives Erlebnis zu bieten. Konkret werden Möglichkeiten skizziert, das Alltagsleben vergangener Zeiten zu simulieren oder historische Ereignisse nachzustellen, um kulturelle Informationen auf anschauliche Weise zu vermitteln. Die Kritik an bestehenden virtuellen Umgebungen, die oft als wenig fesselnd empfunden werden, wird angesprochen; es wird betont, dass sinnvolle Interaktionsmöglichkeiten und konkrete Ziele für eine höhere Nutzerbindung und einen verstärkten Lerneffekt unerlässlich sind (Tan und Rahaman 2009:6; Champion 2002:6). Das Medium soll eine illusionäre Erfahrung schaffen, bei der sich der Besucher von virtuellen Charakteren und Artefakten umgeben fühlt, während er sich im realen Raum befindet, wodurch historische Ereignisse nachgestellt und der Nutzer aktiv in das Storytelling eingebunden werden kann.

Die Laufzeitumgebung (Runtime) der Anwendung basiert auf der Synchronisierung einer virtuellen Weltkamera mit der Kamera des Smartphones. Ein Trackingsystem überwacht dabei kontinuierlich die Position und Drehung des Smartphones. Durch depth-sensitive Compositing werden die Videoströme der realen und virtuellen Kamera kombiniert; dabei dient die virtuelle Replika des Ortes als Occlusion-Modell, um virtuelle Objekte zu verdecken, die hinter realen Objekten liegen. Das resultierende zusammengesetzte Video wird auf dem Smartphone-Display ausgegeben. Der Fokus liegt auf dem Erzeugen einer "Place Illusion", also dem Gefühl, sich tatsächlich am simulierten Ort zu befinden (Sanchez-Vives und Slater 2004:4). Dies erfordert die genaue Nachbildung realer Eigenschaften, wie Perspektive und Licht-Schatten-Verhältnisse, sowie eine natürliche und uneingeschränkte Bewegungsfreiheit des Nutzers. Für die Funktionalität des Occlusion-Modells müssen alle relevanten Objekte digitalisiert werden, um eine präzise Registrierung zu gewährleisten. Die Grafikqualität der virtuellen Objekte muss mit der realen Umgebung übereinstimmen, was Aspekte wie Kontrast, Helligkeit, Dynamikumfang und Farbraum umfasst (Naimark 1991:2; Azuma 1997:16). Eine stabile Echtzeit-Performance ist entscheidend, um ein flüssiges und glaubwürdiges Erlebnis zu erzeugen (Naimark 1991:8; Sanchez-Vives und Slater 2004:7). Die Anwendung soll kosteneffizient gestaltet werden, um die Leistungsfähigkeit des Smartphones nicht zu überlasten. Die Portabilität des Systems ist ebenfalls wichtig, um eine uneingeschränkte Bewegungsfreiheit des Nutzers zu gewährleisten (Slater 2004:10; Toast et al. 2007:9).

Die Arbeit beschreibt verschiedene Methoden der 3D-Modellierung und Datenerfassung für die Erstellung des virtuellen Modells des historischen Ortes. Es werden Technologien wie Kinect Fusion und Skanect zur 3D-Erfassung von Räumen diskutiert, wobei die jeweiligen Vor- und Nachteile hinsichtlich Genauigkeit, Skalierbarkeit und Auflösungsqualität hervorgehoben werden. Kinect Fusion bietet eine hohe Auflösung für kleinere Scan-Volumen, während Skanect größere Bereiche erfassen kann, jedoch mit geringerer Genauigkeit. Für die detailgetreue Rekonstruktion großer Bereiche werden daher hochpräzise Laserscanner, wie sie von Organisationen wie CyArk (bei Ausgrabungen in Pompeji und Tikal eingesetzt) verwendet werden, als geeigneter eingestuft (CyArk 2013; Kacyra 2011; Soulard und Bogle 2011; Frei, Kung und Bukowski 2005:2). Die Berücksichtigung der Lichtverhältnisse ist ein wichtiger Aspekt bei der Digitalisierung von Artefakten, insbesondere von Gemälden, die empfindlich auf UV- und Infrarotlicht reagieren (Stirton 2013). Für die Realisierung des virtuellen Modells innerhalb der Unity-Engine werden detaillierte Informationen zur Modellierung von Objekten und zur Verwendung von Lightmapping mittels Light Probes zur Optimierung der Rendering-Performance bereitgestellt. Die Arbeit beleuchtet die Herausforderungen bei der präzisen Rekonstruktion und die Bedeutung der korrekten Darstellung von Occlusion für die Glaubwürdigkeit der virtuellen Umgebung. Die Notwendigkeit, die Verarbeitungskosten im Auge zu behalten, um die Echtzeitfähigkeit auf mobilen Geräten zu gewährleisten, wird betont.

Die Arbeit erläutert die Implementierung von interaktivem Storytelling in der Mixed-Reality-Umgebung. Es werden zwei Ansätze unterschieden: Zeitlich lineares Storytelling, bei dem der Benutzer die Ereignisse passiv beobachtet, und dynamisches, benutzerabhängiges Storytelling, bei dem der Benutzer aktiv in die Handlung eingebunden ist, z.B. durch die Übernahme einer Rolle und das Verfolgen von Zielen (Champion 2002:1). Interaktive Elemente werden mithilfe von Collider-Zonen und Event-Handlern in Unity realisiert. Die Bedeutung von Herausforderungen und Hindernissen, um die Ziele für den Nutzer motivierender zu gestalten, wird betont (Iuppa 2006:126). Virtuelle Charaktere können dabei eine wichtige Rolle spielen, indem sie Hinweise und Anweisungen geben. Die Benutzerschnittstelle (GUI) wird mit UnityGUI umgesetzt, um dem Nutzer im Falle von Systemfehlern Hilfestellungen, Neustart- und Fortsetzungsoptionen zur Verfügung zu stellen. Die Auswahl der Art des Storytellings – linear oder interaktiv – beeinflusst die Gestaltung der Anwendung und die Interaktion des Nutzers mit der virtuellen Umgebung.

Die technische Umsetzung der Mixed-Reality-Anwendung basiert auf dem Prinzip des depth-sensitive Compositing. Echtzeit-3D-Inhalte werden in das Live-Video eines Smartphones eingeblendet, wodurch eine nahtlose Integration von virtuellen und realen Elementen erzielt wird. Dies ermöglicht ein immersives Erlebnis für den Nutzer, der sich in einer virtuellen Umgebung bewegt, die auf die reale Umgebung reagiert. Die virtuelle Replikation des Ortes dient dabei als Occlusion-Modell und verdeckt virtuelle Objekte, die von realen Objekten verdeckt werden. Die Kombination aus Echtzeit-Rendering, Depth-Sensitive Compositing und präziser Kameraüberlagerung ist essentiell für die Glaubwürdigkeit der virtuellen Umgebung und den Erfolg des interaktiven Storytellings. Die Qualität der "Place Illusion" hängt entscheidend von der präzisen Überlagerung der realen und virtuellen Kameraansichten ab, sowie von der Qualität der 3D-Modelle und der realistischen Darstellung von Licht- und Schatteneffekten. Die Einhaltung der Echtzeitfähigkeit mit einer konstanten Framerate zwischen 15 und 24 fps bei einer Systemlatenz zwischen 42 und 66 ms pro Frame ist für die Benutzererfahrung kritisch (Sanchez-Vives und Slater 2004:7). Eine zu hohe CPU- oder GPU-Last kann die Leistung beeinträchtigen (Wiebe 2011:58).

Ein präzises und zuverlässiges Trackingsystem ist für die Funktion der Anwendung unerlässlich. Das System muss die Position und Rotation des Smartphones im Raum kontinuierlich und genau erfassen, um die virtuelle Kamera entsprechend anzupassen. Die Anforderungen an das Trackingsystem umfassen: hohe Genauigkeit der Tracking-Daten, vollständige und permanente Abdeckung des Raumes, eine geringe Latenz von maximal 42 ms pro Update, und vorzugsweise eine Implementierung im Smartphone selbst, um die Intrusivität zu minimieren. Die Auswahl des passenden Trackingsystems wird im weiteren Verlauf der Arbeit detailliert untersucht und verschiedene Technologien verglichen. Die Genauigkeit des Trackingsystems beeinflusst die Qualität der "Place Illusion" und ist essentiell für das immersive Erlebnis. Fehlende Genauigkeit kann zu einem "Jitter-Effekt" führen, welcher die Illusion stört. Eine wichtige Anforderung ist die Vermeidung von "Dead Spots", also Bereichen, in denen das Trackingsystem keine Daten liefert.

Um eine homogene und glaubwürdige Mixed-Reality-Umgebung zu schaffen, müssen die virtuellen Objekte optisch mit der realen Umgebung harmonieren. Die Videoströme der realen und virtuellen Kamera müssen hinsichtlich Kontrast, Helligkeit, Dynamikumfang und Farbraum übereinstimmen (Naimark 1991:2). Zusätzlich müssen die virtuellen Objekte räumliche Konsistenz aufweisen, d.h. sie müssen die gleiche Tiefenschärfe wie reale Objekte in der gleichen Entfernung haben (Azuma 1997:16). Die Beleuchtung und die Schatten der virtuellen Objekte müssen sich an den realen Lichtverhältnissen orientieren. Eine sorgfältige Berücksichtigung dieser Faktoren trägt wesentlich zur Qualität der "Place Illusion" bei und erhöht die Akzeptanz und Immersion des Nutzers. Die Homogenität der Darstellung ist entscheidend dafür, dass der Nutzer die Grenzen zwischen der realen und der virtuellen Welt nicht bewusst wahrnimmt. Dies wird durch die sorgfältige Anpassung von Farbwerten, Kontrasten und der korrekten Berücksichtigung der Lichtverhältnisse in der virtuellen Umgebung erreicht.

Die Portabilität des Systems ist ein wichtiger Aspekt, um eine uneingeschränkte Bewegungsfreiheit des Nutzers zu gewährleisten. Das System sollte kabellos sein und den Nutzer über den gesamten Raum zuverlässig tracken. Eine beschränkte Bewegungsfreiheit kann die Immersion negativ beeinflussen, wie in Studien gezeigt wurde (Slater 2004:10; Toast et al. 2007:9). Die Echtzeitfähigkeit des Systems, d.h. die synchrone Aktualisierung der Grafik und des Trackings, ist ein kritischer Faktor für die Leistung. Eine zu hohe Latenz führt zu Unstimmigkeiten und unterbricht die propriozeptive Reaktion des Benutzers (Sanchez-Vives und Slater 2004:2 sq.). Die Anwendung muss so kosteneffizient gestaltet sein, dass die Verarbeitung und der Speicherbedarf im Rahmen der Kapazitäten des Smartphones bleiben. Die Nutzung der Rohdaten des Kamerastroms bietet zwar eine höhere Detailgenauigkeit, erhöht aber auch den Verarbeitungsaufwand, was die Performance negativ beeinflussen kann. Es wird daher empfohlen, die Nutzung von Rohdaten im Prototyp zu testen, um den Mehrwert im Vergleich zum erhöhten Rechenaufwand zu bewerten.

Der Abschnitt behandelt passive Tracking-Techniken, die am Benutzer angebracht sind und dessen Position und Orientierung anhand von Merkmalen der Umgebung bestimmen (Strand 2008:25). Visuelle Tracking-Verfahren nutzen Methoden des Computer Vision (CV), um spezifische Merkmale in Videodaten zu erkennen und deren Bewegung von Frame zu Frame zu verfolgen (Yilmaz, Javed, und Shah 2006:2). Modelbasierte Techniken erkennen bekannte Merkmale der Umgebung, um die Kameraposition zu bestimmen. Pixel-Flow-Methoden analysieren die Bewegung von Pixelmustern, benötigen aber konstante Lichtverhältnisse und das Fehlen weiterer beweglicher Objekte (Lima et al. 2010:5; Yilmaz, Javed, und Shah 2006:6). Kantenbasierte Verfahren, wie die Point-Sampling-Methode, verwenden vorbereitete Kontrollpunkte entlang von Kanten. Texturbasierte Verfahren analysieren einzigartige Merkmale in Texturen, die invariant gegenüber Blickwinkel, Skalierung und Beleuchtung sind (Lima et al. 2010:10). Geeignete Algorithmen sind SIFT und SURF. Die extrahierten Merkmale werden in einer Datenstruktur gespeichert und für das Online-Tracking verwendet. Die beschriebenen Techniken erfordern eine Offline-Phase zur Vorbereitung der Tracking-Daten und eine Online-Phase zur Echtzeit-Verfolgung. Die Verwendung von bereits vorhandenen Strukturen (z.B. architektonische Elemente) als Tracking-Targets wird als vorteilhaft dargestellt, da dies den Offline-Aufwand reduziert.

Ein geeignetes Trackingsystem muss hochgenaue Trackingdaten liefern, den gesamten Raum permanent abdecken und eine geringe Latenz aufweisen, um die Echtzeitfähigkeit der Anwendung zu gewährleisten. Es sollte möglichst ohne aufdringliche externe Einrichtung direkt im Smartphone implementiert sein. GPS-basierte Systeme werden aufgrund ihrer geringen Genauigkeit (15 Meter) verworfen (Garmin n.d.). Differential GPS (DGPS) mit einer Genauigkeit von 2-3 cm (SAPOS n.d.) wird als potenziell geeignet betrachtet. Das "Beep Beep" System (Peng et al. 2007; 2012) mit einer Genauigkeit von 0.8 cm wird als interessante Alternative mit minimal invasiver Hardware beschrieben. Infrarot-Bewegungserfassung (IrMoCap) Systeme werden ebenfalls betrachtet, zeigen aber den Nachteil von außerhalb des Smartphones platzierter Hardware (z.B. zwölf Kameras) und Infrarotlicht, das empfindliche Artefakte schädigen könnte. Visuelle Trackingsysteme bieten eine Smartphone-basierte Lösung, sind aber nicht universell einsetzbar, da sie von der ausreichenden Dichte und Qualität von Erkennungsmerkmalen im Raum abhängen. Die Kombination aus passiven und aktiven Systemen oder die Ergänzung durch zusätzliche Marker werden als mögliche Lösungen für eine umfassende Abdeckung diskutiert.

Der Prototypentest wurde mit visuellem Tracking mittels Vuforia SDK 2.8.7 und einer Sony Alpha 55 Kamera in einer Lagerhalle (12,33 x 11,97 x 4,5 Meter) durchgeführt. Die Ergebnisse zeigen, dass das visuelle Tracking aufgrund der begrenzten Auflösung der Smartphone-Kamera nur bei relativ geringen Distanzen zu den Tracking-Targets zuverlässig funktioniert. Auch bei hoher Dichte an Targets traten "Dead Spots" auf, in denen keine Trackingdaten generiert werden konnten. Die begrenzte Reichweite der Targets und die Notwendigkeit orthogonaler Blickwinkel schränkten die Bewegungsfreiheit des Nutzers erheblich ein. Das beobachtete Jitter deutet auf Ungenauigkeiten in den Tracking-Daten hin, die durch kleine Ungenauigkeiten im virtuellen Modell oder durch die Dynamik der Positionsberechnung erklärbar sind. Die Analyse zeigt, dass ein rein Smartphone-basiertes System nur unter optimalen Bedingungen (ausreichende Dichte und Qualität der Targets) eine zuverlässige Tracking-Lösung darstellt. Infrarot-Bewegungserfassungssysteme (IrMoCap) bieten zwar höhere Zuverlässigkeit, sind aber nicht universell einsetzbar und könnten an einigen Standorten aufgrund der Lichtempfindlichkeit von Artefakten problematisch sein.

Für den Prototypentest wurde eine Lagerhalle (12,33 x 11,97 x 4,5 Meter) als Testumgebung gewählt, die repräsentative Merkmale eines Ortes des kulturellen Erbes aufweist. Die Halle wurde mit verschiedenen Objekten ausgestattet, um realistische Bedingungen zu simulieren. Die permanent installierten Elemente des Raumes, die als Occlusion-Objekte oder Hindernisse für die virtuelle Bevölkerung dienen könnten, wurden manuell erfasst und in Unity rekonstruiert. Dies umfasste Wände, Türen, Säulen, ein Rohrsystem und ein Metallregal. Letztere wurden mit einfachen Blockformen rekonstruiert, da sie hauptsächlich Hindernisse darstellen, aber keine hohe Detailgenauigkeit für das Storytelling benötigen. Die Rekonstruktion schloss die Fensteraussparungen und die Decke aus, da diese keine Hindernisse oder Occlusion-Objekte darstellen. Die Testumgebung wurde mit einer überdurchschnittlichen Dichte an Trackables vorbereitet, um repräsentative Bedingungen zu schaffen. Das visuelle Tracking wurde mit dem Vuforia SDK 2.8.7 und einer Sony Alpha 55 DSLR Kamera (𝑓/2.8 24-70 mm Zoomobjektiv) realisiert.

Trotz der hohen Dichte an Trackables konnte keine permanente Tracking-Leistung erreicht werden. Die Targets konnten nur aus deutlich kürzeren Minimaldistanzen als erwartet erkannt werden, selbst große Targets mit markanten Merkmalen. Die gemessenen Minimaldistanzen lagen zwischen 80 cm für kleine, 1,5 bis 2 Metern für mittelgroße und ca. 3,5 Metern für große Targets bei orthogonaler Sicht. Bei schrägen Blickwinkeln waren die Distanzen noch geringer. Die Targets waren jedoch in größeren Abständen platziert, was zu Tracking-Ausfällen führte, obwohl genügend Targets im Sichtfeld vorhanden waren. Eine Erhöhung der Target-Dichte war nicht praktikabel, da dies unrealistisch für reale Standorte wäre. Bei ruhender Kamera wurden kleinere Registrierungsfehler und Jitter beobachtet, die mit zunehmender Entfernung zunahmen. Jitter deutet auf fehlerhafte Tracking-Daten und ungenaue Reproduktion der virtuellen Kameraposition hin. Die kleineren Registrierungsfehler lassen sich auf Ungenauigkeiten im virtuellen Modell zurückführen, während dynamische Verschiebungen nicht auf starke Diskrepanzen zwischen virtuellem und realem Modell zurückzuführen sind (siehe Video B10).

Der Prototyp erfüllte die Anforderungen nicht, hauptsächlich aufgrund fehlender permanenter Tracking-Leistung und unzureichender Registrierungsqualität. Die permanente Tracking-Leistung war aufgrund der begrenzten Auflösung der iPhone-Kamera eingeschränkt, was zu erheblichen Lücken im Tracking-Volumen führte. Der Nutzer war daher in seiner Bewegung stark eingeschränkt. Die Qualität der Targets ist abhängig von den Gegebenheiten vor Ort; es wurde festgestellt, dass potenzielle Targets eine sehr hohe Qualität aufweisen müssen. Die Wahrscheinlichkeit, dass visuelles Tracking erfolgreich eingesetzt werden kann, ist daher gering. IrMoCap-Systeme würden eine bessere Lösung bieten, sind aber ebenfalls nicht universell einsetzbar. Zusammenfassend lässt sich sagen, dass keine universelle Tracking-Lösung für die Anwendung gefunden werden konnte. Die Arbeit unterstreicht die Abhängigkeit des Erfolgs vom jeweiligen Standort und die Notwendigkeit weiterer Forschung für robuste und universell einsetzbare Tracking-Lösungen.