RichMedia mit MPEG-4 & XMT

Der Abschnitt beginnt mit einer allgemeinen Einführung in MPEG-4, der sich als internationaler Standard für bewegte Bilder etabliert hat, besonders im PC-Bereich und zunehmend im Unterhaltungssektor mit Geräten wie DVD-Playern. Die Entwicklung von MPEG-4 begann 1993 als Projekt der Moving Picture Experts Group (MPEG). Später wurde die Bezeichnung 'Coding of Audio-Visual Objects' eingeführt, um auch die Möglichkeit zur Integration synthetischer Objekte zu berücksichtigen, ein Novum gegenüber MPEG-1 und MPEG-2. Ein wichtiger Aspekt ist die unabhängige Verwaltung und Darstellung verschiedener Objekte, ein Konzept, das auf dem Synthetic/Natural Hybrid Coding (SNHC) aufbaut, welches bis 1995 entwickelt wurde. Verbesserte Benutzerfreundlichkeit mit webähnlicher Interaktivität sowie die Integration zusätzlicher Informationen (RichMedia) – sowohl für Autoren als auch Endnutzer – wurden als Ziele formuliert. Die Speicherung von MPEG-4 Daten erfolgt nicht zwingend in MP4- oder XMT-Dateien, sondern kann serverseitig in verschiedenen Formaten erfolgen, solange die Elementary Streams (ESs), also die einzelnen Objekte einer Szene, zum Standard kompatibel sind. Es wird betont, dass auf detaillierte technische Aspekte verzichtet wird und auf die jeweiligen Spezifikationen verwiesen wird.

Ein wichtiges Element von MPEG-4 ist der Object Descriptor (OD). Dieser beschreibt die Beziehungen zwischen den individuellen Elementary Streams (ESs) und den Medienobjekten in einer Szene. Zusätzliche Informationen im OD umfassen den Speicherort der ESs, Decoder-Anforderungen, Daten zum Kopierschutz (DRM) und Intellectual Property Management and Protection (IPMP). Zeitinformationen und Eigenschaften der Inhalte werden getrennt von den Mediendaten gespeichert, was die hohe Flexibilität und Erweiterbarkeit des Dateiformats für verschiedene Einsatzbereiche (Live-Aufnahme, Erstellung, Editierung, Archivierung, Streaming) und Medien (Video, Audio, Grafik, Text) ermöglicht. MPEG-4 Visual unterstützt die hybride Kodierung und Kompression von natürlichen und künstlichen (2D und 3D) Inhalten. Das DMIF Application Interface (DAI), unterstützt vom DMIF Signaling Protocol, sorgt für flexible Anpassung an verschiedene Übertragungstechnologien und ermöglicht die Wiedergabe auf unterschiedlichen Medien. Profile definieren klare Abgrenzungen zwischen Funktionalitäten, während Levels die Komplexität (Auflösung, Bitrate) innerhalb eines Profils festlegen. Profile und Levels bilden die Grundlage für Konformitätstests. Die Lizenzierung von MPEG-4-Technologien wird kurz angesprochen, wobei zwischen Endnutzer- und Herstellergebühren unterschieden wird. MPEG LA und Via Licensing Corporation werden als Lizenzgeber genannt.

Der Abschnitt behandelt XMT als Beschreibungssprache für MPEG-4, die eine textbasierte Darstellung von MPEG-4, insbesondere BIFS und OD, ermöglicht. Ein Ziel war die einfache Einbindung für Autoren, die mit Standards wie XML, HTML, VRML, SMIL oder X3D vertraut sind. Die Interoperabilität mit diesen Standards wird hervorgehoben; Inhalte lassen sich ohne große Neuimplementierungen in verschiedenen Playern abspielen. Die Verwendung von XML trägt zur schnellen Akzeptanz bei. XSLT wird als Werkzeug für die Generierung von XMT-Inhalten genannt. Der Abschnitt enthält ein Beispiel mit verschiedenen Objekten (Rechteck, Kreis, Polygon) und deren zeitliche Abfolge und Animation. Das MPEG-4 FlexTime Modul innerhalb von XMT-Ω, unterstützt durch flexBehavior und flexBehaviorDefault, erlaubt die Anpassung des zeitlichen Ablaufs von Objekten bei Verzögerungen (z.B. beim Streaming), indem z.B. die Anzeigedauer verlängert oder die Wiedergabegeschwindigkeit angepasst wird. Der Abschnitt erwähnt die Befehle <Delete>, <Replace> und <Insert> zur Manipulation von Objekten innerhalb einer Szene.

Der Abschnitt erläutert die Bedeutung von Profilen und Levels innerhalb des MPEG-4 Standards. Profile definieren unterschiedliche Funktionalitäten und Technologien, wodurch klare Abgrenzungen zwischen verschiedenen Implementierungen geschaffen werden. Im Gegensatz dazu legen Levels die Komplexität innerhalb eines Profils fest, beispielsweise die Auflösung oder Bitrate. Die Kombination aus Profil und Level bildet die Grundlage für Konformitätstests und Interoperabilität. Endgeräte, die ein bestimmtes Profil auf einem bestimmten Level unterstützen, sollten daher kompatibel zueinander sein. MPEG-4 zeichnet sich durch seine Flexibilität aus und kann durch zukünftige Erweiterungen ergänzt werden. Die Unterscheidung verschiedener Versionen von MPEG-4 wird als weniger relevant dargestellt als die Unterscheidung der Profile selbst, da Versionen im Wesentlichen nur eine Zusammenfassung von Profilen darstellen. Der Abschnitt betont die Bedeutung der Profile für die klare Strukturierung des Standards und die Kompatibilität von Geräten und Anwendungen.

Ein weiterer wichtiger Aspekt, der in diesem Abschnitt behandelt wird, ist die Lizenzierung von MPEG-4 Technologien. Es wird deutlich zwischen den Lizenzgebühren für Endnutzer und Hersteller unterschieden. Während Endnutzer im Allgemeinen keine Gebühren für die Nutzung von MPEG-4 Anwendungen und Inhalten entrichten müssen, fallen für Hersteller und Entwickler von MPEG-4 Anwendungen oder Komponenten (Encoder, Decoder) Lizenzgebühren an. Die Höhe dieser Gebühren ist abhängig von verschiedenen Faktoren, wie der Anzahl der Audiokanäle, dem professionellen Einsatz (z.B. im Rundfunk) im Gegensatz zum Konsumentenbereich. Oftmals besteht die Gebühr aus einer einmaligen Zahlung und einer jährlichen Pauschale, wobei die Lizenzgebühr in den Preis der Produkte gestaffelt sein kann. Als Beispiele für Lizenzgeber werden MPEG LA (für MPEG-4 Systems, MPEG-4 Visual und DRM/IPMP) und Via Licensing Corporation (für MPEG-4 Audio) genannt. Aufgrund der Komplexität der Lizenzbedingungen wird auf eine detaillierte Darstellung verzichtet und auf die Webseiten der genannten Organisationen verwiesen.

Im Kontext von MPEG-4 wird kurz der bisher wichtigste Videokomprimierungsstandard, MPEG-2, erwähnt und MPEG-4 AVC als dessen bedeutende Weiterentwicklung im Hinblick auf Qualität und Effizienz hervorgehoben. Es wird erwartet, dass MPEG-4 AVC MPEG-2 und MPEG-4 ASP in vielen Anwendungen ablösen wird. Die Anwendung von BIFS und XMT wird als noch nicht ausgereift und unzureichend unterstützt dargestellt. Der relativ neue Standard HE AAC findet bereits Anwendung im digitalen Rundfunk und könnte MP3 als Audioformat bei MPEG-4-komprimierten Videofilmen ablösen, da er 5.1-Mehrkanalton mit einer angemessenen Dateigröße ermöglicht. Als Beispiel wird die von Nero Anfang 2004 vorgestellte Software zum Transkodieren von DVD nach MPEG-4 genannt. Die Technologien BIFS und XMT finden sich bisher nur in wenigen kommerziellen Produkten, könnten aber in zukünftigen Technologien wie DVD-Nachfolgern oder Set-Top-Boxen für interaktive Inhalte Anwendung finden, um RichMedia-Anwendungen auch außerhalb des PC-Bereichs zu ermöglichen.

Dieser Abschnitt beschreibt XMT (eXtensible Media Template) als textbasierte Beschreibungssprache für MPEG-4. XMT ermöglicht es, MPEG-4 Inhalte, insbesondere BIFS (Binary Format for Scenes) und OD (Object Descriptor), in Textform statt als binäre Daten darzustellen. Dieses Vorgehen zielt auf eine benutzerfreundlichere Erstellung interaktiver Multimedia-Anwendungen ab, insbesondere für Autoren, die bereits mit XML, HTML, VRML, SMIL oder X3D vertraut sind. Die Ähnlichkeit zu SMIL wird hervorgehoben, allerdings wird auch darauf hingewiesen, dass XMT nicht in allen Details mit SMIL übereinstimmt. Die Notwendigkeit von MPEG-4-spezifischen Erweiterungen in XMT wird begründet, da zum Zeitpunkt der XMT-Entwicklung bereits wichtige Teile des MPEG-4 Standards verabschiedet waren. Die Integration von XML-basierten Skripten, zum Beispiel mittels XSLT (eXtensible Stylesheet Language Transformations), zur Generierung von XMT-Inhalten wird erwähnt. Die Arbeit hebt den Vorteil der textbasierten Beschreibung und die damit verbundene einfache Bearbeitung und Transformation von Inhalten hervor.

Ein wesentlicher Teil dieses Abschnitts ist die detaillierte Beschreibung der Erstellung eines RichMedia-Prototyps basierend auf XMT-Ω und MPEG-4. Als Vorlage dient eine RichMedia-Anleitung des Fraunhofer-Instituts (IAO) für die MAN AG zur Endabnahme von LKWs. Die XML-Struktur der XMT-Datei wird erläutert, inklusive der Basiselemente <XMT-O>, <head> und <body>, sowie der Verwendung von Attributen wie encoding zur Definition der Zeichenkodierung und Namespace für die Schema-Validierung. Die Elemente <par> und <seq> für parallele bzw. sequentielle Wiedergabe von Elementen werden erklärt. Der Prototyp beinhaltet nacheinander abgespielte Folien, ein ständig sichtbares Video, ein Menü und ein Logo. Die Verwendung von <id>-Attributen zur eindeutigen Identifizierung von Objekten und <dur> für die Anzeigedauer wird beschrieben. Die Positionierung von grafischen Objekten mithilfe des <transformation>-Elements und die Spezifikation von Text mittels des textLines-Attributs wird illustriert. Transitions werden über das <head>-Element definiert, wobei nur einige Blendeneffekte standardmäßig unterstützt werden. Die Integration von Menüs zum Springen zu bestimmten Stellen der Präsentation wird als besonders herausfordernd dargestellt.

Der Abschnitt beschreibt die Schwierigkeiten bei der Umsetzung eines interaktiven Menüs im RichMedia-Prototyp. Laut Jeff Boston vom IBM T.J. Watson Research Center ist die Aufteilung der Präsentation in mehrere MP4-Dateien die einzige praktikable Lösung, um auf Menüpunkte zu reagieren. Dies führt jedoch zu unschönen Pausen beim Wechsel zwischen den Dateien. Der Vorteil, alle Medien in einer einzigen Datei zu halten, geht dabei verloren. Der MPEG-4 XMT Batch Converter wird als Werkzeug zur Kompilierung von XMT-Ω nach XMT-A oder direkt zu einem binären MPEG-4 Stream vorgestellt, wobei die Referenzierten Medien zu einer einzigen MP4-Datei zusammengefasst werden. Der Unterschied zwischen XMT-Ω und SMIL wird hervorgehoben. XMT wurde speziell für MPEG-4 entwickelt und beinhaltet zusätzliche Erweiterungen, die nicht in SMIL enthalten sind. Die fehlende Autorensoftware mit vollständiger Unterstützung von sowohl SMIL als auch MPEG-4 wird als Hindernis für den einfachen Import und Export zwischen den Formaten genannt. Die direkte Transformation von SMIL nach XMT-Ω wird als sehr aufwendig beschrieben, da beide Standards sehr komplex sind. Alternativen zur Umsetzung des Menü-Beispiels mit XMT-Ω, wie das parallele Abspielen von Rechtecken mit dynamischer Sichtbarkeit, werden angedeutet. Die Beschränkungen bei der Einbindung von RealMedia-spezifischen Erweiterungen wie Verweisen auf externe Dokumente (PDF) oder Internetlinks werden ebenfalls erwähnt.

Dieser Abschnitt beschreibt die Entwicklung eines RichMedia-Prototypen basierend auf XMT-Ω und MPEG-4. Als Grundlage dient eine existierende RichMedia-Anleitung des Fraunhofer-Instituts (IAO) für die MAN AG zur Endabnahme von LKWs, die ursprünglich auf RealPlayer, RealMedia-Formaten, SMIL und Bildern basierte. Der neue Prototyp verwendet XMT-Ω zur Szenenbeschreibung und integriert verschiedene Medienelemente. Die XML-Struktur wird erklärt, inklusive der Basiselemente <XMT-O>, <head> und <body>, und der Verwendung von Namespaces zur Validierung. Die Elemente <par> (parallele Wiedergabe) und <seq> (sequentielle Wiedergabe) werden im Kontext der Präsentation von Folien, einem Video, einem Menü und einem Logo erläutert. Die Verwendung von Attributen wie <id> (für eindeutige Objektnamen) und <dur> (für die Anzeigedauer) wird beschrieben. Die Positionierung von Elementen mit <transformation> und die Darstellung von Text mit dem textLines-Attribut werden ebenfalls behandelt. Standardmäßige und optionale Transitionseffekte werden erwähnt, wobei optionale Effekte bei fehlender Unterstützung des Endgeräts ignoriert werden. Ein mitgelieferter Player und eine lokale abspielbare Variante des Prototyps werden erwähnt (M4Play.bat).

Ein zentraler Punkt dieses Abschnitts ist die Beschreibung der Schwierigkeiten bei der Implementierung eines interaktiven Menüs, das zu verschiedenen Teilen der Präsentation springen soll. Die Herausforderung liegt darin, dass die aktuelle Präsentation an der Stelle fortgesetzt werden soll, an der der Benutzer das Menü verlässt. Laut Jeff Boston (IBM T.J. Watson Research Center) ist die Aufteilung der Präsentation in mehrere MP4-Dateien die einzige derzeit praktikable Lösung. Diese Vorgehensweise führt aber zu sichtbaren Unterbrechungen beim Wechsel der Dateien und eliminiert den Vorteil der Speicherung aller Medien in einer einzigen Datei. Alternative Ansätze zur Umsetzung in XMT-Ω werden nur kurz angedeutet (z.B. das parallele Abspielen von standardmäßig unsichtbaren Rechtecken). Die Kompatibilitätsunterschiede zwischen XMT-Ω und SMIL werden kurz erwähnt, sowie die fehlende Autorensoftware mit vollständiger Unterstützung beider Standards.

Der Abschnitt beleuchtet die Herausforderungen bei der Erstellung von MPEG-4 Inhalten, insbesondere im Bereich RichMedia. Es wird festgestellt, dass es nur wenige Werkzeuge mit grafischen Oberflächen gibt. Existierende Anwendungen konzentrieren sich meist auf spezielle Bereiche wie Audio- oder Videokomprimierung, während umfassende Autorensoftwareumgebungen im professionellen Umfeld noch wenig verbreitet sind. Die Integration von RealMedia-spezifischen Erweiterungen wie Verweisen auf externe Dokumente (z.B. PDF-Dateien) oder Internetlinks wird als schwierig dargestellt. PDF-Dateien können zwar als Bildausschnitte integriert werden, jedoch nicht über Plugins wie im RealPlayer. Internetlinks sind in XMT nicht direkt umsetzbar. Der MPEG-4 XMT Batch Converter wird erneut erwähnt, um XMT-Ω- oder XMT-A-Dokumente nach MPEG-4-Streams oder MP4-Dateien zu konvertieren. Die Notwendigkeit, bereits komprimierte Audiodaten (z.B. MP3 oder AAC) zu verwenden, wird hervorgehoben. Der Abschnitt verdeutlicht die beschränkte Verfügbarkeit von professionellen Werkzeugen und die damit verbundenen Schwierigkeiten bei der Umsetzung komplexer RichMedia-Anwendungen.

Der Abschnitt beschreibt die Anwendung von MPEG-4 im Kontext von Streaming und Web-Integration. Es werden Beispiele für die Einbettung von MPEG-4-Inhalten in Webseiten mittels HTTP und RTP-Streaming genannt. Die Beispiele sind nicht lokal abspielbar, sondern erfordern einen HTTP- bzw. Streaming-Server. Die Verwendung etablierter und offener Protokolle wie RTP (Real-Time Transport Protocol) und RTSP (Real Time Streaming Protocol) wird hervorgehoben. RTP gewährleistet die Echtzeit-Zustellung von Multimediadaten über Unicast oder Multicast Netzwerkdienste, während RTSP die Steuerung von Realtime-Inhalten ermöglicht. Ein EBU-Hörtest aus dem Jahr 2002 (48 kBit/s, Stereo) wird zitiert, der die hohe Qualität von MPEG-4 HE AAC im Vergleich zu anderen Formaten unterstreicht. Die breite Anwendung von HE AAC in XM Satellite Radio, DRM und verschiedenen Softwareprodukten (z.B. Nero) wird erwähnt. Die Vorteile zusätzlicher Hint-Tracks im MP4-Format für eine vereinfachte Streaming-Server-Implementierung und größere Interoperabilität werden kurz angerissen. Die unzureichende Unterstützung für die Szenenbeschreibung mit BIFS und XMT sowie das MP4-Dateiformat wird als Problem in der Praxis genannt.

Der Abschnitt beschreibt die praktische Anwendung von XMT-Ω und MPEG-4 durch die Entwicklung eines RichMedia-Prototyps. Dieser Prototyp basiert auf einer bestehenden Anleitung des Fraunhofer-Instituts (IAO) für die MAN AG zur LKW-Endabnahme, welche ursprünglich RealPlayer, RealMedia, SMIL und Bilder verwendete. Der neue Prototyp nutzt XMT-Ω für die Szenenbeschreibung und integriert verschiedene Medien (Video, Folien, Menü, Logo). Es werden die grundlegenden XML-Elemente und Attribute von XMT-Ω erläutert, wie <XMT-O>, <head>, <body>, encoding, und Namespaces für die Schema-Validierung. Die Verwendung von <par> und <seq> zur Steuerung der parallelen und sequentiellen Wiedergabe von Elementen wird im Detail erklärt. Die Zuweisung eindeutiger IDs mittels des <id>-Attributs zur Referenzierung von Objekten und die Definition der Anzeigedauer mit <dur> werden beschrieben. Die Positionierung grafischer Objekte durch <transformation> und die Darstellung von mehrzeiligem Text mit textLines werden ebenfalls gezeigt. Die Implementierung von Übergängen (Transitions) mittels des <transition>-Elements, mit der Einschränkung, dass nur standardmäßige Blendeneffekte auf allen Endgeräten unterstützt werden, wird ebenfalls behandelt. Eine lokale, abspielbare Version des Prototyps im Verzeichnis 'Lokal' und der dafür notwendige Player (M4Play.bat) werden erwähnt.

Ein Fokus liegt auf den Herausforderungen bei der Implementierung interaktiver Elemente, insbesondere eines Menüs, welches den Sprung zu verschiedenen Teilen der Präsentation erlaubt und dabei die Wiedergabe von Video und Folien an der unterbrochenen Stelle fortsetzt. Die Lösung, die Präsentation in mehrere separate MP4-Dateien aufzuteilen, wird als die einzige derzeit praktikable Lösung, basierend auf Aussagen von Jeff Boston (IBM T.J. Watson Research Center), präsentiert. Die Nachteile dieses Ansatzes, nämlich unschöne Unterbrechungen und der Verlust des Vorteils einer einzigen Datei für die komplette Präsentation, werden deutlich hervorgehoben. Die beschränkte Unterstützung für RealMedia-spezifische Erweiterungen, wie Verweise auf externe PDF-Dateien oder Internet-Links, wird ebenfalls thematisiert. PDF-Dateien lassen sich nur als Bildausschnitte einbinden, nicht aber über ein PDF-Plugin wie im RealPlayer. Internet-Links sind in XMT nicht direkt realisierbar. Die Verwendung des MPEG-4 XMT Batch Converters zur Konvertierung von XMT-Ω nach XMT-A oder direkt in binäre MPEG-4 Streams bzw. MP4-Dateien wird erneut erwähnt.

Der Abschnitt beschreibt die aktuelle Situation im Hinblick auf die verfügbaren Werkzeuge für die Erstellung von MPEG-4 Inhalten, insbesondere für RichMedia-Anwendungen. Es mangelt an komfortablen Werkzeugen mit grafischen Oberflächen. Vorhandene Anwendungen konzentrieren sich meist auf einzelne Bereiche wie Audio- oder Videokomprimierung. Umfassende Autorensoftwareumgebungen, die die neuen RichMedia-Möglichkeiten von MPEG-4 voll ausnutzen, sind im professionellen und kommerziellen Umfeld noch kaum vorhanden. Die Notwendigkeit von Kompatibilitätstests aufgrund der noch nicht ausgereiften Softwarelandschaft wird implizit angesprochen, da Inkompatibilitäten, mangelnde Benutzerfreundlichkeit und Programmfehler in bestehenden Produkten genannt werden. Die beschränkte Unterstützung der Szenenbeschreibung in Form von BIFS und XMT wird ebenfalls als Herausforderung für die breite Anwendung von MPEG-4-basierten RichMedia-Anwendungen genannt. Der Einsatz von MPEG-4 in Webanwendungen mit HTTP und RTP-Streaming wird als Beispiel für zukünftige Anwendungen genannt.