Bibliographic Metadata

Title
Codec-agnostic dynamic and distributed adaptation of scalable multimedia content / Michael Ransburg
AuthorRansburg, Michael
CensorHellwagner, Hermann ; Van de Walle, Rik
Published2008
DescriptionXVII, 168 Bl. : graph. Darst.
Institutional NoteKlagenfurt, Alpen-Adria-Univ., Diss., 2008
Annotation
Zsfassung in dt. Sprache
LanguageEnglish
Bibl. ReferenceKB2008 26 ; OeBB
Document typeDissertation (PhD)
Keywords (DE)MPEG / Adaptierung / skalierbare Videokodierungsverfahren / SVC / XML / DIA / gBSD / GSH
Keywords (EN)MPEG / adaptation / scalable videocoding / SVC / XML / DIA / gBSD / GSH
Keywords (GND)Multimedia / MPEG-Standard / Codierung / Skalierbarkeit / Anpassung
URNurn:nbn:at:at-ubk:1-17160 Persistent Identifier (URN)
Restriction-Information
 The work is publicly available
Files
Codec-agnostic dynamic and distributed adaptation of scalable multimedia content [6.56 mb]
Links
Reference
Classification
Abstract (German)

Heutzutage wird das Internet von unterschiedlichsten Endgeräten durch verschiedenste Arten der Netzwerkanbindung genutzt. Unabhängig von dieser großen Anzahl verschiedener Benutzungsumgebungen möchten Benutzer die Inhalte in bestmöglicher Qualität konsumieren. Designer neuer Medien-Kodierverfahren reagieren auf diese große Anzahl verschiedener Benutzungsumgebungen, indem sie eine leichte Anpassung der codierten Inhalte auf verschiedenste Benutzungsumgebungen vorsehen. Diese so genannten skalierbaren Kodierverfahren, wie zum Beispiel der neue MPEG-4 Scalable Video Codec, erlauben es, den kodierten Inhalt leicht an einen gegebenen Benutzungskontext anzupassen, indem bestimmte Teile des Medien-Bitstroms einfach verworfen werden. All diese Variablen (unterschiedliche Endgeräte, Netzwerkanbindungen, Benutzerwünsche, Medien-Kodierverfahren, Skalierbarkeitsoptionen) führen zu einer Mannigfaltigkeit von möglichen Anpassungen der Medieninhalte an den Benutzungskontext.

Um dieser Komplexität entgegenzutreten, spezifiziert der MPEG-21 Digital Item Adaptation (DIA) Standard XML-Beschreibungen für die Medieninhalte, die Adaptierungsmöglichkeiten und die Benutzungsumgebung. Die relevanten Beschreibungen sind: 1) Die "generic Bitstream Syntax Description" (gBSD), die eine generische Sprache spezifiziert, um die Skalierbarkeitsmöglichkeiten eines Medieninhalts zu beschreiben. 2) Die "Adaptation Quality of Service Description" (AQoS), welche beschreibt, wie ein Medieninhalt adaptiert werden muss, um einer bestimmten Benutzungsumgebung zu entsprechen, z.B., wie viele Qualitäts-Skalierbarkeitslayer entfernt werden müssen, um die Bitrate auf die derzeit verfügbare Bandbreite zu reduzieren. 3) Die "Usage Environment Descriptions" (UEDs), die die Benutzungsumgebung beschreiben, z.B. die verfügbare Bandbreite im Netzwerk. Da all diese Beschreibungen, also alle codec-spezifischen Informationen, gemeinsam mit dem Medieninhalt ausgeliefert werden können, wird dadurch codec-agnostische Adaptierung unterstützt. Es können also Adaptierungsknoten implementiert werden, die unabhängig vom Codec alle skalierbaren Medieninhalte, die durch diese DIA-Beschreibungen beschrieben sind, adaptieren können.

Diese Arbeit erweitert den statischen, server-zentrierten, gBSD-basierten Adaptierungsansatz um dynamische und verteilte Adaptierung. Um dies zu erreichen, werden neue Mechanismen für Fragmentierung, Speicherung und Transport von inhaltsbezogenen XML Metadaten eingeführt. Einen spezieller Beitrag stellt die Einführung des Konzeptes von Samples für Metadaten dar, welche durch Streaming Instructions ermöglicht werden. Die Streaming Instructions steuern die Fragmentierung von XML-basierten Metadaten und weisen den Samples Zeitstempel zu. Dies ermöglicht die dynamische Abarbeitung und zeitliche Synchronisierung von Metadaten und den beschriebenen Medieninhalten.

Weiters wird das ISO Base Media File Format erweitert, um die Speicherung solcher Metadatenströme zu ermöglichen. Schlußendlich wird die Anwendbarkeit des Real-Time Transport Protocols (RTP) für den Transport solcher Metadatenströme untersucht. Ein codec-agnostischer Adaptierungsknoten wird basierend auf diesen neuartigen Mechanismen implementiert und hinsichtlich der Adaptierungsperformance für verschiedene Arten von skalierbaren Medien evaluiert. Präzise Messungen mit diesen Testdaten zeigen, welche Teile des gBSD-basierten Adaptierungsmechanismus am meisten von Optimierungen profitieren können.

Zusätzlich wird ein Mechanismus, der auf einem neuartigen binären Header basiert, spezifiziert, der ebenso wie der gBSD-basierte Ansatz die codec-agnostische Adaptierung von Medieninhalten ermöglicht. Dieser Generic Scalability Header (GSH) wird jedem Medienpaket vorangestellt und basiert auf den Konzepten der gBSD-basierten Adaptierung. Er beinhalten Informationen über die Bitstream Syntax und die möglichen Adaptierungen. Er kombiniert daher die Informationen, die in MPEG-21 DIA gBSD und AQoS enthalten sind, und ermöglicht eine wesentliche Steigerung der Laufzeiteffizienz. Auch dieser Mechanismum wird für verschiedene Arten von skalierbaren Medien evaluiert und die beiden Ansätze (GSH-basierte Adaptierung und gBSD-basierte Adaptierung) werden sowohl miteinander als auch mit einem codec-spezifischen Ansatz verglichen.

Eine abschließende Diskussion analysiert die Resultate der quantitativen und qualitativen Evaluierung der beiden Mechanismen. Insbesondere zeigen die Ergebnisse, dass für MPEG-4 Scalable Video Codec und MPEG-4 Visual Elementary Streams der Durchsatz des GSH-basierte Ansatzes nur 1.25 mal geringer ist als der Durchsatz einer codec-spezifischen Implementierung.

Weiters beträgt der Metadaten-Overhead des GSH-basierten Ansatzes nur 1 Prozent. Der gBSD-basierte Mechanismus ist rechenintensiver und bringt einen 10 mal geringeren Durchsatz und bis zu 10 Prozent Metadaten-Overhead im Vergleich zur codec-spezifischen Implementierung.

Wir schlussfolgern, das, abhängig vom Anwendungsfall, beide Mechanismen (gBSD-basierte und GSH-basierte Adaptierung) gute Alternativen zu existierenden, codec-spezifischen Implementierungen sein können.

Insbesondere in Anwendungsfällen mit Medieninhalten, die mit mehreren verschiedenen skalierbaren Codecs codiert werden, kann die Flexibilität der codec-agnostischen Mechanismen ihre verringerte Performance ausgleichen.

Abstract (English)

Today's Internet is accessible to diverse end devices through a wide variety of network types. Independent from this huge amount of usage contexts, content consumers desire to retrieve content with the best possible supported quality. The designers of new media codecs react to this diversity of usage contexts by including adaptation support into the codec design. Scalable media codecs, such as the new MPEG-4 Scalable Video Codec, enable to easily retrieve different qualities of the media content by simply disregarding certain media segments. All these variables (different end devices, network types, user preferences, media codec types, scalability options) lead to a manifold of needed and possible adaptation operations. In order to counter this complexity, the MPEG-21 Digital Item Adaptation (DIA) standard specifies a set of descriptions (and related processes) in order to describe the media content, the adaptation possibilities and the usage context in the XML domain. The relevant descriptions are: 1) The generic Bitstream Syntax Description (gBSD), which uses a generic language to describe, for instance, the parts of a media content which may be removed for scalability purposes. 2) The Adaptation Quality of Service Description (AQoS), which describes how (segments of) a media content need(s) to be adapted in order to correspond to the various usage contexts, e.g., how many quality layers need to be dropped to correspond to the currently available network bandwidth. 3) The Usage Environment Descriptions (UEDs) which describe the usage context, e.g., the available network bandwidth. Since all of these descriptions, i.e., all codec-specific information, are provided together with the media content, this helps to enable codec-agnostic adaptation nodes, which support any type of scalable media which is properly described by those DIA descriptions.

This thesis extends the static, server-based, gBSD-driven adaptation mechanism towards dynamic and distributed environments. To achieve this, novel mechanisms for fragmentation, storage and transport of content-related XML metadata are introduced. One particular contribution is the introduction of the concept of extit Finally, the applicability of the Real-Time Transport Protocol (RTP) is analyzed for the transport of such metadata streams. A codec-agnostic adaptation node based on these novel mechanisms is implemented and evaluated with regards to its adaptation performance for different types of scalable media. Extensive measurements with these scalable media contents show which parts of the gBSD-based adaptation process (could) benefit most from optimization. Additionally, a mechanism based on a novel binary header to enable codec-agnostic adaptation of media content is specified. This Generic Scalability Header (GSH) prefixes each media packet payload and is based on the concepts of the gBSD-based adaptation mechanism. It provides information on both the bitstream syntax and the adaptation options and therefore combines (some of) the information provided by the MPEG-21 DIA gBSD and AQoS descriptions. However it enables codec-agnostic adaptation at a considerably lower performance cost. As above, the adaptation performance of this mechanism is evaluated for several types of scalable media. Finally, both mechanisms are implemented in the same adaptation architecture and compared to each other and additionally to a codec-specific adaptation approach using several types of scalable media. A concluding discussion analyzes the results of the quantitative and qualitative evaluation of both mechanisms. Most notably the measurements show that for MPEG-4 Scalable Video Codec and MPEG-4 Visual Elementary Streams the GSH-based mechanism's throughput is only about 1.25 times lower than for the codec-specific mechanism and the metadata overhead is less than 1 percent. The gBSD-based mechanism comes at a higher cost for these codecs (about 10 times lower throughput and a maximum of 10 percent metadata overhead with compression). We conclude that, depending on the application scenario, both mechanisms can be viable alternatives to existing codec-specific adaptation approaches. In particular in scenarios where contents encoded with diverse (and potentially changing) scalable media codecs need to be adapted, the flexibility of codec-agnostic approaches can outweigh their reduced performance.

Stats
The PDF-Document has been downloaded 14 times.