h1

h2

h3

h4

h5
h6
http://join2-wiki.gsi.de/foswiki/pub/Main/Artwork/join2_logo100x88.png

Reference picture padding methods for hybrid video coding



Verantwortlichkeitsangabevorgelegt von Nicolas Neumann, geb. Horst, M. Sc.

ImpressumAachen : RWTH Aachen University 2025

Umfang1 Online-Ressource : Illustrationen


Dissertation, Rheinisch-Westfälische Technische Hochschule Aachen, 2025

Veröffentlicht auf dem Publikationsserver der RWTH Aachen University 2026


Genehmigende Fakultät
Fak06

Hauptberichter/Gutachter
;

Tag der mündlichen Prüfung/Habilitation
2025-09-26

Online
DOI: 10.18154/RWTH-2026-07140
URL: https://publications.rwth-aachen.de/record/1039354/files/1039354.pdf

Einrichtungen

  1. Lehrstuhl für Bildgebung und Bildverarbeitung (611710)

Inhaltliche Beschreibung (Schlagwörter)
boundary extension (frei) ; inter prediction (frei) ; reference picture padding (frei) ; subpictures (frei) ; video coding (frei)

Thematische Einordnung (Klassifikation)
DDC: 621.3

Kurzfassung
Inter Prediktion ist eine etablierte Prediktionsmethode in der Video Codierung. Sie nutzt Informationen von bereits decodierten Bildern, um das aktuelle Bild zu prädizieren. Das wird typischerweise durch block-basierte Bewegungskompensation von einem Bild zum nächsten erreicht. In diesem Szenario wird das Quellbild auch Referenzbild genannt. Boundary Handling erlaubt es, dass die Bewegung über die Bildränder der Referenzbilder ragt, indem es die Samplewerte im Außenbereich definiert. Ein etabliertes Boundary Handling Verfahren ist die Nearest-Neighbor-Substitution, welche durch Padding der äußeren Samplewerte des Bildes erreicht wird. Daher wird das Boundary Handling des Bildes auch als Referenzbildpadding bezeichnet. Ein großes Problem beim etablierten Boundary Handling Verfahren ist, dass es oft zu suboptimalen Prediktionen führt, die wiederum zu einer reduzierten Kompressionsleistung und Artefakten führen. Insbesondere, wenn Subpictures genutzt werden, welche Boundary Handling an deren Grenzen nötig machen, sind die Probleme verstärkt und Artefakte treten nicht nur an den Bildrändern auf, sondern auch an Subpicture Grenzen innerhalb des Bildes. Das Ziel dieser Arbeit ist die Exploration neuer Lösungen für das Boundary Handling, um die genannten Probleme zu minimieren. Diese neuen Lösungen könnten jedoch zu deutlich erhöhter Komplexität auf sowohl Encoder- als auch Decoderseite führen. Insbesondere auf der Decoderseite kann dies problematisch sein, da Echtzeitdecodierung eine zentrale Anforderung darstellt. Ziel dieser Arbeit war eine Lösung zu entwickeln, die die Probleme mit minimaler zusätzlicher Komplexität löst und die für eine Aufnahme in das Explorationsmodell für den nächsten Joint Video Experts Team (JVET) Standard geeignet ist. Um das gesetzte Ziel zu erreichen wurden mehrere Ansätze getestet und miteinander verglichen, um jene zu identifizieren, die die höchste Kompressionseffizienz erreichen. Verschiedene Ansätze wurden während der Arbeit entwickelt. Ein Block-basierter direktionaler Referenzbild-Paddingalgorithmus mit signalisierter Richtung wurde entwickelt. Ein neuer globaler direktionaler Referenzbild-Paddingalgorithmus wurde präsentiert. Des Weiteren wurde ein Template Matching-basierter Algorithmus als der vielversprechendste Ansatz identifiziert. Hierbei wurden signifikante Bemühungen unternommen, um die Komplexität auf ein Minimum zu reduzieren. Diese umfassen eine adaptive Kandidatenauswahl, verbessertes Chromahandling, das Wiederverwenden von Suchergebnissen, Komplexitätssteuerung und eine Maßnahme für das vorzeitige Stoppen der Suche zur Komplexitätsreduktion. Die Maßnahmen können kombiniert werden und bilden gemeinsam eine Referenzbild-Paddingmethode, die den aktuellen Stand der Technik herausfordert. Die Methode wurde dem JVET präsentiert und in das Enhanced Compression Model (ECM) aufgenommen. Die Lösung ist besonders nützlich für Low-Delay Anwendungen und für Boundary Handling von Subpictures, deren Bedeutung stetig zunimmt.

A common prediction mode in video coding standards is inter prediction. It uses information from an already decoded picture to predict the current one. This is typically achieved by block-based motion compensation from one picture to the next. In this scenario, the source picture is called a reference picture. Boundary handling allows the motion to reach over the border of the reference picture by defining the samples of the outside area. An established form of boundary handling is a nearest neighbor substitution, which can be realized by padding the picture with its outermost sample values. Therefore, the picture boundary handling is also referred to as reference picture padding. A big issue with established boundary handling is that it oftentimes leads to suboptimal predictions, which results in lowered compression efficiency and artifacts at the boundary. Especially when subpictures are introduced, which need boundary handling at their borders, these issues become more severe and artifacts occur not only at the picture borders but also at subpicture borders within the picture. The goal of this thesis is to explore novel solutions for boundary handling to diminish the mentioned issues. However, such solutions may introduce significant additional computational complexity at both the encoder and decoder side. Especially, at the decoder this can be problematic since real-time decoding is a requirement. The goal of the thesis has been to develop a solution that solves these issues with minimum added computational complexity, which can be proposed for adoption into the exploration model of the next Joint Video Experts Team (JVET) standard. To achieve this goal, multiple approaches have been tested and compared with each other to identify those, which result in the highest compression efficiency. Several novel approaches have been developed in the scope of this thesis. A block-based angular extension picture boundary padding algorithm with a signaled angle has been introduced. A novel global angular extension reference picture padding algorithm has been presented. Further, a template matching-based global reference picture padding algorithm has been developed. Since the template matching-based algorithm was identified as the most promising, significant efforts have been made to reduce the added computational complexity to a minimum. Those include an adaptive candidate selection, improved chroma handling, reusing of search results, balancing measures for computational complexity and an early stopping measure to reduce computational complexity. The measures can be combined and form a reference picture padding method that challenges the current state-of-the-art. This approach has been presented to JVET and was accepted into the Enhanced Compression Model (ECM). The solution is especially useful for low-delay applications and for boundary handling of subpictures, which is becoming more and more relevant.

OpenAccess:
Download fulltext PDF
(additional files)

Dokumenttyp
Dissertation / PhD Thesis

Format
online

Sprache
English

Externe Identnummern
HBZ: HT031565661

Interne Identnummern
RWTH-2026-07140
Datensatz-ID: 1039354

Beteiligte Länder
Germany

 GO


OpenAccess

QR Code for this record

The record appears in these collections:
Document types > Theses > Ph.D. Theses
Faculty of Electrical Engineering and Information Technology (Fac.6)
Publication server / Open Access
Public records
Publications database
611710

 Record created 2026-07-27, last modified 2026-09-11


OpenAccess:
Download fulltext PDF
(additional files)
Rate this document:

Rate this document:
1
2
3
 
(Not yet reviewed)