On the design of iterative wireless receivers : the divergence minimization approach to approximate Bayesian inference

Senst, Martin; Vary, Peter; Ascheid, Gerd

doi:HT019324784

On the design of iterative wireless receivers : the divergence minimization approach to approximate Bayesian inference = Zum Entwurf von iterativen drahtlosen Empfängern : approximative Bayes’sche Inferenz auf der Grundlage eines Divergenzminimierungsansatzes

Senst, Martin

2016 & 2017

Verantwortlichkeitsangabevorgelegt von Diplom-Ingenieur Martin Senst

ImpressumAachen 2016

Umfang1 Online-Ressource (xii, 275 Seiten) : Diagramme

Dissertation, Rheinisch-Westfälische Technische Hochschule Aachen, 2016

Veröffentlicht auf dem Publikationsserver der RWTH Aachen University 2017

Genehmigende Fakultät
Fak06

Hauptberichter/Gutachter
Ascheid, Gerd (Thesis advisor)^RWTH* ; Vary, Peter (Thesis advisor)

Tag der mündlichen Prüfung/Habilitation
2016-12-16

Online
DOI: 10.18154/RWTH-2017-02399
URL: https://publications.rwth-aachen.de/record/685621/files/685621.pdf
URL: https://publications.rwth-aachen.de/record/685621/files/685621.pdf?subformat=pdfa

Einrichtungen

Lehrstuhl für Integrierte Systeme der Signalverarbeitung (611810)

Inhaltliche Beschreibung (Schlagwörter)
wireless communication (frei) ; iterative receivers (frei) ; synchronization (frei) ; MIMO detection (frei) ; BICM-ID (frei) ; Bayesian inference (frei) ; divergence minimization (frei) ; belief propagation (frei) ; expectation propagation (frei) ; expectation maximization (frei)

Thematische Einordnung (Klassifikation)
DDC: 621.3

Kurzfassung
Die Entdeckung von Turbo-Codes in den 1990er Jahren hat den Entwurf von Kommunikationssystemen revolutioniert. Im Gegensatz zu herkömmlichen Kanalcodes zeichnen sie sich durch eine komplexe, pseudozufällige Struktur aus, die Datenraten nah an der Kanalkapazität ermöglicht. Die entscheidende Innovation von Turbo-Codes ist der neuartige Aufbau ihres Decoders: Er besteht aus zwei Teildecodern, die mehrfach abwechselnd aufgerufen werden und im Laufe dieses Prozesses Informationen über die gesendeten Daten austauschen. Es wurde empirisch beobachtet, dass dieses iterative Verfahren trotz fehlender theoretischer Garantien mit hoher Wahrscheinlichkeit gegen die korrekte Lösung konvergiert. Nach dem bemerkenswerten Erfolg von Turbo-Codes wurde das Konzept der iterativen Informationsverarbeitung auch auf andere Aspekte von drahtlosen Empfängern angewendet, wobei Techniken wie codegestützte Synchronisation sowie iterative Detektion und Decodierung entstanden sind.Zu Beginn waren die vorgeschlagenen Algorithmen noch eher heuristisch, aber im Laufe der Zeit wurde viel Forschungsarbeit in die Entwicklung von theoretischen Grundlagen investiert. Ein wichtiger Schritt war die Herleitung des Turbo-Decoders als Instanz von Belief Propagation (BP), einer Methode zur Lösung von Bayes'schen Inferenzproblemen. Es stellte sich jedoch heraus, dass BP für andere Aufgaben jenseits des Kanaldecoders weniger gut geeignet ist. Beispielsweise führt die Verwendung von BP für die Herleitung von codegestützten Synchronisationsverfahren, die die Schätzung von kontinuierlichen Variablen erfordern, zu Integralen, welche typischerweise keine geschlossene Lösung besitzen. Für diese Klasse von Problemen hat sich der Expectation-Maximization Algorithmus (EM) als bessere Alternative herausgestellt, die jedoch ihre eigenen Nachteile besitzt. Des Weiteren führen hochdimensionale Detektionsprobleme, wie sie beispielsweise im Zusammenhang mit Mehrantennensystemen (MIMO) auftreten, zu Summen mit exponentiell vielen Termen, deren Berechnung praktisch unmöglich ist.In dieser Arbeit untersuchen wir den Entwurf von iterativen drahtlosen Empfängern auf der Grundlage eines generischen Verfahrens zur näherungsweisen Lösung Bayes'scher Inferenzprobleme, das vor Kurzem im Bereich Machine Learning entwickelt wurde. Seine zentrale Idee ist die Umwandlung des ursprünglichen Summations- oder Integrationsproblems in ein äquivalentes Optimierungsproblem, welches anschließend durch einen iterativen Algorithmus näherungsweise gelöst wird. Da es sich um die Minimierung eines Divergenzmaßes zwischen dem probabilistischen Systemmodell und einer einfacheren Hilfsverteilung handelt, bezeichnen wir diesen Ansatz als Divergence Minimization (DM). Aufgrund seiner Allgemeinheit bietet DM dem Designer viel Flexibilität, und es beinhaltet spezifische Algorithmen wie BP und EM als Sonderfälle.Diese Arbeit beginnt mit einer systematischen Herleitung eines kombinierten EM- und BP-basierten Empfängers, der in der Literatur zuvor eher ad hoc beschrieben wurde. Anschließend nutzen wir die Flexibilität von DM zur Entwicklung von mehreren neuartigen Schätz- und Detektionsalgorithmen, die aufgrund ihrer guten Leistung und ihrer geringen Rechenkomplexität interessante Optionen für praktische Implementierungen sind. Darüber hinaus trägt diese Arbeit auch zum theoretischen Verständnis von iterativen Methoden bei. In früheren Arbeiten wurden die Unterkomponenten oft separat entworfen und dann heuristisch miteinander verbunden. Im Gegensatz dazu besteht der Vorteil des vorgeschlagenen Ansatzes zum Empfängerdesign darin, dass er nicht nur die einzelnen Funktionseinheiten, sondern auch ihre Verbindungen spezifiziert. Insbesondere herrscht in der Literatur Unklarheit darüber, ob die Komponenten extrinsische Information wie im Turbo-Decoder austauschen sollten, oder ob der Austausch der vollständigen a posteriori Information vorzuziehen ist. Die Herleitungen, die in dieser Arbeit vorgestellt werden, beleuchten diese wichtige Frage.

The discovery of turbo codes in the 1990s has revolutionized the design of communication systems. Unlike traditional channel codes, they are characterized by a complex, pseudo-random structure which enables datarates close to the channel capacity. The key innovation of turbo codes has been their novel approach to decoding: it consists of two constituent decoders which run alternately several times and exchange information about the transmitted data during this process. It has been observed empirically that this iterative scheme converges with a high probability to the correct solution, despite the lack of any theoretical guarantees. Following the remarkable success of turbo codes, the concept of iterative information processing has also been applied to other tasks of wireless receivers, yielding techniques like code-aided synchronization and iterative detection and decoding.Initially, the proposed algorithms were rather heuristic, but a significant research effort has been invested into the development of a theoretical foundation. An important step has been the derivation of the turbo decoder as an instance of belief propagation (BP), a framework for solving Bayesian inference problems. Unfortunately, it turns out that BP is less suitable for other tasks beyond the channel decoder. For example, using BP for the design of code-aided synchronization schemes, which require the estimation of continuous variables, gives rise to integrals that typically do not admit a closed-form solution. For this class of problems, the expectation-maximization (EM) algorithm has emerged as a better alternative, which however has its own drawbacks. Additionally, high-dimensional detection problems, which arise for example in the context of multi-antenna (MIMO) systems, involve sums with exponentially many terms whose evaluation is practically infeasible.In this thesis, we investigate the design of iterative wireless receivers based on a generic framework for approximate Bayesian inference that has recently been developed in the machine learning community. Its key idea is the conversion of the original summation or integration problem into an equivalent optimization problem, which is then solved approximately by an iterative algorithm. As it consists of the minimization of a divergence measure between the probabilistic system model and a simpler auxiliary distribution, we refer to this approach as divergence minimization (DM). Due to its generality, DM provides the designer with a great deal of flexibility, and it contains specific algorithms like BP and EM as special cases.This thesis begins with a systematic derivation of a combined EM- and BP-based receiver, which has been proposed earlier in the literature in a rather ad-hoc way. We then utilize the flexibility of DM for the development of several novel parameter estimation and MIMO detection algorithms, which due to their good performance and low computational complexity are interesting options for practical implementations. Further, this thesis also contributes to the theoretical understanding of iterative methods. In earlier work, the subcomponents were often designed separately and then connected heuristically. In contrast, the virtue of the proposed holistic approach to receiver design is that it does not only specify the individual functional units but also their interactions. In particular, there has been some confusion in the literature on whether the components should exchange extrinsic information as in the turbo decoder, or whether exchanging the full posterior information is preferable. The derivations that are presented in this thesis shed light on this important question.

OpenAccess:
PDF PDF (PDFA)
(zusätzliche Dateien)