2016
Dissertation, RWTH Aachen University, 2016
Veröffentlicht auf dem Publikationsserver der RWTH Aachen University
Genehmigende Fakultät
Fak01
Hauptberichter/Gutachter
;
Tag der mündlichen Prüfung/Habilitation
2016-08-04
Online
URN: urn:nbn:de:hbz:82-rwth-2016-059732
DOI: 10.18154/RWTH-2016-05973
URL: https://publications.rwth-aachen.de/record/661802/files/661802.pdf
Einrichtungen
Inhaltliche Beschreibung (Schlagwörter)
sign language (frei) ; multimodality (frei) ; viseme recognition (frei) ; sign language recognition (frei) ; statistical machine translation (frei)
Thematische Einordnung (Klassifikation)
DDC: 004
Kurzfassung
Im Bereich der maschinellen Übersetzung stellt die Übersetzung von Gebärdensprachen eine interessante und herausfordernde Aufgabe dar. Die Übersetzung von Gebärdensprachen in gesprochene Sprachen erfolgt hierbei im allgemeinen in zwei Schritten. Aus der Videoaufzeichnung einer gebärdenden Person extrahiert zunächst ein Gebärdenspracherkennungssystem die einzelnen Gebärden. Da sich Gebärdensprachen hinsichtlich Grammatik, Vokabular und Ausdrucksweisen erheblich von gesprochenen Sprachen unterscheiden, müssen die Gebärden in einem dedizierten Schritt in den Text der gesprochenen Sprache übersetzt werden. In Gebärdensprachen wird eine Aussage nicht nur mittels manueller Gebärden, sondern auch über Mimik, Mundbewegungen, Körperhaltung, Kopfbewegungen und die Blickrichtung ausgedrückt. Gebärdensprachen verfügen aufgrund dieser Multimodalität über kein verbreitetes Schriftsystem, und die wissenschaftliche Frage, welche Form der Annotation für die automatische Übersetzung geeignet ist, ist offen. Eine weitere Schwierigkeit bei der Anwendung statistischer Verfahren auf die Gebärdensprachübersetzung ist der Mangel an ausreichenden Trainingsdaten, was oft zu schlechten Übersetzungsergebnissen führt. Außerdem wird die Multimodalität der Gebärdensprache von heutigen maschinellen Übersetzungssystemen, die normalerweise nur Wortsequenzen verarbeiten, nicht unterstützt. In dieser Arbeit wenden wir uns diesen drei Problemen zu: der Auswahl eines geeigneten Annotationsschemas für Gebärdensprachen, der effizienten Ausnutzung knapper annotierter Trainingsdaten sowie der Behandlung von Multimodalität im maschinellen Übersetzungsprozess. Obwohl wir uns in dieser Arbeit hauptsächlich mit dem zweiten Schritt der Übersetzung zuvor erkannter Gebärden in den Text der gesprochenen Sprache beschäftigen, optimieren wir auch den Gesamtprozess aus Erkennung und Übersetzung, indem wir die Schnittstelle zwischen beiden Systemen verbessern. Im Rahmen des EU-Forschungsprojektes SignSpeak hat unser Lehrstuhl das Gesamtsystem aus automatischer Gebärdenerkennung und automatischer Gebärdensprachübersetzung implementiert. In dieser Arbeit evaluieren wir auch das Gesamtsystem mittels automatischer Metriken und einer menschlichen Evaluierung. Das Annotationsschema des RWTH-PHOENIX Weather 2014 Korpus, eines an unserem Lehrstuhl erstellten bilingualen Gebärdensprachkorpus, enthält nicht nur Informationen über manuelle Gebärden, sondern auch über Mundbilder, Positionen im Gebärdenraum, usw. Wir analysieren die Bedeutung dieser Information für die maschinelle Übersetzung und zeigen, wie man die Information am besten in den Übersetzungsprozess integriert. Da heutige Gebärdensprachkorpora sehr klein sind im Vergleich zu Korpora gesprochener Sprachen, führt dieser Mangel an Trainingsdaten oft zu einer schlechten automatischen Alignierung zwischen Gebärden und den entsprechenden Wörtern der gesprochenen Sprache. Wir verbessern die automatische Alignierung durch die Anwendung einer morphosyntaktischen sowie einer semantischen Analyse, um Entsprechungen zwischen Gebärden und gesprochenen Phrasen zu finden. Zur Behandlung der Multimodalität von Gebärdensprachen in der automatischen Übersetzung präsentieren wir zwei Ansätze. Im ersten Ansatz passen wir automatisch die Granularität der Annotation an, indem wir Gebärdenvarianten mit gleichen manuellen Bewegungen, aber verschiedenen Mundbildern, unterscheiden. Im zweiten Ansatz kombinieren wir manuelle Gebärden sowie das Mundbild direkt im Übersetzungssystem.Durch die Behandlung der drei Probleme einer geeigneten Annotation, des Trainingsdatenmangels und der Multimodalität der Gebärdensprache erhalten wir ein Gebärdensprachübersetzungssystem, welches als Eingabe multimodale Gebärden akzeptiert und welches eine wesentlich bessere Übersetzungsqualität liefert als Systeme, die nur die manuelle Information der Gebärden verwenden.In the field of statistical machine translation, the translation of sign languages poses an interesting and challenging problem. Translating from a signed language into a spoken language is usually a two-step process. From the video of a person signing, an automatic sign language recognition system extracts the signs in some form. Since signed languages differ in grammar, vocabulary and expression from spoken languages even within the same country, the recognised signs have to be translated into a spoken language text.In sign languages, meaning is conveyed simultaneously not only via the two hands, but also by facial expressions, body posture, head movement, and eye gaze. Because of this complex and multimodal nature of sign languages, there is no common writing system, and the scientific question of an annotation scheme suitable for machine translation remains open. Another difficulty when applying statistical methods to sign language translation is the lack of a sufficient amount of training data. This data scarcity often leads to poor translation results. Moreover, the multimodal nature of sign language is not handled by current translation systems, which usually process sequences of words. In this thesis, we approach the above three problems: finding a suitable annotation scheme, dealing with small amounts of annotated data, and handling multimodality in the machine translation process. While we focus on the second step of translating the recognised signs into a spoken language text, we also aim at improving the overall process of recognition and translation by optimising the interface between the two systems. In the course of the EU-project SignSpeak, our research group implemented the whole pipeline of sign language recognition and translation, and we evaluated this pipeline with automatic measures and human evaluators.The annotation scheme of the RWTH-PHOENIX Weather 2014 Corpus, a sign language corpus which was created in the course of this thesis, contains not only information on the signs expressed by the hands, but also marks mouthings, locations in the signing space or simultaneous signing of two different signs with both hands. We analyse the importance of this additional information for machine translation and devise an improved way of including it in the process of translation.Since available sign language corpora are rather small when compared to spoken language corpora, the lack of sufficient training data often leads to a poor automatic alignment between the annotated signs and their translations in the spoken language. We improve the automatic alignment by applying a morphosyntactic and a semantic analysis and bridging the differences to find corresponding signs and phrases.To handle the multimodality of sign languages in statistical machine translation, we present two approaches, focusing on the hands and on mouthings, i.e. silent lip movements pronouncing certain words in the sentence, as two modalities. In the first approach, we automatically adapt the granularity of the annotation by distinguishing signs with the same hand movements but different mouthings based on an automatic extraction of lip movements. In the second approach, we use the mouthing directly in the decoding process, using both the information signed by the hands and the mouthing as an input to the decoder. By approaching the three issues of a suitable annotation, of data scarcity and of multimodality, we arrive at a translation system which can handle the multimodal sign language input and which is well beyond the performance of a standard translation system that only translates the manual component of a sign language utterance.
OpenAccess:
PDF
(additional files)
Dokumenttyp
Dissertation / PhD Thesis
Format
online
Sprache
English
Externe Identnummern
HBZ: HT019060123
Interne Identnummern
RWTH-2016-05973
Datensatz-ID: 661802
Beteiligte Länder
Germany
|
The record appears in these collections: |