Investigations on machine translation system combination

Freitag, Markus; Ney, Hermann; Yvon, Francois

doi:10.18154/RWTH-2017-00377

Investigations on machine translation system combination = Systemkombination für Maschinelle Übersetzung

Freitag, Markus

2016 & 2017

Verantwortlichkeitsangabevorgelegt von Diplom-Informatiker Markus Freitag

ImpressumAachen 2016

Umfang1 Online-Ressource (x, 116 Seiten) : Illustrationen, Diagramme

Dissertation, RWTH Aachen University, 2016

Veröffentlicht auf dem Publikationsserver der RWTH Aachen University 2017

Genehmigende Fakultät
Fak01

Hauptberichter/Gutachter
Ney, Hermann (Thesis advisor)^RWTH* ; Yvon, Francois (Thesis advisor)

Tag der mündlichen Prüfung/Habilitation
2016-04-06

Online
URN: urn:nbn:de:hbz:82-rwth-2017-003774
DOI: 10.18154/RWTH-2017-00377
URL: http://publications.rwth-aachen.de/record/681715/files/681715.pdf
URL: http://publications.rwth-aachen.de/record/681715/files/681715.pdf?subformat=pdfa

Einrichtungen

Inhaltliche Beschreibung (Schlagwörter)
machine translation (frei) ; NLP (frei) ; SMT (frei) ; system combination (frei) ; ML (frei) ; machine learning (frei) ; natural language processing (frei)

Thematische Einordnung (Klassifikation)
DDC: 004

Kurzfassung
Maschinelle Übersetzung ist ein Teilgebiet der Verarbeitung natürlicher Sprachen, dessen Aufgabe es ist, ohne menschliche Interaktion ein Dokument aus einer gesprochenen Sprache in eine andere gesprochene Sprache zu übersetzen. In dem Gebiet der maschinellen Übersetzung wurde bisher viel geforscht und es entwickelten sich viele verschiedene Übersetzungsansätze. Aktuelle maschinelle Übersetzungssysteme basieren auf verschiedenen Herangehensweisen, wie z.B. Phrasen, Phrasen mit Lücken, handgeschriebenen Regeln, syntaktischen Regeln oder neuronalen Netzen. Bei mehreren internationalen Evaluationskampagnen wurde bewiesen, dass alle diese Methoden gut funktionieren, jedoch kein Ansatz den anderen deutlich überlegen ist. In dieser Doktorarbeit wird die Kombination verschiedener maschineller Übersetzungssysteme untersucht, um von den Vorteilen aller Methoden zu profitieren. Systemkombination ist eine bewährte Methode, um die verschiedenen Übersetzungsansätze zu kombinieren. Sie beruht auf dem Konzept der Stimmenmehrheit und der Annahme, dass an jeder Position unterschiedliche Übersetzungssysteme Fehler produzieren, die Mehrheit jedoch diese Position fehlerfrei übersetzt. Confusion network decoding hat sich als einer der erfolgreichsten Ansätze zum Kombinieren verschiedener Übersetzungssysteme herausgestellt. Das Hauptziel dieser Doktorarbeit ist die Verbesserung dieser Kombinationsmethode. Als Teil dieser Arbeit stellen wir eine neue Implementierung vor, welche anderen Forschern als open-source Toolkit frei zur Verfügung gestellt wird. Wir erweitern die bereits erfundenen Kombinationsmethoden und zeigen, dass unser Ansatz gleiche oder bessere Übersetzungsergebnisse liefert. Zusätzlich führen wir ein weiteres Modell ein, dass mit einem neuronalen Netz trainiert wird. Die kombinierte Übersetzung wird hauptsächlich aus den besten Systemen gebaut. Schwächere Systeme werden meist ignoriert, obwohl sie an vielen Stellen hilfreich sein könnten. Unser neues Modell berücksichtigt auch schwächere Systeme und verwendet diese, um die Übersetzungsqualität zu steigern. Einer der wichtigsten Schritte in der Systemkombination ist die wortweise Alignierung der einzelnen Übersetzungsalternativen. Wir führen einen neuen Alignierungsalgorithmus ein, der zusätzlich zu den Übersetzungen auch deren Quellsätze mit einbezieht. Zusätzlich zu der Verbesserung der automatisch berechneten Fehlermaße zeigen wir, dass auch Menschen unsere neuen Übersetzungen bevorzugen. Wir untersuchen die Decodierungsrichtungen zweier weit verbreiteter Übersetzungsansätze, die entweder auf Phrasen oder zusätzlich auf Phrasen mit Lücken basieren. Wir untersuchen, wie die verschiedenen Decodierungsrichtungen mit unseren zuvor entwickelten Methoden kombiniert werden können. Als Abschluss dieser Arbeit präsentieren wir die aktuellsten Evaluationsergebnisse, die mit den Algorithmen aus dieser Doktorarbeit erzielt wurden.

Machine translation is a task in the field of natural language processing whose objective is to translate documents from one human language into another human language without any human interaction. There has been extensive research in the field of machine translation and many different machine translation approaches have emerged. Current machine translation systems are based on dif- ferent paradigms, such as e.g. phrases, phrases with gaps, hand-written rules, syntactical rules or neural networks. All approaches have been proven to perform well on several international evaluation campaigns, but no one has emerged as the superior approach. In this thesis, we investigate the combination of different machine translation approaches to benefit from all of them.The combination of outputs from multiple machine translation systems has been successfully applied in state-of-the-art machine translation evaluations for several years. System combination is a reliable method to combine the benefits of different machine translation systems into one single translation output. System combination relies on the concept of majority voting and the assumption that different machine translation engines produce different errors at different positions, but the majority agrees on a correct translation. Confusion network decoding has emerged as one of the the most suc- cessful approaches in combining machine translation outputs. The main goal of this thesis is to develop novel methods to improve the translation quality of confusion network system combination. In this thesis, we introduce a novel system combination implementation which has been made available as open-source toolkit to the research community. We extend previous invented approaches by the addition of several models and show that our methods produce better or similar translation results as the previous invented approaches. Moreover, compared to one single system combination approach, our implementation is significantly better in several translation tasks. On top of this high-level baseline, we extend the confusion network approach with an additional model learned by a neural network. The system combination output is typically a combination of the best available system engines and ignores the output of weaker translation systems, although they could be helpful in some situations. We show that our novel model also takes weaker systems into account and detects the positions where the weaker systems help to improve the quality of the combined translation. One of the most important steps in system combination is the pairwise alignment process between the different input systems. We introduce a novel alignment algorithm which is based on the source sentence and improves the translation quality of our combined translation. In addition to automatic evaluations, we also let humans evaluate our novel approach. Furthermore, we investigate the effect of decoding direction in the commonly used phrase-based and hierarchical phrase-based machine translation approaches. We show how to benefit from system combination and combine different machine translation setups that are based on different decoding directions. In addition, we investigate techniques to combine the different configurations in an earlier stage, e.g. after the alignment training or the phrase extraction step.Finally, we present our recent evaluation results that were obtained with our previously invented methods. We participated in the most recent international evaluation campaigns and demonstrate that our methods outperform the translation setups of all participating top-ranked international research labs in several language pairs.

OpenAccess:
PDF PDF (PDFA)
(additional files)