Alignment-based neural networks for machine translation

Alkhouli, Tamer Ahmed Najeb; Ney, Hermann; Sima'an, Khalil

doi:10.18154/RWTH-2020-07832

Alignment-based neural networks for machine translation = Alignierung-basierte neuronale Netze für maschinelle Übersetzung

Alkhouli, Tamer Ahmed Najeb^RWTH*

2020

Verantwortlichkeitsangabevorgelegt von M.Sc. RWTH Tamer Ahmed Najeb Alkhouli

ImpressumAachen 2020

Umfang1 Online-Ressource (xi, 140 Seiten) : Illustrationen, Diagramme

Dissertation, RWTH Aachen University, 2020

Veröffentlicht auf dem Publikationsserver der RWTH Aachen University

Genehmigende Fakultät
Fak01

Hauptberichter/Gutachter
Ney, Hermann (Thesis advisor)^RWTH* ; Sima'an, Khalil (Thesis advisor)

Tag der mündlichen Prüfung/Habilitation
2020-07-06

Online
DOI: 10.18154/RWTH-2020-07832
URL: https://publications.rwth-aachen.de/record/794704/files/794704.pdf

Einrichtungen

Inhaltliche Beschreibung (Schlagwörter)
maschinelle Übersetzung (frei) ; neuronale Netze (frei) ; machine translation (frei) ; neural machine translation (frei) ; neural networks (frei) ; phrase-based machine translation (frei) ; word alignment (frei)

Thematische Einordnung (Klassifikation)
DDC: 004

Kurzfassung
Nachdem phrasenbasierte Systeme das Gebiet der maschinellen Übersetzung über ein Jahrzehnt dominieret haben, hat neuronale maschinelle Übersetzung ab 2014 zum neuen Paradigma der maschinellen Übersetzung entwickelt. Neuronale maschinelle Übersetzung zeigt nicht nur eine überlegene Leistung im Vergleich zu herkömmlichen phrasenbasierten Systemen, sondern stellt auch ein elegantes End-to-End-Modell dar, das komplexe Quell-Zielsatzabhängigkeiten erfasst ohne Zwischenschritte zu erfordern. Das macht ihre Anwendung sowohl aus praktischen als auch aus wissenschaftlichen Gründen ansprechend. Konzepte wie Wortalignierung sind bei neuronaler maschineller Übersetzung nicht mehr erforderlich. Obwohl das aufgrund der einfacheren Modellierungspipeline als Vorteil betrachtet werden kann, kann der Verzicht auf Wortalignierung zu einer weniger erklärbaren Übersetzung führen. Phrasenbasierte Systeme generieren Wortfolgen, die bereits in den Trainingsdaten vorhanden sind. Auf der anderen Seite, ist neuronale maschinelle Übersetzung flexibler, und kann Übersetzung von Wortfolgen ohne genaue Übereinstimmung mit den Trainingsdaten generieren. Dieser Aspekt ermächtigt neuronale Modelle fließendere Sätze zu generieren, und macht aber die Übersetzung unabhängig von vordefinierten Einschränkungen. Das Fehlen einer expliziten Wortalignierung erschwert die Rückverfolgung der generierten Übersetzung zu den entsprechnden Quellwörter. In einer Welt, in der immer mehr Produkte mit künstlicher Intelligenz zum Einsatz kommen und Algorithmen für mehr Entscheidungen verantwortlich sind, erfordert die Frage der Rechenschaftspflicht nachvollziehbare Modelle. Insbesondere bei maschineller Übersetzung möchte der Benutzer möglicherweise mehr Kontrolle, um bestimmte Übersetzungen durchzusetzen oder auszuschließen.Diese Dissertation soll einen Schritt in Richtung Nachvollziehbarkeit in neuronaler maschineller Übersetzung anzugehen. Wir führen die Alignierung als latente Variable in neuronale Netzwerkmodelle ein und beschreiben ein Alignierungsbasierten Rahmen für neuronale maschinelle Übersetzung. Die Modelle sind durch herkömmliche IBM und Hidden Markov Modelle inspiriert, die zur Generierung von Wortalignierung für phrasenbasierte Systeme verwendet werden. Unsere Modelle leiten sich jedoch von moderner neuronalen Netzwerkarchitekturen ab, die komplexe Abhängigkeiten erfassen können. In diesem Sinne kann diese Arbeit als Versuch angesehen werden, die Lücke zwischen konventioneller statistischer maschineller Übersetzung und neuronaler maschineller Übersetzung zu schließen. Wir zeigen, dass durch die explizite Verwendung von Wortalignierung die Leistung der neuronalen maschinellen Übersetzung erhalten bleibt, während die Modelle durch die Verbesserung der Alignierungsqualität nachvollziehbarer werden. Wir demonstrieren, dass solche verbesserte Alignierung in der Praxis von Nutzen sind, wenn die Benutzerin die generierte Übersetzung beeinflussen möchte.Wir führen auch rekurrente neuronale Netze in phrasenbasierte Systeme auf zwei Arten ein. Zum einen verwenden wir neuronale Netze, um bereits generierte Übersetzungen neu zu bewerten, zum zweitens benden wir die rekurrente Modelle direkt in die phrasenbasierte Suche ein.

After more than a decade of phrase-based systems dominating the scene of machine translation, neural machine translation has emerged as the new machine translation paradigm. Not only does state-of-the-art neural machine translation demonstrate superior performance compared to conventional phrase-based systems, but it also presents an elegant end-to-end model that captures complex dependencies between source and target words. Neural machine translation offers a simpler modeling pipeline, making its adoption appealing both for practical and scientific reasons. Concepts like word alignment, which is a core component of phrase-based systems, are no longer required in neural machine translation. While this simplicity is viewed as an advantage, disregarding word alignment can come at the cost of having less controllable translation. Phrase-based systems generate translation composed of word sequences that also occur in the training data. On the other hand, neural machine translation is more flexible to generate translation without exact correspondence in the training data. This aspect enables such models to generate more fluent output, but it also makes translation free of pre-defined constraints. The lack of an explicit word alignment makes it potentially harder to relate generated target words to the source words. With the wider deployment of neural machine translation in commercial products, the demand is increasing for giving users more control over generated translation, such as enforcing or excluding translation of certain terms. This dissertation aims to take a step towards addressing controllability in neural machine translation. We introduce alignment as a latent variable to neural network models, and describe an alignment-based framework for neural machine translation. The models are inspired by conventional IBM and hidden Markov models that are used to generate word alignment for phrase-based systems. However, our models derive from recent neural network architectures that are able to capture more complex dependencies. In this sense, this work can be viewed as an attempt to bridge the gap between conventional statistical machine translation and neural machine translation. We demonstrate that introducing alignment explicitly maintains neural machine translation performance, while making the models more explainable by improving the alignment quality. We show that such improved alignment can be beneficial for real tasks, where the user desires to influence the translation output. We also introduce recurrent neural networks to phrase-based systems in two different ways. We propose a method to integrate complex recurrent models, which capture long-range context, into the phrase-based framework, which considers short context only. We also use neural networks to rescore phrase-based translation candidates, and evaluate that in comparison to the direct integration approach.

OpenAccess:
PDF
(additional files)