guest ::
Search and training with joint translation and reordering models for statistical machine translation = Suche und Training mit kombinierten Übersetzungs- und Umordnungsmodellen für die statistische maschinelle Übersetzung
2020
Dissertation, RWTH Aachen University, 2020
Veröffentlicht auf dem Publikationsserver der RWTH Aachen University
Genehmigende Fakultät
Fak01
Hauptberichter/Gutachter
;
Tag der mündlichen Prüfung/Habilitation
2020-09-23
Online
DOI: 10.18154/RWTH-2020-09970
URL: https://publications.rwth-aachen.de/record/803914/files/803914.pdf
Einrichtungen
Inhaltliche Beschreibung (Schlagwörter)
extended translation models (frei) ; joint translation and reordering models (frei) ; jtr (frei) ; machine translation (frei) ; search (frei) ; smt (frei) ; statistical machine translation (frei) ; training (frei) ; word-based (frei) ; word-based decoding (frei) ; word-based search (frei) ; word-based translation (frei)
Thematische Einordnung (Klassifikation)
DDC: 004
Kurzfassung
Als statistische maschinelle Übersetzung bezeichnet man die Aufgabe einen Text in geschriebener natürlicher Sprache automatisch in eine andere natürliche Sprache zu übersetzen. Dies wird mithilfe statistischer Modelle durchgeführt, was die Definition geeigneter Modelle, die Suche nach der wahrscheinlichsten Übersetzung des gegebenen Textes anhand der Modelle sowie das Schätzen der Modellparameter aus bilingualen Satzpaaren impliziert. Phrasenbasierte maschinelle Übersetzung trat vor zwei Jahrzehnten in Erscheinung und entwickelte sich innerhalb der Folgejahre zum Stand der Technik. Nichtsdestotrotz führte der Durchbruch in der neuronalen maschinellen Übersetzung in 2014 zu einer abrupten Umstellung auf neuronale Modelle. Ein grundlegender Nachteil des traditionellen Ansatzes sind die Phrasen selbst. Sie werden aus bilingualen Daten, die auf der Wortebene aligniert sind, mithilfe handgefertigter Heuristiken extrahiert. Die Phrasenübersetzungsmodelle werden auf Grundlage der bei der Extraktion gezählten Häufigkeiten geschätzt, die sich durch die Anwendung der Heuristiken ergeben. Ferner schließen die Übersetzungsmodelle jegliche phrasenexterne Informationen aus, was im Umkehrschluss den Kontext einschränkt, der bei der Generierung des nächsten Zielwortes benutzt wird. Um die beschränkten Modelle zu ergänzen, wird eine Vielfalt an zusätzlichen Modellen und Heuristiken benutzt. Dennoch ist der potentiell größte Nachteil, dass die für die Phrasenextraktion benötigten Wortalignierungen mit IBM- und Hidden Markov-Modellen trainiert sind. Dies führt zu einer Unstimmigkeit zwischen den Modellen, die im Training benutzt werden, und denen, die in der eigentlichen Suche Anwendung finden. Obwohl der neuronale Ansatz den phrasenbasierten an Leistung übertrifft, verbleibt die offene Frage, ob es die Komplexität der neuronalen Modelle, welche Abhängigkeiten zwischen ganzen Quellsätzen und ihren Übersetzungen erfassen können, oder die kohärente Anwendung derselben Modelle im Training und in der Suche ist, das zur überlegenen Leistung der neuronalen maschinellen Übersetzung führt. Unser Ziel ist diese Frage zu beantworten, indem wir eine kohärente und gegenüber dem phrasenbasierten Ansatz verbesserte Modellierungspipeline entwickeln, die auf weniger aber stärkeren Modellen basiert, Abhängigkeiten von Phrasenheuristiken verwirft und dieselben wortbasierten Modelle sowohl im Training als auch in der Suche anwendet. Zunächst untersuchen wir zwei verschiedene Arten wortbasierter Übersetzungsmodelle: erweiterte Übersetzungsmodelle und verbundene Übersetzungs- und Umordnungsmodelle. Beide werden durch erweiterte Kontextinformationen verbessert und schätzen Wahrscheinlichkeiten von Wörtern und Wortumstellungen. Die Modelle sind direkt in die phrasenbasierte Suche integriert und werden im Vergleich zu dem Stand der Technik entsprechenden phrasenbasierten Baselines evaluiert, um den zu Phrasenmodellen zusätzlichen Leistungsertrag zu untersuchen. Im zweiten Teil entwickeln wir einen neuartigen Beam-Search-Decoder, der ein verbundenes Übersetzungs- und Umordnungsmodell einbindet. Dadurch, dass der Decoder die Übersetzung wortweise generiert, ist er unabhängig von heuristischen Phrasen. Insgesamt beinhaltet der Decoder weitaus weniger Features als phrasenbasierte Systeme und seine Leistung wird im Vergleich zu den oben genannten phrasenbasierten Baselinesystemen untersucht. Das finale Ziel dieser Arbeit ist es, ein robustes und kohärentes End-to-End-Framework für die maschinelle Übersetzung zu erhalten. Zu diesem Zweck setzen wir dieselben Modelle und Suchalgorithmen, die in der wortbasierten Übersetzung Verwendung finden, auch im Training ein. Hierfür entwickeln wir einen Algorithmus, um Wortalignierungen und Modellparameter alternierend zu optimieren, was iterativ mit steigender Komplexität der Modelle durchgeführt wird.Statistical machine translation describes the task of automatically translating a written text from a natural language into another. This is done by means of statistical models, which implies defining suitable models, searching the most likely translation of the given text using them and training their parameters on given bilingual sentence pairs. Phrase-based machine translation emerged two decades ago—and it became the state of the art throughout the following years. Nevertheless, the breakthrough of neural machine translation in 2014 triggered an abrupt conversion towards neural models. A fundamental drawback of the traditional approach is the phrases themselves. They are extracted from word-aligned bilingual data via hand-crafted heuristics. The phrase translation models are estimated using the extraction counts resulting from the applied phrase extraction heuristics. Moreover, the translation models exclude any phrase-external information, which in turn limits the context used to generate a target word during search. To complement the restricted models, a variety of additional models and heuristics are used. However, the potentially largest downside is that the word alignments required for the phrase extraction are trained with IBM and hidden Markov models. This results in a discrepancy between the models applied in training and those that are actually used in search. Although the neural approach clearly outperforms the phrasal one, it remains to be answered whether it is the complexity of neural models, which capture dependencies between whole source sentences and their translations, or the coherent application of the same models in both, training and decoding that leads to the superior performance of neural machine translation. We aim at answering this research question by developing a coherent modelling pipeline that improves over the phrasal approach by relying on fewer but stronger models, discarding dependencies on phrasal heuristics and applying the same word-level models in training and search. First, we investigate two different types of word-based translation models: extended translation models and joint translation and reordering models. Both are enhanced with extended context information and estimate lexical and reordering probabilities. They are integrated directly into the phrase-based search and evaluated against state-of-the-art phrasal baselines to investigate their benefit on top of phrasal models. In the second part, we develop a novel beam-search decoder that generates the translation word-wise, thus discarding any dependencies on heuristic phrases, and incorporates a joint translation and reordering model. It includes far less features than its phrasal systems and its performance is analyzed in comparison to the above-mentioned phrasal baseline systems. The final goal is to achieve a sound and coherent end-to-end machine translation framework. For this purpose, we apply the same models and search algorithm that are employed in word-based translation also in training. To this end, we develop an algorithm for optimizing word alignments and model parameters alternatingly, which is performed iteratively with an increasing model complexity.
OpenAccess: 
PDF
(additional files)
Dokumenttyp
Dissertation / PhD Thesis
Format
online
Sprache
English
Externe Identnummern
HBZ: HT020620710
Interne Identnummern
RWTH-2020-09970
Datensatz-ID: 803914
Beteiligte Länder
Germany
|
The record appears in these collections: |