Word confidence measures for machine translation

Ueffing, Nicola; Ney, Hermann

doi:HT014717850

Word confidence measures for machine translation = Wortkonfidenzmaße für automatische Übersetzung

Ueffing, Nicola

2006

Verantwortlichkeitsangabevorgelegt von Nicola Ueffing

ImpressumAachen : Publikationsserver der RWTH Aachen University 2006

UmfangVIII, 146 S. : graph. Darst.

Aachen, Techn. Hochsch., Diss., 2006

Genehmigende Fakultät
Fak01

Hauptberichter/Gutachter
Ney, Hermann (Thesis advisor)

Tag der mündlichen Prüfung/Habilitation
2006-03-15

Online
URN: urn:nbn:de:hbz:82-opus-14762
URL: https://publications.rwth-aachen.de/record/59808/files/Ueffing_Nicola.pdf

Einrichtungen

Fakultät für Mathematik, Informatik und Naturwissenschaften (100000)

Inhaltliche Beschreibung (Schlagwörter)
Informatik (frei) ; Sprachverarbeitung (frei) ; Automatische Übersetzung (frei) ; Konfidenzmaße (frei) ; statistische Übersetzung (frei) ; Wortposteriorwahrscheinlichkeiten (frei) ; statistical machine translation (frei) ; confidence measures (frei) ; confidence estimation (frei) ; word posterior probabilities (frei)

Thematische Einordnung (Klassifikation)
DDC: 004

Kurzfassung
Infolge verbesserter Konzepte und Algorithmen hat sich die Qualität von automatischen Übersetzungen in den letzten Jahren deutlich verbessert. Dennoch ist die Leistung solcher Übersetzungssysteme nicht perfekt.Für die Weiterverarbeitung von automatisch erzeugten Übersetzungen ist es wünschenswert zu wissen, wann das System fehlerhafte Übersetzungen ausgibt. Dies gilt sowohl für Übersetzungssysteme, die von Menschen genutzt werden, als auch in Anwendungen, in denen die automatische Übersetzung eine Vorstufe für weitere Sprachverarbeitung darstellt.Das Ziel dieser Arbeit ist es, das Wissen über mögliche Fehler bereitzustellen. Dazu werden Konfidenzmaße für die einzelnen Wörter in der Systemausgabe berechnet. Dieses Thema wurde für die automatische Übersetzung bisher kaum behandelt. Alle hier vorgestellten Verfahren basieren auf Wortposteriorwahrscheinlichkeiten. Das Ziel ist, einen theoretischen Rahmen für die Berechnung und die Bewertung von Konfidenzmaßen für die automatische Übersetzung zu definieren.Das Hauptproblem ist die Definition des zugrundeliegenden Konzepts für die Wortposteriorwahrscheinlichkeiten. In der maschinellen Übersetzung existiert keine intuitive Definition eines solchen Konzepts. Mögliche Ansätze umfassenWortposteriorwahrscheinlichkeiten basierend auf der Position im Satzoder dem Auftreten in einer beliebigen Position. Verschiedene Lösungendieses Problems werden diskutiert und experimentell bewertet. Des weiteren werden verschiedene Methoden zur Berechnung von Wortposteriorwahrscheinlichkeiten eingeführt und verglichen, welchesich in zwei verschiedene Kategorien einteilen lassen: SystembasierteAnsätze, die vom Übersetzungssystem zur Verfügung gestellte Informationen ausnutzen, und direkte Modelle, die unabhängig von diesem System sind. Die systembasierten Techniken nutzen Systemausgaben wie Wortgraphen oder N-Best Listen. Die direkten Konfidenzmaße verwenden andere Wissensquellen wie z.B. statistische Wort- und Phrasenlexika.Die hier eingeführten Wortposteriorwahrscheinlichkeiten können direkt als Konfidenzmaße verwendet werden: Für jedes Wort einer automatisch generierten Übersetzung wird die Wortposteriorwahrscheinlichkeit berechnet und mit einem Schwellwert verglichen. Alle Wörter, deren Posteriorwahrscheinlichkeit über diesem Schwellwert liegt, werden als korrekte Übersetzungen akzeptiert, alle anderen verworfen. Um Konfidenzmaße in diesem Szenario zu bewerten, müssen die tatsächlichen Wortfehler bekannt sein. In der maschinellen Übersetzung ist jedoch nicht intuitiv klar, wie Fehler auf Wortebene bestimmt werden können. Deshalb werden mehrere mögliche Lösungen dieses Problems verglichen, welche auf verschiedenen etablierten Bewertungsmaßen für die automatische Übersetzung basieren.Ferner wird das Risiko für verschiedene Fehlermaße formuliert und damit eine theoretische Grundlage für die Wortposteriorwahrscheinlichkeiten geschaffen.Die vorgeschlagenen Konfidenzmaße nutzen Informationen aus unterschiedlichen Wissensquellen. Diese umfassen die vom Übersetzungssystem berechneten Satzwahrscheinlichkeiten und statistische Wort- und Phrasenlexika. Um die Informationen aus diesen verschiedenen Quellen zu verbinden, wird die Kombination mehrerer Konfidenzmaße untersucht. Die vorgestellten Methoden werden auf verschiedenen Übersetzungsaufgaben und unterschiedlichen Sprachenpaaren experimentell untersucht. Um ein möglichst umfassendes Bild von der Qualität der Konfidenzmaße zu erhalten, werden sie auf die Ausgabe von vier unterschiedlichen Übersetzungssystemen angewendet: drei aktuelle statistische Systeme und ein etabliertes Regelbasiertes. Die Konfidenzfehlerrate wird in allen untersuchten Szenarien signifikant gesenkt.In der vorliegenden Arbeit werden ferner Anwendungen von Konfidenzmaßen untersucht, die die Qualität maschineller Übersetzungen verbessern, nämlich Rescoring mit Konfidenzmaßen sowie ihre Anwendung in interaktiven Übersetzungssystemen.

Due to continuous research which led to improved concepts and algorithms, the quality of automatically generated translation has significantly improved in recent years. However, the performance of machine translation systems is still not perfect. For human users dealing with these systems, it is desirable to obtain a reliable indication of possible errors in the system output. The same holds for applications based on machine translation technologies. They could explore the knowledge about possible mistakes.The aim of this work is to provide knowledge about when a translation generated by the system is incorrect by calculating measures of confidence for each word in this translation. This topic has hardly been investigated in machine translation before. Different ways of determining confidence measures are proposed and experimentally evaluated in this thesis. The basic concept behind all these approaches are word posterior probabilities.The main problem which has to be solved for the computation of word posterior probabilities is to define the underlying concept. There exists no intuitive definition of this concept. Possible approaches include the word posterior probability of a word based on its position in the sentence and the occurrence in any position. Several solutions to this problem are presented in this thesis. Furthermore, different approaches to the calculation of word posterior probabilities are introduced and compared. They can be divided into two categories: system-based methods which explore knowledge provided by the translation system that has generated the translations, and direct methods which are independent of the translation system. The system-based techniques make use of system output, such as word graphs or N-best lists. The direct confidence measures take other knowledge sources, such as word or phrase lexica, into account. The word posterior probabilities can directly be applied as confidence measuresas follows: For a given translation generated by a machine translation system, the posterior probabilities of all words are determined and compared to a threshold. All words whose posterior probability is above this threshold are tagged as correct and all others are tagged as incorrect. To evaluate the proposed confidence measures, the information on which words are correct is needed. In machine translation, it is not intuitively clear how to determine thecorrectness of single words. As a solution to this problem, several different ways of deriving word error measures from existing machine translation evaluation metrics are investigated. From the formulation of the posterior risk for different error measures, a theoretical foundation of the word posterior probabilities is derived.The different confidence measures explore information from various knowledge sources, such as sentence probabilities provided by the machine translationsystem and statistical word and phrase lexica. To explore the knowledge fromall these sources, a combination of several confidence measures is investigated. The suggested methods are evaluated on different translation tasks and language pairs. In order to assess the general discriminative power of the confidence measures, they are tested on output from four different machine translation systems. Three of those are state-of-the-art phrase-based systems, and the fourth is an established rule-based system. A significant improvement in terms of confidence error rate is achieved in all settings.In this work, applications of confidence measures that improve translation quality of state-of-the-art systems are investigated. These include rescoringwith confidence measures and their use in an interactive machine translation system.

Fulltext:
PDF
(additional files)