1. Andreas Eisele Language applications, ICT Unit
Machine Translation at the European Commission and the Relation to Terminology Work
Andreas Eisele Language applications, ICT Unit

2. MT at the European Commission
Structure of the presentation
Usage Scenarios for Translation
Technological Paradigms for MT
Statistical Machine Translation (SMT)
Rule-based Machine Translation (RBMT)
Hybrid MT
Recent Developments and Perspectives
Relation to Terminology Work

3. Usage Scenarios and Requirements for MT
SS 2006
Usage Scenarios and Requirements for MT
Requirements for MT depend on the way it is used
a) MT for assimilation
„inbound“
b) MT for dissemination
„outbound“
c) MT for direct communication L2
Robustness
Coverage L3 MT L1 …
Practically unlimited demand; but free web-based services reduce incentive to improve technology Ln
Zunächst ein Überblick über drei grundlegend verschiedenen Anwendungen von Übersetzungstechnologie.
Wir können MÜ benutzen, um Texte in fremden Sprachen zu erschließen, oder um eigene Texte in vielen Sprachen zu publizieren, oder schließlich, um direkt mit Sprechern anderer Sprachen zu kommunizieren.
Es ist wichtig, dass hierbei jeweils ganz andere Anforderungen an die Technologie gestellt werden.
Beim Lesen fremdsprachlicher Texte sind wir oft froh, überhaupt eine Übersetzung zu bekommen, und wollen daher nicht allergrößte Ansprüche an deren Qualität stellen. Allerdings sollten solche Systeme große lexikalische Abdeckung aufweisen und auch nicht bei kleinen Fehlern in den Dokumenten aus der Bahn geworfen worden.
Diese Anwendung von MÜ ist bereits heute, als kostenloser Service im Web, sehr weit verbreitet. Schätzungsweise erreichen die Installationen von Systran einen Durchsatz von einer halben Milliarde Worte pro Tag.
Die Erstellung publikationsfähiger Texte ist bei heutigem Stand der Technik nicht voll automatisierbar. Allerdings verwenden fast alle professionellen Übersetzer heute Hilfsmittel wie Translation Memories, Terminologieverwaltung und andere Techniken der computerunterstützten Übersetzung. Der Markt lässt ihnen auch kaum eine andere Wahl. Hier ist anzunehmen, dass sich verbesserte MÜ-Technologien signifikant auf die Arbeitsweise der Übersetzer auswirken werden.
Die Übersetzung für direkte Kommunikation schließlich ist schwieriger als gemeinhin angenommen. Menschen nutzen im Dialog sehr stark das Verständnis des Gegenübers, und sagen nicht, was ohnehin klar ist. Diese starke Kontextabhängigkeit schafft große Probleme bei der automatischen Verarbeitung, denn das Verständnis des situativen Kontextes ist äußerst schwer zu simulieren. Daher hat diese Technologie bisher kaum Anwendungen außerhalb von Forschungsprojekten gefunden. Eine Ausnahme ist das US-Militär, das solche Systeme in Krisengebieten einsetzt, aber dort wird dann eben auch ein sehr spezieller Kontext hergestellt.
Ich möchte im Folgenden über die Arbeit in zwei relevanten Projekten berichten, das eine das Forschungsprojekt EuroMatrix der EU, das andere eine industrielles Kooperationsprojekt, das ich am DFKI leite. In beiden Projekten geht es eher um den ersten dieser drei Anwendungsfälle, jedoch mit der Hoffnung, dass die Technik sich auch für andere Szenarien einsetzen lässt. L2
Textual quality L3 MT L1 …
Publishable quality can only be authored by humans; Translation Memories & CAT-Tools are almost mandatory for professional translators Ln
Speech recognition errors, specific style (chat) context dependence L1 MT L2
Topic of many running and completed research projects (VerbMobil, TC Star, TransTac, …) US-Military uses systems for spoken MT, first applications for smartphones
Softwareprojekt Hybrid Machine Translation 3

4. Statistical Machine Translation: Theory
SS 2006
Statistical Machine Translation: Theory
Developed by F. Jelinek at IBM ( ), based on „distorted channel“ Paradigm (successful for pattern- and speech recognition )
Decoding: Given observation F, find most likely cause E*
Three subproblems
P(E): (Target) Language Model
P(F|E): Translation Model
Search for E*: Decoding, MT
Models are trained with (parallel) corpora, correspondences (alignments) between languages are estimated via EM-Algorithm (GIZA++ by F.J.Och) search/decoding possible via Moses (Koehn e.a.)
P(E)
 E 
P(F|E)
 F
translation
source text
E* = argmaxE P(E|F)
Ein völlig anderer Ansatz liegt der statistischen MÜ zu Grunde.
Sie geht vom Modell des gestörten Kanals aus, das mit sehr großem Erfolg bei Muster- und Spracherkennung eingesetzt wurde.
Man stellt sich eine Quelle relevanter Signale vor, hier E genannt, und einen Kanal, der solche Signale in eine andere Form F verfälscht. Das Ziel ist nun, für ein beobachtetes Signal F die plausibelste Ursache E zu rekonstruieren.
Beide Teile des Systems können wir mittels statistischer Modelle beschreiben, also Verteilungen, die die Wahrscheinlichkeit jedes möglichen Signals E festlegen oder die bedingte Wahrscheinlichkeit einer Beobachtung F, wenn E gegeben war.
Beim Dekodieren sucht man nun die Hypothese, die das Produkt dieser beiden Wahrscheinlichkeiten maximiert.
Man könnte sagen, P(E) steht für die Anforderung, dass das Ergebnis wohlgeformt ist, und P(F|E) für die Forderung, dass es mit der Beobachtung F kompatibel ist.
Für beide Modelle werden in der Praxis sehr einfache stochastische Modelle verwendet, die den linguistischen Tatsachen nicht wirklich gerecht werden, die aber leicht formalisiert werden können.
Leider zeigt sich, dass auch die klar definierte Aufgabe, den besten Kandidaten E* zu finden, auf ein NP-vollständiges Suchproblem führt und somit nicht effektiv lösbar ist. Statt dessen kann man mit heuristischen Suchverfahren recht gute Lösungen finden, die aber nicht immer optimal sind.
Das Training des Transfer-Modells P(F|E) erfolgt auf Parallelkorpora, die aber erst aufbereitet werden müssen. Hierzu wird der Expectation Maximisation verwendet, der das Modell und eine dazu passende Interpretation der Daten immer weiter verfeinert. Je nach Größe der Corpora kann dies sehr lange dauern. In einem Projekt benötigten wir mehrere Monate CPU-Zeit für das Alignment von 40 Millionen Satzpaare aus übersetzten Patenten.
Diese Methode funktioniert recht gut, wenn die Sätze recht genaue Übersetzungen sind. Sind hier Fehler, so versucht der Algorithmus das beste daraus zu machen, was dann zu solchen Effekten wie Iwan der Schreckliche wird Abraham Lincoln oder Linguistische Informatik wird Genetic Science führt.
= argmaxE P(E,F)
= argmaxE P(E) * P(F|E)
each has approximate solutions
nGram-Models P(e1…en) = ΠP(ei|ei-2 ei-1)
Transfer of „phrases“ P(F|E) = ΠP(fi|ei)*P(di)
Heuristic (beam) search
Softwareprojekt Hybrid Machine Translation 4

5. Basic Architecture for Statistical MT
Translation Model (Adequacy)
Language Model (Fluency)
Parallel
Corpus
Monolingual
Corpus
Counting,
Smoothing
Alignment,
Phrase
Extraction
Phrase
Table
nGram-
Model
Hier sehen sie im Überblick die wichtigsten Daten und Module, die bei einer Implementierung statistischer MÜ eine Rolle spielen.
Auf der linken Seite wird (in braun dargestellt) bilinguales Wissen verarbeitet, auf der rechten Seite wird (in grün) ein Modell der Zielsprache gebaut. Der Dekoder bringt schließlich beide Wissensquellen zusammen und liefert entweder die beste Möglichkeit oder eine Reihe von Alternativen, die auch gut aussahen.
Später werden wir alle Komponenten der SMÜ blau färben, um sie von den Komponenten regelbasierter Systeme unterscheiden zu können.
Machine translation
Source
Text
Decoder
Target
Text
N-best
Lists 5 5

6. Examples of SMT Models
A selection of 23 out of 3897 ways to translate operations from EN to FR
operations ||| action ||| (0) ||| (0) |||
operations ||| actions ||| (0) ||| (0) |||
operations ||| activité ||| (0) ||| (0) |||
operations ||| activités ||| (0) ||| (0) |||
operations ||| des actions ||| (0,1) ||| (0) (0) |||
operations ||| des activités ||| (0,1) ||| (0) (0) |||
operations ||| des opérations ||| (0,1) ||| (0) (0) |||
operations ||| exploitation ||| (0) ||| (0) |||
operations ||| fonctionnement ||| (0) ||| (0) |||
operations ||| gestion ||| (0) ||| (0) |||
operations ||| intervention ||| (0) ||| (0) |||
operations ||| interventions ||| (0) ||| (0) |||
operations ||| les actions ||| (0,1) ||| (0) (0) |||
operations ||| les activités ||| (0,1) ||| (0) (0) |||
operations ||| les interventions ||| (0,1) ||| (0) (0) |||
operations ||| les opérations ||| (0,1) ||| (0) (0) |||
operations ||| manipulations ||| (0) ||| (0) |||
operations ||| operations ||| (0) ||| (0) |||
operations ||| opération ||| (0) ||| (0) |||
operations ||| opérationnel ||| (0) ||| (0) |||
operations ||| opérations effectuées ||| (0,1) ||| (0) (0) |||
operations ||| opérations ||| (0) ||| (0) |||
operations ||| travaux ||| (0) ||| (0) |||

7. SMT from a Translator’s perspective
SMT can be seen as a generalisation of Translation Memory to sub-segmental level
The phrases are text snippets taken from real-world translations (i.e. as good as what you entered)
Re-combination of those phrases in new contexts may lead to significant problems:
Alignment errors  spurious/lost meaning
Ignorance of morphology
Grammatical errors
Wrong disambiguation
SMT will not recover implicit information from source text nor handle structural mismatches }
current research prototypes include some linguistics & show significant improvements

8. Architectures for Rule-Based(RB) MT
Interlingua
Semantic
Transfer
Semantic
Structure
Semantic
Structure
Semantic
Generation
Semantic
Analysis
Syntax-based Transfer
Syntactic
Structure
Syntactic
Structure
Syntactic
Analysis
Syntactic
Generation
Direct Translation
Text
Text
The „Vauquois-Triangle“ (Vauquois, 1976)

9. RBMT at the Commission The past: ECMT
Single technological solution (“one-size-fits-all”)
Developed between 1975 and 1998
28 language pairs available (ten languages)
Suspended since December 2010
The future?
Hands-on workshop at DGT on Apertium (May 2011)
Open-source solution, backed by a strong developer community, originally focused on regional languages
Lexicons for many European languages being developed
Could provide building blocks for hybrid solution…

10. Strengths and Weaknesses of MT Paradigms
(RBMT:translate pro ↔ SMT:Koehn 2005, examples from EuroParl)
EN: I wish the negotiators continued success with their work in this important area.
RBMT: Ich wünsche, dass die Unterhändler Erfolg mit ihrer Arbeit in diesem wichtigen Bereich fortsetzten.
continued: Verb instead of adjective
SMT: Ich wünsche der Verhandlungsführer fortgesetzte Erfolg bei ihrer Arbeit in diesem wichtigen Bereich.
three wrong inflectional endings 10

11. Strengths and Weaknesses of MT Paradigms
English
RBMT: translate pro
SMT: Koehn 2005
We seem sometimes to have lost sight of this fact.
Wir scheinen manchmal Anblick dieser Tatsache verloren zu haben.
Manchmal scheinen wir aus den Augen verloren haben, diese Tatsache.
The leaders of Europe have not formulated a clear vision.
Die Leiter von Europa haben keine klare Vision formuliert.
Die Führung Europas nicht formuliert eine klare Vision.
I would like to close with a procedural motion.
Ich möchte mit einer verfahrenstechnischen Bewegung schließen.
Ich möchte abschließend eine Frage zur Geschäftsordnung ε. 11

12. Problems with Reliability of Lexicon Acquisition
Strengths and Weaknesses of MT Paradigms
Problems with Reliability of Lexicon Acquisition
[November 2007, corrected in the meantime]
See translationparty.com for more hilarious examples 12

13. Strengths and Weaknesses of MT Paradigms
In the early 90s, SMT and RBMT were seen in sharp contrast.
But advantages and disadvantages are complementary.
 Search for integrated (hybrid) methods is now seen as natural extension for both approaches
RBMT
SMT
Syntax,
Morphology ++ --
Structural Semantics +
Lexical Semantics -
Lexical Adaptivity
Lexical Reliability 13

14. Hybrid MT Architectures (from EuroMatrix/Plus)
= SMT Module
= RBMT Module
Possible ways to combine SMT with RBMT 14

15. Technological approach for MT@EC
Started in June 2010 to implement an action plan
Start with SMT as baseline technology
Integrate linguistic knowledge as needed
For morphologically simple/structurally similar LPs, baseline technology may be “good enough”
For more challenging languages, techniques and tools from market and research will be incorporated
Collaboration with DGT’s LDs will be crucial

16. MT@EC architecture outline
MT engines by language, subject…
MT data language resources specific for each MT engine
Users and Services
Language resources built around Euramis
DISPATCHER managing MT requests
DATA
MODELLING
Customised interfaces
USER FEEDBACK
DATA HUB
ENGINES HUB
MT action lines
3. Service
2. Engines
1. Data

17. MT@EC overall planning
If all goes well…
 2011 MT engines available to DGT staff to use as a CAT tool (“benchmark” engines,
quality enhancement via feed-back loop)
 Beta versions of the service for selected test users outside DGT (comparison of engines)
 Operational service for Commission,
other EU institutions,and public administrations

18. MT@EC Maturity Check Purpose
Collect first round of feed-back about main issues in the current baseline engines
Identify engines that could already be useful as they are now
Limit the effort for the translators involved
Approach
Let translators compare several hundred MT results with reference translations, showing differences in color
Ask via web interface whether editing effort appears acceptable (“useful”) or not (“useless”)

19. Maturity Check: User Interface
Highlighting of differences between translations:
Words of both translations are shown in black if the same word and both neighbours appear in the other translation as well.
Words are shown in blue if the same word appears in the other translation, but at least one of its neighbours differs.
Words that do not show up in the other translation (omissions, insertions, different lexical choice) are shown in red.
If common parts of unmatched words are identified, they are displayed in violet.
SRC (3g6558): the date, time and location of the inspection, and
DE REF: das Datum , die Uhrzeit und den Inspektionsort und
DE MT: Datum , Uhrzeit und Ort der Inspektion sowie
 useful  useless  irrelevant

20. Maturity Check: Summary of Results
61 translators from 21 language departments provided more than individual judgments

21. Maturity Check: Qualitative Error Analysis
Translators were also asked (via a wiki page) to rank main types of observed errors. The following error types were ranked highest across all languages:
Words or sub-sentences misplaced
Word prefixes/infixes/suffixes wrong
Terms usage inconsistent within the text
Words/stems/vocabulary wrong
Words missing
Congruence wrong

22. How MT relates to Terminology Work
MT should respect existing terminology
In case of doubt, “official” terms should be preferred over alternative wordings
SMT models can be tuned to respect such preferences
Training corpora contain inconsistent terminology
Causes inconsistencies in MT results, unless properly handled
Systematic detection of such cases will improve MT quality
Training SMT from translation memories can identify new terminology as used in practice
Frequent terms not in IATE can be identified and manually validated
This can speed up the development of IATE for new languages
Experiments with RO LD ongoing
first results: 2275 out of 2415 manually checked RO terms were good
 precision of 94%

23. Thank you