Survey of Automatic Metrics for Evaluating Machine Translation at the Document Level
Etude des Métriques Automatiques pour l'Evaluation de la Traduction Automatique au Niveau du Document
Résumé
This report presents a survey of document-level automatic metrics for machine translation (MT), addressing the need for sophisticated evaluation methods that extend beyond sentence-level assessments. Traditional metrics, which evaluate translations on a sentence-by-sentence basis, often fail to capture the complexities of discourse phenomena, leading to gaps in assessing coherence, cohesion, and cross-sentence dependencies.
The report starts by introducing the terminology and notation relevant to document-level MT evaluation. It then describes the linguistic phenomena that are crucial at the document level, related for example to lexical and grammatical cohesion, and overall text coherence, which pose significant challenges for MT systems.
Following this, we explore human evaluation protocols targeting document-level translation, discussing the methodologies used to judge translation quality in a more holistic manner. Studying human judgments is necessary, as automatic metrics often aim at reproducing them. We also examine the various test sets that have been developed to support the evaluation of document-level MT.
The core of the survey focuses on automatic evaluation metrics designed for document-level translation. These metrics aim to provide a more accurate representation of translation quality by considering the broader context and long-range dependencies within a text, offering a more comprehensive assessment than sentence-level metrics.
The report concludes with an overview of the current trends in document-level MT evaluation, summarizing key challenges and identifying areas for future research. It emphasizes the need for the development of context-aware metrics and the importance of creating standardized, document-level test sets to advance MT evaluation.
Ce rapport présente un état de l'art des métriques automatiques pour évaluer la traduction automatique (TA) au niveau du document, répondant au besoin de méthodes d'évaluation sophistiquées qui dépassent les évaluations au niveau de la phrase. Les métriques traditionnelles, qui évaluent les traductions phrase par phrase, échouent le plus souvent à saisir les complexités des phénomènes discursifs, ce qui entraîne des lacunes dans l'évaluation de la cohérence, de la cohésion et des dépendances interphrastiques.
Dans ce rapport, nous commençons par introduire la terminologie et les notation pertinentes pour l'évaluation de la TA au niveau du document. Nous étudions ensuite sur les principaux phénomènes linguistiques qui impliquant des dépendance niveau du document, liés par exemple à la cohésion lexicale et grammaticale, ainsi qu'à la nécessité de maintenir la cohérence globale du texte, deux problèmes qui posent des défis importants pour les systèmes de TA.
Par la suite, nous présentons les méthodologies d'évaluation humaine ciblant la traduction au niveau du document en discutant des protocoles utilisés pour juger la qualité de la traduction de manière holistique. Ce détour par les évaluations humaines est nécessaire, dans la mesure où les évaluations automatiques cherchent souvent à reproduire ces jugements. Nous examinons également les différents jeux de tests qui ont été développés pour soutenir l'évaluation de la TA au niveau du document.
Au coeur de ce rapport, nous nous concentrons sur les métriques d'évaluation automatique conçues pour la traduction au niveau du document. Ces métriques visent à fournir une représentation plus précise de la qualité de la traduction en tenant compte du contexte plus large et des dépendances à long terme au sein d'un texte, offrant une évaluation plus complète que les métriques évaluant des phrases.
Nous terminons par un aperçu des tendances actuelles dans l'évaluation de la TA au niveau du document, résumant les principaux défis et identifiant des thématiques de recherche émergentes. Nous soulignons la nécessité de développer des métriques sensibles au contexte et l'importance de créer des jeux de tests standardisés au niveau du document pour faire progresser l'évaluation de la TA.
| Origine | Fichiers produits par l'(les) auteur(s) |
|---|
