Difficulty estimation of machine translation

November 2, 2017

A estimação da dificuldade de tradução de um texto ou de uma frase é uma tarefa complexa e pouco explorada. Este trabalho propõe sistemas automáticos capazes de prever a dificuldade de tradução de um texto e de uma só frase. O tópico esta relacionado com a tarefa de estimação da qualidade. Por isso, os nossos métodos de classificação tiveram em consideração as características adotadas nesta tarefa e os valores do Multidimensional Quality Metrics (MQM). O método proposto teve também em consideração as anotações feitas por um experiente anotador, e as características sugeridas por este. A principal contribuição deste trabalho reside no estudo da dificuldade de tradução ao nível do texto e da frase, e na construção de dois classificadores que atingem os 75.50 % de exatidão ao nível do texto e 77.67 % ao nível da frase. Os resultados sugerem que o MQM pode avaliar a dificuldade de tradução e que as características de qualidade se correlacionam com a dificuldade. Foi possível verificar que existe uma relação da dificuldade de tradução com a legibilidade do texto e com a Human-Targeted Translation Edit Rate (HTER) da frase. Adicionalmente, confirmou-se que o processo de pós- edição de um texto e afetado pela dificuldade de tradução do mesmo, implicando um texto difícil um maior número de edições e um maior tempo de edição. Por último, verificou-se que basta que uma frase seja difícil de traduzir para que o texto a que pertence também o seja. O sistema agora desenvolvido ir a ser utilizado para selecionar editores de forma mais eficiente, e consequentemente melhorar a qualidade final da tradução. Este trabalho apresenta alguns resultados promissores e ir a ajudar projetos futuros na área da dificuldade de tradução. Estimating the translation difficulty is a complex and little explored task. This thesis proposes automatic systems capable of predicting the translation difficulty of both texts and isolated sentences. The topic is closely related to the quality estimation task. Hence, our classification method took into account the values of the Multidimensional Quality Metrics (MQM) and the features adopted in the quality estimation task. The proposed method also took into account the annotations made by an expert annotator, and the features suggested by him. The main contribution of this work lies in the study of translation difficulty at both text and sentence levels, and in the development of two classifiers that reach 75.50 % accuracy at the text level and 77.67 % at the sentence level. The results suggest that MQM can assess the sentence translation difficulty and that the quality features correlate with difficulty. There is a relationship of the translation difficulty with the text readability and the Human-Targeted Translation Edit Rate (HTER) of a sentence. In addition, the post-editing process of a text is affected by the difficulty of translating it. Therefore, a difficult text implies a greater number of edits and a longer editing time. Finally, it was found that a sentence that is difficult to translate is enough for the text to which it belongs to be so. The developed system will be used to select more efficiently the editors, and thus improve the final quality of the translation. This dissertation presents promising results and may help future projects in the area of translation difficulty.

Authors in the community:

• 

  A

  Ana Sofia Vieira de Jesus Almeida

  ist173917

Supervisors of this institution:

• 

  I

  Isabel Maria Martins Trancoso

  ist11803

202093310

Mestrado em Engenharia Electrotécnica e de Computadores

electrical-engineering-electronic-engineering-information-engineering - Electrical engineering, electronic engineering, information engineering

Keywords

• aprendizagem de máquina supervisionada
• dificuldade de tradução ao nível do texto e frase
• métricas de avaliação de legibilidade
• tradução automática
• machine translation
• readability assessment metrics
• supervised machine learning
• translation difficulty at text and sentence levels

eng - English

Instituto Superior Técnico