Towards reliable and transparent models of language: a study with applications in machine translation

Nuno Miguel Serrano Guerreiro

Informações chave

Autores:

Nuno Miguel Serrano Guerreiro (Nuno Miguel Serrano Guerreiro)

Orientadores:

André Filipe Torres Martins (André Filipe Torres Martins); Pierre Jean Adrien Colombo

Publicado em

9 de abril de 2025

Resumo

As tecnologias de linguagem têm progredido rapidamente nos últimos anos e estão a tornar-se cada vez mais relevantes com a crescente adoção de modelos computacionais de linguagem num vasto leque de sectores da sociedade. Estas tecnologias estão a remodelar a forma como comunicamos, processamos informação, e tomamos decisões a uma escala global. Em particular, a tradução automática, o caso de uso principal estudado nesta tese, destaca-se como uma aplicação com ampla utilização global, processando diariamente milhares de milhões de palavras em todo o mundo. Embora este rápido progresso tenha proporcionado oportunidades empolgantes, também criou desafios significativos. Com a crescente acessibilidade global destas tecnologias, torna-se crucial garantir que são fiáveis. Simultaneamente, enfrentamos uma crescente dívida de interpretabilidade dos modelos: à medida que os modelos de linguagem se tornam maiores e mais complexos, a nossa capacidade para interpretar as suas previsões, avaliar o seu desempenho, e localizar e eliminar as suas falhas é diminuída. Este cenário cria um ciclo complexo em que melhorias no desempenho dos modelos através do aumento de escala vem, geralmente, à custa de uma redução da transparência. Ciclo este que ocorre precisamente quando a adopção generalizada destas tecnologias exige maior fiabilidade e métodos de avaliação mais sofisticados. Esta tese aborda estes desafios concentrando-se em três direções principais de investigação: (i) compreensão e prevenção de alucinações—modos de falha críticos—em sistemas de tradução; (ii) desenvolvimento de novos modelos interpretáveis de linguagem e métricas de avaliação detalhadas melhoradas; e (iii) avanço do estado-da-arte em tradução automática através de sistemas mais precisos e fiáveis. Em primeiro lugar, no âmbito das alucinações em tradução automática, apresentamos estudos abrangentes sobre deteção, análise e mitigação destas falhas, investigando modelos de tradução (bilingues e massivamente multilingues) e grandes modelos de linguagem. Estes estudos incluem a criação de dados anotados por humanos, comparação exaustiva de métodos de deteção, análise do funcionamento interno dos modelos ao gerar alucinações, e desenvolvimento de novas técnicas de mitigação de alucinações em tempo real. De seguida, investigamos modelos interpretáveis e avaliação, introduzindo novas estruturas para extrair explicações em modelos discriminativos, e desenvolvendo métricas de avaliação detalhadas para tradução automática. Propomos a estrutura SPECTRA, uma classe de modelos interpretáveis que selecionam conjuntos esparso de partes importantes de documentos que não só são usados como explicações, mas também informam diretamente as decisões do modelo. Esta estrutura oferece maior estabilidade, treino mais fácil, e maior flexibilidade na extração das explicações. Depois, baseando-nos nestas ideias de interpretabilidade, desenvolvemos o xCOMET, uma nova métrica de avaliação de tradução automática que atinge resultados ao nível do estado-da-arte. O xCOMET vai além de fornecer apenas uma estimação de qualidade através de um único valor numérico. A métrica é desenhada para extrair segmentos de texto com erros de tradução e identificar a severidade desses erros. Estas informações são depois usadas diretamente para obter uma avaliação final. Por fim, desenvolvemos o TOWER, uma família de grandes modelos de linguagem multilingues. O maior modelo tem uma capacidade de aproximadamente 70 mil milhões de parâmetros, e é otimizado para tarefas relacionadas com tradução automática. Estes modelos foram treinados em dados cuidadosamente selecionados e recorrem a estratégias de geração de texto mais robustas, informadas por estimativas de qualidade. Como resultado, o TOWER supera os melhores sistemas abertos e comerciais existentes, como o GPT-4 e o Gemini-1.5-Pro, numa ampla gama de pares de idiomas, obtendo o primeiro lugar na competição de Tradução Generalista da WMT 2024 de acordo com a avaliação automática, e sendo considerada a submissão vencedora de acordo com a avaliação humana. Language technologies have progressed rapidly in recent years and are becoming ever more relevant, as computational models of language are adopted across a broad range of sectors of society. These technologies are reshaping how we communicate, process information, and make decisions on a global scale. In particular, machine translation, the key use case explored in this thesis, stands out as an application with widespread global usage, involving the processing billions of words daily across the world. While this rapid progress has led to exciting opportunities, it has also created pressing challenges. As these technologies become increasingly accessible to millions of users worldwide, ensuring their reliability becomes paramount. Simultaneously, we face a growing model understanding debt: as models become larger and more complex, our ability to interpret their predictions, to accurately evaluate their performance, and to debug their failures is diminished. This creates a complex cycle where improved performance through scaling typically comes at the cost of reduced transparency, precisely when the widespread adoption of these technologies demands greater reliability and more sophisticated evaluation methods. This thesis addresses these challenges by focusing on three main research directions: (i) understanding and safeguarding against "hallucinations"—critical failure modes—in translation systems; (ii) developing novel interpretable models of language and improved fine-grained evaluation metrics; and (iii) advancing the state of the art in machine translation through the development of systems with improved accuracy and reliability. First, on the topic of hallucinations in machine translation, we present comprehensive studies on detection, analysis, and mitigation of these failures, by investigating classical bilingual and massively multilingual neural translation models, as well as more recent large language models. These studies include a wide range of efforts, from creating human-annotated datasets, comprehensively comparing detection methods, analysing the inner workings of models when they hallucinate, and developing novel on-the-fly mitigation techniques. Second, we investigate interpretable models and evaluation, by introducing new frameworks for extracting explanations in discriminative models and developing fine-grained evaluation metrics for machine translation. We propose the SPECTRA framework, a class of interpretable models that select a sparse set of important document parts that not only serve as explanations but also directly inform the model’s decisions. This framework offers greater stability, easier training, and more flexibility in extracting explanations. Then, building on these interpretability ideas, we develop xCOMET, a new state-of-the-art metric for machine translation evaluation. xCOMET goes beyond providing a quality estimation through a single numerical value. The metric is designed to extract text segments with translation errors, along with the severity of these errors, and use this information directly to obtain a final evaluation. Finally, we set out to advancing translation capabilities and develop TOWER, a suite of multilingual large language models up to 70 billion parameters. TOWER models are optimised for translation-related tasks, and trained on carefully curated data and employing more robust quality-informed generation strategies. As a result, they outperform the best existing open-weight and commercial systems such as GPT-4 and Gemini-1.5-Pro across a wide range of language pairs, ranking first in the WMT 2024 General Machine Translation Shared Task according to automatic evaluation and best participating system in human evaluation.