Master's Thesis

Detecting speech-laugh: challenges and implications for automatic speech recognition

Catarina De Melo Branco — 2023

Key information

Authors:

Catarina De Melo Branco (Catarina De Melo Branco)

Supervisors:

Isabel Maria Martins Trancoso (Isabel Maria Martins Trancoso); Khiet Truong

Published in

June 5, 2023

Abstract

A” fala com riso”, um evento paralinguístico que combina riso e fala, tem propriedades estruturais e acústicas distintas que o tornam um sinal único. Apesar da sua potencial importância para a melhoria dos sistemas de reconhecimento automático de fala (ASR) e para o reconhecimento de emoções na fala, a investigação sobre a ocorrência simultânea de riso e fala tem sido limitada. Esta tese visa colmatar esta lacuna através da realização de dois estudos distintos que demonstram a importância de detetar com precisão este evento. No primeiro estudo, um detetor de riso com classificação binaria, riso ou não-riso, existente na literatura foi estendido para incluir a” fala com riso” como uma classe adicional, e o seu desempenho foi avaliado. Foram utilizadas técnicas como o aumento de dados e os pesos das classes para melhorar o desempenho dos detetores. Alem disso, o detetor binário foi também avaliado diferentes corpora, nomeadamente Buckeye, Diapix e Duel, em alemão, francês e mandarim. O melhor desempenho do detetor binário nos corpora adicionais foi alcançado no Buckeye, com uma F1-score de 0,620. Para o detetor de três classes, a melhor F1-score obtida para a deteção da” fala com riso” foi de 0,341, enquanto para a deteção do riso foi de 0,555, utilizando um modelo ResNet com aumento de dados e pesos das classes treinado no SwitchBoard e testado no Buckeye. E de notar que a introdução da” fala com riso” como classe adicional resultou numa degradação do desempenho do detetor na deteção de riso. Alem disso, os resultados indicam que a deteção exata destes eventos é ainda um grande desafio devido a variações nas normas de transcrição em diferentes corpora, a restrições nas métricas de avaliação e a normalização da duração e do silencio entre eventos paralinguísticos. No segundo estudo, foi avaliado o impacto do riso e da” fala com riso” no desempenho dos sistemas de ASR. Os resultados revelam uma clara degradação do desempenho destes sistemas quando foram avaliados áudios que tem o riso e o riso-fala presentes. Este facto é evidente pelo aumento observado na taxa de palavras erradas (WER), que variou entre 2,71% e 10,4% (dependendo do corpus), quando comparado com a avaliação do subconjunto sem estes eventos. Alem disso, se nos focarmos apenas nas palavras afetadas pelo riso em simultâneo com fala, o WER e ainda mais elevado, com um aumento que varia entre 10,8% e 11,3%. De um modo geral, estes resultados sublinham a interdependência entre a deteção exata de eventos de” fala com riso” e a melhoria dos sistemas de ASR, o que poderá levar ao desenvolvimento de sistemas de processamento da fala mais robustos e precisos. A deteção exata de eventos de riso-fala pode também contribuir significativamente para uma melhor compreensão das emoções presentes no riso e para melhorar a qualidade geral dos sistemas de reconhecimento da fala. Speech-laugh, a paralinguistic event combining laughter and speech, has unique properties. Limited research exists on its detection and impact on automatic speech recognition (ASR) systems. This thesis addresses this gap through two studies. The first extends a binary laughter detector to include speech-laugh as a class, achieving F1-scores of 0.341 for speech-laugh and 0.555 for laughter detection. Variations in annotation schemes, evaluation metrics, and cultural backgrounds challenge accurate detection. The second study shows that introducing speech-laugh and laughter segments degrades ASR system performance, increasing Word Error Rate by 2.71% to 10.4%. Accurate detection of speech-laugh can enhance ASR and speech processing systems, improving emotion understanding and overall speech recognition quality.

Publication details

Authors in the community:

Supervisors of this institution:

RENATES TID

203834151

Degree Name

Mestrado em Engenharia Eletrotécnica e de Computadores

Fields of Science and Technology (FOS)

electrical-engineering-electronic-engineering-information-engineering - Electrical engineering, electronic engineering, information engineering

Keywords

  • Fala com riso
  • riso
  • reconhecimento automático de fala
  • normas de transcrição
  • deteção de eventos sonoros
  • Speech-laugh
  • laughter
  • automatic speech recognition (ASR)
  • annotation scheme
  • sound event detection

Publication language (ISO code)

eng - English

Rights type:

Embargo lifted

Date available:

April 19, 2024

Institution name

Instituto Superior Técnico