Master's Thesis
Detecting speech-laugh: challenges and implications for automatic speech recognition
— 2023
Key information
Authors:
Supervisors:
Published in
June 5, 2023
Abstract
A” fala com riso”, um evento paralinguístico que combina riso e fala, tem propriedades estruturais e acústicas distintas que o tornam um sinal único. Apesar da sua potencial importância para a melhoria dos sistemas de reconhecimento automático de fala (ASR) e para o reconhecimento de emoções na fala, a investigação sobre a ocorrência simultânea de riso e fala tem sido limitada. Esta tese visa colmatar esta lacuna através da realização de dois estudos distintos que demonstram a importância de detetar com precisão este evento. No primeiro estudo, um detetor de riso com classificação binaria, riso ou não-riso, existente na literatura foi estendido para incluir a” fala com riso” como uma classe adicional, e o seu desempenho foi avaliado. Foram utilizadas técnicas como o aumento de dados e os pesos das classes para melhorar o desempenho dos detetores. Alem disso, o detetor binário foi também avaliado diferentes corpora, nomeadamente Buckeye, Diapix e Duel, em alemão, francês e mandarim. O melhor desempenho do detetor binário nos corpora adicionais foi alcançado no Buckeye, com uma F1-score de 0,620. Para o detetor de três classes, a melhor F1-score obtida para a deteção da” fala com riso” foi de 0,341, enquanto para a deteção do riso foi de 0,555, utilizando um modelo ResNet com aumento de dados e pesos das classes treinado no SwitchBoard e testado no Buckeye. E de notar que a introdução da” fala com riso” como classe adicional resultou numa degradação do desempenho do detetor na deteção de riso. Alem disso, os resultados indicam que a deteção exata destes eventos é ainda um grande desafio devido a variações nas normas de transcrição em diferentes corpora, a restrições nas métricas de avaliação e a normalização da duração e do silencio entre eventos paralinguísticos. No segundo estudo, foi avaliado o impacto do riso e da” fala com riso” no desempenho dos sistemas de ASR. Os resultados revelam uma clara degradação do desempenho destes sistemas quando foram avaliados áudios que tem o riso e o riso-fala presentes. Este facto é evidente pelo aumento observado na taxa de palavras erradas (WER), que variou entre 2,71% e 10,4% (dependendo do corpus), quando comparado com a avaliação do subconjunto sem estes eventos. Alem disso, se nos focarmos apenas nas palavras afetadas pelo riso em simultâneo com fala, o WER e ainda mais elevado, com um aumento que varia entre 10,8% e 11,3%. De um modo geral, estes resultados sublinham a interdependência entre a deteção exata de eventos de” fala com riso” e a melhoria dos sistemas de ASR, o que poderá levar ao desenvolvimento de sistemas de processamento da fala mais robustos e precisos. A deteção exata de eventos de riso-fala pode também contribuir significativamente para uma melhor compreensão das emoções presentes no riso e para melhorar a qualidade geral dos sistemas de reconhecimento da fala. Speech-laugh, a paralinguistic event combining laughter and speech, has unique properties. Limited research exists on its detection and impact on automatic speech recognition (ASR) systems. This thesis addresses this gap through two studies. The first extends a binary laughter detector to include speech-laugh as a class, achieving F1-scores of 0.341 for speech-laugh and 0.555 for laughter detection. Variations in annotation schemes, evaluation metrics, and cultural backgrounds challenge accurate detection. The second study shows that introducing speech-laugh and laughter segments degrades ASR system performance, increasing Word Error Rate by 2.71% to 10.4%. Accurate detection of speech-laugh can enhance ASR and speech processing systems, improving emotion understanding and overall speech recognition quality.
Publication details
Authors in the community:
Catarina De Melo Branco
ist190036
Supervisors of this institution:
Isabel Maria Martins Trancoso
ist11803
RENATES TID
203834151
Degree Name
Mestrado em Engenharia Eletrotécnica e de Computadores
Fields of Science and Technology (FOS)
electrical-engineering-electronic-engineering-information-engineering - Electrical engineering, electronic engineering, information engineering
Keywords
- Fala com riso
- riso
- reconhecimento automático de fala
- normas de transcrição
- deteção de eventos sonoros
- Speech-laugh
- laughter
- automatic speech recognition (ASR)
- annotation scheme
- sound event detection
Publication language (ISO code)
eng - English
Rights type:
Embargo lifted
Date available:
April 19, 2024
Institution name
Instituto Superior Técnico