Master's Thesis
Information fusion applied to intelligent customer care
— 2023
Key information
Authors:
Supervisors:
Published in
December 11, 2023
Abstract
A satisfação do cliente desempenha um papel crítico no comércio eletrónico, sendo um fator determinante para a retenção de clientes e o sucesso global das empresas. Por forma a extrair o sentimento do cliente a partir de feedback do mesmo, a análise de sentimento é utilizada. Ao contrário das abordagens tradicionais que dependem apenas de dados textuais para prever o sentimento do cliente, este estudo pretende tirar partido da natureza multidimensional do feedback do cliente, nomeadamente através da combinação de dados numéricos, categóricos e textuais. Dois modelos de fusão foram desenvolvidos para este fim: Fusão ao Nível do Modelo, onde uma Rede Neuronal Feedforward integra representações textuais obtidas com Bidirectional Encoder Representations from Transformers (BERT) com as restantes modalidades de dados, e Fusão ao Nível da Decisão com Aprendizagem por Ensemble, combinando as previsões obtidas com BERT e com Extreme Gradient Boosting (XGBoost). A validação experimental no conjunto de dados Women’s E-Commerce Clothing Reviews mostra que o melhor modelo unimodal é o BERT, que superou os resultados encontrados na literatura em 3.41%, em termos de F1-score médio ponderado, para a tarefa de previsão de recomendação. Além disso, enquanto o BERT obteve um F1-score macro de 0.8750, a Fusão ao Nível da Decisão superou-o, obtendo um F1-score macro de 0.8752. Portanto, a Fusão ao Nível da Decisão não só supera disparidades de desempenho entre modelos individuais, como também aprimora a interpretabilidade da previsão de sentimentos. Customer satisfaction plays a critical role in e-Commerce, comprising a key determinant of customer retention and overall business success. To extract customer sentiment from feedback, sentiment analysis is used as a tool. Contrary to traditional approaches that rely solely on textual reviews to predict customer sentiment, this study aims to take advantage of the multidimensional nature of customer feedback, namely by combining numerical, categorical, and textual data. Two fusion models were developed for that end: Model-Level Fusion, wherein a Feedforward Neural Network integrates textual features obtained with Bidirectional Encoder Representations from Transformers (BERT) with the remaining data modalities, and Decision-Level Fusion with Ensemble Learning, combining predictions from BERT and Extreme Gradient Boosting (XGBoost). Experimental validation on the Women's E-Commerce Clothing Reviews dataset shows that the top-performing unimodal model is BERT, which outperformed the results found in the literature by 3.41%, in terms of weighted-average F1-score, for the recommendation prediction task. Furthermore, while BERT achieved a macro-average F1-score of 0.8750, Decision-Level Fusion outperformed it with a macro-average F1-score of 0.8752. Therefore, Decision-Level fusion not only bridges performance disparities among individual models, but also enhances the interpretability of sentiment prediction.
Publication details
Authors in the community:
Mónica dos Santos Martins
ist190337
Supervisors of this institution:
João Miguel Da Costa Sousa
ist12897
RENATES TID
203842278
Degree Name
Mestrado em Engenharia Mecânica
Fields of Science and Technology (FOS)
mechanical-engineering - Mechanical engineering
Keywords
- Sentiment Analysis
- Information Fusion
- Customer Feedback
- Large Language Models
- Deep Neural Networks
- Análise de Sentimento
- Fusão da Informação
- Feedback do Cliente
- Grandes Modelos de Linguagem
- Redes Neuronais Profundas
Publication language (ISO code)
eng - English
Rights type:
Embargo lifted
Date available:
October 13, 2024
Institution name
Instituto Superior Técnico