Master's Thesis

Information fusion applied to intelligent customer care

Mónica dos Santos Martins — 2023

Key information

Authors:

Mónica dos Santos Martins (Mónica dos Santos Martins)

Supervisors:

João Miguel Da Costa Sousa (João Miguel Da Costa Sousa); Alexandre Miguel Fernandes de Almeida

Published in

December 11, 2023

Abstract

A satisfação do cliente desempenha um papel crítico no comércio eletrónico, sendo um fator determinante para a retenção de clientes e o sucesso global das empresas. Por forma a extrair o sentimento do cliente a partir de feedback do mesmo, a análise de sentimento é utilizada. Ao contrário das abordagens tradicionais que dependem apenas de dados textuais para prever o sentimento do cliente, este estudo pretende tirar partido da natureza multidimensional do feedback do cliente, nomeadamente através da combinação de dados numéricos, categóricos e textuais. Dois modelos de fusão foram desenvolvidos para este fim: Fusão ao Nível do Modelo, onde uma Rede Neuronal Feedforward integra representações textuais obtidas com Bidirectional Encoder Representations from Transformers (BERT) com as restantes modalidades de dados, e Fusão ao Nível da Decisão com Aprendizagem por Ensemble, combinando as previsões obtidas com BERT e com Extreme Gradient Boosting (XGBoost). A validação experimental no conjunto de dados Women’s E-Commerce Clothing Reviews mostra que o melhor modelo unimodal é o BERT, que superou os resultados encontrados na literatura em 3.41%, em termos de F1-score médio ponderado, para a tarefa de previsão de recomendação. Além disso, enquanto o BERT obteve um F1-score macro de 0.8750, a Fusão ao Nível da Decisão superou-o, obtendo um F1-score macro de 0.8752. Portanto, a Fusão ao Nível da Decisão não só supera disparidades de desempenho entre modelos individuais, como também aprimora a interpretabilidade da previsão de sentimentos. Customer satisfaction plays a critical role in e-Commerce, comprising a key determinant of customer retention and overall business success. To extract customer sentiment from feedback, sentiment analysis is used as a tool. Contrary to traditional approaches that rely solely on textual reviews to predict customer sentiment, this study aims to take advantage of the multidimensional nature of customer feedback, namely by combining numerical, categorical, and textual data. Two fusion models were developed for that end: Model-Level Fusion, wherein a Feedforward Neural Network integrates textual features obtained with Bidirectional Encoder Representations from Transformers (BERT) with the remaining data modalities, and Decision-Level Fusion with Ensemble Learning, combining predictions from BERT and Extreme Gradient Boosting (XGBoost). Experimental validation on the Women's E-Commerce Clothing Reviews dataset shows that the top-performing unimodal model is BERT, which outperformed the results found in the literature by 3.41%, in terms of weighted-average F1-score, for the recommendation prediction task. Furthermore, while BERT achieved a macro-average F1-score of 0.8750, Decision-Level Fusion outperformed it with a macro-average F1-score of 0.8752. Therefore, Decision-Level fusion not only bridges performance disparities among individual models, but also enhances the interpretability of sentiment prediction.

Publication details

Authors in the community:

Supervisors of this institution:

RENATES TID

203842278

Degree Name

Mestrado em Engenharia Mecânica

Fields of Science and Technology (FOS)

mechanical-engineering - Mechanical engineering

Keywords

  • Sentiment Analysis
  • Information Fusion
  • Customer Feedback
  • Large Language Models
  • Deep Neural Networks
  • Análise de Sentimento
  • Fusão da Informação
  • Feedback do Cliente
  • Grandes Modelos de Linguagem
  • Redes Neuronais Profundas

Publication language (ISO code)

eng - English

Rights type:

Embargo lifted

Date available:

October 13, 2024

Institution name

Instituto Superior Técnico