PhD Thesis

Physiological-based group emotion recognition : novel methods and real-world applications

Patrícia Justo Bota — 2024

Key information

Authors:

Patrícia Justo Bota (Patrícia Justo Bota)

Supervisors:

Ana Luísa Nobre Fred (Ana Luísa Nobre Fred); Hugo Humberto Plácido da Silva (Hugo Humberto Plácido da Silva); Pablo Santiago César Garcia

Published in

September 25, 2024

Abstract

As emoções determinam o pensamento e o comportamento humano. Assim, a computação afetiva tem extrema relevância em diversas aplicações, desde a saúde mental e criação de serviços personalizados até ao entretenimento. Este trabalho começa por explorar o estado da arte na área de reconhecimento de emoções intrapessoais através de sinais fisiológicos, fazendo uma análise quantitativa das abordagens existentes. De seguida, explorou-se um modelo interpessoal que incorpora a dinâmica de grupo pela metodologia WGS, onde se estudou a sincronia entre os sinais fisiológicos de um grupo. Este modelo apresentou resultados superiores aos métodos existentes e identificou medidas de sincronia relevantes. Contudo, a generalização da análise em grupo estava limitada por falta de bases de dados. Para colmatar essa limitação, foi desenvolvida uma infraestrutura incluido programas e o equipamento para a aquisição de sinais fisiológicos em grupo — a plataforma EmotiphAI, que inclui dispositivos vestíveis, um centro de recolha, e uma interface para o utilizador, possibilitando a recolha simultânea de dados de 10 dispositivos a 60 Hz e 20 dispositivos a 60 Hz. Posteriormente, foi incorporado um sistema de anotação retrospectiva que seleciona segmentos fisiológicos relevantes, que demonstrou elevada precisão e satisfação por parte do utilizador. Esta funcionalidade abre caminho para a anotação de conteúdos de maior duração, mais semelhantes ao mundo real. Utilizando o EmotiphAI, foi criado o conjunto de dados G-REx com sinais fisiológicos anotados de 190 sujeitos em 31 sessões de cinema. Adicionalmente, o respectivo protocolo validou a utilização do EmotiphAI para contextos do mundo real. No geral, esta tese contribui para o avanço de aplicações na área da computação afectiva no mundo real através do desenvolvimento: de algoritmos interpessoais para o reconhecimento de emoção; ferramentas para aquisição e anotação de dados fisiológicos em grupo; e um conjunto de dados adquirido num contexto do mundo real. Emotions determine human thinking and behaviour. Thus, affective computing is extremely relevant in several applications, from mental health and the creation of personalized services to entertainment. This work begins by exploring the state of the art in the area of intra-personal emotion recognition through physiological signals, making a quantitative analysis of the various existent approaches. Next, an interpersonal model was explored that incorporates group dynamics using the WGS methodology, where the synchrony between the physiological signals of a group was studied. This model presented superior results to existing methods and identified relevant synchrony measures. However, the generalization of group analysis was limited by a lack of databases. To overcome this limitation, a hardware and software infrastructure was developed for the acquisition of physiological signals in groups — the EmotiphAI platform, which includes wearable devices, a collection centre, and a user interface, enabling the simultaneous collection of data from 10 devices at 60 Hz. Subsequently, a retrospective annotation system was incorporated that selects relevant physiological segments, which demonstrated high accuracy and user satisfaction. This functionality paves the way for the annotation of longer-duration content for the creation of naturalistic datasets. Using EmotiphAI, the G-REx dataset was created with annotated physiological signals from 190 subjects across 31 movie sessions. Moreover, the respective protocol validated the use of EmotiphAI in a real-world environment. Overall, this thesis contributes to the advancement of applications in the area of affective computing in the real world through the development of: interpersonal algorithms for emotion recognition; tools for group physiological data acquisition and annotation; and a naturalistic dataset.

Publication details

Authors in the community:

Supervisors of this institution:

RENATES TID

101607342

Degree Name

Doutoramento em Engenharia Biomédica

Fields of Science and Technology (FOS)

medical-engineering - Medical engineering

Keywords

  • Reconhecimento de Emoções
  • Sinais Fisiológicos
  • Aprendizagem automática
  • Emoções de Grupo
  • Computação Afetiva
  • Emotion Recognition
  • Physiological Signals
  • Machine Learning
  • Group Emotions
  • Affective Computing

Publication language (ISO code)

eng - English

Rights type:

Open access

Institution name

Instituto Superior Técnico

Financing entity

Instituto de Telecomunicações

Financing entity

Fundação para a Ciência e a Tecnologia

Title of the project, award or grant: Physiological-based Group Emotion Recognition - Novel Methods and Real-World Applications

Visit project

Identifier for the funding entity: https://doi.org/10.13039/501100001871

Type of identifier of the funding entity: Crossref Funder

Number for the project, award or grant: 2020.06675.BD