PhD Thesis

Improving believable interactions in real-time multi-party interactive experiences

Ricardo Eugénio Proença Rodrigues — 2024

Key information

Authors:

Ricardo Eugénio Proença Rodrigues (Ricardo Eugénio Proença Rodrigues)

Supervisors:

Carlos António Roque Martinho (Carlos António Roque Martinho)

Published in

July 9, 2024

Abstract

Interacções credíveis entre personagens sintéticas são um factor essencial que define o sucesso de um ambiente virtual, no qual os participantes humanos são capazes de criar laços emocionais com tais personagens. É importante não apenas que os personagens sejam credíveis, mas também as interacções com e entre eles. Este trabalho propõe o 3motion, um modelo de interacções entre personagens sintéticas baseado em teorias de antecipação e emoção, no qual a tradicional acção atómica é desconstruída em três estágios: antecipação, acção e conclusão. Com essas divisões, o modelo permite uma comunicação afectiva não-verbal e precisa, o que melhora a credibilidade tanto das personagens sintéticas quanto das suas acções. Melhoramos o modelo ao expandir as suas capacidades de expressão emocional, ao mesmo tempo, em que o adaptamos ao Adfectus, um caso de uso e videojogo 3D em tempo real no qual dois personagens lutam entre si. Embora os jogadores controlem os personagens, as suas emoções são expressas de forma independente. Para validar e compreender as expressões emocionais implementadas, criamos o método TAI, que, usando comparações triádicas e múltiplas técnicas de análise de dados, cria um modelo de como as pessoas percepcionam as expressões. Para validar se o 3motion no Adfectus realmente melhora a credibilidade, realizamos várias avaliações nas quais comparamos os nossos modelos emocionais a uma abordagem mais reactiva comum em videojogos. Os resultados mostram um nível elevado de credibilidade das interacções, independentemente da versão, mas não encontrámos diferenças significativas entre os modelos emocionais. No entanto, descobrimos que os modelos antecipatórios (que fazem uso da subdivisão da acção) criam personagens percepcionadas como mais conscientes dos outros e mais capazes de expressar personalidades únicas. Believable interactions between synthetic characters are an essential factor defining the success of a virtual environment relying on human participants being able to create emotional bonds with such characters. It is important not only for the characters to be believable but also for interactions with and between them too. This work proposes 3motion, a model for synthetic characters’ interactions based on anticipation and emotion, in which the traditional atomic action is deconstructed into three stages: anticipation, action, and follow-through. With these divisions, the model allows for precise non-verbal affective communication, which improves the believability of both synthetic characters and their actions. We improve the model by expanding on its emotion expression capabilities while adapting it to Adfectus, a 3D real-time video game use case in which two characters battle one another. While the characters are controlled by the players, their emotions are expressed independently. To validate and understand the emotion expressions implemented, we created the TAI method, which through the use of a triad comparison and multiple data analysis techniques, creates a model of how people perceive expressions. To validate whether 3motion in Adfectus actually improves believability, we perform several evaluations in which we compare our emotional models to a more reactive approach common in video games. The results show a high level of interaction believability regardless of the version, but no significant differences between emotional models. We did however find that anticipatory models (taking advantage of action subdivision) create characters that are perceived as more aware of others and more capable of expressing unique personalities.

Publication details

Authors in the community:

Supervisors of this institution:

RENATES TID

101542232

Degree Name

Doutoramento em Engenharia Informática e de Computadores

Fields of Science and Technology (FOS)

electrical-engineering-electronic-engineering-information-engineering - Electrical engineering, electronic engineering, information engineering

Keywords

  • Virtual Agents
  • Synthetic Characters
  • Believable Interactions
  • Emotion
  • Anticipation
  • Agentes Virtuais
  • Personagens Sintéticas
  • Interacções Credíveis
  • Emoção
  • Antecipação

Publication language (ISO code)

eng - English

Rights type:

Open access

Institution name

Instituto Superior Técnico