Body2Mind: using human 3D movement to explore decision-making processes

Gonçalo Filipe Pereira Mateus

Key information

Authors:

Gonçalo Filipe Pereira Mateus (Gonçalo Filipe Pereira Mateus)

Supervisors:

Joana Carvalho Filipe de Campos (Joana Carvalho Filipe de Campos)

Published in

June 18, 2024

Abstract

A capacidade de prever o comportamento humano é bastante importante em várias áreas, desde a psicologia à inteligência artificial. Esta tese foca-se na relação entre as ações e as intenções, baseada na análise dos movimentos do corpo num ambiente controlado. Ao realizar experiências neste ambiente, esta pesquisa tenta identificar padrões que revelem a relação entre o movimento corporal e os comportamentos humanos. Este estudo utiliza sistemas de captura sem marcadores e técnicas de visão computacional para capturar e analisar os dados do movimento corporal. Uma reconstrução 3D da cena foi feita através da utilização dos pontos 2D conseguidos através da utilização do programa OpenPose a da inspeção de imagens. Como uma forma de descobrir as intenções dos participantes, consideramos um processo de resolução de problema composto por 5 fases, onde cada fase seria constituída por 3 níveis de descrição que nos irão ajudar a perceber os comportamentos, as emoções, e os valores físicos que descrevem o estado da equipa. Em termos físicos, iremos considerar valores como os da velocidade e da aceleração para definir cada estado do processo de resolução de problemas. Os nossos resultados acabaram por demonstrar certos padrões que podem caracterizar cada um destes estados, mesmo com alguns valores em falta, consequentes da sobreposição dos jogadores aquando as captações de video. No entanto, outros aspectos como a orientação da cabeça podem também ser considerados em futuras pesquisas para obter melhores conclusões. Com este trabalho esperamos encorajar futuro trabalho nas áreas de visão computacional e compreensão do comportamento humano. The ability to predict and understand human behavior has significant implications across various disciplines, from psychology to artificial intelligence. This thesis focuses on the relation between actions and intentions based on body motion analysis within a controlled environment. By conducting experiments in a controlled setting, the research aims to identify patterns and insights that elucidate the relationship between body motion and behavioral outcomes. The study applies markerless motion capture systems and computer vision techniques to capture and analyze precise body motion data. We made a 3D reconstruction of the scene by using 2D points gathered from videos using OpenPose software and from image inspection. As a way of finding participants' intentions we considered a five stage problem solving process, where each stage has three description levels that helps us to understand the behavioral, emotional and physical states of the team. The physical level will rely on values like speed and acceleration to characterize each problem solving stage. Our values ended up showing some patterns that can characterize each solving stage despite of the missing values resultant of the players overlap. However, other aspects like head orientation should also be considered to get a better conclusion. With this work we hope to encourage future work on the computer vision and human behavior understanding areas.