Using legibility to improve interactions with agents during multi-user interactions

Miguel Afonso Tomás Faria

Informações chave

Autores:

Miguel Afonso Tomás Faria (Miguel Afonso Tomás Faria)

Orientadores:

Francisco António Chaves Saraiva de Melo (Francisco António Chaves Saraiva de Melo), Ana Maria Severino de Almeida e Paiva

Publicado em

29/11/2023

Resumo

Communication between humans and agents is of great importance for interactions between humans and agents to occur smoothly, namely in interactions that require collaboration. In this thesis investigate the influence of legible motion in multi-party interactions, particularly multiparty collaborative tasks. Namely, we are interested in investigate if the use of legibility improves the expressiveness and clearness of a robot. We then consider several sequential decisionmaking tasks and multi-party interactions in this class of tasks. The first aspect we consider important to investigate is the impact, in multi-party interactions, of different users’ points-of-view (PoVs) over the workspace. By having different PoVs over the same movement, each user has its own perception of it, possible leading to different interpretations of the robot’s intention. Thus, we propose that the definition of legibility for multi-party interactions jointly considers the different users’ PoVs, defining the legibility of a movement as the average of the legibility for each user. Using this definition, a legible movement focuses on improving the group’s understanding of the robot’s intention, instead of improving the individual user’s legibility. The second aspect we explore in this work is the impact of legibility in sequential decisionmaking. Standard decision making processes focus on optimizing an underlying cost function, thus improving a robot’s efficiency in solving a task. However, the optimal solution for a task is not always the more explicit one; e.g. consider a robot fetching an specific item from a list of items in a warehouse; the optimal solution may lead it through areas that contain other items on the list, causing an observing human partner confusion as to why the robot did not pick the other items on the path. To solve this problem we propose policy legible Markov decision problem (PoLMDP), a framework for legible decision making, where the robot’s actions optimize both the underlying cost function and the robot’s expressiveness. This way, the robot’s actions are clear about its intentions, while the robot is solving it’s own tasks and objectives. Finally, we show the effectiveness of our framework for legible decision-making in transmitting the robot’s intentions to partners, both when the partner is just an observer and when the partner is teamed with the robot to solve a collaborative task. Our results show that using PoLMDP improves both human inference of a robot’s intentions from its actions and the efficiency of collaboration in collaborative tasks. A comunicação clara é crucial para interações entre humanos e robots, ou outros agentes artificiais. Neste trabalho aborda-se o problema de melhorar a clareza de um robot usando legibilidade, durante interações de multi-utilizadores. Legibilidade mede quão bom é um movimento em desambiguar o objetivo de um robot, de outros objetivos possíveis. Para explorar o impacto da legibilidade em interações com vários humanos; primeiro exploramos como definir legibilidade no contexto de interações de multi-utilizadores e, em segundo lugar, exploramos a noção de legibilidade na seleção de ações e tomada de decisões de robots. Na primeira parte desta tese, propomos uma definição de legibilidade que considera conjuntamente as diferentes perspetivas humanas sobre o mesmo movimento robótico. Assim, a legibilidade é definida em função de todo o grupo em vez de cada humano em particular, permitindo aplicações tanto em interações com um só utilizador como com múltiplos utilizadores. Também mostramos, por meio de um estudo com humanos, que a nossa definição de legibilidade para interações de multi-utilizadores melhora a compreensão das intenções de um robot, quando comparado com a formulação para um único utilizador. Na segunda parte da tese, damos um passo além dos movimentos do robot e exploramos a aplicação da legibilidade na tomada de decisão de robots e outros agentes artificiais. Exploramos a aplicação da legibilidade no contexto da tomada de decisão em ambientes estocásticos, desenvolvendo uma abordagem para tomada de decisão legível denominada policy legible MDP (PoLMDP). O PoLMDP é capaz de lidar com a incerteza enquanto permanece computacionalmente tratável, como mostramos num estudo comparativo com outras abordagens de última geração para tomada de decisão legível. Também mostramos, em dois estudos diferentes, que nossa abordagem PoLMDP torna os objetivos de um robot mais fáceis de entender, tanto em cenários de agente único quanto multi-agente, quando comparado aos MDPs tradicionais.