Robots meet people: socially aware engagement behaviors

João Manuel Caeiro Avelino

Key information

Authors:

João Manuel Caeiro Avelino (João Manuel Caeiro Avelino)

Supervisors:

Alexandre José Malheiro Bernardino (Alexandre José Malheiro Bernardino); Rodrigo Martins de Matos Ventura (Rodrigo Martins de Matos Ventura); Leonel Garcia-Marques

Published in

05/09/2023

Abstract

Abordar humanos durante primeiros encontros é uma tarefa desafiante para robôs. É necessária a compreensão mútua das intenções de interagir, mesmo sem informação personalizada. Quando os humanos não reparam na presença do robô ou tenham falta de interesse em interagir a abordagem poderá falhar. Nesta tese, procuramos responder à pergunta de investigação: "Que teorias e métodos podem melhorar a forma como um robô social móvel aborda humanos em primeiros encontros, aumentando o sucesso da abordagem e a melhorando a percepção que as pessoas têm do robô?". Focamo-nos em interacções humano-robô não-verbais durante os primeiros encontros com adultos cognitivamente saudáveis em locais públicos ou semipúblicos. Para responder a esta questão, investigámos modelos de cumprimento humano-humano descritos na psicologia social. Inicialmente, revimos modelos de abordagem usados por robôs móveis descritos na bibliografia, o estado da arte das tecnologias usadas na abordagem humano-robô, e propusemos uma taxonomia para organizar a literatura à luz de modelos bem conhecidos. Na parte tecnológica, desenvolvemos um aperto de mão para o robô Vizzy, uma arquitectura para detectar sinais sociais, e métodos para detectar erros de interacção. O nosso primeiro estudo com utilizadores confirmou a agência social do robô Vizzy e mostrou como as pessoas interagem com ele. Depois, reunimos suporte para a nossa hipótese, avaliando um aperto de mão humano-robô (uma fase dos modelos de cumprimento humano-humano). Os participantes que receberam o aperto de mão reportaram maior intenção de ajudar o robô no futuro, e reportaram que era mais caloroso, simpático e animado. Na experiência final testámos três modelos distintos de cumprimento derivados de abluções de um modelo humano-humano proposto por Kendon. O modelo mais completo clarificou as intenções de interacção do robô face aos modelos simplificados. Desta forma, demonstra-se empiricamente que um modelo de cumprimento humano-humano, nomeadamente o modelo de Kendon, é eficaz na abordagem humano-robô. Engagement during human-robot first encounters is a challenging task that requires both parties to understand each other’s intent to interact without mutual information. Engagement may fail due to people’s unawareness of the robot’s presence and its desire to interact, or because of people’s lack of interest in interacting. In this thesis, we pursue answers to the following research question: "Which theories and methods can enhance the way a mobile social robot engages with humans in first encounters to increase engagement success and improve people’s perceptions of the robot?". We concentrate on one-to-one human-robot nonverbal interactions during first encounters with cognitively healthy adults and in public or semi-public places. We explore whether human-human greeting models from social psychology can be an answer to this question. First, we surveyed existing engagement models for mobile robots, analyzed the state-of-the-art of technological solutions for human-robot engagement, and proposed a taxonomy to organize the literature according to wellknown greeting models. On the technological side, we developed handshake skills for the Vizzy robot, a pipeline to detect social signals, and methods to detect interaction errors. Our first user study confirmed the social agency of the Vizzy robot and showed how people interact with it. Then, we gathered support for our hypothesis by evaluating a handshake salutation (part of human-human greeting models). People reported increased intentions to help the robot in the future after greetings with a handshake, and increased perceived warmth, likeability, and animacy. The final experiment tested three different greeting models with ablations of a human-human greeting model proposed by Kendon. When the robot acted with the entire model, its interaction intentions were clearer to the human than when only a subset of the model was used, thus empirically demonstrating that a human-human greeting model, namely Kendon’s model, is effective in human-robot engagement.