Master's Thesis

Artificial intelligence framework for human-robot cooperative operation through hand gesture recognition

Luis Alejandro Grajeda Blandon — 2023

Key information

Authors:

Luis Alejandro Grajeda Blandon (Luis Alejandro Grajeda Blandon)

Supervisors:

David Alexandre Cabecinhas (David Alexandre Cabecinhas); Ricard Marxer

Published in

November 28, 2023

Abstract

A comunicação e cooperação subaquáticas entre humanos e robots é um passo fundamental para reduzir a carga cognitiva de mergulhadores numa vasta gama de aplicações subaquáticas. Uma vez que os métodos de comunicação baseados em radiofrequência normalmente utilizados não estão disponíveis em ambientes subaquáticos, é necessário desenvolver e testar novas abordagens. Assim, este trabalho de investigação propõe-se explorar os limites da comunicação baseada em visão com um robot sob a superfície da água. No âmbito desta dissertação foi desenvolvida uma estrutura para a interação homem-robô através da integração de modelos de redes neuronais de última geração. A estrutura é baseada no StaDNet, um modelo para reconhecimento de gestos estáticos e dinâmicos. Propomos uma abordagem baseada na pose humana que permite a extração e exploração de pontos-chave espaciais e temporais para realizar a inferência de gestos. O nosso método de estimativa da pose humana baseia-se no ViT-Pose, um modelo de Vision Transformer com um desempenho topo de gama tanto em termos de precisão como de velocidade. Foram obtidos excelentes resultados ao testar a estrutura no ChaLearn LSSII Continuous Gestures Dataset, no qual obtivemos uma precisão de 81% durante pré-treino numa amostra de 47 gestos, e no nosso próprio conjunto de dados interno de gestos dinâmicos subaquáticos, no qual o modelo alcança uma precisão de teste global de 74,4%. Esta estrutura foi integrada num veículo real, permitindo a um mergulhador comunicar através de gestos. Underwater human-robot communication and cooperation is a key step towards reducing the burden on divers in a broad range of undersea applications. Since commonly used radio frequency based methods are unavailable in sub-aquatic environments, novel approaches need to be developed and tested. Therefore, this research work proposes to explore the boundaries on vision-based communication with a robot beneath the water surface. Thus, under the scope of this research project, a framework for human-robot interaction has been developed by integrating state-of-the-art neural network models. The aforementioned framework is based on StaDNet, a model for static and dynamic gesture recognition. We propose a human pose-based approach that allows the extraction and exploitation of spatial and temporal key-points to perform gesture inference. Our human pose estimation method relies on ViTPose, a Vision Transformer based model with state-of-the-art performance in both accuracy and speed. Excellent results have been achieved when testing the framework on the ChaLearn LSSII Continuous Gestures Dataset, on which we achieved 81% accuracy during pre-training on a sample of 47 gestures, and on our own in-house underwater dynamic gestures dataset, on which the model achieves an overall 74.4% test accuracy. This framework was integrated with a real vehicle, enabling a diver to communicate with it by peforming gestures.

Publication details

Authors in the community:

Supervisors of this institution:

Degree Name

Mestrado em Engenharia Eletrotécnica e de Computadores

Fields of Science and Technology (FOS)

electrical-engineering-electronic-engineering-information-engineering - Electrical engineering, electronic engineering, information engineering

Keywords

  • vision
  • underwater environment
  • dynamic gestures
  • neural networks
  • visão
  • ambiente subaquático
  • gestos dinâmicos
  • redes neurais

Publication language (ISO code)

eng - English

Rights type:

Embargo lifted

Date available:

October 10, 2024

Institution name

Instituto Superior Técnico

Financing entity

European Regional Development Fund

Title of the project, award or grant: EMSO-PT-PINFRA/22157/2016_LISBOA-01- 01

Funding Stream: Lisbon Regional Operational Program 2020

Identifier for the funding entity: https://doi.org/10.13039/501100008530

Type of identifier of the funding entity: Crossref Funder

Number for the project, award or grant: LISBOA01-0145-FEDER-022157