Master's Thesis
Artificial intelligence framework for human-robot cooperative operation through hand gesture recognition
— 2023
Key information
Authors:
Supervisors:
Published in
November 28, 2023
Abstract
A comunicação e cooperação subaquáticas entre humanos e robots é um passo fundamental para reduzir a carga cognitiva de mergulhadores numa vasta gama de aplicações subaquáticas. Uma vez que os métodos de comunicação baseados em radiofrequência normalmente utilizados não estão disponíveis em ambientes subaquáticos, é necessário desenvolver e testar novas abordagens. Assim, este trabalho de investigação propõe-se explorar os limites da comunicação baseada em visão com um robot sob a superfície da água. No âmbito desta dissertação foi desenvolvida uma estrutura para a interação homem-robô através da integração de modelos de redes neuronais de última geração. A estrutura é baseada no StaDNet, um modelo para reconhecimento de gestos estáticos e dinâmicos. Propomos uma abordagem baseada na pose humana que permite a extração e exploração de pontos-chave espaciais e temporais para realizar a inferência de gestos. O nosso método de estimativa da pose humana baseia-se no ViT-Pose, um modelo de Vision Transformer com um desempenho topo de gama tanto em termos de precisão como de velocidade. Foram obtidos excelentes resultados ao testar a estrutura no ChaLearn LSSII Continuous Gestures Dataset, no qual obtivemos uma precisão de 81% durante pré-treino numa amostra de 47 gestos, e no nosso próprio conjunto de dados interno de gestos dinâmicos subaquáticos, no qual o modelo alcança uma precisão de teste global de 74,4%. Esta estrutura foi integrada num veículo real, permitindo a um mergulhador comunicar através de gestos. Underwater human-robot communication and cooperation is a key step towards reducing the burden on divers in a broad range of undersea applications. Since commonly used radio frequency based methods are unavailable in sub-aquatic environments, novel approaches need to be developed and tested. Therefore, this research work proposes to explore the boundaries on vision-based communication with a robot beneath the water surface. Thus, under the scope of this research project, a framework for human-robot interaction has been developed by integrating state-of-the-art neural network models. The aforementioned framework is based on StaDNet, a model for static and dynamic gesture recognition. We propose a human pose-based approach that allows the extraction and exploitation of spatial and temporal key-points to perform gesture inference. Our human pose estimation method relies on ViTPose, a Vision Transformer based model with state-of-the-art performance in both accuracy and speed. Excellent results have been achieved when testing the framework on the ChaLearn LSSII Continuous Gestures Dataset, on which we achieved 81% accuracy during pre-training on a sample of 47 gestures, and on our own in-house underwater dynamic gestures dataset, on which the model achieves an overall 74.4% test accuracy. This framework was integrated with a real vehicle, enabling a diver to communicate with it by peforming gestures.
Publication details
Authors in the community:
Luis Alejandro Grajeda Blandon
ist1105580
Supervisors of this institution:
David Alexandre Cabecinhas
ist150694
Degree Name
Mestrado em Engenharia Eletrotécnica e de Computadores
Fields of Science and Technology (FOS)
electrical-engineering-electronic-engineering-information-engineering - Electrical engineering, electronic engineering, information engineering
Keywords
- vision
- underwater environment
- dynamic gestures
- neural networks
- visão
- ambiente subaquático
- gestos dinâmicos
- redes neurais
Publication language (ISO code)
eng - English
Rights type:
Embargo lifted
Date available:
October 10, 2024
Institution name
Instituto Superior Técnico
Financing entity
European Regional Development Fund
Title of the project, award or grant: EMSO-PT-PINFRA/22157/2016_LISBOA-01- 01
Funding Stream: Lisbon Regional Operational Program 2020
Identifier for the funding entity: https://doi.org/10.13039/501100008530
Type of identifier of the funding entity: Crossref Funder
Number for the project, award or grant: LISBOA01-0145-FEDER-022157