IndoorExplorers: an OpenAI Gym environment for Multi-UAV exploration algorithms

Alexandra Isabel Fernandes

Key information

Authors:

Alexandra Isabel Fernandes (Alexandra Isabel Fernandes)

Supervisors:

António Manuel Raminhos Cordeiro Grilo (António Manuel Raminhos Cordeiro Grilo); João Paulo Baptista de Carvalho (João Paulo Baptista de Carvalho)

Published in

11/27/2023

Abstract

O objetivo deste trabalho é o desenvolvimento de um ambiente de simulação de OpenAI Gym para a exploração de um espaço interior, com recurso a um enxame de Unmanned Aerial Vehicles (UAVs), Aeronaves Não Tripuladas em português. Cada UAV estará equipado com sensores Light Detection And Ranging (LiDAR) e deverá ter a capacidade de navegar de forma segura pelo espaço em questão, ou seja, deverá ser capaz de detetar e evitar qualquer tipo de objetos. A exploração de um espaço consiste em planear um caminho ótimo para recolher o máximo de informação possível sobre o mesmo, neste caso para a criação do seu mapa. O recurso a enxames de UAVs permite a concretização de tarefas mais complexas, rapidamente, com menos custos e de forma mais segura para as pessoas. O ambiente foi desenhado para ser compatível com a infraestrutura de OpenAI Gym e foi utilizado para testar um algoritmo de Reinforcement Learning (RL) para o planeamento de trajetórias, concretamente Dueling Double Deep Q-Learning (DDDQN). De momento, o ambiente desenvolvido permite realizar testes em mapas 2D com até quatro UAVs, cada um equipado com um sensor LiDAR simulado, em cenários com e sem comunicação entre UAVs. Os resultados obtidos comparam duas abordagens para acelerar o treino da DDDQN. Adicionalmente, também foi feita uma análise do impacto que o número de agentes tem e como é que a comunicação afeta a performance do algoritmo. The goal of this work was to create an OpenAI Gym environment to simulate indoor exploration scenarios by a swarm of autonomous Unmanned Aerial Vehicles (UAVs), each equipped with Light Detection And Ranging (LiDAR) sensors and with safe flying capabilities, including the detection and avoidance of any objects, across the space in question. The exploration tasks consists in determining the optimal path that gathers as much information about the space as possible, in this case to create a map of the space. Using a swarm of UAVs, it is possible to achieve these tasks faster, with fewer costs and safely for humans. The developed OpenAI Gym-based environment was then used to test a Reinforcement Learning (RL) algorithm for path planning, specifically Dueling Double Deep Q-Learning (DDDQN). The developed environment currently allows tests in 2D maps with up to four UAVs equipped with a simplified simulated LiDAR sensor, with or without communications. The results obtained compare two approaches to accelerate the training of the DDDQN. Furthermore, an analysis of the impact of more than one agent and whether communications affect the performance was done.