Drone computing optimization based on Deep Reinforcement Learning

June 12, 2024

A integração de UAVs, Veículos Aéreos Não Tripulados em português, como edge nodes em ambientes de Mobile Edge Computing apresenta uma oportunidade para melhorar os serviços fornecidos aos utilizadores terrestres, permitindo que a UAV forneça suporte computacional para tarefas descarregadas em cenários onde, por exemplo, a infraestrutura de comunicações pode estar danificada/destruída ou onde o processamento em tempo real e análise de dados é necessário. Apesar destes benefícios, UAVs estão limitadas devido aos seus recursos computacionais e a vida útil da bateria, requerendo políticas de otimização de descarregamento de tarefas e controle do movimento. O projeto apresentado desenvolve um ambiente simulado onde um único UAV fornece serviços computacionais a utilizadores dispersos aleatoriamente com tarefas geradas aleatoriamente. O ambiente é modelado através de um Markov Decision Process e utiliza uma abordagem de Reinforcement Learning com Double Deep Q-Network para determinar a proporção ideal de descarregamento de tarefas e o posicionamento do UAV. Este modelo é implementado usando a biblioteca PyTorch do Python e permite que o UAV se mova de acordo com dois métodos diferentes: movimento livre ou por ponto de passagem. Os resultados finais são apresentados e discutidos no final. The integration of Unmanned Aerial Vehicles as edge nodes in Mobile Edge Computing environments presents an opportunity to enhance services provided to Ground User, by allowing the UAV to provide computational support to offloaded tasks in scenarios where, for example, communications infrastructure may be damaged/destroyed or where real-time processing and analysis of data is required. Despite these benefits, UAVs face limitations due to their computational resources and battery life, necessitating optimized task offloading and movement control policies. The work presented develops a simulated environment where a single UAV< provides computational services to randomly dispersed UAVs with randomly generated tasks. The environment is modeled using a Markov Decision Process and incorporates a Reinforcement Learning approach with a Double Deep Q-Network to determine the optimal task offloading ratio and UAV positioning. This model is implemented using Python’s PyTorch library and allows the UAV to move according to two different methods: free movement and waypoint movement. The final results and simulations are presented and discussed at the end.

Authors in the community:

• 

  P

  Pedro Miguel Martins Ferreira Novais

  ist190167

Supervisors of this institution:

• 

  A

  António Manuel Raminhos Cordeiro Grilo

  ist14017

Mestrado em Engenharia Eletrotécnica e de Computadores

electrical-engineering-electronic-engineering-information-engineering - Electrical engineering, electronic engineering, information engineering

Keywords

• Unmanned Aerial Vehicles
• Mobile Edge Computing
• Reinforcement Learning
• Double Deep Q-Network
• Python
• Veículos Aéreos Não Tripulados

eng - English

Instituto Superior Técnico