Identification of flying objects using computer vision

Duarte Maria Perestrello Leite Vilardebó Loureiro

Key information

Authors:

Duarte Maria Perestrello Leite Vilardebó Loureiro (Duarte Maria Perestrello Leite Vilardebó Loureiro)

Supervisors:

Duarte Pedro Mata de Oliveira Valério (Duarte Pedro Mata de Oliveira Valério); Mário Rui Melício da Conceição (Mário Rui Melício da Conceição)

Published in

November 29, 2023

Abstract

A monitorização de espaços aéreos de movimentação elevada, como aeroportos e bases militares, pode ser decisiva em assegurar a sua segurança. Existe a possibilidade de objetos voadores intrusivos não identificados colidirem no espaço aéreo, podendo pôr em perigo as pessoas envolvidas. Diversas câmaras são instaladas nestes locais de modo a monitorizar estes tipos de objetos. Porém, o ser humano não é capaz de supervisionar, de maneira eficaz, várias câmaras ou inúmeros objetos ao mesmo tempo. A deteção de objetos é uma ferramenta de Visão Computacional importante, que tem como intenção detetar classes de objetos em imagens, substituindo assim a visão e a mente humana. Um detetor de objetos também deve ser capaz de distinguir entre classes de objetos, podendo assim reconhecer se um objeto está presente e se constitui um perigo. Uma rede neuronal convolucional de estágio único, chamada Yolov7, capaz de deteção em tempo real, foi implementada com o intuito de detetar e classificar objetos voadores. Yolov7 melhora o modelo começado pelos seus antecessores e implementa diversas técnicas de aprendizagem profunda, que melhoram o seu desempenho, velocidade e precisão. Uma base de dados, com mais de quatro mil imagens, foi construída e anotada manualmente. Foram treinados vários modelos com parâmetros e arquiteturas diferentes. O modelo final foi construído com a arquitetura do Yolov7-tiny. Os parâmetros usados foram os identificados como os mais adequados, tendo em conta precisão, memória e velocidade do modelo. A rede foi capaz de alcançar 85\% mAP 50\% e 60\% mAP 95\% nos dados de teste. The monitoring of high traffic aerial spaces, such as airports and military bases, can be crucial in ensuring their safety. Intrusive undetected flying objects may lead to collisions in the airspace, thus endangering the persons involved. Several cameras are installed in these sites in order to monitor these kinds of objects. However, humans are not capable of effectively surveying various cameras, or several instances of flying objects simultaneously. Object detection is a Computer Vision technique that aims to automatically detect instances of visual objects in images, thus replacing the human eye and brain. An object detector must also be able to classify an object, discerning whether or not an object is present, and if it constitutes a danger. A single-stage convolutional neural network called Yolov7, capable of real-time detection, was implemented to detect and identify flying objects. Yolov7 improves the framework started by its predecessors and implements several deep learning techniques that improve its performance, speed and accuracy. A custom dataset composed of more than four thousand images with five classes of flying objects was constructed and manually annotated. Several studies using models with different parameters and architectures were conducted. The final model was constructed using the Yolov7-tiny architecture. The parameters used were identified as the most suitable for flying object detection, taking not only accuracy into account, but also the memory usage and model speed. The network was able to achieve 85% mAPm 50% and a 60% mAP 95% when testing.