Sensor fusion for deep object detection in ship automation

November 24, 2023

A deteção e identificação de objetos na superfície da água utilizando sensores instalados nas embarcações são tarefas importantes para a indústria marítima para garantir uma navegação segura. Contudo, condições climáticas adversas e o estado do mar podem representar desafios significativos para os marinheiros que, no mar, dependem da inspeção visual ou de sensores para evitar tais objetos. O ambiente marítimo traz condições meteorológicas e estados do mar desafiantes, que levam ao aparecimento de questões como o reflexo da luz, movimentos da câmera e alterações na iluminação podem resultar em deteções incorretas nos referidos sensores. Nesta dissertação, propomos e avaliamos técnicas de fusão de sensores que combinam dados de sensores visuais (câmaras) e de radar para aprimorar a deteção de objetos, reduzir o número de falsos positivos e melhorar a estimativa da sua posição. Desenhamos e testamos duas arquiteturas de fusão de sensores que efetuam a fusão em dois domínios diferentes (planos da água e da imagem). Ambas as arquiteturas podem ou não depender e beneficiar do facto dos dados de entrada serem sequenciais. O desempenho de ambas as arquiteturas, superou o dos respetivos sensores individuais, especialmente quando se considera a sequencialidade dos dados, quando avaliadas nos respetivos domínios. A arquitetura de fusão no plano da imagem com dependência temporal destacou-se igualmente no seu domínio não-nativo e é, por conseguinte, considerada a arquitetura de fusão mais adequada para enfrentar o desafio apresentado nesta dissertação. The detection and identification of objects on the water’s surface using sensors along the ship are important tasks for the maritime industry to ensure safe navigation. However, adverse weather and sea conditions can pose significant challenges for sailors at sea who rely on either visual inspection or sensors to avoid said objects. The maritime environment brings challenging environmental conditions like weather and sea conditions, which lead to light reflection, camera motion, and changes in illumination that can result in incorrect detections on these sensors. In this dissertation, we propose and assess sensor fusion techniques that combine data from visual (cameras) and radar sensors to enhance object detection, reduce the number of false positives, and improve position estimation. We designed and tested two sensor fusion architectures that perform fusion in two different domains (water and image planes). Both architectures could rely or not on the fact that the input data was sequential. Both architectures outperformed their individual sensor counterparts, particularly when considering sequential data, when evaluated in their respective domains. The image plane fusion architecture with temporal dependency also excelled in its non-native domain and is therefore considered the most suitable fusion architecture to address the challenge presented in this dissertation.

Authors in the community:

• 

  V

  Vasco Duarte Vieira Rodrigues

  ist193198

Supervisors of this institution:

• 

  A

  Alexandre José Malheiro Bernardino

  ist13761

• 

  D

  Diogo Costa Arreda

  ist175282

203839650

Mestrado em Engenharia Eletrotécnica e de Computadores

electrical-engineering-electronic-engineering-information-engineering - Electrical engineering, electronic engineering, information engineering

Keywords

• Sensor fusion
• Object detection
• Fusão de sensores
• Deteção de objetos

eng - English

Instituto Superior Técnico