Detection of swimmers in open water using shipborne vision sensors

Franziska Stefanie Auer

Key information

Authors:

Franziska Stefanie Auer (Franziska Stefanie Auer)

Supervisors:

Alexandre José Malheiro Bernardino (Alexandre José Malheiro Bernardino); Lukasz Dzianach

Published in

July 25, 2023

Abstract

Ao desenvolver ferries autónomos, a segurança deve ser uma prioridade. Na maioria das vezes, um ferry não estará sozinho na água pelo que encontrará outros objetos ou mesmo humanos enquanto opera. Esta tese visa desenvolver um modelo que detete humanos na água para aumentar a segurança operacional de um ferry autónomo. As imagens utilizadas são tiradas de câmaras (RGB e IR) instaladas a bordo do ferry. O método utilizado nesta tese é a detecção de objectos com base na aprendizagem mecânica (ML). Nesta tarefa o objeto a detetar é um nadador. Três arquiteturas de rede diferentes serão utilizadas para detetar o nadador, nomeadamente a Faster {R-CNN} e a {YOLO}. Estes modelos serão treinados usando a aprendizagem por transferência com dois conjuntos de dados existentes e um conjunto de dados recentemente criado que representa exatamente o ângulo de visão do ferry. Além disso, o conjunto de dados recém-criado apresenta mais imagens em situações difíceis, como durante o pôr do sol, com nadadores (parcialmente) ocultos e pessoas a fazer snorkelling sob a superfície da água. Para obter bons resultados de deteção, foi implementada uma regra de filtragem temporal: As detecções de 10 imagens são combinadas para obter uma única janela de deteção. Os nossos resultados mostram que com o YOLOv8x e a utilização de janelas, é possível ter menos de um Falso Positivo (FP) por época de operação e, ao mesmo tempo, garantir que um potencial nadador em frente ao barco seja detectado. When developing autonomous ferries, safety must be a priority. Most times a ferry will not be alone in the water so it will encounter other objects or even humans. This thesis aims to develop a model that detects humans in water to increase the operational safety of an autonomous ferry. The images used are taken from an {RGB} camera aboard the ferry. The method used in this thesis is object detection which is based on {ML}. In this task, the object to be detected is a swimmer. Two different network architectures will be used to detect the swimmer, namely Faster {R-CNN} and {YOLO}v8. These models will be trained by using transfer learning with two existing datasets and a newly created dataset that represents exactly the viewing angle of the ferry. Additionally, the newly created dataset features more images in difficult situations like during sunset, with (partially) occluded swimmers and people snorkelling under the water surface. To obtain good detection results, a temporal filtering rule was implemented: Detections of 10 images are combined to obtain a single window detection. Our results show that with {YOLO}v8x plus the use of windows, it is possible to have less than one {FP} per season while still assuring that a potential swimmer in front of the boat will be detected.