Master's Thesis

Mobile visual surveillance: mesh-model reconstruction and background subtraction for the detection of scene changes

João Pedro Nunes Ribeiro Dias — 2024

Key information

Authors:

João Pedro Nunes Ribeiro Dias (João Pedro Nunes Ribeiro Dias)

Supervisors:

José António Da Cruz Pinto Gaspar (José António Da Cruz Pinto Gaspar)

Published in

June 20, 2024

Abstract

Neste trabalho de dissertação propomos uma metodologia para representar cenários interiores como modelos malha tridimensionais para detetar mudanças. Estes modelos são reconstruídos a partir de informação de cor e profundidade adquiridas por robôs móveis equipados com câmaras de profundidade. O processo envolve a estimativa das posições das câmaras para registar nuvens de pontos globais, que são então usadas para extrair informações estruturais e gerar modelos malha de acordo com um critério de otimalidade. Estes modelos são constituídos por facetas planas e segmentadas que representam superfícies do cenário. Alinhando e correspondendo estas facetas entre múltiplos modelos do mesmo cenário, podemos calcular mudanças texturais utilizando um algoritmo de subtração de plano de fundo. Experiências realizadas sobre dados reais e sintéticos mostraram que é possível criar modelos 3D baseados em facetas e vigiar o cenário por via de deteção de alterações nos modelos 3D. In this thesis work we propose a methodology for representing indoor scenarios as 3-dimensional mesh-models to detect changes. These models are reconstructed from color-depth information acquired using mobile robots equipped with color-depth cameras. The process involves estimating camera poses to register global point clouds, which are then used to extract structural information and generate mesh-models according to an optimization criteria. These models consist of piecewise and planar facets representing scenario surfaces. By aligning and matching these facets between multiple models of the same scenario, we can compute textural changes using a local background subtraction algorithm. Detected changes are highlighted in the models, making them easily identifiable for end-users. Experiments conducted on both real and synthetic datasets have produced facet models and shown promising results in detecting changes.

Publication details

Authors in the community:

Supervisors of this institution:

Degree Name

Mestrado em Engenharia Eletrotécnica e de Computadores

Fields of Science and Technology (FOS)

electrical-engineering-electronic-engineering-information-engineering - Electrical engineering, electronic engineering, information engineering

Keywords

  • World Representation
  • Color-depth
  • Data Integration
  • Detection of Changes
  • Representações de cenários
  • Câmaras de cor e profundidade
  • Fusão de dados
  • Detecção de mudanças visuais

Publication language (ISO code)

eng - English

Rights type:

Embargo lifted

Date available:

April 29, 2025

Institution name

Instituto Superior Técnico