Design and experimental validation of a PCA-based 2D localization system for mobile robots in unstructured environments

Fernando Paulo Neves da Fonseca Cardoso Carreira

Key information

Authors:

Fernando Paulo Neves da Fonseca Cardoso Carreira (Fernando Paulo Neves da Fonseca Cardoso Carreira)

Supervisors:

Carlos Baptista Cardeira (Carlos Baptista Cardeira); João Manuel Ferreira Calado (João Manuel Ferreira Calado)

Published in

03/15/2018

Abstract

This work proposes and experimentally validates an indoor mobile robot localization system, to operate in unstructured indoor environments, using only on-board sensors. The proposed approach is a self-localization system architecture composed by three modules: i) an attitude estimation filter, based on compass and odometry data; ii) a 2D non-linear positioning system based on ceiling vision; iii) a 2D position estimator to merge the absolute non-linear positioning system and odometry, through a linear filter. The positioning system resorts to Principal Component Analysis (PCA) of grayscale or depth images, acquired by a camera looking upwards to the ceiling, where no beacons or special features are present. The use of the PCA has the advantage of avoiding the need of extraction features and obtain the global position with low complexity algorithms. During operation, the principal components of the acquired images are compared with previously registered images present in a reduced dimension on-board image database. A Linear Parameter Varying (LPV) model for differential drive mobile robot position kinematics is derived without the need of local linearization. This LPV allows the use of a globally stable estimator, avoiding the drawbacks associated to Extended Kalman Filters (EKF). The 2D linear position and velocity sub-optimal estimations are provided by a Kalman Filter (KF), for the LPV model, thus guaranteeing stability. The optimal estimates of mobile robot attitude are also provided by a KF. To improve the PCA-based positioning system for varying illumination conditions, the algorithm was extended to the use of depth images, captured by a structured light 3D scanner. This extension allows the system to deal with missing data present in the depth images. The algorithm shows to be robust even if parts of data are missing. To validate the proposed algorithms, a set of tests was carried out in a real environment, using a mobile robot with differential drive kinematics, where: i) the global stability is illustrated based on multiple re-localization experiments; ii) the PCA-based positioning system is validated; iii) the angular and linear slippages estimation are shown to be effective under real operation; iv) the images reconstruction are shown and the localization robustness is validated even if parts of data are missing. The self-localization system is integrated in a navigation system to perform autonomous motion toward to goals positions. The motion control is ensured by a Dipolar Navigation Function (DNF) applied along a roadmap, based on a Generalized Voronoi Diagram (GVD). With the purpose of extending the attitude estimator, to implement the sensor fusion with more motion sensors, a new class of estimators was developed based on Complementary Filter (CF) design. The proposed method addresses the design to combine the measurements provided from several sensors according to the frequency bands of each one. The approach was applied to tackle a generic three sensors fusion problem, allowing the design of mobile robot attitude estimators to merge the data from a rate gyroscope, a digital compass, and odometry. Este trabalho propõe e valida experimentalmente um sistema de localização de robôs móveis que navegam em ambientes interiores não estruturados, utilizando apenas sensores de bordo. A abordagem consiste num sistema de auto-localização composto por três módulos: i) um filtro para estimação de atitude, utilizando os dados de uma bússola digital e da odometria, ii) um sensor de posicionamento não-linear 2D baseado na visão do teto; iii) um estimador de posição 2D para fundir o sistema de posicionamento absoluto não-linear com a odometria, através de um filtro linear. O sistema de posicionamento recorre à análise de componentes principais (PCA) de imagens em escala de cinzentos ou de profundidade, adquiridas por uma câmara a apontar para o teto, sem balizas ou caraterísticas locais especiais. A utilização da PCA tem a vantagem de evitar a necessidade de extração de caraterísticas locais e obter a posição global com algoritmos de baixa complexidade. Durante o funcionamento, os componentes principais das imagens adquiridas são comparados com os das previamente registadas numa base de dados de imagens de dimensão reduzida. Neste sistema é utilizado um modelo linear de parâmetro variável (LPV) para a cinemática da posição do robô móvel de tração diferencial, sem linearização local. Este LPV permite o uso de um estimador globalmente estável, evitando os inconvenientes associados aos filtros de Kalman estendidos (EKF). As estimativas subótimas da posição linear 2D e da velocidade são fornecidas por um filtro de Kalman (KF) para o modelo LPV. As estimativas ótimas de atitude e deslizamento angular também são fornecidas por um KF. Para melhorar o sistema de posicionamento baseado em PCA em diferentes condições de iluminação é estendido o algoritmo para utilizar imagens de profundidade capturadas por um sensor 3D baseado em luz estruturada. O método apresenta robustez com imagens de profundidade corrompidas. Para se validar os algoritmos propostos são realizados testes num ambiente real, utilizando um robô móvel com cinemática diferencial, onde: i) a estabilidade global é apresentada com base em múltiplas experiências de relocalização; ii) o sistema de posicionamento baseado em PCA é validado; iii) a estimativa de deslizamentos angulares e lineares mostra-se eficaz sob operação real; iv) a reconstrução de imagens é apresentada e a robustez de localização é validada, considerando a adição de dados corrompidos aleatórios. O sistema de auto-localização é integrado num sistema de navegação para desenvolver missões. O controlo de movimento é assegurado por uma função de navegação dipolar (DNF) aplicada ao longo de um diagrama de Voronoi generalizado (GVD). Com a finalidade de estender o estimador de atitude para implementar a fusão de mais sensores de movimento é desenvolvida uma nova classe de estimadores com base em filtros complementares (CF) e aborda-se a forma de combinar as medidas fornecidas por diversos sensores, de acordo com as faixas de frequência utilizadas por cada um deles. A abordagem é aplicada para um problema genérico de fusão de três sensores e são projetados vários estimadores de atitude de robôs móveis, fundindo os dados de um giroscópio, uma bússola digital e a odometria.