Vision with plenoptic cameras

Nuno Miguel Barroso Monteiro

Informações chave

Autores:

Nuno Miguel Barroso Monteiro (Nuno Miguel Barroso Monteiro)

Orientadores:

José António Da Cruz Pinto Gaspar (José António Da Cruz Pinto Gaspar), Joao Pedro de Almeida Barreto

Publicado em

08/10/2021

Resumo

A visão é um dos sensores mais importantes na Natureza devido à valiosa e detalhada informação que fornece acerca do ambiente circundante. Esta capacidade sensorial abrange diversos sistemas visuais desde a visão humana, que adquire imagens de perspectiva seguindo o modelo pinhole, ate a visão de insecto onde os olhos compostos por omatídeos permitem a aquisição de imagens multiview para objetos próximos que tornam eficaz a navegação num mundo 3D em constante mudança. Os recentes avanços tecnológicos permitem simular esta visão multiview usando camaras plenóticas. Esta tese foca-se na visão plenótica para o caso de camaras que incluem um sensor de imagem, um array de micro- lentes e uma lente principal. A camara plenótica não segue o modelo pinhole que e largamente utilizado em visão por computador para descrever a projeção de camaras convencionais que simulam o olho humano. A camara plenótica pode ser interpretada como um olho humano no qual a retina e substituída por um olho composto, e onde a geometria e a perceção de profundidade se desviam do que e classicamente ensinado em visão por computador. Nesta tese e seguida uma abordagem construtiva que parte de modelos de projeção clássicos para representar camaras plenóticas como arrays de camaras que são familiares e intuitivos. Usando a representação de array de camaras, são propostos novos métodos de calibração para camaras plenóticas. Adicionalmente, são apresentadas novas funcionalidades tais como a estimação de disparidade usando operadores diferenciais. As contribuições deste trabalho compreendem (i) modelos que permitem descrever as variantes standard e multi-foco das camaras plenóticas sob uma framework comum, (ii) um estudo seminal que analisa as capacidades de reconstrução da camara plenótica standard, (iii) novas metodologias de calibração tendo por base o array de camaras proposto para representar a camara plenótica e que permitem estimar os parâmetros de calibração de forma linear e intuitiva, e (iv) melhorias aos métodos de reconstrução baseando- se em características de profundidade intrínsecas e no conceito de lightfield afim. Vision is one of the most important sensing modalities in nature because of the valuable, thorough information it can provide about the environment. Vision sensing can come in different flavors ranging from human vision, where images are perspective views that follow the pinhole model, to insect vision where compound eyes with ommatidia design enable the acquisition of multiview images of nearby objects which are highly effective to live and navigate in fast changing 3D environments. Recent technological advances allow mimicking this natural, multiview vision using plenoptic cameras. This thesis approaches plenoptic vision for the case of cameras that combine a single high-definition imaging sensor, a microlens array and a main lens. The plenoptic camera does not follow the pinhole model that is broadly used in computer vision to describe the projection in conventional cameras that mimic the human eye. The plenoptic camera can be understood as a human eye where the retina is replaced by a compound eye, and where geometric and depth perception aspects deviate from what is taught in classical 3D computer vision. In this thesis is taken the constructive approach of leveraging classical projection models to represent plenoptic cameras as camera arrays that are familiar and intuitive to the average practitioner. State of the art calibration tools for plenoptic cameras are incorporated based on the proposed representation. New functionalities are added such as estimating disparities with differential operators. The contributions of this work comprise (i) models that describe both standard and multifocus designs of the plenoptic camera in a common framework, (ii) a seminal study that analyzes the depth reconstruction capabilities of the standard plenoptic camera, (iii) new calibration methods that build on the proposed representation of the plenoptic camera as a camera array to estimate the calibration parameters in a linear, intuitive manner, and (iv) improvements on existing single image reconstruction methods based on intrinsic depth cues and on the concept of affine Lightfield (LF).