2D image rendering for 3D holoscopic content using disparity-assisted patch blending

João Filipe Oliveira Lino

Informações chave

Autores:

João Filipe Oliveira Lino (João Filipe Oliveira Lino)

Orientadores:

Paulo Jorge Lourenço Nunes (Paulo Jorge Lourenço Nunes); Fernando Manuel Bernardo Pereira (Fernando Manuel Bernardo Pereira)

Publicado em

11/11/2013

Resumo

Holoscopy is a 3D technology that targets solving some of the limitations of current 3D technology, such as the need to wear special glasses to get the depth perception and the visual discomfort caused inherent accommodation issues. The display technologies available today at home are not yet compatible with 3D holoscopic image formats, for this reason methods that convert 3D holoscopic formats into 2D and current generation 3D image formats are required. There is, however, no fully automated, all-in-Focus and high performance 2D extraction method available in the literature. Moreover, the development of this type of conversion technology requires appropriate testing and assessment. Besides subjective testing with real people, there is nowadays no other reliable way to assess the performance of this type of conversion technology. In this context, and after making an extensive review of 3D holoscopic capture and display technologies, this Thesis: a) proposes a novel, fully automated, 2D image extraction method for 3D holoscopic images and assesses its performance; and b) identifies potential No-Reference Image Quality Assessment metrics able to rate this type of 2D extractions and assesses their correlation with the human perception of quality. The proposed 2D extraction method – Disparity-Assisted Patch Blending – outperforms, in “normal” conditions, all the available alternative methods. The NIQE metric seems promising as a potential candidate to reliably rate 2D extractions, although more research work should be done on BRISQUE as well to make it even more reliable. A holoscopia é uma tecnologia 3D que visa resolver algumas das limitações da actual tecnologia 3D, como a necessidade de usar óculos especiais para obter a percepção de profundidade e o desconforto visual causado por problemas de acomodação inerentes. As tecnologias de visualização disponíveis actualmente em casa ainda não são compatíveis com os formatos de imagem holoscópica 3D, pelo que são necessários métodos que convertam os formatos holoscópicos 3D em formatos de imagem 2D e 3D da geração actual. No entanto, não existe na literatura nenhum método de extracção 2D totalmente automatizado, all-in-Focus e de elevado desempenho. Além disso, o desenvolvimento deste tipo de tecnologia de conversão requer testes e avaliações adequados. Para além dos testes subjectivos com pessoas reais, não existe hoje em dia outra forma fiável de avaliar o desempenho deste tipo de tecnologia de conversão. Neste contexto, e após uma extensa revisão das tecnologias de captura e visualização de imagens holoscópicas 3D, esta Tese: a) propõe um novo método de extracção de imagens 2D, totalmente automatizado, para imagens holoscópicas 3D e avalia o seu desempenho; e b) identifica potenciais métricas de avaliação da qualidade de imagem sem referência capazes de classificar este tipo de extracções 2D e avalia a sua correlação com a percepção humana da qualidade. O método de extracção 2D proposto - Disparity-Assisted Patch Blending - supera, em condições "normais", todos os métodos alternativos disponíveis. A métrica NIQE parece promissora como potencial candidata para classificar de forma fiável as extracções 2D, embora deva ser feito mais trabalho de investigação no BRISQUE para o tornar ainda mais fiável.