Multiview layered depth image: a data representation for 3D Flashback

Rafael Kuffner dos Anjos

Informações chave

Autores:

Rafael Kuffner dos Anjos (Rafael Kuffner dos Anjos)

Orientadores:

João António Madeiras Pereira (João António Madeiras Pereira), José António da Cruz Pinto Gaspar (José António Da Cruz Pinto Gaspar), Carla Montez Fernandes

Publicado em

21/06/2018

Resumo

A reconstrução tri-dimensional de eventos capturados em imagem, e a sua representação a partir de um ponto de vista escolhido pelo utilizador, são desafios nas áreas de computação gráfica e visão computacional. Ao lidar com dados de vídeo, esse problema é intitulado ” Síntese de gráficos baseada em vídeo”. As técnicas propostas em sistemas de televisão com ponto de vista livre possibilitam o movimento da câmera somente através de pontos de vista previarnente definidos; consequentemente não contemplando a estrutura tri-dimensional e temporal dos componentes reconstruídos. Esta tese pretende avançar a investigação e o desenvolvimento de técnicas que permitam que um utilizador possa assistir a um evento a partir de um ponto de vista à sua escolha em tempo real, numa reconstrução tri-dimensional detalhada da realidade capturada em vídeo. A reconstrução tri-dimensional de dados de vídeo e a sua codificação numa representação eficiente para posterior reprodução, continuam a ser problemas de investigação por resolver. Um sistema completo foi desenvolvido para responder estes problemas, chamado de ’’Sistema de Flashback 3D”. Três diferentes aplicações no domínio das artes performativas e dança foram desenvolvidas para validar a aproximação proposta. A principal contribuição desta tese de doutoramento é uma nova representação de dados para vídeos de nuvens de pontos, que também pode ser usada em cenários complexos de síntese de gráficos baseada em imagem,; ”Multiview Layered Depth Image”. Three-dimensional reconstruction of events recorded on images and their representation from a user-chosen viewpoint are a challenge in the fields of computer graphics and computer vision. When dealing with video data, this problem is called videobased rendering. The techniques proposed on free viewpoint television systems enable camera movement based only on the prerecorded viewpoints, thus not properly contemplating the 3D structure and temporal component reconstruction. This thesis aims to go further on research and development of techniques that allows users to watch events and select the desired viewpoint in real time of a detailed 3D reconstruction of the video-captured reality. Three-dimensional reconstruction of captured data on a temporal sequence and its codification on an efficient representation for posterior reproduction still poses as a research challenge to be solved. A complete framework was developed to address these issues, named the 3D flashback framework. Three different applications in the field of performance arts and dance were developed to validate the proposed approach. The main contribution of this PhD Thesis is a novel data-representation for point cloud videos, which can also be used in complex image-based rendering scenarios, the Multiview Layered Depth Image.