Point cloud quality assessment

Alireza Javaheri

Key information

Authors:

Supervisors:

João Miguel Duarte Ascenso (João Miguel Duarte Ascenso); Fernando Manuel Bernardo Pereira (Fernando Manuel Bernardo Pereira)

Published in

05/26/2021

Abstract

Hoje em dia, formatos mais ricos de representação visual 3D estão a surgir, nomeadamente campos de luz e nuvens de pontos. Estes formatos tornam possível oferecer novas aplicações em vários domínios, nomeadamente realidade virtual e aumentada, sistemas de informação geográfica, comunicações imersivas e aplicações culturais. Recentemente, no seguimento de vários avanços em termos da aquisição de informação visual 3D, cresceu o interesse em representações visuais que modelam os objectos do mundo real como uma nuvem de pontos amostrados sobre as suas superfícies. As nuvens de pontos são um modelo de representação 3D onde o mundo visual real é representado através de um conjunto de coordenadas 3D sobre os objectos (a geometria) com alguns atributos adicionais tais como cor e normais. Com os avanços nos sistemas de aquisição 3D, é agora possível capturar nuvens de pontos realistas para representar uma cena visual com elevada resolução. Estas nuvens de pontos podem ter até alguns biliões de pontos e logo o seu armazenamento e transmissão no formato original requereria uma quantidade irrazoável de memória e débito de transmissão. Assim sendo, o armazenamento e transmissão de nuvens de pontos exige o desenvolvimento de soluções eficientes de codificação. Neste contexto, de forma a possibilitar a adopção em larga escala deste modelo de representação visual 3D, é também necessário medir de um modo fiável a qualidade de experiência oferecida aos utentes, medindo a qualidade das nuvens de pontos. Enquanto as métricas objectivas de avaliação de qualidade têm como finalidade medir a qualidade das nuvens de pontos de forma matemática, nomeadamente de nuvens de pontos descodificadas, idealmente replicando as classificações que seriam dadas por observadores humanos, a avaliação subjectiva de qualidade permite não só fazer uma avaliação mais fiável da qualidade mas também disponibilizar os dados necessários para avaliar a correlação das classificações objectivas de qualidade com as classificações subjectivas. O desenvolvimento e a identificação das métricas objetivas de qualidade mais fiáveis, especialmente para nuvens de pontos, necessita de dados de avaliação subjetivos obtidos com uma metodologia comprovada. Neste contexto, esta Tese tem dois objectivos principais: primeiro, realizar experiências de avaliação da qualidade subjectiva de nuvens de pontos descodificadas, com diferentes tipos de degradação e factores de impacto como a codificação e a renderização, o que permite avaliar e comparar a fiabilidade das métricas objectivas de avaliação de qualidade já disponíveis para nuvens de pontos; segundo, propor novas métricas objectivas de avaliação de qualidade para nuvens de pontos, nomeadamente com uma melhor correlação com as correspondentes avaliações subjectivas. Para alcançar estes objectivos, foram realizadas três experiências de avaliação subjectiva de qualidade considerando diferentes conteúdos, degradações e factores de impacto. Para além disso, foram propostas quatro métricas objectivas de avaliação de qualidade para nuvens de pontos, todas elas oferecendo um desempenho de correlação superior, às métricas de qualidade disponíveis no momento em que foram desenvolvidas. Devido à importância da geometria na qualidade perceptual das nuvens de pontos, a maioria do trabalho desenvolvido nesta Tese está focado na avaliação da qualidade da geometria, nomeadamente para nuvens de pontos estáticas. Contudo, no último capítulo, é proposta uma métrica objectiva de qualidade que considera conjuntamente a geometria e a cor, apresentando um desempenho superior a todas as métricas objectivas de qualidade disponíveis na literatura para nuvens de pontos. Nowadays, richer 3D visual representation formats are emerging, notably light fields and point clouds. These formats enable new applications in many usage domains, notably virtual and augmented reality, geographical information systems, immersive communications, and cultural heritage. Recently, following major improvements in 3D visual data acquisition, there is an increasing interest in point-based visual representation, which models real-world objects as a cloud of sampled points on their surfaces. Point cloud is a 3D representation model where the real visual world is represented by a set of 3D coordinates (the geometry) over the objects with some additional attributes such as color and normals. With the advances in 3D acquisition systems, it is now possible to capture a realistic point cloud to represent a visual scene with a very high resolution. These point clouds may have up to billions of points and, thus, storing and transmitting them in a raw format would require an unbearable amount of memory and bandwidth. Therefore, the storage and transmission of large point clouds critically ask for the development of efficient point cloud coding solutions. In this context, to boost a wide adoption of this 3D visual representation model, it is also necessary to reliably measure the quality of experience offered to the end-users by measuring the point cloud quality. While objective quality assessment metrics aim to mathematically measure the quality of point clouds, notably decoded point clouds, ideally replicating the scores that would be given by human beings, the subjective quality assessment allows not only to perform more reliable assessment but also allows to assess the correlation of the available objective quality metrics with the users’ opinion scores. The design and identification of the most reliable objective quality metrics, notably for point clouds, requires subjective evaluation data obtained in meaningful and already proven methodology. In this context, the main objective of this Thesis is twofold: first, to perform appropriately designed subjective quality assessment experiments for decoded point clouds under different degradations and impacting factors like coding and rendering which allows to assess and benchmark the reliability of point cloud objective quality metrics; and second, to propose novel objective quality metrics with a higher correlation with the obtained subjective assessment scores. To achieve these objectives, three subjective quality assessment experiments have been performed considering different contents, degradations, and impact factors. Moreover, four objective quality metrics have been proposed, all outperforming the state-of-the-art objective quality metrics at the time they were developed. Due to the importance of geometry on point cloud perceived quality, and new challenges associated with geometry quality evaluation, most of the efforts in this Thesis were around geometry quality evaluation, notably for static point clouds. However, in the last chapter, a quality metric jointly considering geometry and color is proposed, which outperforms all available quality metrics in the literature for point clouds.