Assessment and optimization of omnidirectional images viewport rendering

Falah Jabar Rahim

Informações chave

Autores:

Orientadores:

Maria Paula Dos Santos Queluz Rodrigues (Maria Paula Dos Santos Queluz); João Miguel Duarte Ascenso (João Miguel Duarte Ascenso)

Publicado em

14/10/2022

Resumo

Recentemente, o vídeo omnidirecional (ou 360⸰) tem conduzido à criação de novos serviços e aplicações de realidade virtual (RV), nas áreas de medicina, arquitetura, artes, entretenimento, educação, desporto e turismo, entre outras. O conteúdo visual omnidirecional é tipicamente capturado com uma matriz de câmaras e representa, numa imagem esférica, todo o campo visual que circunda a zona de captura, permitindo oferecer uma experiência imersiva ao utilizador. Para visualizar este tipo de conteúdos em dispositivos planos, projecta-se uma fracção da imagem esférica num plano, do que resulta uma imagem 2D designada por viewport; este processo é genericamente designado por viewport rendering. No entanto, a projecção de uma superfície esférica num plano introduz sempre distorções geométricas, como o alongamento de objetos e/ou a flexão de linhas retas, que podem comprometer, de forma significativa, a qualidade da experiência (QoE) do utilizador. Neste contexto, é essencial avaliar a qualidade do viewport produzido pelo rendering do conteúdo omnidirecional. O objetivo principal desta dissertação é avaliar, de forma subjetiva e objectiva, o impacto perceptual das distorções geométricas introduzidas no viewport rendering, e resultantes da projeção da imagem esférica num plano. Para além disso, pretende-se otimizar esta projecção de forma perceptual, de forma a produzir viewports com boa qualidade visual, minimizando o impacto negativo das distorções geométricas. De forma a atingir os objectivos acima delineados, realizaram-se várias campanhas de avaliação subjectiva, utilizando viewports obtidos com diferentes projeções esfera-plano, nomeadamente a projeção perspectiva geral (GPP) e a projeção Pannini (PP). Estas campanhas permitiram avaliar o impacto das distorções geométricas, tendo sido seguidas pela proposta e desenvolvimento de novas métricas objectivas de avaliação de qualidade, capazes de avaliar as distorções geométricas introduzidas. Os resultados experimentais confirmaram que as métricas propostas são capazes de avaliar e prever a qualidade do viewport de forma bem correlacionada com os resultados da avaliação subjetiva, ou seja, próximas da percepção humana. Adicionalmente, as métricas objetivas propostas foram utilizadas para otimizar as projecções GPP e PP, de forma adaptada ao contéudo do viewport. Este procedimento permitiu minimizar as distorções geométricas, adaptando globalmente os parâmetros da projeção ao conteúdo da imagem, resultando em viewports com qualidade visual melhorada. A projeção Pannini foi ainda objecto de um processo de optimização adicional, de forma a ter também adaptação local, para além da global. A projecção resultante permitiu uma redução extra das distorções geométricas, especialmente em regiões onde a percepção humana é mais sensível, como sobre objetos, conduzindo a viewports com uma qualidade visual significativamente melhor do que a resultante de projecções consideradas estado-da-arte, e em particular quando são considerados campos de visão largos (~150o ). Nowadays, omnidirectional (or 360⸰ ) visual content is driving the creation of new and immersive services and virtual reality (VR) applications in the fields of medicine, architecture, arts, entertainment, education, sports, and tourism, among others. Omnidirectional visual content is typically captured with a circular array of cameras and represents the whole visual field surrounding the capture point, which allows to provide an immersive experience to the users. To visualize omnidirectional visual content on planar displays, a fraction of the omnidirectional image is projected on a plane, resulting in a 2D image known as viewport; this process is usually called viewport rendering. However, since a sphere is not a developable surface, any sphere to plane projection introduces geometrical distortions, such as the stretching of objects and/or the bending of straight lines, which may compromise, in a significant way, the user’s quality of experience (QoE). In this context, quality assessment of the viewport images that are produced by the rendering of omnidirectional content is much needed. The main objective of this Thesis is to subjectively and objectively assess the perceptual impact of the geometric distortions introduced in viewport rendering, mostly due to the sphere to plane projection. Furthermore, it is intended to optimize the sphere to plane projection in a perceptual way, resulting in a perceptually pleasing viewport image after rendering. Several subjective assessment experiments were conducted with different sphere to plane projections, notably the general perspective projection (GPP) and the Pannini projection (PP). These experiments allowed to evaluate the geometric distortions impact and were followed by the design of new content-aware objective quality metrics, able to assess the perceived geometric distortions in a reliable way. The experimental results show that the proposed metrics are able to assess and predict the viewport quality with a high correlation with the subjective quality scores, i.e., close to human perception. Additionally, the proposed objective metrics were used to optimize the GPP and PP, resulting in content-aware GPP and content-aware PP projections. This procedure allows to minimize the geometric distortions, by globally adapting the projection parameters to the image content, resulting in viewport images with enhanced perceived quality. The content-aware Pannini projection was further optimized by also applying a local adaptation to the content, besides the global one. This allows an extra reduction of the geometric distortions, especially on regions where the human perception is more sensitive, such as objects, resulting in viewports with significant better visual quality than the benchmark, and state-of-the-art, projections, particularly when high field-of-views (~150o ) are used.