Open-vocabulary remote sensing image segmentation from Contrastive Language–Image Pre-training

João Pedro Oliveira Pedras

Key information

Authors:

João Pedro Oliveira Pedras (João Pedro Oliveira Pedras)

Supervisors:

Bruno Emanuel Da Graça Martins (Bruno Emanuel Da Graça Martins)

Published in

November 24, 2023

Abstract

Esta tese propõe uma nova abordagem para a segmentação de imagens sem a utilização de classes predefinidas, aplicada ao domínio de observação terrestre. Em particular, utilizar o pré-treino de imagens e linguagem de forma contrastiva (CLIP), e adaptar modelos propostos recentemente, baseados em transformadores, por forma a expandir o estado-da-arte. O método proposto usa o modelo CLIP, treinado em imagens de observação terrestre, e extrai representações textuais, assim como representações da imagem. Estas representações são combinadas, utilizando um descodificador baseado em transformadores, por forma a obter máscaras de segmentação binárias. Para o treino, foi desenvolvido um método que permite expandir conjuntos de dados já existentes de segmentação de imagens aéreas, adaptando-os à tarefa em questão. As experiências realizadas demonstram bons resultados com um valor de 73.05% na métrica de mIoU. Além disso, uma análise qualitativa revelou os pontos positivos e negativos desta abordagem, incluindo descritores de posição e cor, respetivamente. This thesis proposes a novel approach for zero-shot segmentation, applied to the remote sensing domain. In particular, it leverages Contrastive Language-Image Pre-training (CLIP), and adapts recently proposed transformer-based models, in order to extend the state-of-the-art in several directions. The proposed method uses a CLIP model, trained on remote sensing imagery, and extracts text prompt representations, as well as hidden states from its Vision Transformer. These image representations are combined with the contextual prompt in a thin transformer-based decoder, in order to obtain relevant binary segmentation masks. For training, a dataset augmentation method was developed, adapting existing remote sensing segmentation datasets to open-vocabulary zero-shot segmentation. Experimental results show good performance with a mIoU score of 73.05% for the best model, and a qualitative analysis revealed some of the strengths and weaknesses of the proposed approach, such as unseen position descriptors and color descriptors, respectively.