Vision transformers for remote sensing image segmentation

Miguel Alexandre Vieira Gonçalves

Key information

Authors:

Miguel Alexandre Vieira Gonçalves (Miguel Alexandre Vieira Gonçalves)

Supervisors:

Bruno Emanuel Da Graça Martins (Bruno Emanuel Da Graça Martins); Jacinto Paulo Simões Estima (Jacinto Paulo Simões Estima)

Published in

June 26, 2023

Abstract

Segmentação de imagens é atualmente um tema muito discutido no contexto de observação da Terra através de sensoriamento remoto. Investigação recente introduziu vários modelos novos desenhados especificamente para segmentação de imagens capturadas remotamente, normalmente com arquiteturas sofisticadas e mecanismos porpositadamente construídos para este domínio. Por outro lado, este trabalho explora o uso de Transformadores recentes de uso geral para segmentação de imagens neste mesmo contexto, com ênfase na estratégia de treino adotada e na sua influência no desempenho do modelo. Foram testados modelos de diferentes dimensões, assim como uma variedade de possibilidades no que toca à estratégia de treino, incluíndo uma adaptação para imagens com quatro canais, sobre dois datasets utilizados em estudos anteriores. Os resultados mostram que modelos de uso geral são competitivos com o atual estado-da-arte, sem dependerem de arquiteturas construídas porpositadamente para imagens capturadas remotamente. Para além disso, este trabalho testou também dois descodificadores de topo específicos deste domínio emparelhados com um codificador mais recente, o que levou a uma melhoria no desempenho destes modelos face aos originais. Por fim, é também proposta uma nova técnica de feature augmentation que promove equivariância espacial e rotacional em modelos baseados em Transformadores. Image segmentation is currently a hot topic in the context of Earth observation through remote sensing. Recent research has advanced many new models designed specifically for remote sensing image segmentation, often with sophisticated architectures and purposely-built mechanisms for this domain. This work, on the other hand, explores the use of recent general-purpose image segmentation Transformer models on this same context, with emphasis on the adopted training strategy and its influence on the performance of the model. Different model sizes and a variety of possibilities in what regards the training strategy, including an adaptation to 4-channel inputs, were tested over two datasets used in previous studies. Results show that general-purpose models are competitive with the current state-of-the-art, without relying on purposely-built architectures for remote sensing images. Furthermore, this work also tested two state-of-the-art domain-specific decoders coupled with a newer Transformer encoder, which improved performance over the original models. Lastly, a novel feature augmentation technique is proposed, which promotes spatial and rotational equivariance in Transformer-based models.