EEG to fMRI synthesis

David António Cóias Calhas

Key information

Authors:

David António Cóias Calhas (David António Cóias Calhas)

Supervisors:

Rui Miguel Carrasqueiro Henriques (Rui Miguel Carrasqueiro Henriques)

Published in

10/20/2023

Abstract

A atividade eletrofisiológica está intricadamente relacionada com a atividade hemodinâmica, sendo a irrigação sanguínea essencial para promover a homeostasia celular onde necessário. Avanços na computação permitem uma elevada capacidade de processamento, despoletando uma análise profunda de neuroimagem médica. Complementarmente à electroencefalografia (EEG), a emergência da resonância magnética funcional (fMRI) permitiu avanços na compreensão da hemodinâmica cerebral. Estas modalidades captam funções cerebrais diferentes e têm resoluções espaço-temporais diferentes. Este projeto mapeia EEG em fMRI através de princípios de processamento neuronal. Através deste mapeamento, diferentes aplicações podem ser exploradas: suporte de diagnósticos ambulatórios de doenças cerebrais; estudos longitudinais recorrendo ao EEG como proxy; e aumento da discriminabilidade e interpretação de sistemas de apoio à decisão médica. Neste trabalho, propomos a geração automática de arquitecturas neuronais para dar novas perspectivas para a estrutura de modelos existentes e remover o viés humano do problema. Dada uma arquitectura neuronal óptima que é capaz de mapear EEG para fMRI, melhorando o estado da arte na tarefa em 13% RMSE. Os nossos resultados sugerem que os eletrodos de EEG contêm relações (como entre Oz e P09) essenciais para reter informação necessária para recuperação de atividade hemodinâmica. Adicionalmente, olhamos para a necessidade de quantificar a incerteza na tarefa de síntese. A solução proposta consiste em manipular o espaço espectral na saída da rede, o que reduz a resolução espacial da síntese e melhora as versões originais. No final, mostramos que a nossa rede está apta a extrapolar a problemas de classificação, através da sua invariância a desvios e mecânicas espectrais. Usando esquizofrenia como prova de conceito, observamos um notável poder discriminativo da vista sintetizada (0.77 na área sobre a curva descritora) e interpretabilidade acrescida. Electrophysiological activity is related to haemodynamical activity, resting on the theory that the blood flows to where it is needed. As neurons fire, producing action potentials, blood irrigation is required to provide necessary molecules and remove the released toxins. Recent computational advances withheld information at high capacities of computational processing and storage, allowing a comprehensive analysis of neuroimaging records. Complementarily to Electroencephalography (EEG), the emergence of functional Magnetic Resonance Imaging (fMRI) has paved neuroscience discoveries related with haemodynamical brain activity. These modalities provide different stances on brain functions and show structurally different spatiotemporal resolutions. This work maps EEG to fMRI using neural processing principles. With such a mapping, different applications can be explored: assist ambulatory diagnostics of brain diseases; support longitudinal studies via proxy of the EEG; and increase the discriminative and interpretative power of decision support systems. In this work, we propose a automatic generation of neural architectures to give new insights to the structure of existing models and removing the human bias from the problem. To this end, simultaneous EEG and fMRI records at resting and task-based states were processed. We then converge on a neural architecture that is able to map EEG to fMRI, surpassing the state-of-the-art in this task by 13% in RMSE. Our results suggest that EEG electrode relationships (such as between Oz and PO9) are pivotal to retain information necessary for haemodynamical activity retrieval. Following, we addressed the need for uncertainty quantification in our synthesis task. The proposed solution consisted on a spectral manipulation at the output of the network, which lowers the spatial resolution of the synthesis and benefits the original versions (+0.21pp in RMSE).In the end, we show that our proposed neural network is innate at extrapolating to a classification setting, due to its shift invariant properties and spectral inspired mechanics. Using schizophrenia as a proof of concept case, we were able to prove that our synthesized view is discriminative (0.77 area under the receiver operating characteristic curve) and has a good interpretability power over this neuropsychiatric disorder.