Mind Mapping in VR: generating mind maps from textual information for interaction in a virtual reality environment

Afonso Maria De Muller e Sousa Castelão

Key information

Authors:

Afonso Maria De Muller e Sousa Castelão (Afonso Maria De Muller e Sousa Castelão)

Supervisors:

Daniel Simões Lopes (Daniel Simões Lopes); Mário Jorge Costa Gaspar da Silva (Mário Jorge Costa Gaspar da Silva)

Published in

November 10, 2023

Abstract

No mundo tecnológico actual, as pessoas estão continuamente expostas a uma quantidade avassaladora de informação. A necessidade de uma interpretação visual e resumida dos dados torna-se então mais valiosa e procurada. O Mind Mapping, uma tarefa de reflexão visual, pode resolver este problema ao resumir a informação numa estrutura gráfica organizada. Para além disso, quando combinado com a realidade virtual, os três graus de liberdade permitem que a sua visualização seja mais clara. Neste trabalho, é apresentado uma pipeline completa para gerar mind maps com base em texto. Através da utilização de grandes modelos de linguagem da OpenAI, usando as instruções correctas e processamento de dados, foi criado um processo de geração de mind maps. Este processo inclui uma aplicação Web desenvolvida e envolve a integração de um ambiente de realidade virtual para a visualização e interação dos mind maps gerados. A partir de duas experiências realizadas, uma para a construção de mapas mentais a partir de textos de anatomia - para ajudar os estudantes de medicina - e outra para resumir notícias, observou-se que a experiência do utilizador é positiva, mas que a forma como comunicámos com o modelo causou uma taxa de erro elevada. Foi também concluído que esta pipeline deve ser mais valiosa para alguns propósitos do que para outros. Este trabalho explora um novo processo para gerar, observar e interagir com mind maps. In today's fast-paced technological world, people are continually exposed to an overwhelming amount of information. A need for a visual, summarized interpretation of data becomes more valuable and sought after. Mind Mapping, a visual reflective task can tackle this issue by summarizing information into a graphically organized view. Moreover, combined with virtual reality, a three-dimensional display with three degrees of freedom allows for its visualization to be clearer. In this work, a full pipeline for generating mind maps based on textual information is introduced. By utilizing OpenAI's large language models, combining the right prompts and data processing, a mind map generation process has been achieved. Moreover, this pipeline includes a developed web application and involves the integration of a virtual reality environment for the display and interaction of the given generated mind maps. From two series of experiments conducted, one for the building of mind maps from anatomy texts to aid medical students and another to summarize news, it was observed that the pipeline's user experience is positive but that the way we communicated with the intelligent model raised a high error rate. Moreover, this application should be more valuable in some use cases than others. This exploratory work presents a novel pipeline for generating, observing and interacting with mind maps.