SampleXplorer, leveraging AI for creative sound exploration: an interface for music generation using Variational Autoencoders

Francisco Rogério Santos

Key information

Authors:

Francisco Rogério Santos (Francisco Rogério Santos)

Supervisors:

Helena Sofia Andrade Nunes Pereira Pinto (Helena Sofia Andrade Nunes Pereira Pinto); Rui Pereira Jorge

Published in

June 19, 2023

Abstract

No campo da Criatividade Computacional, um subconjunto distinto da Inteligência Artificial, o foco está na compreensão computacional da criatividade humana e na criação de sistemas que podem demonstrar comportamento criativo ou melhorar a criatividade humana. Um objetivo comum nesta área é o desenvolvimento de sistemas capazes de produzir artefactos musicais. No entanto, o potencial para criar tais sistemas geradores de música, particularmente quando se integram diversos conceitos numa única ferramenta, permanece em grande parte pouco explorado. Nesta pesquisa, apresentamos uma abordagem inovadora para este desafio, introduzindo um espaço exploratório capaz de gerar novos sons com base nos existentes. Isto é conseguido através da integração das capacidades da arquitetura dos Variational Autoencoder. O nosso sistema proposto não só é adequado à criação rápida de composições rítmicas, mas também serve como uma ferramenta para a geração de motivos musicais, texturas e instrumentos virtuais. Estes componentes podem então ser incorporados facilmente em composições criadas por humanos no sequenciador. A criação de interfaces que permitam a exploração de pacotes de sons é uma ideia relativamente recente. Além disso, a integração da geração de som na tarefa de exploração sonora pode melhorar a experiência global, se nenhuma das tarefas se sobrepor à outra. Realizámos uma série de questionários e entrevistas presenciais para avaliar o valor criativo da ferramenta desenvolvida. Os resultados destas avaliações fornecem perspectivas valiosas sobre a eficácia e o potencial do nosso sistema, contribuindo assim para a discussão mais ampla sobre o papel da IA nas indústrias criativas. In the rapidly progressing field of Computational Creativity, a distinct subset of Artificial Intelligence, the emphasis is on the computational understanding of human creativity and the creation of systems that can either demonstrate creative behavior or enhance human creativity. A common pursuit in this area is the development of systems capable of producing musical artifacts. However, the potential for creating such music-generating systems, particularly when integrating diverse concepts within a single tool, remains largely untapped. In this research, we present a novel approach to this challenge by introducing an exploratory space capable of generating new sounds based on existing ones. This is achieved by leveraging the capabilities of the Variational Autoencoder (VAE) architecture. Our proposed system is not only adept at swiftly creating rhythmic compositions but also serves as a powerful creative tool for generating musical motifs, textures, and virtual instruments. These components can then be smoothly incorporated into compositions created by humans in the sequencer. The concept of exploring sample packs to create a more inspiring and enjoyable experience is a relatively fresh idea. Furthermore, integrating sound generation and manipulation into the sound exploration task can enhance the overall experience if neither task dominates the other. We conducted a series of online questionnaires and face-to-face interviews to evaluate the perceived value of the creative support tool developed. The results of these evaluations provide valuable insights into the effectiveness and potential of our proposed system, thereby contributing to the broader discussion on the role of AI in creative industries.