Sound synthesis and creation: development of an application for composition support

João Pedro Almeida Teixeira Paixão

Key information

Authors:

João Pedro Almeida Teixeira Paixão (João Pedro Almeida Teixeira Paixão)

Supervisors:

Helena Sofia Andrade Nunes Pereira Pinto (Helena Sofia Andrade Nunes Pereira Pinto); Rui Pereira Jorge

Published in

June 19, 2023

Abstract

A Música está a sofrer mudanças rápidas e profundas. Não se verifica apenas uma mudança de movimento ou género musical como antes, mas sim uma mudança abrupta de perspetiva: na maneira como a ouvimos, como a percebemos, e como a criamos. Aprendizagem Automática e Inteligência Artificial são agora uma parte incontornável da música popular moderna, tanto na concepção, como na sua disseminação para o público geral (algoritmos de recomendação de streaming, geradores de playlists). Embora já exista música totalmente gerada por "máquinas", estas tecnologias ainda não foram integradas na indústria como produtos criativos equiparáveis, tanto pelas mudanças paradigmáticas éticas e legais que precisam ser abordadas, mas também pela falta de aceitação do ouvinte comum. Neste projeto, abordamos o "passo anterior", onde estas tecnologias são usadas como "parceiros" cooperativos no processo criativo musical. Propomos uma aplicação que ajuda o processo criativo da produção de música eletrónica, inspirada em técnicas familiarizadas através da utilização das Digital Audio Workstations modernas. Este Sistema cria sons e organiza-os em arranjos, juntamente com composições MIDI que são modificadas usando efeitos presentes em géneros modernos de música eletrónica, com motivação em obras de artistas como Lorenzo Senni e Flume. Tão importante quanto o software desenvolvido, é a exploração da Criatividade Computacional, onde procuramos novas maneiras de usar a Composição Algorítmica para gerar processos criativos. Fizemos também um estudo sobre a reação de músicos às criações do nosso Sistema, através de métricas desde o esforço cognitivo, até à subversão e divisão de opiniões. Music is experiencing rapid and profound change. This is not a mere change of musical movement or genre as before, but a drastic shift in perspective: in the way we listen to it, how we perceive it, and how we create it. Machine Learning and Artificial Intelligence are now an unavoidable part of modern popular Music, both in conception (Audio Effects, Rhythm Generators) and dissemination to the general public (Streaming Recommendation Algorithms, Playlist Generators). Even though fully ”machine-generated” music already exists, these technologies are yet to be integrated into the industry as comparable creative products, both for ethical and legal paradigm changes that have to be addressed, and because the common music listener is not yet receptive to it. In this project, we address the preceding step, where these technologies are used as cooperative ”partners” in the musical creative process. We propose an application that helps the creative process of Electronic Music Production, inspired by common techniques familiar to modern DAWs’ (Digital Audio Workstation) workflow. This System creates sounds and organizes them into an arrangement, alongside MIDI compositions that are modified using effects present in modern Electronic Music genres, drawing motivation from works of artists like Lorenzo Senni and Flume. As important as the developed software, is the exploration of Computer Creativity, where we seek new ways of using Algorithmic Composition to generate creative processes. We also lead a study on the reaction of musicians to our System’s creation, using measures from cognitive effort to subversion and opinion splitting.