Artigo Valentim

Clareando o Solo – Para Clarineta e Video Interativo: correspondências poéticas entre o som e a imagem.

Victor Valentim

Resumo:

Através da tecnologia computacional, pela programação multimídia, são ampliadas as formas de interação entre o som e a imagem. A composição musical interativa com vídeo “Clareando o Solo” busca na sinestesia, as bases para relação entre o sonoro e o visual, de forma poética, na sua construção. Conceitos da cromofonia são empregados com formas geométricas, que representam o corpo do som se movimentando no espaço do vídeo e compondo a visualidade do gesto sonoro, em tempo-real.

Palavras-chave: Música Interativa, Vídeo-Music, Cromofonia, PureData(PD), Teoria Pós-Tonal, Sinestesia.

Abstract:

Through computer technology and multimedia programming are expanded forms of interaction between sound and image. The musical composition with interactive video "Clearing the Ground" search on synesthesia, the basis for the relationship between sound and visual, so poetic in its construction. Concepts of the cromofonia are used with geometric shapes, which represent the body of the sound moving in video space and composing the visual gesture sound in real-time.

Keywords: Interactive Music, Video-Music, Cromofonia, PureData(PD), Post-Tonal Theory, synesthesia.

Introdução

As novas formas de composição, no estudo da música com a tecnologia, nos tempos atuais, possibilitam um diálogo entre as linguagens na Hipermídia (Santaella, 2003), tornando-se uma grande teia de experimentações e idéias, em que, de forma cada vez mais híbrida, a relação entre o som e outras linguagens na interface tecnológica se concretiza. A proposta de associar imagens a sons interpretados em tempo-real por instrumentos melódicos busca traçar um esboço entre a forma do som, como onda mecânica, à cores e formas geométricas que saltam sobre a tela, como uma representação do som em forma e tom (cores), relacionando a performance sonora – com sua gestualidade – ao visual de forma poético-simbólica, e aplicando o estudo da neurociência e da sinestesia, sua percepção e modularidade.

Pespectiva Conceitual

A ideia de relacionar o som e a imagem, duas matrizes de linguagem (Santaella, 2003) com naturezas particulares, por se tratarem de utilizar sentidos diferentes (Audição e Visão), adentra o campo da Sinestesia (Basbaum, 2002), que do grego, “syn”(simultâneas) e “aesthesis”(Sensações), significa “Diversas Sensações Simultâneas”.

A sinestesia funciona no cérebro através de uma sensação, que induz uma outra sensação de forma sensorial, como imaginar o som de uma imagem ou a imagem de um som. As associações se dão, em grande escala, de uma forma livre, de cada pessoa em particular, através de suas experiências, e da sua relação íntima com sonoridades e imagens. Esta associação pode ser compreendida de diversas formas, tanto baseadas em uma correspondência lógica, relacionada a grandezas físicas, como pode ser explorada de forma poética, onde o artista que trabalha com o conceito vai procurar uma relação simbólica entre o som e a imagem, dentro da sua proposta artística.

(...) “O Estudo da sinestesia traz implicações diretas sobre aspectos da percepção, da natureza da realidade, das relações entre razão e emoção, e de modelos cognitivos do funcionamento do cérebro (Modularidade X Multiplex) e sobre a questão da natureza da conciência, isto é, como as informações inferidas pela percepção (brain events) e pelas demais estruturas cognitivas resultam numa imagem consciente (consious percept) mais ou menos coerente da realidade.” (Basbaum, 2002 – pg.30)

A abstração do termo “Sinestesia” para as criações artísticas aconteceu em larga escala na história. Artistas, como Charles Baudelaire, exploraram o tema em suas criações, relacionando o efeito à estágios de consciência avançados, criando tramas de significados e metáforas entre as sensações e as experiências (Prates, 2002). Mas, especificamente, entre o som e as cores, diversos pesquisadores durante a história tentaram tecer idéias: como o padre francês Louis Bertrand Castell que construiu o “Teclado de Cores”, no século XVIII (Basbaum, 2003), como os compositores Rimsky-Korsakof e Scriabin, que associaram cores às tonalidades de suas músicas (Antunes, 1982 pg.14) – como uma sensação verde (Korsakof) ou vermelha (Scriabin) que sentiam ao ouvir determinado trecho em fá maior, por exemplo. Outros pensadores e artistas buscaram, de diversas maneiras, tanto pela religião (teosofia, rosae crusis, budismo, zen-budismo...) como por teorias filosóficas, semióticas, físicas ou lógicas um caminho para a poética das sensações simultâneas (Basbaum, 2002).

O estudo da cromofonia (Antunes, 1982), tece a relação entre a altura das notas e as cores, associando o espectro audível ao espectro visível em grandezas físicas. Tamanha é a distância de valores de vibração entre as frequências dos sons (aprox. 20Hz -20kHz) e das cores (da ordem de THz), tambem a diferença da natureza das ondas em si, uma mecânica e outra eletromagnética. Os valores relacionados à escala de harmônicos dos sons fundamentais, multiplicados em uma função por altíssimos fatores, encontra-se frequências relacionadas à feixes coloridos.

A Percepção dos sons como cores exerce, na tradição musical, diversas formas declassificação: como coloraturas vocais, coloridos orquestrais, o conceito de ruídos por cores, representado por filtragem de bandas de frequências (Ruído Branco, Ruido Rosa, Ruido Amarelo... ) e uma série de outras, esboçam como a sensação sonora, a mais abstrata e icônica entre as matrizes de linguagem (Santaella, 2003), possui em sua interpretação, outras formas de sentir se não somente a sensação auditiva, sejam elas mais poético-simbólicas, ou mais empíricas em sua constatação.

A idéia de imagens sonoras, explorada por Edgar Varèse em peças como Hyperprism, Ionization, Intégrales e Octandre (Ferraz, 2002), ultrapassam as fronteiras da música para a busca da matéria sonora na geometria analítica, na algebra integral e na físico-quimica, como metáforas na criação, a sua poética busca traçar uma imagem sonora das relações numéricas nas ciências exatas, uma estética que se desenvolveu nas obras de diversos compositores, como Iannis Xenakis, Bryan Ferneyhouth, entre outros.

Xenakis buscou na arquitetura e na matemática sua expressão composicional. Suas orquestrações inspiradas na matemática estocástica não-deterministica, como a peça Metastasis (1953-54) e Eonta (1963-64), traça através do visual de sua partitura, uma complexa estrutura de linhas que se entrelaçam e formam uma trama estrutural, com caráter ruidoso e denso timbre, possuindo formas e texturas muito diferenciadas das convencionais, variando coloridos orquestrais, de uma musica que partiu de um conceito racional, lógico e imprevisivel, como a busca pelo acaso e a modularidade dos sons regrada pela superfíce arquitetônica (Santaella, 2003 pg. 160).

Pierre Shaeffer, em seu Traité des Objets Musicaux (1966), trata sobre os tipos de escuta na percepção sonora dos objetos musicais. A exemplo, a escuta causal (Santaella, 2003 pg. 86) ocorre quando escutamos um som e reconhecemos a causa do som, isto é, a fonte sonora e rapidamente em nossa percepção, temos uma impressão visual do som, que nos é um pensamento concreto, no caso da escuta reduzida, nossa percepção sonora tende a interpretar os sons como abstrações de sensação, como puras qualidades, sem relação com a causa ou o sentido, as relações hipotéticas ou impressões vindas destes objetos pode nos inspirar imagens, sensações, emoções ou idéias.

São possíveis as associações do timbre com texturas e sensações táteis (Rugoso, Liso, Suave, Rasgante, Frouxo) representando diversas formas como o som pode se apresentar, utilizando nomenclaturas extramusicas pra ilustrar a sensação na percepção do objeto sonoro em si (Homes, 2008). Para Denis Smalley (1986), os sons possuem um duplo potencial: um abstrato (referente à escuta reduzida) e um concreto (referente à escuta causal), e a mistura destes dois potenciais no contexto da percepção auditiva é uma questão tanto de competência quanto de intenção (Homes, 2008). No contexto da composição para instrumento solista e vídeo interativo, em que a interação entre o som executado pelo instrumentista, com sua particular expressão, e a imagem provocam na percepção uma abstração sonora e uma referencialidade visual, ao ponto de se concatenarem na percepção, como algo que na multimídia, os eventos estão relacionados ao perceber as formas, que cada vez apresentadas se dispõem de formas diferentes, e os sons que com sua propriedade espectro-morfológica, possui suas características frente a combinações poéticas dos objetos sonoros, possibilitando a modelagem da percepção sonora (Zampronha, 1998), através de sons e imagens em suporte tecnológico.

Hoje, com o advento da tecnologia as associações tornam-se possíveis através da mistura das linguagens nas mídias digitais, como os video-clips, a video-music, ambos em suporte-fixo, como o audiovisual interativo, expressão em tempo real das relações entre som e imagem.

A Interatividade na arte multimídia aproxima conceitos de ações, pois a tecnologia existente comporta ao processo de criação uma gama de recursos: softwares, hardwares, plataformas e diversos outros materiais (sensores, controladores, webcam, arduino e etc).

A Interação entre o som e a imagem no vídeo apresenta-se como uma livre-associação entre os corpos sonoros e as formas geométricas. Com a programação de reconhecimento em tempo real dos eventos sonoros, a forma surge, se movimenta e se colore. O patcher que gera essas formas com cores através do som, intitulado “Bolinhas Cromossônicas” (Figura 1) foi desenvolvido na linguagem de programação multimídia PureData(PD).

Figura 1 – Patcher “Bolinhas Cromosônicas”, feito em PureData(PD)

A Idéia de implementar o recurso tecnológico atenta para as duas formas de percepção da gestalidade da música, a experiencia auditiva e visual. O espectador observará as ações no vídeo, em consequência de uma experiencia auditiva do mesmo fenômeno. Sessões, em que o instrumento dialoga com técnicas contempoâneas de produção do som, passagens lentas, com pouca dinâmica, rápidas, curtas, staccato, trêmolo e várias outras, todas geram uma interação diferente com o vídeo, transmitindo ao movimento a energia contida no som.

A captação do som, obtida por microfone, é transformada em audio digital, possibilitando obter diversas variáveis que produzem respostas concretas na visualidade. O Processamento Digital Sonoro (DSP) possibilita a converção em digital para sintese em tempo real do som, com uma gama ampliada por vários modelos de efeitos.

A busca pela gestualidade do som como forma visual, na nossa percepção, gera uma ilimitada gama de formas de criação artística em mídia tecnológica, buscando dialogar, na cibercultura (Lévy, 1999), o hibridismo em que os conceitos que se aplicam amplamente na construção poética.

Clareando o Solo

A Peça busca um diálogo interativo entre o som e a imagem, onde o som produzido pela clarineta é transformadoem bolas coloridas. Isto é possível graças a programação multimídia, onde no espaço virtual, o some a imagem estão entrelaçadas na mesma plataforma, e um pode interagir com o outro.

Uma característica poética do trabalho é que só há imagem se houver som, ele é quem dá forma e cor ao vídeo, representando uma sensação simultânea entre o ouvir notas e ver cores. O círculo foi escolhido como forma geomética padrão, representando a forma de propagação das ondas sonoras, e as cores diretamente relacionadas as notas correspondentes, executadas pelo instrumento.

A Linguagem de programação multimídia open-source PureData (PD), disponível para diversos sistemas operacionais, possui diversas bibliotecas e externals, cada um responsável por uma função que a linguagem possui para criação, sequenciamento, edição e monitoramento em tempo-real. O external utilizado para reconhecimento do som foi fiddle~, ferramenta que reconhece proriedades do som como altura, ataque, comprimento da onda, intensidade (dB), onde esses valores são associados à cor correspondente da nota, o tempo em que ela pernamece no vídeo, seu tamnho, sua posição em três eixos (XYZ).

A Forma como as bolinhas se comportam no espaço do vídeo é randômica, tornando cada performance da peça diferente no gesto da forma. As bolinhas se movimentam em notas mais longas, saltam em lugares diferentes em notas staccato e variam as tonalidades de cor, conforme a afinação do instrumento (Fig. 2).

Figura 2 – Bolinhas no Vídeo Interativo, geradas por captação sonora.

Sons com espectro composto por mais notas tendem a clarear as cores, como uma mistura de divesas cores, que tendem para a cor Branca, quanto mais puro e afinado o som, mais a cor é definida .

Os Aspesctos composicionais da Peça foram inspirados na Teoria Pós-Tonal (Strauss, 2000), em que o uso de conjuntos de notas, relacionando com diversas formas musicais de manipulação destes conjuntos, como rotações, transposições, Inversões, Multiplicações e etc, conduzem diversos caminhos melódicos em que a clarineta passeia, combinado a técnicas de execução contemporâneas como Multifônicos, Cantar e Tocar ao mesmo tempo, timbres destemperados obtidos por dedilhados alternativos entre outras formas.

A Clarineta foi o instrumento escolhido por possuir um timbre que possui uma gestualidade incrível, seus registros, do grave (Chalumeau) ao Agudo se transforma de algo áspero para liso, em termos da tipo-morfologia do objeto sonoro. Suas nuances de dinâmica, pressão sonora em gestos longos ou curtos dão vida às formas no vídeo, que complementa simbolicamente, em formas, o brilho do som.

O Programa utilizado para calcular as possibilidades de transformação do conjunto sonoro escolhido para a música (Fá – Mib – Ré – Lá – Sol#) foi o PCN, Processador de Classes de Notas, desenvolvido pelo prof. Jamary Oliveira, na Universidade Federal da Bahia (UFBA). O programa é uma calculadora que manipula valores para conjuntos sonoros, auxiliando compositores que utilizam o determinado recurso estético da teoria pós-tonal para sua poética musical.

Conclusão

Clareando o Solo é uma peça onde o vídeo, interpretado pelo som, busca traçar uma relação concreta com a Sinestesia, através da programação multimídia. A Possibilidade de mesclar o som e o visual nos dias atuais tem sido o viés estético de vários compositores, artistas sonoros, músicos, artistas pláticos, performers, coreógrafos, entre outros. A dimensão poética entre as sensações simultâneas busca complementar novas formas de percepção e modularidade da apreciação musical.

O Desejo de experimentar novas interpretações e leituras na musica de câmara nos faz buscar referências concretas em diversas áreas, para trazer para música, materiais poéticos, idéias, conceitos para ampliar a gama de formas de criação, na contemporâneidade.

Referencias Bibliográficas

Livros:

ANTUNES, Jorge. A Correspondência entre os Sons e as Cores. Brasília: Thesaurus. 1982. BASBAUM, Sérgio. Sinestesia – Arte e tecnologia, fundamentos da cromossonia. São Paulo: Annablume/FAPESP. 2002 LÈVY, Pierre. Cibercultura trad. Carlos, Irineu da Costa. São Paulo, Editora 34. 1999. SANTAELLA, Lúcia. Matrizes de Linguagem e Pensamento – Sonora, Visual e Verbal. São Paulo: Iluminuras. 2003 SCHAEFFER, Pierre. Traité des Objets Musicaux. Paris: Èditions du Seuil. 1966. SMALLEY, Denis. Spectro-morphology and Structuring Processes. In Emmerson, Simon (Ed.). The Language of Electroacoustic Music. London: Macmillan Press. 1986 STRUSS, Joseph N. Introduction to Post-Tonal Theory. New Jersey: Prentice Hall. 2000. ZAMPRONHA, Edson. Notação, Representação e Composição: O novo paradigma da escritura musical. São Paulo: Annablume/FAPESP. 1998.

Artigos:

PRATES, Eufrasio . Sinéreses cromossônicas: projeto de complementaridade semiósica entre som e cor. Galáxia (PUCSP), São Paulo, v. 4, p. 293-297, 2002. HOLMES, Bryan. Análise Espectromorfológica da Obra Desembocaduras. In: XVIII Congresso da Associação de Pesquisa e Pós-Graduação em Música (ANPPOM), 2008, Salvador - BA. Anais do XVIII Congresso da ANPPOM, 2008. FERRAZ, Sílvio. Varèse: a composição por imagens sonoras. Musicahoje, belo horizonte, v. 1, p. 08-18, 2002. BASBAUM. Sérgio. Sinestesia e Percepção Digital. In: Subtle Technologies Festival 2003, Toronto, 2003. FIGUEIRÓ, C. S. ; ALMEIDA, Anselmo Guerra. Enquanto eles riem para Clarinete e computador rodando MAX/Msp. In: X SBCM, 2005, Belo Horizonte. Anais do X Encontro da SBCM, 2005.