Pespectiva Conceitual
A ideia de relacionar o som e a imagem, duas matrizes de linguagem (Santaella, 2003) com naturezas particulares, por se tratarem de utilizar sentidos diferentes (Audição e Visão), adentra o campo da Sinestesia (Basbaum, 2002), que do grego, “syn”(simultâneas) e “aesthesis”(Sensações), significa “Diversas Sensações Simultâneas”.
A sinestesia funciona no cérebro através de uma sensação, que induz uma outra sensação de forma sensorial, como imaginar o som de uma imagem ou a imagem de um som. As associações se dão, em grande escala, de uma forma livre, de cada pessoa em particular, através de suas experiências, e da sua relação íntima com sonoridades e imagens. Esta associação pode ser compreendida de diversas formas, tanto baseadas em uma correspondência lógica, relacionada a grandezas físicas, como pode ser explorada de forma poética, onde o artista que trabalha com o conceito vai procurar uma relação simbólica entre o som e a imagem, dentro da sua proposta artística.
(...) “O Estudo da sinestesia traz implicações diretas sobre aspectos da percepção, da natureza da realidade, das relações entre razão e emoção, e de modelos cognitivos do funcionamento do cérebro (Modularidade X Multiplex) e sobre a questão da natureza da conciência, isto é, como as informações inferidas pela percepção (brain events) e pelas demais estruturas cognitivas resultam numa imagem consciente (consious percept) mais ou menos coerente da realidade.” (Basbaum, 2002 – pg.30)
A abstração do termo “Sinestesia” para as criações artísticas aconteceu em larga escala na história. Artistas, como Charles Baudelaire, exploraram o tema em suas criações, relacionando o efeito à estágios de consciência avançados, criando tramas de significados e metáforas entre as sensações e as experiências (Prates, 2002). Mas, especificamente, entre o som e as cores, diversos pesquisadores durante a história tentaram tecer idéias: como o padre francês Louis Bertrand Castell que construiu o “Teclado de Cores”, no século XVIII (Basbaum, 2003), como os compositores Rimsky-Korsakof e Scriabin, que associaram cores às tonalidades de suas músicas (Antunes, 1982 pg.14) – como uma sensação verde (Korsakof) ou vermelha (Scriabin) que sentiam ao ouvir determinado trecho em fá maior, por exemplo. Outros pensadores e artistas buscaram, de diversas maneiras, tanto pela religião (teosofia, rosae crusis, budismo, zen-budismo...) como por teorias filosóficas, semióticas, físicas ou lógicas um caminho para a poética das sensações simultâneas (Basbaum, 2002).
O estudo da cromofonia (Antunes, 1982), tece a relação entre a altura das notas e as cores, associando o espectro audível ao espectro visível em grandezas físicas. Tamanha é a distância de valores de vibração entre as frequências dos sons (aprox. 20Hz -20kHz) e das cores (da ordem de THz), tambem a diferença da natureza das ondas em si, uma mecânica e outra eletromagnética. Os valores relacionados à escala de harmônicos dos sons fundamentais, multiplicados em uma função por altíssimos fatores, encontra-se frequências relacionadas à feixes coloridos.
A Percepção dos sons como cores exerce, na tradição musical, diversas formas declassificação: como coloraturas vocais, coloridos orquestrais, o conceito de ruídos por cores, representado por filtragem de bandas de frequências (Ruído Branco, Ruido Rosa, Ruido Amarelo... ) e uma série de outras, esboçam como a sensação sonora, a mais abstrata e icônica entre as matrizes de linguagem (Santaella, 2003), possui em sua interpretação, outras formas de sentir se não somente a sensação auditiva, sejam elas mais poético-simbólicas, ou mais empíricas em sua constatação.
A idéia de imagens sonoras, explorada por Edgar Varèse em peças como Hyperprism, Ionization, Intégrales e Octandre (Ferraz, 2002), ultrapassam as fronteiras da música para a busca da matéria sonora na geometria analítica, na algebra integral e na físico-quimica, como metáforas na criação, a sua poética busca traçar uma imagem sonora das relações numéricas nas ciências exatas, uma estética que se desenvolveu nas obras de diversos compositores, como Iannis Xenakis, Bryan Ferneyhouth, entre outros.
Xenakis buscou na arquitetura e na matemática sua expressão composicional. Suas orquestrações inspiradas na matemática estocástica não-deterministica, como a peça Metastasis (1953-54) e Eonta (1963-64), traça através do visual de sua partitura, uma complexa estrutura de linhas que se entrelaçam e formam uma trama estrutural, com caráter ruidoso e denso timbre, possuindo formas e texturas muito diferenciadas das convencionais, variando coloridos orquestrais, de uma musica que partiu de um conceito racional, lógico e imprevisivel, como a busca pelo acaso e a modularidade dos sons regrada pela superfíce arquitetônica (Santaella, 2003 pg. 160).
Pierre Shaeffer, em seu Traité des Objets Musicaux (1966), trata sobre os tipos de escuta na percepção sonora dos objetos musicais. A exemplo, a escuta causal (Santaella, 2003 pg. 86) ocorre quando escutamos um som e reconhecemos a causa do som, isto é, a fonte sonora e rapidamente em nossa percepção, temos uma impressão visual do som, que nos é um pensamento concreto, no caso da escuta reduzida, nossa percepção sonora tende a interpretar os sons como abstrações de sensação, como puras qualidades, sem relação com a causa ou o sentido, as relações hipotéticas ou impressões vindas destes objetos pode nos inspirar imagens, sensações, emoções ou idéias.
São possíveis as associações do timbre com texturas e sensações táteis (Rugoso, Liso, Suave, Rasgante, Frouxo) representando diversas formas como o som pode se apresentar, utilizando nomenclaturas extramusicas pra ilustrar a sensação na percepção do objeto sonoro em si (Homes, 2008). Para Denis Smalley (1986), os sons possuem um duplo potencial: um abstrato (referente à escuta reduzida) e um concreto (referente à escuta causal), e a mistura destes dois potenciais no contexto da percepção auditiva é uma questão tanto de competência quanto de intenção (Homes, 2008). No contexto da composição para instrumento solista e vídeo interativo, em que a interação entre o som executado pelo instrumentista, com sua particular expressão, e a imagem provocam na percepção uma abstração sonora e uma referencialidade visual, ao ponto de se concatenarem na percepção, como algo que na multimídia, os eventos estão relacionados ao perceber as formas, que cada vez apresentadas se dispõem de formas diferentes, e os sons que com sua propriedade espectro-morfológica, possui suas características frente a combinações poéticas dos objetos sonoros, possibilitando a modelagem da percepção sonora (Zampronha, 1998), através de sons e imagens em suporte tecnológico.
Hoje, com o advento da tecnologia as associações tornam-se possíveis através da mistura das linguagens nas mídias digitais, como os video-clips, a video-music, ambos em suporte-fixo, como o audiovisual interativo, expressão em tempo real das relações entre som e imagem.
A Interatividade na arte multimídia aproxima conceitos de ações, pois a tecnologia existente comporta ao processo de criação uma gama de recursos: softwares, hardwares, plataformas e diversos outros materiais (sensores, controladores, webcam, arduino e etc).
A Interação entre o som e a imagem no vídeo apresenta-se como uma livre-associação entre os corpos sonoros e as formas geométricas. Com a programação de reconhecimento em tempo real dos eventos sonoros, a forma surge, se movimenta e se colore. O patcher que gera essas formas com cores através do som, intitulado “Bolinhas Cromossônicas” (Figura 1) foi desenvolvido na linguagem de programação multimídia PureData(PD).
Figura 1 – Patcher “Bolinhas Cromosônicas”, feito em PureData(PD)
A Idéia de implementar o recurso tecnológico atenta para as duas formas de percepção da gestalidade da música, a experiencia auditiva e visual. O espectador observará as ações no vídeo, em consequência de uma experiencia auditiva do mesmo fenômeno. Sessões, em que o instrumento dialoga com técnicas contempoâneas de produção do som, passagens lentas, com pouca dinâmica, rápidas, curtas, staccato, trêmolo e várias outras, todas geram uma interação diferente com o vídeo, transmitindo ao movimento a energia contida no som.
A captação do som, obtida por microfone, é transformada em audio digital, possibilitando obter diversas variáveis que produzem respostas concretas na visualidade. O Processamento Digital Sonoro (DSP) possibilita a converção em digital para sintese em tempo real do som, com uma gama ampliada por vários modelos de efeitos.
A busca pela gestualidade do som como forma visual, na nossa percepção, gera uma ilimitada gama de formas de criação artística em mídia tecnológica, buscando dialogar, na cibercultura (Lévy, 1999), o hibridismo em que os conceitos que se aplicam amplamente na construção poética.
Clareando o Solo
A Peça busca um diálogo interativo entre o som e a imagem, onde o som produzido pela clarineta é transformadoem bolas coloridas. Isto é possível graças a programação multimídia, onde no espaço virtual, o some a imagem estão entrelaçadas na mesma plataforma, e um pode interagir com o outro.
Uma característica poética do trabalho é que só há imagem se houver som, ele é quem dá forma e cor ao vídeo, representando uma sensação simultânea entre o ouvir notas e ver cores. O círculo foi escolhido como forma geomética padrão, representando a forma de propagação das ondas sonoras, e as cores diretamente relacionadas as notas correspondentes, executadas pelo instrumento.
A Linguagem de programação multimídia open-source PureData (PD), disponível para diversos sistemas operacionais, possui diversas bibliotecas e externals, cada um responsável por uma função que a linguagem possui para criação, sequenciamento, edição e monitoramento em tempo-real. O external utilizado para reconhecimento do som foi fiddle~, ferramenta que reconhece proriedades do som como altura, ataque, comprimento da onda, intensidade (dB), onde esses valores são associados à cor correspondente da nota, o tempo em que ela pernamece no vídeo, seu tamnho, sua posição em três eixos (XYZ).
A Forma como as bolinhas se comportam no espaço do vídeo é randômica, tornando cada performance da peça diferente no gesto da forma. As bolinhas se movimentam em notas mais longas, saltam em lugares diferentes em notas staccato e variam as tonalidades de cor, conforme a afinação do instrumento (Fig. 2).
Figura 2 – Bolinhas no Vídeo Interativo, geradas por captação sonora.
Sons com espectro composto por mais notas tendem a clarear as cores, como uma mistura de divesas cores, que tendem para a cor Branca, quanto mais puro e afinado o som, mais a cor é definida .
Os Aspesctos composicionais da Peça foram inspirados na Teoria Pós-Tonal (Strauss, 2000), em que o uso de conjuntos de notas, relacionando com diversas formas musicais de manipulação destes conjuntos, como rotações, transposições, Inversões, Multiplicações e etc, conduzem diversos caminhos melódicos em que a clarineta passeia, combinado a técnicas de execução contemporâneas como Multifônicos, Cantar e Tocar ao mesmo tempo, timbres destemperados obtidos por dedilhados alternativos entre outras formas.
A Clarineta foi o instrumento escolhido por possuir um timbre que possui uma gestualidade incrível, seus registros, do grave (Chalumeau) ao Agudo se transforma de algo áspero para liso, em termos da tipo-morfologia do objeto sonoro. Suas nuances de dinâmica, pressão sonora em gestos longos ou curtos dão vida às formas no vídeo, que complementa simbolicamente, em formas, o brilho do som.
O Programa utilizado para calcular as possibilidades de transformação do conjunto sonoro escolhido para a música (Fá – Mib – Ré – Lá – Sol#) foi o PCN, Processador de Classes de Notas, desenvolvido pelo prof. Jamary Oliveira, na Universidade Federal da Bahia (UFBA). O programa é uma calculadora que manipula valores para conjuntos sonoros, auxiliando compositores que utilizam o determinado recurso estético da teoria pós-tonal para sua poética musical.
