Ficha Técnica

Sobre a materialidade da instalação Ressonâncias Temporais

 

 

A instalação “Ressonâncias Temporais” é uma instalação interativa composta por 2 nichos simétricos. Cada um deles possui os seguintes elementos físicos:

Uma estrutura de madeira que dá suporte a um pêndulo (com haste rígida) e a 2 caixas de som pequenas (embutidas na estrutura). Essa estrutura de madeira está conectada a um volume de madeira onde um aparelho de TV LCD está fixado internamente (só a tela da TV é visível do lado externo). Dentro desse volume está alojado um computador e uma câmera de vigilância.

Além de funcionar como estrutura de suporte para o pêndulo, essa estrutura delimita o limite de alcance do movimento do pêndulo  (que está articulado de maneira a apenas se movimentar na direção da estrutura), garantindo, assim, que o pêndulo não atinja alguém (como pode ser visto nas imagens do item “estudos prévios”, a versão inicial não possuía essa proteção).

Os locais sugeridos para receber os 2 nichos são a sala “Exposição Temporária” e a “Área Edital (85 m2). A contiguidade dessas áreas propicia a disposição simétrica dos 2 nichos, além de constituir uma barreira visual entre eles (fundamental para a interação desejada).

Cabe ressaltar que as dimensões dessas estruturas ainda serão revistas pois algumas variáveis (por exemplo: a distância do pêndulo/usuário em relação à posição da câmera) só poderão ser definidas com testes específicos, durante o desenvolvimento da proposta.

 

Localização da instalação “Ressonâncias Temporais”

 

 

 

Vista superior

Vista frontal

Vista lateral

 

Diagrama de Funcionamento

 

 

Hardware de cada nicho:

 

1 câmera CCTV (saída analógica)

1 cabo coaxial

1 CPU (i7, 16 RAM, Placa Vídeo RTX 2070 ou equivalente)

1 placa externa de captura de vídeo (para a digitalização do sinal de vídeo da câmera CCTV)

1 TV LCD de 43 polegadas

1 cabo HDMI

1 cabo de rede ethernet (conectará os computadores dos 2 nichos)

2 caixas de som pequenas (embutidas nas estruturas verticais)

2 spots de luz

 

Software:

 

MAX/MSP, versão 8. Toda a programação da instalação será programada neste software/plataforma de programação.

Será fornecido um executável (que rodará independentemente do software MAX/MSP). Esse executável e exportado a partir da plataforma MAX/MSP e não gerará qualquer ônus para a organização do evento.

 

Aspectos técnicos da interação

 

Podemos dividir a interação enquanto aquisição de informações do usuário (input), processamento e output.

O input é o sinal de vídeo da câmera. Esse sinal é digitalizado pela placa de captura de vídeo e enviado para o Computador. Um aplicativo (programado no MAX/MSP) processa essas imagens e extrai informações relevantes para a interação. A partir desses dados, o aplicativo controla a geração de imagens que serão exibidas nas TVs.

As imagens geradas pode ser dividias em 2 tipos principais:

1-As imagens onde o usuário se vê, durante sua interação com a obra.

2-As imagens onde o usuário vê o outro usuário (aquele que interagiu ou está interagindo no outro nicho)

No primeiro caso, essa imagem possui um delay de 10 segundos em relação ao momento presente do usuário. Esse delay é alcançado por uma bufferização da imagem capturada. Nessa bufferização gravamos temporariamente os frames da imagem de vídeo e podemos acessar qualquer um desses frames posteriormente (cada frame é automaticamente indexado). Assim, podemos dizer que queremos exibir, por exemplo, o milésimo segundo frame anterior ao atual frame. O número de frames que leremos anteriormente ao frame atual depende da movimentação do pêndulo. Se o pêndulo está parado, leremos o número de frames necessários para configurar 10 segundos de atraso. Quando o pêndulo se movimenta, esse número diminui proporcionalmente à altura do pêndulo. A altura mínima do pêndulo consegue diminuir o número de frames a ponto do atraso chegar a zero, atingindo o momento presente.

A altura do pêndulo será medida pela variação da quantidade de pixels, localizando na imagem captada a altura onde essa variação acontece. No entanto, para evitar que qualquer movimento interfira nessa medição, o pêndulo será pintado com uma cor específica e somente o “movimento” dessa cor será medido. Ainda assim existe a possibilidade de algum objeto filmado possua essa mesma cor. Testaremos uma cor pouco usual (inicialmente o azul que aparece nas imagens da instalação). Caso ainda assim muitas interferências continuem acontecendo, optaremos por uma abordagem diferente para a medição da velocidade do pêndulo: utilizaremos um acelerômetro no pêndulo e transmitiremos essa informação para o computador (protocolo XBEE + Arduino). Toda a programação desse processamento das imagens será realizada utilizado as funções de visão computacional da biblioteca CV.jit do MAX/MSP.

No segundo caso (as imagens onde o usuário vê o outro usuário) as imagens são transmitidas por streaming de um computador para o outro (via cabo ethernet). Quando existe um usuário no nicho, sua imagem é transmitida imediatamente para o outro nicho. No entanto, quando não há ninguém no nicho, imagens pré-gravadas de interações anteriores nesse nicho são enviadas por streaming para o outro nicho. Essas imagens são arquivos de vídeo gerados automaticamente e que são lidos e transmitidos quando o sistema identifica que não há usuário no nicho (toda essa automação, tanto a geração de arquivos como também o streaming, será programada no MAX/MSP).

A visualização dessas imagens transmitidas por streaming depende da ação do usuário do nicho que recebe essas imagens: quando ele se mexe para movimentar o pêndulo, seu gesto é rastreado e os pixels por onde esse movimento “passou” são tornados transparentes, possibilitando que o layer com a imagem transmitida do outro nicho seja visto (ver imagens de vídeo intituladas “testes de vídeo” no site do projeto para acessar os testes realizados para checar a viabilidade técnica dessa proposta). Lembrando que quando não há movimento, o usuário vê a si mesmo por trás do pêndulo na imagem da TV (imagem com 10 segundos de atraso).

Ainda temos a possibilidade de um usuário de um nicho poder se ver no outro nicho (por exemplo: usuário do nicho 1 pode se ver no nicho 2). Isso é possível pois o arquivo de vídeo gravado durante sua interação em um nicho é transmitido 2 minutos depois para o outro nicho ao final da interação. Se, eventualmente, o usuário que estava em um nicho se dirigir ao outro nicho ele poderá visualizar o arquivo de vídeo gravado e transmitido a partir do nicho anterior.

Resta esclarecer que, a princípio, todos os arquivos gerados durante até 1 semana serão mantidos gravados (dependendo do tamanho dos arquivos gerados esse intervalo de tempo pode diminuir). Os mais velhos que uma semana serão automaticamente apagados. Os arquivos mantidos serão acessados e transmitidos aleatoriamente durante o evento. Em outras palavras: o usuário poderá acessar a imagem de um outro usuário que esteve até uma semana atrás em relação à sua interação.

A inicialização diária da instalação será a mais automática possível, bastando apenas a inicialização do computador e da câmera. O aplicativo programado em MAX/MSP será automaticamente inicializado com todas as suas funções habilitadas (captura de vídeo, síntese das imagens e áudio, etc.).

 

Câmera situada dentro do volume principal, acima da TV (embutida) e apontando para o usuário/pêndulo

 

 

Computador situado na base do volume principal (acessível por uma porta lateral do volume)

 

 

 

Estudos Prévios