Medialab-Matadero Madrid
MIXTAPE SINTÉTICA Track#03 - LAB#03 BSO
Banda sonora original de Claude Speeed del LAB#03 de Medialab
Para la tercera pista de la banda sonora original del LAB#03, Claude Speeed ha colaborado con Nani Gutiérrez.
Nani Gutiérrez es una artista visual afincada en Berlín, actualmente matriculada en el Máster de Diseño y Computación de la Universität der Künste. En su obra explora estímulos afectivos que desencadenan reacciones miméticas, convirtiéndose en un poder organizador relacional. Sus vídeos se han expuesto en el Festival Ars Electronica y en el Museo de Arte Contemporáneo de Santiago de Chile (MAC).
Este vídeo se basa en imágenes de naturaleza captadas por una cámara de visión nocturna en un entorno urbano de Berlín. Las formas se realzaron en posproducción aplicando un efecto que posteriormente se animó utilizando una simple expresión constante.
El vídeo monocromo resultante se utilizó como entrada para YOLO - "You Only Look Once"-, un modelo de IA de detección, seguimiento y segmentación de objetos de última generación cuya versión pre-entrenada reconoce eficazmente un centenar de "clases" de objetos comunes, desde personas a cometas o teléfonos móviles. Las formas coloreadas que se ven superpuestas en el vídeo corresponden cada una a un objeto que el modelo (cree que) ha detectado. Sin embargo, en casi todos los casos, esta detección es un error provocado porque la entrada casi abstracta alcanza un "umbral de confianza" bajo, lo que significa que el modelo devolverá un resultado aunque su confianza sea baja. En otras palabras, al combinar una entrada confusa con un modelo que hemos hecho extremadamente sensible, provocamos intencionadamente falsos positivos, forzando al modelo a "ver" cosas que simplemente no existen.
Cada una de estas detecciones activa una nota MIDI. El ritmo de la nota se sincroniza con los fotogramas de vídeo en los que se reconoce el objeto. El tono depende de la clase de objeto detectado, y la velocidad (volumen) depende de la ubicación del objeto. El MIDI activa el audio en Logic Pro -utilizando sólo presets en instrumentos virtuales incorporados- que finalmente se recombina con el vídeo.
Claude Speeed es un productor musical y artista escocés residente actualmente en Berlín, cuya obra investiga temas de memoria, percepción y futuridad. La automatización y los procesos estocásticos han sido siempre una característica importante de su música, que en los últimos años ha evolucionado hacia espacios de IA generativa y aprendizaje automático. Para el LAB#03, Speeed está creando una BSO sobre los temas de Synthetic Minds, respondiendo en sonido y visuales.
TRACK 03: