RIZOMA III >

—Collaboration with Martin Velez, musician who combines music, sound, science and technology into a single interactive and socially meaningful experience.

—We both have great admiration for each other’s work. And this was a perfect opportunity to combine our interests and knowledge, developing an interdisciplinary project that shapes dance, music, design and technology.



Tracking Flamenco Notations


Our idea consists in creating a tracking floor (Flamenco is usually performed over a resonant floor or surface), that precisely detects the stepping of the dancer on the floor. Through the use of contact microphones, the vibrations from the floor will be received, processed, amplified, and used for data analysis in order to determine where and which part of the dancer’s feet is hitting the ground. With the recollection of data, it is possible to feed and train machine learning algorithms that recognize stepping patterns that have been shown to them previously.

The information coming from the machine learning process will be used for live generation of graphic notations, designed specifically for flamenco footwork, as a way to register and preserve the flamenco dances thru a writing language.



Results>


Machine learning is the process of teaching a computer algorithm to recognize different features of a specific event, by comparing the incoming data against a database of examples that we want to be able to identify.

a. In this particular case we are using different sensors for detecting features of the flamenco dancing steps. We used a contact microphone attached to the flamenco floor to detect different components of the sound such as intensity, frequency and location. Then, we used two accelerometers attached to the dancer’s feet in order to detect position and movement of the feet.

b. We recorded multiple examples of each one of the different flamenco steps (ball, stamp, heel and tip), castanets and clapping, teaching the software the sound that we used as reference for the machine learning algorithm. After the algorithm has been fed with lots of examples it is run in real time with the dancer wearing the sensors in order to detect which step is currently happening. By using the live input data and comparing it against the trained examples, it is possible to do a very accurate approximation of what the current dancing step is being performed.

c. We are still developing this process, training the sofware to make more complex steps and also teaching specific rhythms, intensity and speed.

-Colaboración con Martin Velez, músico que combina música, sonido, ciencia y tecnología en una única experiencia interactiva y socialmente significativa.

—Ambos tenemos una gran admiración por el trabajo del otro. Y esta fue una oportunidad perfecta para combinar nuestros intereses y conocimientos, desarrollando un proyecto interdisciplinario que da forma a la danza, la música, el diseño y la tecnología.

Nuestra idea consiste en crear un piso de seguimiento (el flamenco suele ejecutarse sobre un piso o superficie resonante), que detecta con precisión el paso del bailaor en el piso. Mediante el uso de micrófonos de contacto, las vibraciones del suelo serán recibidas, procesadas, amplificadas y utilizadas para el análisis de datos con el fin de determinar dónde y qué parte de los pies del bailarín está golpeando el suelo. Con la recolección de datos, es posible alimentar y entrenar algoritmos de aprendizaje automático que reconocen patrones de pasos que se les han mostrado previamente.

La información proveniente del proceso de aprendizaje automático se utilizará para la generación en vivo de notaciones gráficas, diseñadas específicamente para el juego de pies flamenco, como una forma de registrar y preservar los bailes flamencos a través de un lenguaje de escritura.

Resultados>


El aprendizaje automático es el proceso de enseñar a un algoritmo informático a reconocer diferentes características de un evento específico, comparando los datos entrantes con una base de datos de ejemplos que queremos poder identificar.

a. En este caso particular estamos utilizando diferentes sensores para detectar rasgos de los pasos del baile flamenco. Utilizamos un micrófono de contacto pegado a la tabla de madera (suelo flamenco) para detectar diferentes componentes del sonido como intensidad, frecuencia y ubicación. Luego, usamos dos acelerómetros unidos a los pies del bailarín para detectar la posición y el movimiento de los pies.

b. Grabamos múltiples ejemplos de cada uno de los diferentes pasos del flamenco (golpe, tacón, planta y punta), castañuelas y palmas, enseñando al software el sonido que usamos como referencia para el algoritmo de aprendizaje automático. Una vez que el algoritmo se ha alimentado con muchos ejemplos, se ejecuta en tiempo real con el bailarín usando los sensores para detectar qué paso está sucediendo actualmente. Al utilizar los datos de entrada en vivo y compararlos con los ejemplos entrenados, es posible hacer una aproximación muy precisa de lo que se está realizando el paso de baile actual.

c. Todavía estamos desarrollando este proceso, entrenando el software para realizar pasos más complejos y también enseñando ritmos, intensidad y velocidad específicos.

After realized we could teach the machine the notation to write in real time, I wanted to make the same with the movement of the skirt using sensors and camera movement.

d. To capturing and tracking the user body and skirt we used a depth camera, which uses an infrared emitter to create a depth map in front of it so it can detect and track people’s bodies.

The idea was tracking how the skirt was drawing in space, but it didnt totally work, since the movement of the skirt was too abstract for a recognition and the camera could not detect the specific path. Instead, we made it with the hands.

By using the depth data we were able to track the user’s hands and make it draw in space, and use those coordinates to control two 3D spheres we designed to visualized the hands movement. Each sphere has its own physical properties such as mass, volume, and gravity. These orbs then react with the grid of strings we created that have different tensions which are affected by the sphere’s properties thus creating that ripple effect.

e. Not only we could track the movement of the hands, we could also manipulate sound while moving, using the grid strings as an instrument, distorting sound with the hands movement.

Movimiento como instrumento de sonido


Después de darme cuenta de que podíamos enseñarle a la máquina la notación para escribir en tiempo real, quise hacer lo mismo con el movimiento de la falda usando sensores y movimiento de cámara.

d. Para capturar y rastrear el cuerpo y la falda del usuario, usamos una cámara de profundidad, que usa un emisor de infrarrojos para crear un mapa de profundidad frente a él para que pueda detectar y rastrear los cuerpos de las personas.

La idea era rastrear cómo se dibujaba la falda en el espacio, pero no funcionó del todo, ya que el movimiento de la falda era demasiado abstracto para un reconocimiento y la cámara no podía detectar el camino específico. En cambio, lo hicimos con las manos.

Al usar los datos de profundidad, pudimos rastrear las manos del usuario y hacer que dibujara en el espacio, y usar esas coordenadas para controlar dos esferas 3D que diseñamos para visualizar el movimiento de las manos. Cada esfera tiene sus propias propiedades físicas, como masa, volumen y gravedad. Estos orbes luego reaccionan con la cuadrícula de cuerdas que creamos que tienen diferentes tensiones que se ven afectadas por las propiedades de la esfera, creando así ese efecto dominó.

e. No solo pudimos rastrear el movimiento de las manos, también pudimos manipular el sonido mientras nos movemos, usando las cuerdas de la rejilla como instrumento, distorsionando el sonido con el movimiento de las manos.