Journal paper and open dataset for source separation in Orchestra music

As part of the PHENICX project, we have recently published our research results in the task of audio sound source separation, which is the main research topic of one of our PhD students, Marius Miron.

During this work, we developed a method for orchestral music source separation along with a new dataset: the PHENICX-Anechoic dataset. The methods were integrated into the  PHENICX project for tasks as orchestra focus/instrument enhancement. To our knowledge, this is the first time source separation is objectively evaluated in such a complex scenario. 

This is the complete reference to the paper:

M. Miron, J. Carabias-Orti, J. J. Bosch, E. Gómez and J. Janer, “Score-informed source separation for multi-channel orchestral recordings”, Journal of Electrical and Computer Engineering (2016))”

Abstract: This paper proposes a system for score-informed audio source separation for multichannel orchestral recordings. The orchestral music repertoire relies on the existence of scores. Thus, a reliable separation requires a good alignment of the score with the audio of the performance. To that extent, automatic score alignment methods are reliable when allowing a tolerance window around the actual onset and offset. Moreover, several factors increase the difficulty of our task: a high reverberant image, large ensembles having rich polyphony, and a large variety of instruments recorded within a distant-microphone setup. To solve these problems, we design context-specific methods such as the refinement of score-following output in order to obtain a more precise alignment. Moreover, we extend a close-microphone separation framework to deal with the distant-microphone orchestral recordings. Then, we propose the first open evaluation dataset in this musical context, including annotations of the notes played by multiple instruments from an orchestral ensemble. The evaluation aims at analyzing the interactions of important parts of the separation framework on the quality of separation. Results show that we are able to align the original score with the audio of the performance and separate the sources corresponding to the instrument sections.

The PHENICX-Anechoic dataset includes audio and annotations useful for different MIR tasks as score-informed source separation, score following, multi-pitch estimation, transcription or instrument detection, in the context of symphonic music. This dataset is based on the anechoic recordings described in this paper:

Pätynen, J., Pulkki, V., and Lokki, T., “Anechoic recording system for symphony orchestra,” Acta Acustica united with Acustica, vol. 94, nr. 6, pp. 856-865, November/December 2008.

For more information about the dataset and how to download you can access the PHENICX-Anechoic web page.

Leave a comment

Filed under datasets, publications, research

La NASA rinde homenaje a sus heroínas invisibles

Es el título de un artículo aparecido hoy en la Vanguardia y escrito por Josep Corbella, en el que se refiere a la película ‘Figuras ocultas’, la cual rememora el papel de mujeres clave en la carrera espacial. En él he tenido la suerte de poder aportar mi granito de area desde el punto de vista de la ingeniería, donde el porcentaje de mujeres es incluso menor si cabe que en otros ámbitos científicos.

Podéis leer el artículo aquí.

Leave a comment

Filed under outreach, press, womenTIC

Tecnologia Musical – Deuwatts a BTV

Ahir es va emetre el program Deuwatts amb un episodi sobre Tecnologia Musical on vaig tenir el plaer de participar. Aquí em podeu veure!

http://play.barcelonatv2.webtv.flumotion.com/play/player?podId=48610&playerId=8

 

Leave a comment

Filed under outreach

La ciencia de la electrónica

 

czdqpyfxuaaq24w

El pasado mes de Diciembre, en el programa Longitud de Onda, charlamos sobre las tecnologías que se están desarrollando actualmente en los entornos de investigación en música electrónica, en concreto de los resultados del proyecto Europeo GiantSteps. Copio aquí un pequeño resumen y un enlace al podcast, que ya está en la web, por si lo queréis escuchar.

GiantSteps, un proyecto de investigación y desarrollo financiado por la Unión Europea entre 2013 y 2016, en el que han colaborado, además del MTG de la UPF, instituciones como el departamento de percepción computacional de la Universidad Johannes Kepler de Linz (Austria), el STEIM (STudio for Electro Instrumental Music) de Amsterdam, y empresas punteras de tecnología musical como Reactable Systems (ubicada en Barcelona) y la Berlinesa Native Systems. Los objetivos del proyecto eran la creación de herramientas e interfaces musicales para personas con poca experiencia en creación musical o para ayudar a romper bloqueos creativos. Dichos sistemas incorporan en sus algoritmos un cierto conocimiento musical extraído de expertos o del análisis de corpus musicales. Más específicamente el proyecto se ha centrado en música conocida como EDM (Electronic Dance Music). Se estima que la EDM genera casi la mitad de los ingresos musicales en EEUU, así que no podemos ignorarla o pensar que es una moda de verano.

Podéis escuchar el programa en éste enlace.

Muchas gracias a Perfecto Herrera por generar el material que se utilizó en el programa!

No os perdáis el programa de Enero, en el que hablaremos de tecnología musical para diferentes culturas y del proyecto CompMusic.

Leave a comment

Filed under LDOnda

Música e inteligencia artificial

Coincidiendo con el NIPS, el congreso más relevante en inteligencia artificial y que está teniendo lugar en Barcelona ésta semana, aprovecho para retomar éste post sobre mi intervención el mes pasado en Longitud de Onda, programa de Radio Clásica, Radio Nacional de España.

Podéis escuchar el programa “Bits musicales” con más detalles en la web de Radio Clásica. 

ldondanoviembre

En él hablamos de que recientemente hemos visto en la comunidad de investigación algunos proyectos donde algoritmos de ordenador crean, en colaboración con humanos, obras musicales. La particularidad de dichos algoritmos respecto a trabajos anteriores dentro de la composición algorítmica es que parten de analizar grandes colecciones de música para intentar “imitar” ciertos patrones musicales.

En el programa hablamos de dos ejemplos recientes de trabajos de éste tipo que además se han llevado al gran público, lo que ha generado multitud de comentarios y discursión en los foros académicos y también con el público en general: el musical Beyond the Fence, y el trabajo del proyecto FlowMachines del laboratorio de SONY CSL en París, del que podéis escuchar algunos ejemplos: Daddy’s Car: en el estilo de los Beatles  y Mister Shadow, al estilo de cantautores norteamericanos.

Y hoy quiero destacar que en NIPS se presenta ésta tarde a las 18:00 una demo  de Magenta, el sistema de creación musical de la empresa norteamericana google brain, basada en redes neuronales (LSTM-based recurrent neural networksDeep Q-learning). Si estáis por ahí no os la perdáis! 

Referencias

  • Colton, S., Llano, M. T., Hepworth, R., Charnley, J., Gale, C. V., Baron, A., Pachet, F., Roy, P., Gervás, P., Collins, N., Sturm, B., Weyde, T., Wolff, D. and Lloyd, J. The Beyond The Fence Musical and Computer Says Show Documentary. 7th International Conference on Computational Creativity (ICCC 2016),Paris (France), June 2016
  • Pachet, F. Flow­Machines: CP techniques to model style in music and text, ACP (Association for Constraint Programming), September 2015
  • Roberts, A., Engel, J., Hawthorne, C., Simon, S., Waite, E., Oore, S., Resnick, C., Eck, D. Interactive musical improvisation with Magenta, NIPS 2016, Barcelona.

Leave a comment

Filed under LDOnda, press

Interview at Women in MusicTech, Georgia Tech University

Women in MusicTech is the first student organisation in the Georgia Tech center for Music Technology, a research center focusing on digital signal processing, acoustics, interactive system design, and robotics. Their goal is to encourage more women to join our amazing field of study, and to highlight the often unsung role of women in music technology. It was a pleasure for me to be interviewed by Amruta Vidwans, graduate student in this center.

I am very happy with the result, we can read the interview here. I really love their logo:

wmt-symbol-bw

 

Leave a comment

Filed under news, outreach, personal

PhD and postdoc positions in my lab

There are some open PhD & postdoc positions for people interested in working in my lab. As the deadline as very tight, please contact me if interested!

Postdoc:

The catalan government is opening a call for post-doc researchers to join catalan universities. It is called Beatriu de Pinós program.

Requirements:

  • Have a PhD between 01/01/2009 and 31/12/2014 (even later)
  • Minimum of 2 years of postdoctoral experience outside Spain.
  • Not living in Spain more than 12 months in the lsat 3 years.

Conditions:

  • 2 years duration that can be extended 1 more year. Starting before January 1st 2018.
  • ~ 32.800 EUR / year + 6.000 EUR for supporting research

Deadline: 01/12/2016

More info here.

PhD: Our Department is a hosting institution within the INPhINIT “la Caixa” Fellowships Programme (57 grants), and there are several proposals supervised by MTG researchers, two of them co-supervised by me on the following topics:

Conditions and instructions for application are explained here and the deadline for applications in February 2nd.

 

Leave a comment

Filed under Uncategorized

Colaboración con Radio Clásica: Longitud de Onda – Similitud musical

ldondaoctubre

Estoy muy ilusionada porque ayer empecé una colaboración con Radio clásica, en concreto con el programa Longitud de Onda, presentado por Yolanda Criado y Fernando Blázquez. Mi colaboración estará centrada en hablar de las tecnologías del sonido y la música, que son el objeto de mi investigación.  Me podréis escuchar el primer miércoles de cada mes por la mañana (el programa se emite de 10:30 a 12:00).

Intentaré explicar qué tecnologías se están desarrollando actualmente en los entornos de investigación (universidades) y en empresas para ayudarnos a buscar, escuchar, comprender y crear música. Buscaremos algunos ejemplos prácticos de aplicaciones que quizás todos utilizamos sin darnos cuenta.

En el programa de hoy hemos hablado sobre las tecnologías de cálculo de similitud musical y de clasificación de género que se utilizan en los sistemas de recomendación de música comerciales. Hemos puesto el ejemplo del flamenco, que tiene una gran riqueza de estilos, con más de 100 palos catalogados. Además, la mezcla de estilos es uno de los recursos creativos más interesantes, como es el caso en los diálogos entre el flamenco y la música barroca propuesto por la cantaora Rocío Márquez y el viola de gamba Fahmi Alqhai en la Bienal de flamenco de éste año.

genreooo-1-esAdemás hemos hablado del juego para identificar palos del flamenco que hemos creado en colaboración con la City University de Londres, donde intentamos recabar datos para estudiar cómo diferentes oyentes percibimos  la similitud y categorización de palos en el flamenco y poderlo así implementar en los algoritmos actuales, que suelen estar muy limitados cuando se trata de éste tipo de música.

Como referencias adicionales he citado el siguiente artículo:

N. Scaringella, G. Zoia and D. Mlynek, “Automatic genre classification of music content: a survey,” in IEEE SPM, vol. 23, no. 2, pp. 133-141, March 2006. doi: 10.1109/MSP.2006.1598089

Podéis escuchar el programa aquí:http://www.rtve.es/drmn/embed/audio/3745303
Es una ventaja que los estudios de RNE en Barcelona son estupendos y están al lado de mi laboratorio de investigación, lo que lo hace muy práctico. Espero que os gusten los programas.

img_8551

Leave a comment

Filed under LDOnda, press

¿Pueden los hombres diseñar tecnologías relevantes para las mujeres? El ejemplo en las aplicaciones para la música

Justo antes de vacaciones tuve la oportunidad de escribir un post informal sobre el tema de género gracias a la invitación de MujerTekSpace, un proyecto liderado de la Universidad de Deusto donde se intenta mejorar la visibilidad de la mujer en la ingeniería.

Aquí podéis leer el post publicado, pero lo copio a continuación en su versión extensa, ya que empecé a escribir y se me hizo demasiado largo…

……..—-…….

Desde hace algún tiempo veo a más y más personas preocupadas porque hay pocas mujeres en ingeniería: hay pocas ya en los primeros cursos de la carrera y van quedando menos que hagan el doctorado o lleguen a lo alto de la pirámide profesional (altos cargos directivos o catedráticas). Yo personalmente me he convertido poco a poco en una acérrima defensora de la mujer en la ingeniería, en particular en la investigación y el desarrollo tecnológico.

Mi preocupación fundamental es la siguiente: ¿Cómo será el mundo del futuro si las tecnologías que utilizaremos son investigadas, desarrolladas y evaluadas mayoritariamente por hombres?

Como ejemplo pongamos mi comunidad de investigación: la International Society for Music Information Retrieval (www.ismir.net) (sociedad internacional para la recuperación de la información musical), la cual tengo el honor de presidir (primera presidenta electa por cuestiones estadísticas, como luego verán), formada por investigadores de todo el mundo. Nuestra comunidad está relacionada con compañías punteras hoy en día como shazam, spotify, iTunes, soundcloud (https://soundcloud.com/), deezer (http://www.deezer.com/) BMAT o pandora (¡no las pulseras sino la radio por internet!), empresas que configuran el panorama comercial en sistemas de recomendación de música. Seguro que tienen algunas de éstas aplicaciones en sus ordenadores o teléfonos móviles.

Un estudio que se presentará éste Agosto en la conferencia de Nueva York, y que ha sido liderado por Xiao Hu, investigadora de la Universidad de Hong Kong (Hu et al. 2016), constata la desigual distribución por género (14.7% mujeres vs 85.3%) de autores de artículos científicos a lo largo de los años. De hecho son muy pocas mujeres las que presentan oralmente en la conferencia, y en los últimos 3 años todas las ponencias invitadas las han dado hombres.

1

Además, tanto en nuestro proyecto de mentorías para mujeres como en el panel industrial de la conferencia, hemos podido constatar que la proporción de mujeres es incluso menor en la industria que en la investigación, posiblemente dado que las condiciones laborales son más favorables para la conciliación. Esto parece confirmar que las pocas mujeres que hay se dedican a una investigación que está menos en contacto con el producto.

En el lado positivo, éste estudio refiere que las mujeres más productivas lo son igual que los hombres, que las tendencias no varían entre continentes, que las mujeres que están en grupos de investigación grandes tienen más impacto, y que trabajan en entornos más aplicados, aunque lejos de un producto, lo que parece indicar que la interdisciplinariedad puede proporcionar entornos más diversos en la ingeniería.

Con éstos datos, yo diría que podemos afirmar que nuestras aplicaciones musicales están siendo diseñados por el género masculino, con las consecuentes barreras para la mujer, ya que se incorporan inconscientemente decisiones de diseño no equilibradas. ¿Puede ser que por eso éstas tecnologías no son tan atractivas para la mujer? ¿Puede eso explicar en parte por qué las niñas de hoy en día se sienten poco atraídas por el entorno tecnológico?

Supongo que es algo general en otro tipo de aplicaciones (por ejemplo videojuegos, televisión digital, tecnologías del automóvil o revistas online). Imaginemos entonces que en el futuro pase algo como nos ocurre a los zurdos: ¿será el futuro un mundo donde no podrás cortar bien un papel o tendrás dificultades para abrir una lata de conservas, pero en el dominio digital?

Esperemos que podamos poner remedio antes.

Sobre la autora

Emilia Gómez

Soy el típico caso del bicho raro, como casi todas las mujeres de mi ámbito: una de las dos mujeres que eligió dibujo técnico en mi promoción, una minoría en ingeniería de telecomunicaciones, una de las dos mujeres de mi promoción en el máster en Acústica, Procesado de Señal e Informática Musical del IRCAM en Paris, la única doctoranda hasta ahora de mi director de tesis y la única profesora de mi grupo de investigación. También soy la primera mujer presidenta electa de la ISMIR (International Society in Music Information Retrieval), y la primera en muchas otras cosas, no por ser muy buena sino por cuestiones estadísticas. De hecho soy a menudo una mujer dando clase a un grupo de hombres. Y además soy zurda.

Referencia

Hu, X., Choi, K., Lee, J. H., Laplante, A., Hao, Y., Cunningham, S. J., Downie, J. S. (2016). WiMIR: An Informetric Study on Women Authors in ISMIR. In Proceedings of the 17th International Conference on Music Information Retrieval (ISMIR).

 

Leave a comment

Filed under outreach, personal

New project on MIR & singing: CASAS

At my lab we are starting a new project where we integrate our expertise in singing voice processing and music information retrieval to generate tools for choir singers.

CASAS (Community-Assisted Singing Analysis and Synthesis) is a project funded by the Ministry of Economy and Competitiveness of the Spanish Government (TIN2015-70816-R), that started in  January 1st 2016 and will end in December 31st 2018.

https://i2.wp.com/mtg.upf.edu/system/files/imagecache/projects_tech_thumbs/projects/Logo.jpgHumans use singing to create identity, express emotion, tell stories, exercise creativity, and connect with each other while singing together. This is demonstrated by the large community of music singers active in choirs and the fact that vocal music makes up an important part of our cultural heritage. Currently, an increasing amount of music resources are becoming digital, and the Web has become an important tool for singers to discover and study music, as a feedback resource and as a way to share their singing performances. The CASAS project has two complementary goals:

  • The first one is to improve state-of-the-art technologies that assist singers in their musical practice. We research on algorithms for singing analysis and synthesis (ex: automatic transcription, description, synthesis, classification and visualization), following a user-centered perspective, and with the goal of making them more robust, scalable and musically meaningful.
  • The second one is to enhance current public-domain vocal music archives and create research data for our target music information retrieval (MIR) tasks. Our project put a special emphasis on choral repertoire in Catalan and Spanish.

We exploit our current methods for Music Information Retrieval and Singing Voice Processing, and we involve a community of singers that use our technologies and provide their evaluations, ground truth data and relevance feedback.

I did my first logo, which is inspired by choirs, audio & “houses”, which is the english translation of “casas”. It will be an amazing project!

Leave a comment

Filed under projects, research