Tag Archives: music recommendation

Saltando como locos de una canción a otra

Así se titula el reportaje de Joseba Elola que se publicó el 29 de Noviembre en el monográfico de música del País semanal, en donde refleja nuestra conversación telefónica donde intenté explicar de manera clara cómo funcionan los sistemas de recomendación musical:

Estos sistemas de recomendación procesan datos editoriales de las canciones como sus títulos o los nombres de los artistas; datos del sonido, como el timbre de la voz, los patrones rítmicos o la escala; e información de los usuarios que han escuchado esa música: si a alguien a quien le gusta Leonard Cohen también le gusta Rufus Wainwright, el algoritmo lo identifica y manda una canción del segundo a aquel que está escuchando al primero. Así lo explica Emilia Gómez, ingeniera de telecomunicaciones especializada en los sistemas de recuperación de la información musical (en inglés, music information retrieval) y presidenta de International Society of Music Information Retrieval (ISMIR), comunidad académica que investiga las tecnologías de recomendación —y con la que colaboran Spotify, Apple o Amazon Music—.

Analizando los instrumentos que suenan, el timbre, la melodía, el ritmo, la estructura de la canción, las voces y el estilo, se confecciona un modelo de los gustos de cada persona, advierte Gómez en conversación telefónica desde Sevilla. “Estos sistemas son cada vez más complejos”, dice, “y las bases de datos, más grandes”. De modo que la tecnología es cada vez más precisa, mejor. 

Esa es la parte buena de la ecuación. La mala, que el predominio de las listas cocinadas por las plataformas acabe por uniformizar lo que escuchamos. “Cuanta más gente hay en las plataformas, mejor funcionan los algoritmos”, manifiesta Gómez. “Mejor, sobre todo, si te gusta lo que a la mayoría. Los que escuchan propuestas raras o minoritarias verán que esa música no se recomienda porque no hay mucha gente que la escuche. Así, se reproduce el sistema que teníamos en la antigüedad, cuando solo un tipo de música se hacía popular, la que te recomendaba la radio”.

No es sólo importante que éstos algoritmos pueden uniformizar  lo que escuchamos, lo cual está relacionado con el denominado efecto “larga cola” en el que siempre se recomienda un pequeño repertorio. Un efecto aún más desconocido es la especialización excesiva del gusto musical que se deriva de la personalización, y que pueden crear éste tipo de algoritmos basados en similitud. En el proyecto HUMAINT estamos estudiando éste efecto, que se conoce como ¨filtro burbuja“, dentro del análisis del impacto de la inteligencia artificial en las personas.

 

Leave a comment

Filed under press

LifeSoundTrack: música, tecnología, recuerdos y alzheimer / music, technology, memories and alzheimer

English version below!

A veces los proyectos más enriquecedores son los que realizas con menos recursos.

En éste proyecto utilizamos las tecnologías de recuperación de la información musical para encontrar la banda sonora de la vida de personas mayores españolas. Ésto ha presentado varios retos de investigación y tecnológicos. En concreto hemos podido observar el sesgo de los sistemas actuales de recomendación musical tanto en que sólo se centran en un repertorio musical popular y sus interfaces y descriptores musicales están pensados para usuarios jóvenes. Esto aplica a:

  • Las taxonomías de géneros musicales.
  • Los idiomas predominantes en las canciones y su etiquetado.
  • Los descriptores y playlists que se utilizan (e.g. música de fiesta).
  • La dificultad para tener los derechos de dar una canción a éstas personas para que la escuchen.
  • La dificultad de tener dispositivos fáciles de usar y dirigidos a éste tipo de personas.

Por tanto casi hemos tenido que empezar desde cero! Éste es el repositorio github que hemos creado (abierto): https://github.com/MTG/lifesoundtrack

Y si alguien quiere obtener su banda sonora puede hacerlo en bandasonoravital.upf.edu 

Atención! El sistema está pensado para personas mayores que han nacido o viven en España, por lo que utilizadlo sobre todo si cumplís éstos requisitos o para alguna persona que conozcáis que los cumpla.

Ha sido un privilegio poder colaborar con la Fundación Pasqual Maragall, La Fundación AVAN y la Escuela La Salud de Sabadell en éste piloto con personas que padecen la enfermedad de Alzheimer. Sobre todo ha sido genial trabajar con Nina, Anna, Carolina, y los chicos de La Salut. Aquí podéis ver un vídeo que me encanta y resume muy bien el proyecto:

Para más información no os perdáis el documental Sense Ficció que emitirá TV3 el día 8 de Mayo por la noche!!!

Más información del proyecto en la web del MTG y de la Fundación Pasqual Maragall.

Y las bandas sonoras se pueden generar en http://bandasonoravital.upf.edu/ 

¡Gracias a todo el equipo! En especial al grupo del MTG: Perfe Herrera, Felipe Navarro, Olga Slizovskaia, por su tiempo en éste proyecto donde no hemos tenido financiación específica.

auriculares

Sometimes the most enriching projects are those that you do with less resources and funding.

In this project we use music information retrieval (MIR) technologies to find the life soundtrack of Spanish elderly people. Starting from a questionnaire where we ask about biographical information and one´s relationship with music, we build a playlist looking at several sources such as spotify or youtube. 

This has presented several research and technological challenges. Specifically, we have been able to observe the bias of current music recommendation systems, as they focus on a popular musical repertoire and their interfaces and musical descriptors are designed for young users. This applies to:

  • The taxonomies of musical genres.
  • The predominant languages ​​in the songs and their labeling.
  • The descriptors and playlists that are used (e.g., what does happy music mean).
  • The difficulty to have the rights to give a song to these people to be heard.
  • The difficulty of having easy-to-use devices aimed at this type of person.

Therefore we almost had to start from scratch! This is the github repository that we have created (open): https://github.com/MTG/lifesoundtrack 

And if someone wants to get their soundtrack you can do it at bandasonoravital.upf.edu
Attention! The system is designed for seniors who have been born or live in Spain, so use it especially if you meet these requirements or for someone you know who complies.

It has been a privilege to be able to collaborate with the Pasqual Maragall Foundation, the AVAN Foundation and the Health School of Sabadell in this pilot with people suffering from Alzheimer’s disease. Above all it has been great to work with Nina, Anna, Carolina, and the guys from La Salut. Here you can see a video that I love and sums up the project very well:

For more information, do not miss the Sense Ficció documentary that will broadcast TV3 on May 8 at night !!!

More information on the project on the MTG website and the Pasqual Maragall Foundation. Thanks to all the team! Especially to the MTG group: Perfe Herrera, Felipe Navarro, Olga Slizovskaia, for their time in this project where we have not had specific funding.

Leave a comment

Filed under outreach, research, software

Paper on “My musical avatar”

We feel ourselves identified with the type of music we like and we sometimes use music to define our personality. I guess one of the questions I ask to any new person I know is “whad kind of music do you listen to?”.

During the last few years, I have been taking part in a research project, where the main goal is to visualize one’s musical preferences, “The Musical Avatar“. The idea behind is to use computational tools to automatically describe your music (in audio format) in terms of melody, instrumentation, rhythm, etc and use this information to build an iconic representation of one’s musical preferences and to recommend you new music. All the system is only based on content description, i.e. on the signal itself and not on information about the music (context) as found on web sites, etc. And it works! 🙂

We finally published a paper describing the technology behind and its scientific evaluation   at Information Processing & Management journal. This is the complete reference:

Dmitry Bogdanov, Martín Haro, Ferdinand Fuhrmann, Anna Xambó, Emilia Gómez, Perfecto Herrera Semantic audio content-based music recommendation and visualization based on user preference examples. Information Processing & Management
Volume 49, Issue 1, pp. 13-33, January 2013

There is much to improve, but you can see my musical avatar below. Can you guess how my favorite music sounds like? You can of course build yours from your last-FM profile here.

Emilia's musical avatar

My automatically generated musical avatar

Highlights

► We propose preference elicitation technique based on explicit preference examples. ► We study audio-based approaches to music recommendation and preference visualization. ► Approaches based on semantics inferred from audio surpass low-level timbre methods. ► Such approaches are close to metadata-based system being suitable for music discovery. ► Proposed visualization captures the core musical preferences of the participants.

Leave a comment

Filed under projects, research

Book on Multimodal Music Processing

I’m very happy to have coauthored a chapter in this book on Multimodal Music Processing, as a result of a seminar that Meinard Muëller, Masataka Goto and Simon Dixon organized last year.

I contributed to a chapter about user modeling and personalization, which I think it’s a key aspect of future MIR systems. Searches, descriptors, similarity measures and classification algorithms should be adapted to different user needs, in order to provide powerful and informative services of recommendation and retrieval.

I hope you will find it interesting!

Leave a comment

Filed under news, research