Third party funded individual grant
Acronym: MU 2686/10-1
Start date : 01.10.2016
End date : 31.03.2020
Website: https://www.audiolabs-erlangen.de/fau/professor/mueller/projects/sereco
The general goal of music source separation is to decompose a music recording into its constituent signal components. One of the main problems is that the separated signals may suffer from severe audible artifacts. Considering the challenging scenario of percussive and non-harmonic sound sources, we developed in this project techniques and tools for separating and restoring drum sound events in a perceptually convincing way. We systematically approached this general source separation problem by considering a number of more specific objectives. A first goal was to develop cascaded techniques for decomposing a music mixture into (mid-level) harmonic, percussive, transient, and residual components. A second goal was to decompose drum tracks into individual drum sound events by exploiting specific properties of drum instruments. In particular, by adapting and extending Non-Negative Matrix Factor Deconvolution (NMFD) used as a central methodology of this project, we systematically studied how audio- and score-based side information can be generated, integrated, and exploited to guide the decomposition. To improve the perceptual quality of the separated drum events, a third goal was to research data-driven restoration approaches for reducing crosstalk and other undesired artifacts. Finally, we tested and evaluated our decomposition and restoration approaches by considering two different application scenarios: an audio editing application (decomposition and remixing of breakbeats) and a music analysis problem (swing ratio analysis of jazz music). Exploring novel algorithmic approaches for sound source separation within concrete application scenarios, this project contributed to fundamental research of practical relevance.
Klangquellentrennung für Musiksignale zielt darauf ab, eine digitalisierte Musikaufnahme in zugrundeliegende Signalkomponenten zu zerlegen. Ein Hauptproblem liegt darin, dass unter Umständen deutlich hörbare Artefakte in den separierten Signalkomponenten entstehen können. In dem vorliegenden Projekt sollen Techniken und Algorithmen entwickelt werden, die sich zur perzeptuell hochwertigen Abtrennung und Zerlegung von schlagzeugartigen Klangquellen eignen. Diese allgemeine Aufgabenstellung soll systematisch durch Betrachtung von in Beziehung stehenden Teilproblemstellungen angegangen werden. Als ein erstes Teilproblem sollen Verfahren zur kaskadierten Zerlegung von Musikaufnahmen in harmonische, perkussive, transiente und weitere Mid-Level-Komponenten entwickelt werden. Eine zweite Aufgabenstellung besteht in der Zerlegung von Schlagzeugaufnahmen in individuelle Schlagzeugklangkomponenten unter Berücksichtigung spezifischer Eigenschaften der beteiligten Instrumente. Insbesondere soll als zentral Methodik dieses Projekts die als "Non-Negative Matrix Factor Deconvolution" bekannte Technik adaptiert und erweitert werden. Hierbei soll systematisch untersucht werden, wie sich Audio- und Notentext-basierte Seiteninformation generieren, integrieren und zur Steuerung der Zerlegung ausnutzen lässt. Als eine weitere wichtige Aufgabenstellung sollen datengetriebene Restaurationsverfahren zur Reduktion von Übersprechen und anderen ungewünschten Artefakten erforscht werden. Die unterschiedlichen Ansätze zur Signalzerlegung und -rekonstruktion sind anhand zwei konkreter Aufgabenstellungen zu testen und zu evaluieren: Zum einen soll eine Anwendung zur Audioeditierung (Zerlegung und "Remixen" von Breakbeats) und zum anderen ein Musikanalyseproblem (Swing-Analyse in Jazzmusik) betrachtet werden. Durch die Entwicklung neuartiger algorithmischer Ansätze zur Klangquellentrennung soll das vorliegende Projekt zur Grundlagenforschung mit konkretem Praxisbezug beitragen.