Forschungs- und praxisnahe Lehre auf den Gebieten Recommender Systems und Multimedia Data Mining

Umgesetztes Projekt

Ziele

Das Informatikstudium der JKU ist seit jeher für seine starke Praxisorientierung bekannt und wird dafür von den Studierenden hoch geschätzt. In diesem Sinn besteht das übergeordnete Ziel des Projektes darin, Studierenden der Informatik eine sehr forschungs- und praxisnahe Lehre auf den Gebieten Empfehlungssysteme, Datenanalyse und maschinelles Lernen zu bieten. Dies wird insbesondere durch einen Fokus auf aktuelle Problemstellungen in Forschung und Wirtschaft im Rahmen der Kurse „Learning from user-generated data“ und „Multimedia Data Mining“ erreicht. Um eine beträchtliche Steigerung der Motivation der Studierenden zu erreichen, wird die Teilnahme an internationalen Wettbewerben im Rahmen der oben erwähnten Kurse angeboten. Die unmittelbare, großteils selbständige Vertiefung und Umsetzung der theoretischen Inhalte der Kurse anhand realer Problemstellungen führt außerdem zu einer Stärkung des Studierendenverständnisses für die Materie, sowie zur Freisetzung eines beträchtlichen kreativen Potenzials.

Kurzzusammenfassung (dt.)

In den Kursen Learning from user-generated data (LUD) und Multimedia Data Mining (MDM) bekommen die Teilnehmer/-innen seit 2017 (LUD) bzw. 2015 (MDM) die Möglichkeit, auf praxisnahe Weise die aktuelle Forschung auf den Gebieten Empfehlungssysteme und multimediales Data Mining kennenzulernen und selbst voranzubringen. Sie erarbeiten in diesen Kursen, nach einer Einführung in die Theorie, selbstorganisiert in Gruppen, jedoch unter kontinuierlicher Unterstützung durch den Kursleiter, neuartige Lösungsansätze für Problemstellungen auf den oben genannten Gebieten.

Konkret bestand die Aufgabe im Kurs LUD im Sommersemester 2017 in der Erarbeitung von Algorithmen für ein Empfehlungssystem, welches Job-Annoncen an Arbeitssuchende empfiehlt. Die Teams bestanden aus 3-4 Studierenden und konnten an der RecSys Challenge 2017 teilnehmen, die im Rahmen der bedeutendsten Konferenz auf dem Gebiet (ACM Recommender Systems) veranstaltet wird. Zwei der vier Teams schafften es in die Finalrunde dieses von XING mitveranstalteten Wettbewerbs.

Im Kurs MDM, in dem das Projekt bereits seit 2015 umgesetzt wird, arbeiten Teams aus 2-4 Studierenden an aktuellen Fragestellungen auf dem Gebiet der Multimediaanalyse. Im Sommersemester 2017 nahm ein Team am MediaEval Benchmark teil und gewann den AcousticBrainz Genre Task, welcher die automatische Musikklassifikation zum Ziel hatte, mit einem Deep Learning basierten Ansatz.

Das Projekt wird aufgrund des großen Erfolges 2018 in beiden Kursen fortgeführt.

Kurzzusammenfassung (engl.)

In the courses Learning from user-generated data (LUD) since 2017 and Multimedia Data Mining (MDM) since 2015, students are given the opportunity to experience and enhance, in a very practical manner, current research on the topics of recommender systems and data mining from multimedia items. After a short introduction to respective theory, students elaborate novel solutions to tasks related to the above research topics. This so in a self-organized way in groups, albeit given all necessary guidance by the instructor.

More precisely, the task addressed in the LUD course in summer term 2017 consisted of elaborating a recommender system to recommend job postings to job seekers. The work was carried out in teams of 3-4, and students were given the chance to participate in the RecSys Challenge 2017, organized as part of the most important conference in the field (ACM Recommender Systems). Two of the four teams managed to proceed to the final round of the challenge, which was co-organized by XING, a social platform for business networking.

As part of the course MDM, the project has been installed in 2015. In this course, teams of 2-4 students work on current research problems in the area of multimedia analysis. In summer term 2017, one team participated in the MultimediaEval Benchmark initiative and won the AcousticBrainz Genre Task on automatic music classification, with a deep learning-based approach.

Due to the great success, the project will be continued in 2018.

Nähere Beschreibung

Ziel des Projektes ist es, Studierenden des Masterstudiums Informatik an der JKU ein möglichst praxisnahes und an aktuellen Forschungsfragen ausgerichtetes Studium der Thematiken Empfehlungssysteme, Analyse multimedialer Daten und maschinelles Lernen zu ermöglichen. Zur Umsetzung des Projektes wurden die zwei Kurse „Learning from user-generated data“ (LUD) und „Multimedia Data Mining“ (MDM) des Informatik-Masterstudiums ausgewählt. Ersteres ist Pflichtfach mit etwa 30 Teilnehmern/Teilnehmerinnen, letzteres Wahlfach mit etwa 20 Teilnehmern/Teilnehmerinnen. Bei beiden Kursen handelt es sich um „kombinierten Lehrveranstaltungen“, d.h. sie beinhalten einen Vorlesungs- und einen Übungsteil.

Das Grundkonzept des Projektes inkludiert, den Vorlesungsteil auf die notwendigen Grundlagen zu reduzieren, dem Übungsteil hingegen verstärkte Bedeutung beizumessen. Im Unterschied zu anderen Kursen bearbeiten die Teilnehmer/-innen im Übungsteil der Kurse LUD und MDM keine bereits seit langem erforschten bzw. auf statische Standarddatensätze zurückgreifenden Aufgabenstellungen, sondern werden in die aktuelle Forschung des Instituts für Computational Perception, insbesondere in das Forschungsfeld des Lehrveranstaltungsleiters, Dr. Markus Schedl, eingebunden.

Konkret besteht der Übungsteil der Kurse aus den folgenden Aufgaben für die Studierenden: (i) selbständiges, jedoch durch den Kursleiter unterstütztes, Einarbeiten in existierende Methoden und Algorithmen zur Lösung der jeweiligen Problemstellung, abhängig vom Kurs, (ii) aufbauend auf dem gewonnenen Wissen, Erarbeitung neuartiger Erweiterungen von bestehenden Methoden, oder Entwicklung kreativer, neuer Ansätze zur Lösung der Problemstellung, (iii) Implementierung und Evaluierung der in (ii) erarbeiteten Methoden und Algorithmen, (iv) Verfassen eines wissenschaftlichen Reports, der die gewählten Methoden, Daten und Validierungsstrategien konzise beschreibt, (v) Präsentation und Diskussion der entwickelten Ansätze und Ergebnisse.

Es konnte festgestellt werden, dass dieser starke Fokus auf den Praxisteil bzw. die starke Anlehnung an das wissenschaftliche Arbeiten in den entsprechenden Teilgebieten der Informatik zu einer Erhöhung der intrinsischen Motivation der Studierenden führt. Eine weitere Steigerung dieser Motivation wird dadurch erreicht, dass den besten Studierenden bzw. Gruppen die Teilnahme an internationalen wissenschaftlichen Wettbewerben ermöglicht wird, sofern die finanziellen Mittel ausreichend sind. Hierfür ist üblicherweise auch das Einreichen eines wissenschaftlichen Papers nötig, welches die Studierenden gemeinsam mit dem Kursleiter verfassen, und welches anschließend durch einen Begutachtungsprozess (im „peer review“ Verfahren) läuft.

In den beiden für das Projekt ausgewählten Kursen, LUD und MDM, bekommen die Teilnehmer/-innen seit 2017 (LUD) bzw. 2015 (MDM) die Möglichkeit, auf praxisnahe Weise die aktuelle Forschung auf den Gebieten Empfehlungssysteme und multimediales Data Mining kennenzulernen und auch selbst voranzubringen. Sie erarbeiten im Rahmen dieser Kurse, nach einer Einführung in die Theorie, selbstorganisiert in Gruppen, jedoch unter kontinuierlicher Unterstützung durch den Kursleiters, neuartige Lösungsansätze für Problemstellungen in den oben genannten Gebieten. Dies führt zur Freisetzung von enormem kreativem Potenzial und zu einer hohen Motivation seitens der Studierenden.

Konkret bestand die Aufgabe im Kurs LUD im Sommersemester 2017 in der Erarbeitung von Algorithmen für ein Empfehlungssystem, welches Job-Annoncen an Arbeitssuchende empfiehlt. Die Arbeit wurde in Teams durchgeführt, wobei jedes aus 3-4 Studierenden bestand. Jedes Team bekam die Möglichkeit, an der RecSys Challenge 2017 teilzunehmen, die im Rahmen der bedeutendsten Konferenz auf dem Forschungsgebiet der Empfehlungssysteme (ACM Recommender Systems) veranstaltet wird. Zwei der vier Teams schafften es in die Finalrunde des Wettbewerbs, in welcher eine Online-Evaluierung der eingereichten Algorithmen am Produktivsystem von XING durchgeführt wurde. XING ist ein soziales Netzwerk für berufliche Vernetzung und Mitorganisator der Challenge.

Im Kurs MDM, in dem das Projekt bereits seit 2015 umgesetzt wird, arbeiten Teams aus 2-4 Studierenden an aktuellen Fragestellungen auf dem Gebiet der Multimediaanalyse. Seitdem wurden Lösungen für folgende Aufgabenstellungen im Rahmen der MediaEval Benchmarking Initiative for Multimedia Evaluation erarbeitet: inhaltsbasierte Emotionserkennung in Musik („Emotion in Music Task“), Lokalisierung von Bildern und Videos („Placing Task: Multimodal geo-location prediction“) und Klassifikation von Musik in Genres („AcousticBrainz Genre Task: Content-based music genre recognition from multiple sources“). Im Sommersemester 2017 nahm ein Team des MDM Kurses am „AcousticBrainz Genre Task“ teil und gewann. Der Ansatz des Gewinnerteams basiert auf einem Deep Learning Klassifikator, führte zu einer Publikation [Koutini et al., 2017] und wurde im Rahmen des MediaEval Workshops 2017 durch ein Teammitglied präsentiert.

Das Projekt wird aufgrund des großen Erfolges 2018 in beiden Kursen fortgeführt. Im Übungsteil des LUD Kurses steht dieses Sommersemester die Problemstellung im Mittelpunkt, zu einer gegebenen Musikwiedergabeliste beliebiger Länge passende Musikstücke zu deren Ergänzung zu empfehlen („automatic playlist continuation“). Die Aufgaben des MDM Kurs orientieren sich dieses Sommersemester an den Tasks von MediaEval 2018.

 

Das Projekt führte bis dato zu folgenden begutachteten, akzeptierten und veröffentlichten Publikationen:

[Koutini et al., 2017]: Koutini, K., Imenina, A., Dorfer, M., Gruber, A.R., and Schedl, M. MediaEval 2017 AcousticBrainz Genre Task: Multilayer Perceptron Approach, Working Notes Proceedings of MediaEval 2017: Multimedia Benchmark Workshop, Dublin, Ireland, September 2017.

[Mayr et al., 2015]: Mayr, M., Hintersteiner, T., Weingartner, M., Schröckeneder, F., Knees, P., and Schedl, M. JKU-Satellite at Media Eval 2015: An Intuitive Approach to Locate Single Pictures Within a Session, Working Notes Proceedings of MediaEval 2015: Multimedia Benchmark Workshop, Wurzen, Germany, September 2015.

[Weber et al., 2015]: Weber, M., Krismayer, T., Wöß, J., Aigmüller, L., Birnzain, P., Schedl, M., and Knees, P. MediaEval 2015: JKU-Tinnitus Approach to Emotion in Music Task, Working Notes Proceedings of MediaEval 2015: Multimedia Benchmark Workshop, Wurzen, Germany, September 2015.

Positionierung des Lehrangebots

Das Lehrangebot richtet sich an Studierende des Masterstudiums Informatik ab dem zweiten Semester. Die zur Umsetzung dieses Projektes ausgewählten Kurse sind die „kombinierten Lehrveranstaltungen“ (Vorlesungs- und Übungsteil) „Learning from user-generated data“ und „Multimedia Data Mining“. Ersteres ist Pflichtfach mit etwa 30 Teilnehmern/Teilnehmerinnen, letzteres Wahlfach mit etwa 20 Teilnehmern/Teilnehmerinnen.

Weiterführende Information


Das Beispiel wurde für den Ars Docendi Staatspreis für exzellente Lehre 2018 nominiert.