ZHAW-Forschende revolutionieren Digitalisierung gedruckter Musiknoten

Medienmitteilung inkl. Fotos und Webvideo

Medienmitteilung vom 6. Juni 2019

ZHAW School of Engineering

ZHAW-Forschende revolutionieren Digitalisierung gedruckter Musiknoten

Mit einem neuen Scanverfahren für Musiknoten haben ZHAW-Forschende einen Meilenstein in der computergestützten Objekterkennung erreicht. Damit kann ein digitales Notenpult gedruckte Partituren mehr als doppelt so genau in maschinenlesbare Noten überführen als bisher.

Wenn professionelle Musizierende von gedruckten auf digitale Noten umsteigen wollen, hilft ihnen dabei die Optical Music Recognition (OMR). Diese Technologie überführt gedruckte Partituren automatisch in maschinenlesbare Noten und interpretiert sie. Um diesen Vorgang zu optimieren, haben Forschende der ZHAW School of Engineering eine neue Methode entwickelt. Mit dem sogenannten Deep Watershed Detector scannen sie die Noten viel genauer als es bei der bisher erforschten computergestützten Bild- oder Texterkennung der Fall war. "Das Notenblatt wird als Ganzes anstatt in kleinen Teilen analysiert und Notenobjekte werden so in ihrem Kontext erkannt. Durch ein neuronales Netz mit dreifacher Ausgabe kann schliesslich jeder Bildpunkt einem bestimmten Objekt zugeordnet werden", erklärt ZHAW-Forscher und Projektleiter Thilo Stadelmann. "Mit dieser Methode ist unsere Trefferquote beim Notenscannen mehr als doppelt so hoch wie bisher."

300'000 Notenblätter analysiert

Während Texte bereits sehr gut maschinell gelesen werden können, hatte die Forschung beim Scannen und Interpretieren von Noten bisher keine adäquaten Ergebnisse erzielt. "Text enthält typischerweise nur eine kleine Anzahl von Symbolen, während Musik aus Komposita besteht. Denn Notensymbole können nicht nur horizontal, sondern auch vertikal kombiniert werden", so Stadelmann. "Im Prinzip kann durch das Zusammensetzen von Subsymbolen eine unbegrenzte Menge an Symbolen erzeugt werden - etwa Akkorde aus Einzelnoten, Notenhälsen und Fahnen." Um die neue Methode zu entwickeln, haben Stadelmann und sein Team rund 300'000 Seiten Noten analysiert. Damit haben die ZHAW-Forschenden den weltweit grössten vollständig annotierten Datensatz im Bereich der computergestützten Objekterkennung erzeugt - und ihn öffentlich und frei zugänglich gemacht für weitere Forschung. So kann das an der ZHAW entwickelte neue Verfahren auch auf andere Fragestellungen in der computergestützten Objekterkennung übertragen werden.

Entwicklung bei App eingesetzt

Über Monate haben die Forschenden ihr System mit digitalen und gedruckten Noten getestet und während dieser Zeit immer weiter verbessert. Die von Innosuisse finanziell geförderte Entwicklung wird künftig in einem konkreten Produkt zum Einsatz kommen. Das Schweizer Start-up ScorePad bietet ein digitales Notenpult für Tablets an. Gedruckte Noten werden dort eingelesen. Die App erlaubt die individuelle Bearbeitung der digitalisierten Noten. Dazu gehören beliebiges Zoomen, Transponieren in andere Tonarten und Auswählen der gewünschten Instrumente. Auch das Musizieren ist mit der App einfacher. Von Hand blättern ist nicht mehr nötig, da die Software die gespielten Töne über das eingebaute Mikrofon des Tablets automatisch erkennt und weiterscrollt.

Kontakt

Prof. Dr. Thilo Stadelmann, Institut für angewandte Informationstechnologie (InIT), ZHAW School of Engineering, Telefon 058 934 72 08, E-Mail thilo.stadelmann@zhaw.ch

Matthias Kleefoot, Public Relations, ZHAW School of Engineering, Telefon 058 934 70 85, E-Mail medien.engineering@zhaw.ch

ZHAW Zürcher Hochschule für Angewandte Wissenschaften 
Corporate Communications 
Gertrudstrasse 15 
Postfach 
CH-8401 Winterthur 
Tel. +41 58 934 75 75 
Fax +41 58 935 75 75  
medien@zhaw.ch 
www.zhaw.ch/medien