Development of a complete Optical Music Recognition workflow

Abstract

Optical Music Recognition, conocido como OMR, es un área de conocimiento que investiga la lectura computacional de los documentos musicales a partir de su imagen. A pesar de todos sus esfuerzos en conseguir procesos para avanzar en el reconocimiento de las partituras musicales, este campo de investigación tiene varios problemas para la puesta en práctica de los resultados que obtiene. Una de las razones es el poco tratamiento que le ha dado la comunidad científica, por motivos de gestión de prioridades, a un paso fundamental del proceso: la codificación, referida en la literatura como encoding. Este paso en concreto consiste en convertir la salida de un proceso de reconocimiento gráfico, la cual está codificada en un lenguaje agnóstico (donde únicamente se representan facetas gráficas como la posición y la forma que tiene la nota en el pentagrama) a una codificación semántica estándar, la cual representa la partitura tal y como se entendería la música en sí (mediante un lenguaje que representa los roles sintácticos y semánticos de cada nota en el pentagrama). Es necesario obtener esta representación para garantizar la exportabilidad de los resultados producidos para procesarlos en otros programas de procesado digital de la música. En este Trabajo Final de Máster, trabajaremos este aspecto para, finalmente, producir un sistema completo de reconocimiento de música basado en dos pasos: una transcripción agnóstica de la imagen de un pentagrama de entrada y un paso de traducción automática entre la salida de dicho reconocimiento (la cual está en dicha codificación agnóstica) a una codificación semántica. En primer lugar, investigaremos más acerca de cómo enfocar el problema de la traducción automática entre lenguajes musicales, ya que es algo en lo que aún no se ha profundizado en literatura existente. Propondremos diversos sistemas, desde los estadísticos a los basados en redes neuronales profundas, para afrontar el problema y evaluaremos su rendimiento en distintos conjuntos de datos. Una vez realizado este paso, evaluaremos la factibilidad de estos sistemas y propondremos las distintas situaciones en las que un traductor automático entre dos codificaciones musicales pueden ser convenientes. Después de esta investigación, llevaremos a la práctica los resultados obtenidos y crearemos el sistema completo de reconocimiento musical. En esta parte del trabajo, comentaremos cómo se realiza el reconocimiento gráfico de un pentagrama musical y explicaremos tanto los sistemas propuestos que usan traducción automática como el caso base, donde crearemos un sistema que no necesita traducción automática para producir una codificación semántica de la partitura reconocida (aunque tiene peores resultados que si se hace este reconocimiento mediante codificación agnóstica). Finalmente, concluiremos comentando que, tal y como planteamos como hipótesis en este trabajo, existen ventajas en el uso de sistemas completos de OMR basados en traducción automática, al igual que indicaremos las situaciones en las que este tipo de sistemas pueden ser útiles para la comunidad dedicada al procesamiento, la creación y la digitalización de corpus musicales.