NLP applied to occupational health: MEDDOPROF shared task at IberLEF 2021 on automatic recognition, classification and normalization of professions and occupations from medical texts

Abstract

Entre las características sociodemográficas de los pacientes, las ocupaciones juegan un papel fundamental tanto desde el punto de vista de la salud laboral, accidentes laborales y exposición a tóxicos y patógenos como desde el de la salud física y mental. Este artículo presenta la tarea Medical Documents Profession Recognition (MEDDOPROF), celebrada dentro de IberLEF/SEPLN 2021. La tarea se centra en el reconocimiento y detección de ocupaciones en textos médicos en castellano. MEDDOPROF propone tres retos: NER (reconocimiento de profesiones, situaciones laborales y actividades), CLASS (clasificar cada ocupación en función de su referente, como puede ser el paciente o un familiar) y NORM (normalizar menciones a las terminologías ESCO y SNOMED-CT). De un total de 40 equipos registrados, 15 han presentado un total de 94 sistemas. Los sistemas de mejor rendimiento se basan en tecnologías de aprendizaje profundo como transformers, llegando a conseguir una F-score de 0.818 en detección de ocupaciones (NER), 0.793 en clasificación de ocupaciones por su referente (CLASS) y 0.619 en normalización (NORM). Futuras iniciativas deberían tener también en cuenta aspectos multilingües y la aplicación en otros dominios como servicios sociales, recursos humanos, análisis del mercado legal y laboral o la política.

Among the socio-demographic patient characteristics, occupations play an important role regarding not only occupational health, work-related accidents and exposure to toxic/pathogenic agents, but also their impact on general physical and mental health. This paper presents the Medical Documents Profession Recognition (MEDDOPROF) shared task (held within IberLEF/SEPLN 2021), focused on the recognition and normalization of occupations in medical documents in Spanish. MEDDOPROF proposes three challenges: NER (recognition of professions, employment statuses and activities in text), CLASS (classifying each occupation mention to its holder, i.e. patient or family member) and NORM (normalizing mentions to their identifier in ESCO or SNOMED CT). From the total of 40 registered teams, 15 submitted a total of 94 runs for the various sub-tracks. Best-performing systems were based on deep-learning technologies (incl. transformers) and achieved 0.818 F-score in occupation detection (NER), 0.793 in classifying occupations to their referent (CLASS) and 0.619 in normalization (NORM). Future initiatives should also address multilingual aspects and application to other domains like social services, human resources, legal or job market data analytics and policy makers.