Análisis cualitativo y cuantitativo de acuerdo entre anotadores en el desarrollo de corpus interpretados lingüísticamente

Abstract

El objetivo de este trabajo es presentar un análisis cualitativo y cuantitativo de las discrepancias entre anotadores en el etiquetado sintáctico del corpus Cast3LB. Para ello se ha definido un corpus de prueba de mil oraciones que ha sido etiquetado paralelamente por cinco anotadores. Se han realizado sucesivas evaluaciones de los resultados que han dado lugar a otras tantas mejoras de la guía de anotación hasta su versión definitiva. En una última fase, se analizan cualitativamente y se clasifican las discrepancias entre anotadores.

The main goal of this work is to present a qualitative and quantitative analysis of disagreements among annotators during the syntactic labeling of the Cast3LB corpus. To do so, a one-thousand-sentence corpus has been established and it has been annotated by five annotators. Consecutive evaluations of the results have been done and have led to successive improvements of the guidelines. In the last phase, we present the qualitative analysis and the classification of the differences among annotators.