Analyzing the CoNLL–X Shared Task from a sentence accuracy perspective

Abstract

Hoy en día, dada la relevancia de las CoNLL shared tasks para Análisis de Dependencias, las medidas más usadas son las que allí se computaron. Esas medidas, están basadas en calcular globalmente la precisión palabra por palabra (o token por token) para todo el conjunto de frases. En nuestra opinión el usuario final de un analizador de dependencias podría esperar una precisión local basada en evaluar la precisión frase a frase. En estos casos, unas medidas diferentes pueden añadir algo de información que podría ser relevante acerca de que analizador devuelve un mejor resultado. Es por ello que presentamos el estudio de este artículo con la intención de enriquecer la descripción del comportamiento de los analizadores de dependencias.

Nowadays, because of the relevance of the CoNLL shared tasks on Dependency Parsing, the most used evaluation measures are the ones computed in them. These measures, which are token–based, are computed globally for a whole big set of texts considering token by token. But a final user of a dependency parser would expect a high and stable accuracy for every parsed piece of text (usually one sentence). In this cases sentence–based measures add some information that could be relevant. This is why we developed the present study, which is addressed to get a richer description of the performance of dependency parsers.