Evaluación de un sistema de traducción automática basado en reglas o por qué BLEU sólo sirve para lo que sirve

Abstract

Matxin es un sistema de traducción automática basado en reglas que traduce a euskera. Para su evaluación hemos usado la métrica HTER que calcula el coste de postedición, concluyendo que un editor necesitaría cambiar 4 de cada 10 palabras para corregir la salida del sistema. La calidad de las traducciones del sistema Matxin ha podido ser comparada con las de un sistema basado en corpus, obteniendo el segundo unos resultados significativamente peores. Debido al uso generalizado de BLEU, hemos querido estudiar los resultados BLEU conseguidos por ambos sistemas, constatando que esta métrica no es efectiva ni para medir la calidad absoluta de un sistema, ni para comparar sistemas que usan estrategias diferentes.

Matxin is a rule-based machine translation system which translates to Basque. For its evaluation we have used the HTER metric which calculates the post-editing cost, concluding that 4 of each 10 words would have to be modified to correct the output generated by the system. We have compared the quality of Matxin translations with that of a corpus based system, and the results show that Matxin performs significantly better. Given the widespread use of BLEU, we have examined the BLEU scores for both systems, and we conclude that this metric is neither effective to measure the absolute quality of a system, nor suitable to compare systems based on different strategies.