Evaluación de un sistema de traducción automática basado en reglas o por qué BLEU sólo sirve para lo que sirve
Empreu sempre aquest identificador per citar o enllaçar aquest ítem
http://hdl.handle.net/10045/11714
Títol: | Evaluación de un sistema de traducción automática basado en reglas o por qué BLEU sólo sirve para lo que sirve |
---|---|
Títol alternatiu: | Evaluation of a rule-based machine translation system or why BLEU is only useful for what it is meant to be used |
Autors: | Mayor Martínez, Aingeru | Alegría Loinaz, Iñaki | Díaz de Ilarraza Sánchez, Arantza | Labaka Intxauspe, Gorka | Lersundi Ayestaran, Mikel | Sarasola Gabiola, Kepa |
Paraules clau: | Traducción automática basada en reglas | Evaluación | HTER | BLEU | Rule-based machine translation | Evaluation |
Àrees de coneixement: | Lenguajes y Sistemas Informáticos |
Data de publicació: | de setembre-2009 |
Editor: | Sociedad Española para el Procesamiento del Lenguaje Natural |
Citació bibliogràfica: | MAYOR MARTÍNEZ, Aingeru, et al. “Evaluación de un sistema de traducción automática basado en reglas o por qué BLEU sólo sirve para lo que sirve”. Procesamiento del lenguaje natural. N. 43 (sept. 2009). ISSN 1135-5948, pp. 197-205 |
Resum: | Matxin es un sistema de traducción automática basado en reglas que traduce a euskera. Para su evaluación hemos usado la métrica HTER que calcula el coste de postedición, concluyendo que un editor necesitaría cambiar 4 de cada 10 palabras para corregir la salida del sistema. La calidad de las traducciones del sistema Matxin ha podido ser comparada con las de un sistema basado en corpus, obteniendo el segundo unos resultados significativamente peores. Debido al uso generalizado de BLEU, hemos querido estudiar los resultados BLEU conseguidos por ambos sistemas, constatando que esta métrica no es efectiva ni para medir la calidad absoluta de un sistema, ni para comparar sistemas que usan estrategias diferentes. | Matxin is a rule-based machine translation system which translates to Basque. For its evaluation we have used the HTER metric which calculates the post-editing cost, concluding that 4 of each 10 words would have to be modified to correct the output generated by the system. We have compared the quality of Matxin translations with that of a corpus based system, and the results show that Matxin performs significantly better. Given the widespread use of BLEU, we have examined the BLEU scores for both systems, and we conclude that this metric is neither effective to measure the absolute quality of a system, nor suitable to compare systems based on different strategies. |
Patrocinadors: | Esta investigación ha recibido ayuda del Ministerio de Educación y Ciencia a través de los proyectos OpenMT: Open Source Machine Translation using hybrid methods (TIN2006-15307-C03-01) y Ricoterm-3 (HUM2007-65966-CO2-02). |
URI: | http://hdl.handle.net/10045/11714 |
ISSN: | 1135-5948 |
Idioma: | spa |
Tipus: | info:eu-repo/semantics/article |
Revisió científica: | si |
Apareix a la col·lecció: | Procesamiento del Lenguaje Natural - Nº 43 (septiembre 2009) |
Arxius per aquest ítem:
Arxiu | Descripció | Tamany | Format | |
---|---|---|---|---|
PLN_43_22.pdf | 117,35 kB | Adobe PDF | Obrir Vista prèvia | |
Tots els documents dipositats a RUA estan protegits per drets d'autors. Alguns drets reservats.