Comparing languages from vocabulary growth to inflection paradigms: a study run on parallel corpora and multilingual lexicons

Abstract

En este artículo presentamos un estudio comparativo de corpus y de léxicos con el objetivo de comparar las dificultades que representan cinco lenguas (inglés, alemán, español, francés e italiano) para el análisis morfosintáctico y el desarrollo de recursos lexicográficos. Para ello hemos llevado a cabo varios experimentos utilizando dos corpus paralelos multilingües y dos léxicos morfosintácticos por lengua. Primero comparamos los resultados cuantitativos respecto a la cobertura dinámica y estática, y las ambigüedades morfosintácticas de los léxicos y corpus. Además, a partir de los léxicos hemos generado paradigmas de flexión para calcular cuántos son necesarios en cada lengua. Los resultados muestran la dificultad de trabajar con recursos multilingües y corpus paralelos. También ofrecen resultados cuantitativos sorprendentes respecto a las diferencias entre lenguas.

In this paper we report on a corpora and lexical comparative study on how to compare the difficulties of five languages (English, German, Spanish, French and Italian) for morphosyntactic analysis and the development of lexicographic resources. Experiments were conducted on two different sets of multilingual parallel corpora and two different morphosyntactic lexicons per language. We measure and compare statistics on dynamic and static coverage, form-lemma and morphosyntactic ambiguities in the lexicon and the corpus. In addition to this, we use the lexicons to automatically generate inflection paradigms and calculate how many inflection paradigms are needed per language. Results show the difficulty of working with multilingual resources and parallel corpora and offer some surprising quantitative results on differences in languages.