Padró Cirera, Montserrat, Padró Cirera, Lluís
Comparing methods for language identification
PADRÓ CIRERA, Montserrat; PADRÓ CIRERA, Lluís. “Comparing methods for language identification”. Procesamiento del lenguaje natural. Nº 33 (septiembre 2004), pp. 155-161
URI: http://hdl.handle.net/10045/1472
DOI: 
ISSN: 1135-5948
Abstract: 
En este artículo se comparan tres sistemas estadísticos de identificación de idioma. Se presenta también un estudio detallado de la influencia de algunos factores importantes sobre la precisión de los sistemas. Estos factores son: la medida del corpus de entrenamiento, la cantidad de texto que se quiere clasificar y las lenguas entre las cuales el sistema es capaz de distinguir (se estudiará tanto el número de lenguas cómo cuáles son esas lenguas).
In this work three different statistical language identification methods are compared,
and a detailed study of the influence on those systems of some basic parameters is
performed. The analyzed parameters are the size of the train set, the amount of text that
we want to classify and the languages the system is able to distinguish (it will be studied
not only the influence of the number of languages but also the influence of which are the
considered languages).
Keywords:Identificación de idioma, Sistemas estadísticos, Multilinguismo, Modelos de Markov visibles, Vectores de frecuencia de trigramas, Categorización de textos basada en n-gramas, Language identification, Statistical systems, Multilinguality, Visible Markov Models, Trigram frequency vectors, N-gram based text categorization
Sociedad Española para el Procesamiento del Lenguaje Natural
info:eu-repo/semantics/article