Comparing methods for language identification
Please use this identifier to cite or link to this item:
http://hdl.handle.net/10045/1472
Title: | Comparing methods for language identification |
---|---|
Authors: | Padró Cirera, Montserrat | Padró Cirera, Lluís |
Keywords: | Identificación de idioma | Sistemas estadísticos | Multilinguismo | Modelos de Markov visibles | Vectores de frecuencia de trigramas | Categorización de textos basada en n-gramas | Language identification | Statistical systems | Multilinguality | Visible Markov Models | Trigram frequency vectors | N-gram based text categorization |
Issue Date: | Sep-2004 |
Publisher: | Sociedad Española para el Procesamiento del Lenguaje Natural |
Citation: | PADRÓ CIRERA, Montserrat; PADRÓ CIRERA, Lluís. “Comparing methods for language identification”. Procesamiento del lenguaje natural. Nº 33 (septiembre 2004), pp. 155-161 |
Abstract: | En este artículo se comparan tres sistemas estadísticos de identificación de idioma. Se presenta también un estudio detallado de la influencia de algunos factores importantes sobre la precisión de los sistemas. Estos factores son: la medida del corpus de entrenamiento, la cantidad de texto que se quiere clasificar y las lenguas entre las cuales el sistema es capaz de distinguir (se estudiará tanto el número de lenguas cómo cuáles son esas lenguas). | In this work three different statistical language identification methods are compared, and a detailed study of the influence on those systems of some basic parameters is performed. The analyzed parameters are the size of the train set, the amount of text that we want to classify and the languages the system is able to distinguish (it will be studied not only the influence of the number of languages but also the influence of which are the considered languages). |
URI: | http://hdl.handle.net/10045/1472 |
ISSN: | 1135-5948 |
Language: | eng |
Type: | info:eu-repo/semantics/article |
Appears in Collections: | Procesamiento del Lenguaje Natural - Nº 33 (septiembre 2004) |
Files in This Item:
File | Description | Size | Format | |
---|---|---|---|---|
PLN_33_21.pdf | 110,29 kB | Adobe PDF | Open Preview | |
Items in RUA are protected by copyright, with all rights reserved, unless otherwise indicated.