Fundamentos de Latent Semantic Indexing (LSI) y su aplicación a la categorización de textos periodísticos en euskara

Abstract

Muchos métodos de búsqueda de textos en Internet dependen de un emparejamiento exacto entre palabras que busca el usuario y las que existen en el documento. La descomposición en valores singulares utilizada por LSI permite recuperar información basada en conceptos o significados que están latentes en el documento. En este artículo se analizan los fundamentos matemáticos de dicha técnica, y se muestran unos resultados obtenidos para un experimento de categorización de textos. Además, se citan algunas aplicaciones de LSI para el procesamiento del lenguaje natural.

Currently, most approaches to retrieving textual materials from scientific databases depend on a lexical match between words in user's requests and those in document in a database. Using the singular value decomposition, LSI takes advantage of the implicit higher-order structure in the association of terms with documents. Here we describe the mathematical foundations of this technique, and show the results that we have obtained by applying it to a text categorization experiment. Moreover, we note the applications of LSI in NLP.