Desambiguación del sentido y del dominio de las palabras con modelos de probabilidad de máxima entropía

Abstract

En este artículo se presenta un sistema de aprendizaje supervisado para la desambiguación del sentido de las palabras. Dicho sistema se basa en los modelos de probabilidad condicional de máxima entropía. El conocimiento lingüístico se adquiere a partir de un corpus anotado y se representa en forma de atributos (features). Se han estudiado varios tipos de atributos para un conjunto limitado de palabras del corpus DSO. También se ha estudiado la sustitución de los sentidos de WordNet por etiquetas de dominio. En la actualidad, la implementación del sistema no soporta ninguna técnica de suavizado o preproceso complejo, pero sus resultados son buenos si son comparados, por ejemplo, con los de los sistemas presentados en el SENSEVAL-2

In this paper, a supervised learning system of word sense disambiguation is presented. It is based on maximum entropy conditional probability models. This system acquires the linguistic knowledge from an annotated corpus and this knowledge is represented in the form of features. Several types of features has been analyzed for a few words selected from the DSO corpus. Moreover, substituting WordNet senses by domain labels have been studied too. Currently, the system implementation does not support any smoothing technique or complex pre-processing but its accuracy is good when it is compared with, for example, the systems at SENSEVAL-2