Overview of Rest-Mex at IberLEF 2023: Research on Sentiment Analysis Task for Mexican Tourist Texts

Abstract

This paper presents the framework and results of the Rest-Mex task at IberLEF 2023, focusing on sentiment analysis and text clustering of tourist texts. The study primarily focuses on texts related to tourist destinations in Mexico, although this edition included data from Cuba and Colombia for the first time. The sentiment analysis task aims to predict the polarity of opinions expressed by tourists, classifying the type of place visited, whether it’s a tourist attraction, hotel, or restaurant, as well as the country it is located in. On the other hand, the text clustering task aims to classify news articles related to tourism in Mexico. For both tasks, corpora were built using Spanish opinions extracted from TripAdvisor and news articles from Mexican media. This article compares and discusses the results obtained by the participants in both sub-tasks. Additionally, a method is proposed to measure the easiness of a multi-class text classification corpus, along with an approach for system selection in a possible late fusion scheme.

Este artículo presenta el marco y los resultados de la tarea Rest-Mex en IberLEF 2023, que se enfoca en el análisis de sentimiento y agrupamiento de textos turísticos. El estudio se centra principalmente en textos relacionados con destinos turísticos en México, aunque esta edición incluyó datos de Cuba y Colombia por primera vez. La tarea de análisis de sentimiento tiene como objetivo predecir la polaridad de opiniones expresadas por turistas, clasificando el tipo de lugar visitado, ya sea un atractivo turístico, un hotel o un restaurante, así como el país en el que se encuentra. Por otro lado, la tarea de agrupamiento de textos busca clasificar noticias relacionadas con el turismo en México. Para ambas tareas, se construyeron corpus utilizando opiniones en español extraídas de TripAdvisor y noticias de medios mexicanos. En este artículo, se comparan y discuten los resultados obtenidos por los participantes en ambas sub tareas. Además, se propone un método para medir la facilidad de un corpus de clasificación textual multi-clase, así como un enfoque para la selección de sistemas en un posible esquema de fusión tardía.