Overview of DIPROMATS 2023: automatic detection and characterization of propaganda techniques in messages from diplomats and authorities of world powers

Abstract

This paper presents the results of the DIPROMATS 2023 challenge, a shared task included at the Iberian Languages Evaluation Forum (IberLEF). DIPROMATS 2023 provides a dataset with 12012 annotated tweets in English and 9501 tweets in Spanish, posted by authorities of China, Russia, United States and the European Union. Three tasks are proposed for each language. The first one aims to distinguish if a tweet has propaganda techniques or not. The second task seeks to classify the tweet into four clusters of propaganda techniques, whereas the third one offers a fine-grained categorization of 15 techniques. For the three tasks we have received a total of 34 runs from 9 different teams.

Este artículo presenta los resultados de DIPROMATS 2023, una tarea compartida incluida en el Iberian Languages Evaluation Forum (IberLEF). DIPROMATS 2023 proporciona un conjunto de datos con 12.012 tweets anotados en inglés y 9.501 tweets en español, publicados por autoridades de China, Rusia, Estados Unidos y la Unión Europea. Se proponen tres tareas para cada idioma. La primera tiene como objetivo distinguir si un tweet tiene técnicas de propaganda o no. La segunda tarea busca clasificar el tweet en cuatro grupos de técnicas de propaganda, mientras que la tercera ofrece una categorización detallada de 15 técnicas. Para las tres tareas, hemos recibido un total de 34 ejecuciones de 9 equipos diferentes.