Overview of DA-VINCIS at IberLEF 2023: Detection of Aggressive and Violent Incidents from Social Media in Spanish

Abstract

In this paper, we present the overview of the DA-VINCIS 2023 shared task which was organized at IberLEF 2023 and co-located in the framework of the 39th International Conference of the Spanish Society for Natural Language Processing (SEPLN 2023). The main aim of this task is to promote the research on developing automatic solutions for detecting violent events in social networks. Two subtasks were considered: (i) A binary classification task aimed to determine whether or not a tweet is about a violent incident; and (ii) A multi-label multi-class classification task in which the category(ies) of a violent incident must be identified. A multimodal manual annotated corpus comprising both tweets and images associated to them was provided to the participants. A total of 15 systems were submitted for the final evaluation phase. Competitive results were obtained for both subtasks, the higher ones were in the binary classification task. Corpora and results are available at the shared task website at https://codalab.lisn.upsaclay.fr/competitions/11312.

En este documento presentamos el resumen de la tarea DA-VINCIS 2023 organizada como parte del IberLEF 2023 junto con la 39a Conferencia Internacional de la Sociedad Española para el Procesamiento de Lenguaje Natural (SEPLN 2023). El principal objetivo de la tarea es promover la investigación en el desarrollo de soluciones automáticas para la detección de incidentes violentos en redes sociales. Se consideraron dos tareas: (i) Clasificación binaria cuyo objetivo es determinar si un tweet reporta o no un incidente violento, y (ii) Clasificación multietiqueta multiclase donde la categoría(s) de un incidente violento debe ser identificada. A los participantes de la tarea se les proporcionó un conjunto de datos multimodal anotado manualmente el cual contiene tanto tweets como imágenes relacionadas. Un total de 15 sistemas fueron enviados para la fase de evaluación. En ambas tareas se obtuvieron resultados competitivos, siendo los mejores aquellos de la tarea de clasificación binaria. El corpus y los resultados detallados pueden consultarse en el sitio web de la tarea: https://codalab.lisn.upsaclay.fr/competitions/11312.