Categorizing Misogynistic Behaviours in Italian, English and Spanish Tweets

Abstract

Misogyny is a multifaceted phenomenon and can be linguistically manifested in numerous ways. The evaluation campaigns of EVALITA and IberEval in 2018 proposed a shared task of Automatic Misogyny Identification (AMI) based on Italian, English and Spanish tweets. Since the participating teams' results were pretty low in the misogynistic behaviour categorization, the aim of this study is to investigate the possible causes. We measured the overlap and the homogeneity of the clusters by varying the number of categories. This experiment showed that the clusters overlap. Finally, we tested several machine learning models both using the original data sets and merging together some categories according to their overlap, obtaining an increase in terms of macro F1.

La misoginia es un fenómeno con múltiples facetas y puede manifestarse lingüísticamente de muchas formas. Las campañas de evaluación de EVALITA e IberEval en 2018 propusieron una tarea compartida de Identificación Automática de Misoginia (AMI) basada en tweets en italiano, inglés y español. Dado que los resultados de los equipos participantes fueron bastante bajos en la categorización del comportamiento misógino, el objetivo de este estudio es investigar las posibles causas. Medimos el solape y la homogeneidad de los clústeres variando el número de categorías. Este experimento mostró que los grupos se solapan. Finalmente probamos varios modelos de aprendizaje automático utilizando los conjuntos de datos originales y fusionando algunas categorías de acuerdo con consideraciones basadas en medidas de similitud y las matrices de confusión de los modelos, obteniendo un aumento de la F1 macro.