Masking and BERT-based Models for Stereotype Identification
Please use this identifier to cite or link to this item:
http://hdl.handle.net/10045/117481
Title: | Masking and BERT-based Models for Stereotype Identification |
---|---|
Other Titles: | Modelos Basados en Enmascaramiento y en BERT para la Identificación de Estereotipos |
Authors: | Sánchez-Junquera, Javier | Rosso, Paolo | Montes y Gómez, Manuel | Chulvi, Berta |
Keywords: | Social bias | Immigrant stereotypes | BETO | Masking technique | Sesgo social | Estereotipos hacia inmigrantes | Técnica de enmascaramiento |
Knowledge Area: | Lenguajes y Sistemas Informáticos |
Issue Date: | Sep-2021 |
Publisher: | Sociedad Española para el Procesamiento del Lenguaje Natural |
Citation: | Procesamiento del Lenguaje Natural. 2021, 67: 83-94. https://doi.org/10.26342/2021-67-7 |
Abstract: | Stereotypes about immigrants are a type of social bias increasingly present in the human interaction in social networks and political speeches. This challenging task is being studied by computational linguistics because of the rise of hate messages, offensive language, and discrimination that many people receive. In this work, we propose to identify stereotypes about immigrants using two different explainable approaches: a deep learning model based on Transformers; and a text masking technique that has been recognized by its capabilities to deliver good and human-understandable results. Finally, we show the suitability of the two models for the task and offer some examples of their advantages in terms of explainability. | Los estereotipos sobre inmigrantes son un tipo de sesgo social cada vez más presente en la interacción humana en redes sociales y en los discursos políticos. Esta desafiante tarea está siendo estudiada por la lingüística computacional debido al aumento de los mensajes de odio, el lenguaje ofensivo, y la discriminación que reciben muchas personas. En este trabajo, nos proponemos identificar estereotipos sobre inmigrantes utilizando dos enfoques diametralmente opuestos prestando atención a la explicabilidad de los mismos: un modelo de aprendizaje profundo basado en Transformers; y una técnica de enmascaramiento de texto que ha sido reconocida por su capacidad para ofrecer buenos resultados a la vez que comprensibles para los humanos. Finalmente, mostramos la idoneidad de los dos modelos para la tarea, y ofrecemos algunos ejemplos de sus ventajas en términos de explicabilidad. |
Sponsor: | The work of the authors from the Universitat Politècnica of València was funded by the Spanish Ministry of Science and Innovation under the research project MISMIS-FAKEnHATE on MISinformation and MIScommunication in social media: FAKE news and HATE speech (PGC2018-096212-B-C31). Experiments were carried out on the GPU cluster at PRHLT thanks to the PROMETEO/2019/121 (DeepPattern) research project funded by the Generalitat Valenciana. |
URI: | http://hdl.handle.net/10045/117481 |
ISSN: | 1135-5948 |
DOI: | 10.26342/2021-67-7 |
Language: | eng |
Type: | info:eu-repo/semantics/article |
Rights: | © Sociedad Española para el Procesamiento del Lenguaje Natural |
Peer Review: | si |
Publisher version: | https://doi.org/10.26342/2021-67-7 |
Appears in Collections: | Procesamiento del Lenguaje Natural - Nº 67 (2021) |
Files in This Item:
File | Description | Size | Format | |
---|---|---|---|---|
PLN_67_07.pdf | 864,05 kB | Adobe PDF | Open Preview | |
Items in RUA are protected by copyright, with all rights reserved, unless otherwise indicated.