Multilingual Controllable Transformer-Based Lexical Simplification

Abstract

Text is by far the most ubiquitous source of knowledge and information and should be made easily accessible to as many people as possible; however, texts often contain complex words that hinder reading comprehension and accessibility. Therefore, suggesting simpler alternatives for complex words without compromising meaning would help convey the information to a broader audience. This paper proposes mTLS, a multilingual controllable Transformer-based Lexical Simplification (LS) system fined-tuned with the T5 model. The novelty of this work lies in the use of language-specific prefixes, control tokens, and candidates extracted from pretrained masked language models to learn simpler alternatives for complex words. The evaluation results on three well-known LS datasets – LexMTurk, BenchLS, and NNSEval – show that our model outperforms the previous state-of-the-art models like LSBert and ConLS. Moreover, further evaluation of our approach on the part of the recent TSAR-2022 multilingual LS shared-task dataset shows that our model performs competitively when compared with the participating systems for English LS and even outperforms the GPT-3 model on several metrics. Moreover, our model obtains performance gains also for Spanish and Portuguese.

Los textos son la fuente más extendida de transferencia de conocimiento e información y deberían ser accesibles a todos. Sin embargo, los textos pueden contener palabras difíciles de entender, viéndose limitada su accesibilidad. En consecuencia, la substitución de palabras difíciles por alternativas más simples, que por otro lado no comprometan el sentido original del texto, podría ayudar a hacer la información más fácil de entender. En este trabajo proponemos el sistema mTLS de simplificación léxica multilingüe controlable basado en “transformers” multilingües, del tipo T5. La novedad de nuestro método consiste en combinar prefijos específicos del idioma, tokens de control y candidatos extraídos de modelos de lenguaje enmascarados pre-entrenados. Los resultados obtenidos por mTLS en tres conjuntos de datos para el inglés, muy conocidos en simplificación léxica – LexMTurk, BenchLS, and NNSEval – indican que mTLS se comporta mejor que el estado del arte. Además, una evaluación adicional sobre una parte de los datos de la reciente evaluación TSAR-2022 (para simplificación léxica en inglés, español, y portugués) muestra que nuestro modelo supera a todos los sistemas que participaron en la tarea TSAR-2022 en inglés, incluido un modelo basado en GPT-3. Nuestros resultados para español y portugués indican que mTLS funciona mejor que todos los resultados enviados a TSAR-2022.