Hate Speech Identification in Formal and Informal Social Media Text Using RoBERTa-Base and XLM-RoBERTa-Base Models

Abstract

Listen in: English (British) Español (España) Name: Loading voices… ▶ Listen to Abstract Pause Stop Speed: 0.75x1x 1.25x1.5x

Identificación del discurso de odio en textos formales e informales de redes sociales mediante los modelos RoBERTa-Base y XLM-RoBERTa-Base Autores: Husnain Saleem - Gomal University, D.I.Khan, KPK (PK) Muhammad Javed - Gomal University, D.I.Khan, KPK (PK) Junaid Khan - Gomal University, D.I.Khan, KPK (PK) Resumen Las plataformas de redes sociales permiten a los usuarios interactuar y compartir contenidos mediante texto, imágenes, vídeos y enlaces. El análisis de sentimientos, un método clave del procesamiento del lenguaje natural (PLN), evalúa el tono emocional de los contenidos de las redes sociales. Este enfoque ayuda a identificar el discurso de odio, que incluye lenguaje dañino u ofensivo dirigido contra personas o grupos. En este estudio presentamos una comparación del rendimiento de dos modelos basados en transformadores, RoBERTa-Base y XLM-RoBERTa-Base, para la identificación del discurso de odio en textos formales (inglés) e informales (urdu romanizado y texto mixto inglés-urdu romanizado). Ajustamos ambos modelos utilizando conjuntos de datos multilingües y evaluamos su rendimiento. XLM-RoBERTa-Base alcanzó una exactitud del 94,46 % para el inglés, del 93,77 % para el urdu romanizado y del 88,32 % para el texto mixto inglés-urdu romanizado, mientras que RoBERTa-Base obtuvo un mejor rendimiento en inglés (97,24 %) y en urdu romanizado (94,28 %), aunque descendió ligeramente hasta el 88 % en el texto mixto inglés-urdu romanizado. Estos resultados muestran que RoBERTa-Base destaca en inglés, pero presenta mayores dificultades con el urdu romanizado y con los textos mixtos con cambio de código, mientras que XLM-RoBERTa-Base mantiene un rendimiento más consistente en todos los idiomas.

Social media platforms enable users to interact and share content through text, images, videos, and links. Sentiment analysis, a key method in Natural Language Processing (NLP), evaluates the emotional tone of social media content. It helps to identify hate speech, which includes harmful, offensive language directed at individuals or groups. In this study, we present the performance comparison of two transformer-based models, RoBERTa-Base and XLM-RoBERTa-Base, for hate speech identification in formal (English) and informal (Roman Urdu and mixed English-Roman Urdu) text. We fine-tune both models on multilingual datasets and evaluate the model's performance. XLM-RoBERTa-Base achieved (94.46%) accuracy for English, (93.77%) for Roman Urdu, and (88.32%) for mixed English-Roman Urdu text, while RoBERTa-Base performed better in English (97.24%) and Roman Urdu (94.28%), but dropped slightly to (88%) for mixed English-Roman Urdu text. These results show RoBERTa-Base excels in English, but struggles with Roman Urdu and code-switched mixed languages, while XLM-RoBERTa-Base performs consistently across all languages.