Robust Sentiment Analysis Through Bayesian Dropout-Enhanced RoBERTa-LSTM

Abstract

Listen in: English (British) Español (España) Name: Loading voices… ▶ Listen to Abstract Pause Stop Speed: 0.75x1x 1.25x1.5x

Análisis robusto de sentimientos mediante RoBERTa-LSTM mejorado con dropout bayesiano Resumen Los modelos Transformer, como RoBERTa, proporcionan representaciones contextualizadas sólidas para el análisis de sentimientos, pero carecen de mecanismos inherentes para cuantificar la incertidumbre predictiva y son propensos al sobreajuste, especialmente cuando se aplican a datos textuales ruidosos o desequilibrados. Este artículo presenta RoBERTa-LSTM-Drop, una arquitectura híbrida que combina representaciones de RoBERTa con capas LSTM bidireccionales e integra dropout bayesiano para capturar la incertidumbre mediante muestreo de Monte Carlo, al tiempo que actúa como un regularizador eficaz. El modelo se evalúa en dos conjuntos de datos de referencia complementarios: IMDb, que representa reseñas largas y estructuradas, y Sentiment140, que representa tuits breves e informales. Se realizan comparaciones con modelos de referencia tradicionales, como la Regresión Logística, así como con un modelo RoBERTa-LSTM sin dropout bayesiano. Los resultados demuestran que RoBERTa-LSTM-B.Drop alcanza una exactitud competitiva frente a modelos de referencia sólidos, al tiempo que ofrece estimaciones calibradas de incertidumbre que mejoran la fiabilidad del modelo. Los hallazgos ponen de manifiesto un compromiso entre estabilidad y rendimiento: el dropout bayesiano puede producir mejoras modestas en la exactitud, pero introduce variabilidad entre distintos optimizadores y tasas de aprendizaje. Se analizan estrategias prácticas de mitigación, entre ellas el ajuste de la tasa de dropout y el recorte de gradientes. Más allá del rendimiento bruto, las estimaciones de incertidumbre permiten identificar predicciones de baja confianza y propensas a errores, favoreciendo una implementación consciente del riesgo en escenarios del mundo real. El análisis también aclara cuándo los modelos híbridos sensibles a la incertidumbre resultan más ventajosos —por ejemplo, con entradas más largas y ricas en contexto— y en qué situaciones sus beneficios son limitados. El trabajo aporta tanto un estudio empírico sobre el análisis de sentimientos sensible a la incertidumbre como decisiones de diseño reproducibles destinadas a orientar futuras investigaciones.

Transformer models such as RoBERTa provide strong contextualised embeddings for sentiment analysis but lack inherent mechanisms to quantify predictive uncertainty and are prone to overfitting, particularly on noisy or imbalanced text data. This paper introduces RoBERTa-LSTM-Drop, a hybrid architecture that combines RoBERTa embeddings with bidirectional LSTM layers and integrates Bayesian Dropout to capture uncertainty through Monte Carlo sampling while acting as an effective regulariser. The model is evaluated on two complementary benchmark datasets: IMDb, representing long and structured reviews, and Sentiment140, representing short and informal tweets. Comparisons are made against traditional baselines such as Logistic Regression as well as a RoBERTa-LSTM without Bayesian Dropout. Results demonstrate that RoBERTa-LSTM-B.Drop achieves accuracy competitive with strong baselines while offering calibrated uncertainty estimates that enhance model reliability. The findings highlight a stability–performance trade-off: Bayesian Dropout can yield modest accuracy improvements but introduces variance across optimisers and learning rates. Practical mitigation strategies, including dropout-rate adjustment and gradient clipping, are discussed. Beyond raw performance, uncertainty estimates enable identification of low-confidence, error-prone predictions, supporting risk-aware deployment in real-world scenarios. The analysis further clarifies when uncertainty-aware hybrids are most advantageous—such as in longer, context-rich inputs—and where their gains are limited. The work contributes both an empirical study of uncertainty-aware sentiment analysis and reproducible design choices to inform future research.