Technical Proficiency as the Strongest Predictor of AI Self-Efficacy: A Decision Tree Analysis of ChatGPT Literacy Among Romanian Educators

Abstract

Listen in: English (British) Español (España) Name: Loading voices… ▶ Listen to Abstract Pause Stop Speed: 0.75x1x 1.25x1.5x

La competencia técnica como el predictor más sólido de la autoeficacia en inteligencia artificial: un análisis mediante árboles de decisión de la alfabetización en ChatGPT entre educadores rumanos Autores: Ioana Eva Cădariu - Department of Psychology, Tibiscus University of Timisoara (RO) Loredana Vîșcu - Tibiscus University of Timisoara, Romania (RO) Cristian Delcea - Iuliu Hatieganu, University of Medicine and Pharmacy (RO) Dana Rad - Faculty of Educational Sciences, Psychology and Social Work, Aurel Vlaicu University of Arad (RO) Ionut Virgil Serban - University of Chieti-Pescara (IT) Lidia Ricci - Sapienza University of Rome, Rome (IT) Iacobina Carmen Zau - Institute of Sexology, Cluj-Napoca, Romania (RO) Resumen La creciente integración de la inteligencia artificial generativa (IA) en la educación exige que los docentes desarrollen no solo competencias operativas, sino también confianza en su capacidad para utilizar eficazmente las herramientas de IA. El presente estudio examinó la relación predictiva entre el constructo multidimensional de alfabetización en ChatGPT y la autoeficacia en IA entre docentes que trabajan en contextos educativos rumanos. Una muestra de 393 docentes del oeste de Rumanía completó la ChatGPT Literacy Scale y la subescala de autoeficacia en IA de la Meta AI Literacy Scale. Los análisis de fiabilidad indicaron una consistencia interna de buena a excelente en todas las dimensiones de alfabetización (α = 0,80–0,95) y en la autoeficacia en IA (α = 0,89). Para modelar relaciones no lineales y jerárquicas entre los predictores, se aplicó un enfoque de regresión mediante árboles de decisión en JASP. Las cinco dimensiones de la alfabetización en ChatGPT —competencia técnica, evaluación crítica, competencia comunicativa, competencia ética y aplicación creativa— se introdujeron como predictores de la autoeficacia en IA. El modelo explicó el 53,2 % de la varianza de la autoeficacia en IA (R² = 0,532), mostrando un rendimiento predictivo moderado (MSE = 0,517; RMSE = 0,719). El análisis de importancia de las características reveló que la competencia técnica fue el predictor más fuerte (40,07 %), seguida de la competencia ética (18,12 %), la evaluación crítica (14,99 %), la competencia comunicativa (14,01 %) y la aplicación creativa (12,80 %). La primera y más informativa división del árbol se produjo en función de la competencia técnica, lo que subraya su importancia en la configuración de la percepción de los docentes sobre su propia capacidad para utilizar la IA. Estos hallazgos indican que la competencia técnica emergió como el predictor más fuerte de la autoeficacia en IA entre los docentes. Los resultados tienen implicaciones para los programas de desarrollo profesional centrados en IA, destacando la importancia de una formación técnica estructurada junto con el desarrollo de competencias éticas y críticas.

The growing integration of generative artificial intelligence (AI) in education requires educators to develop not only operational competencies but also confidence in using AI tools effectively. The present study examined the predictive relationship between the multidimensional construct of ChatGPT literacy and AI self-efficacy among educators working in Romanian educational settings. A sample of 393 educators from Western Romania completed the ChatGPT Literacy Scale (and the AI Self-Efficacy subscale of the Meta AI Literacy Scale. Reliability analyses indicated good to excellent internal consistency across all literacy dimensions (α = .80–.95) and AI self-efficacy (α = .89). To model nonlinear and hierarchical relationships among predictors, a Decision Tree Regression approach was implemented in JASP. The five ChatGPT literacy dimensions, technical proficiency, critical evaluation, communication proficiency, ethical competence, and creative application, were entered as predictors of AI self-efficacy. The model explained 53.2% of the variance in AI self-efficacy (R² = .532), demonstrating moderate predictive performance (MSE = 0.517; RMSE = 0.719). Feature importance analysis revealed that technical proficiency was the strongest predictor (40.07%), followed by ethical competence (18.12%), critical evaluation (14.99%), communication proficiency (14.01%), and creative application (12.80%). The first and most informative split occurred on technical proficiency, highlighting its importance in shaping educators’ perceived AI capability. These findings indicate that technical proficiency emerged as the strongest predictor of AI self-efficacy among educators. The results have implications for AI-focused professional development programmes, emphasising the importance of structured technical training alongside ethical and critical competencies.