Modelos de inteligencia artificial para asesorar el proceso evaluador de trabajos informáticos complejos

Abstract

Planteamos el uso de modelos de inteligencia artificial (IA) para asesorar el proceso evaluador de trabajos informáticos complejos, con componentes técnica y creativa. El objetivo es generar un procedimiento para analizar las variables principales que describen la evaluación realizada, descubrir posibles sesgos y discrepancias y generar rúbricas adecuadas que los eviten. La metodología propuesta se ha aplicado a una asignatura de introducción a la informática (grados de informática y matemáticas, primer curso) en que una tarea consiste en la elaboración de una página web por parte de los estudiantes. Dicho trabajo debe cumplir unos requisitos técnicos (compatibilidad con estándares, número de documentos HTML y CSS, etc.) y tiene una componente creativa (maquetación, aspecto, etc.). Se han desarrollado modelos de IA optimizados mediante algoritmos evolutivos para identificar las variables que intervinieron en la calificación de dichos trabajos durante cinco cursos. Los resultados obtenidos permiten extraer conclusiones sobre la práctica evaluadora, posibles mejoras para la objetividad de la evaluación y la posibilidad de generar rúbricas adecuadas para la evaluación de este tipo de trabajos. La metodología es aplicable a otras materias al ser esta tipología técnica-creativa frecuente en trabajos universitarios.

We propose the use of artificial intelligence (AI) models to help evaluate complex projects in computer science courses that involve technical and creative components. The goal is to provide a methodology to analyze the main variables that describe the evaluation, to discover possible biases and discrepancies, and to generate appropriate rubrics that avoid them. The proposed methodology has been applied to a first-year introductory course on computer science, which is taught in both computer science and mathematics degrees. In that course, the students must develop a web page according to some technical requirements (compatibility with standards, number of HTML and CSS files, etc.), but it also possesses a creative component (layout, appearance, etc.). Optimized AI models have been developed using evolutionary algorithms to identify the most important variables that took part in the evaluation of these projects during five courses. The results obtained allow us to draw conclusions about the evaluation process, possible improvements in the impartiality of the evaluation, and the possibility of generating suitable rubrics for grading assignments. The methodology is applicable to projects in other subjects since this technical-creative typology is frequent in university tasks.