Validation of an Indicator Model (INCODIES) for Assessing Student Digital Competence in Basic Education

Abstract

Digital competence is a basic skill for citizens and should be systematically assessed, taking into account characteristics such as knowledge, skills and attitudes. However, measuring and identifying the digital competence of students is still a major challenge. To this end, the indicator model (INCODIES) has been developed and validated following the structure of the DIGCOMP model, which can be used to create assessment tests that measure student digital competence when they have completed their compulsory education. This article presents the results of a process of content validation carried out by 77 experts, in both the school and the university context. The analysis of the experts’ assessments and the level of agreement among those rating them were carried out following an original method which consists of determining a quantitative index for the validity of content called the Content Validity Ratio (CVR). The results obtained allowed us to confirm that the competences included in the reference framework DIGCOMP are correctly represented in the items formulated for the INCODIES model, which obtained high content validity. The model can serve as a structure and basis for the designing of specific evaluation tests on this topic.

La competencia digital es una competencia básica para los ciudadanos y debe ser evaluada de forma sistemática, atendiendo a los componentes de conocimiento, habilidades y actitudes. Sin embargo, medir con precisión la competencia digital de los alumnos es todavía un gran desafío. Con este fin se ha elaborado y validado un modelo de indicadores (INCODIES), siguiendo la estructura del marco europeo DIGCOMP, con el fin de servir de referencia para elaborar pruebas de evaluación de la competencia digital de los estudiantes que terminan la escolaridad obligatoria. Se presentan los resultados del proceso de validación de contenido en el que han participado 77 expertos, tanto del ámbito escolar como universitario. El análisis de las valoraciones de los expertos y el nivel de acuerdo entre jueces se lleva a cabo mediante un novedoso método que utiliza el índice cuantitativo para la validez de contenido, denominado Razón de validez de contenido (CVR). Los resultados obtenidos permiten afirmar que las competencias del modelo DIGCOMP están correctamente representadas en los ítems formulados para el modelo de indicadores INCODIES, el cual obtiene una elevada validez de contenido. El modelo propuesto puede servir de estructura y base para la elaboración de pruebas de evaluación específicas sobre las competencias digitales de los escolares.