Development and psychometric properties of the Student Evaluation of Dissertation Tutoring Scale (SEIDTUS) in higher education

Abstract

Academic dissertation tutoring has become an important academic teaching competence in higher education. However, no assessment instrument has been developed to measure the needed transversal competences in quality tutoring. In two studies, we aim to develop and explore the psychometric properties of the Student Evaluation of Dissertation Tutoring Scale (SEDITUS). In study 1 (N = 82, 72% women), the initial 8 items proposed a unidimensional construct and good fit properties to the Polytomous Rasch model. Differential item functioning (DIF) revealed no significant differences across gender for all the items, and the 4-category structure did function well. In study 2 (N = 1046, 69, 03% women) an expert committee decided to remove 1 item due to lack of generalization process of the item across faculty degrees. A multilevel Rasch model was used to consider the nested nature of the data (students nested in 8 faculties). Results replicated Study 1, with the scale showing appropriate psychometric properties at the item and global level. Overall, the 2 studies suggest the SEDITUS can be recommended as a rapid assessment of tutoring process in dissertations developed both in undergraduate and masters’ degrees.

Els processos de tutorització de treballs acadèmics impliquen una competència important en el professorat universitari. Tot i això, no hi ha escales capaces de mesurar les destreses associades a la qualitat de la tutorització. A partir de dos estudis empírics, es pretén desenvolupar i avaluar les propietats psicomètriques de l’Escala d’Avaluació estudiantil dels processos de tutorització de treballs (SEDITUS). En l’estudio 1 (N = 82, 72% dones), es van proposar 8 ítems inicials ajustats a un model unidimensional a partir del model de Rasch politòmic. Les anàlisis de funcionament diferencial dels ítems (FID) no van mostrar diferències significatives de gènere en cap ítem, i l’estructura de 4 categories va mostrar un rendiment adequat. En l’estudio 2 (N = 1046, 69% dones), un comitè d’experts va decidir eliminar un ítem perquè era incapaç de generalitzar el procés descrit en les titulacions associades a les facultats. Es va emprar un model de Rasch multinivell que tenia en compte l’estructura niada de les dades (estudiants niats de 8 facultats). Els resultats van replicar els del primer estudi i mostren propietats psicomètriques apropiades a nivell d’ítem i de constructe. En conjunt, tots dos estudis suggereixen que l’escala SEDITUS és recomanable per mesurar ràpidament els processos de tutorització de treballs acadèmics.

Los procesos de tutorización de trabajos académicos suponen una competencia importante en el profesorado universitario. Sin embargo, no se disponen de escalas capaces de medir las destrezas asociadas a la calidad de la tutorización. Partiendo de 2 estudios empíricos, se pretende desarrollar y evaluar las propiedades psicométricas de la Escala de Evaluación estudiantil de los procesos de tutorización de trabajos (SEDITUS). En el estudio 1 (N = 82, 72% mujeres), se propusieron 8 ítems iniciales ajustaron a un modelo unidimensional a partir del modelo de Rasch politómico. Los análisis de funcionamiento diferencial de los ítems (FID) no mostraron diferencias significativas de género en ningún ítem, y la estructura de 4 categorías mostró un adecuado rendimiento. En el estudio 2 (N = 1046, 69% mujeres), un comité de expertos decidió eliminar un ítem debido a su incapacidad de generalización del proceso descrito en las titulaciones asociadas a las facultades. Se empleó un modelo de Rasch multinivel que tuvo en cuenta la estructura anidada de los datos (estudiantes anidados en 8 facultades). Los resultados replicaron los del primer estudio, mostrando propiedades psicométricas apropiadas a nivel de ítem y de constructo. En conjunto, ambos estudios sugieren que la escala SEDITUS es recomendable para una medición rápida de los procesos de tutorización de trabajos académicos.