Post-Ureteroscopic Lesion Scale to determine ureteral wall damage, not so easy to employ

Abstract

Objective: To analyze the level of agreement of the Post-Ureteroscopy Lesion Scale (PULS) and the consequences on its application in clinical practice with more reliable statistical data than the one used in the original work. Methods: 14 URS and 14 micro-URS were performed in 14 female porcine model. All the procedures were video recorded and an anatomopathological analysis was performed in each ureter. Sixteen urologists (9 endourologists and 7 general urologists) and 4 residents evaluated the ureteral lesions according to the PULS, with degrees 0, 1 and ≥2. The agreement was calculated with percentages, Kendall’s W coefficient and the indicators Fleiss’ Kappa and Krippendorff’s Alpha, while the inter-rater agreement was calculated with Spearman’s correlation and Cohen’s Kappa. Results: The percent of agreement was 11.1%. The coefficients were likewise classified as low or very low, with the greatest agreement found among the inexperienced. Also, 50% of the raters did not agree with the rest. Conclusions: The low inter-rater agreement, the specificity of the PULS and the clinical-pathological correlation suggests that this scale is not simple, and probably has a long learning curve.

Objetivo: Analizar el nivel de concordancia de la Post-Ureteroscopic Lesion Scale (PULS), y examinar las consecuencias de su aplicación en la práctica clínica con datos estadísticos más fiables que los utilizados en el trabajo original. Métodos: Se realizaron 14 ureteroscopias (URS) y 14 micro-ureteroscopias (micro-URS) en 14 cerdos hembra. Todos los procedimientos se grabaron en vídeo y se realizó un análisis anatomopatológico en cada uréter. Dieciséis urólogos (9 endourólogos y 7 urólogos generales) y 4 médicos internos evaluaron las lesiones ureterales según la escala PULS, con grados 0, 1 y ≥2. La concordancia se calculó mediante porcentajes, el coeficiente W de Kendall, el índice Kappa de Fleiss y el Alfa de Krippendorff. La concordancia entre evaluadores se calculó con la correlación de Spearman y el coeficiente Kappa de Cohen. Resultados: El porcentaje de concordancia fue del 11,1%. Los coeficientes se clasificaron como bajos o muy bajos, y encontramos una mayor concordancia entre los evaluadores sin experiencia. Por otro lado, no hubo acuerdo/concordancia en/entre el 50% de los evaluadores. Conclusiones: La baja concordancia entre evaluadores, la especificidad de la PULS y la correlación clínico-patológica sugieren las dificultades del uso de esta escala y una curva de aprendizaje probablemente larga.