Comparing Effect Sizes and their Confidence Intervals: A Primer on Equivalence Testing in Educational Research

Abstract

This paper’s objective was to teach the Equivalence Testing applied to Educational Research to emphasize recommendations and to increase quality of research. Equivalence Testing is a technique used to compare effect sizes or means of two different studies to ascertain if they would be statistically equivalent. For making accessible Equivalence Testing, this technique was explained with two examples by conducting manual calculations, using an online calculator, the software R, the software SPSS, and a t table. Furthermore, the software R with an Equivalence Testing code was used, and its results were graphed and discussed with details. Among other recommendations given, Equivalence Testing can be a useful tool for comparing means and effects within certain bounds that could hopefully imply a practical significance to provide meaning to findings. The results of Equivalence Testing can indicate that two treatments´ effects are statistically equivalent or not. Thus, the Equivalence Testing can be a channel to replicate studies and observe if there is a possible pattern regarding the appearance of a phenomenon.

El objetivo de este artículo fue enseñar las pruebas de equivalencia aplicadas a la investigación educativa para enfatizar recomendaciones y aumentar la calidad de la investigación. La prueba de equivalencia es una técnica utilizada para comparar los tamaños del efecto o las medias de dos diferentes estudios para ver si serían estadísticamente equivalentes. Para hacer accesible la prueba de equivalencia, se explicó esta técnica con dos ejemplos mediante la realización de cálculos manuales, utilizando una calculadora en línea, el software R, el software SPSS y una tabla t. Además, se utilizó el software R con un código de prueba de equivalencia, y sus resultados se graficaron y discutieron en detalle. Entre otras recomendaciones dadas, las pruebas de equivalencia pueden ser una herramienta útil para comparar medias y efectos dentro de ciertos límites que, con suerte, podrían implicar un significado práctico para dar sentido a los hallazgos. Los resultados de las pruebas de equivalencia pueden indicar que los efectos de dos tratamientos son estadísticamente equivalentes o no. Así, las pruebas de equivalencia pueden ser un canal para replicar estudios y observar si existe un posible patrón respecto a la aparición de un fenómeno.