- Nuestro equipo de investigación ha realizado dos estudios en México y España para analizar si el uso de Innovamat se correlaciona con un buen desempeño en la prueba TIMSS.
- Los alumnos que utilizaron Innovamat mostraron un mejor desempeño en la adaptación de la prueba TIMSS que los alumnos de las escuelas que utilizaron otras propuestas educativas.
- Se observó también una correlación negativa entre la ansiedad matemática y los resultados en la adaptación de la prueba TIMSS.
Algo que es muy importante para Innovamat, y en especial para Vertex, su grupo de investigación, es poder analizar qué impactos tiene el uso de la propuesta en el aula a través de diversos estudios. Uno de estos impactos podría ser el efecto en los resultados que el alumnado obtiene en pruebas estandarizadas, por ejemplo, las pruebas TIMSS.
¿Qué son las pruebas TIMSS?
Las pruebas TIMSS (Trends in International Mathematics and Science Study) son unas pruebas internacionales organizadas por la International Association for the Evaluation of Educational Achievement (IEA) para matemáticas y ciencias. Se realizan cada 4 años, y van dirigidas a estudiantes de 4º de Educación Primaria y 2º de la ESO. Se trata de una prueba de referencia en la que, en su versión más reciente de 2019, participaron 64 países, consolidándose como uno de los instrumentos más validados en la evaluación educativa a nivel global.
TIMSS evalúa qué tan bien se comprenden y aplican los contenidos del currículo. Para hacerlo, se enfocan en tres dimensiones cognitivas:
- Conocimiento: ¿Los estudiantes recuerdan y comprenden los conceptos matemáticos.
- Aplicación: ¿Saben cómo usar este conocimiento en la resolución de problemas?
- Razonamiento: ¿Usan el pensamiento lógico y crítico para resolver problemas más complejos?
Además, TIMSS también analiza factores contextuales que pueden influir en el aprendizaje, como el entorno escolar, el apoyo familiar y los recursos educativos disponibles. Sin embargo, vamos a centrarnos en la parte de las pruebas que tiene que ver con matemáticas.
¿Cómo hemos analizado este impacto?
El equipo de investigación, durante los dos últimos años, ha llevado a cabo estudios que pretendían analizar si el uso de Innovamat está relacionado con un buen desempeño en la prueba TIMSS de matemáticas. Estos estudios se realizaron en España y en México en dos cursos consecutivos: un estudio durante el curso 2022-2023 y otro estudio durante el curso 2023-2024.
Figura 1.
Representación gráfica del diseño de los estudios.
Para cada estudio y en cada territorio, se determinaron dos grupos de escuelas:
- Un grupo de intervención: escuelas que están implementando la propuesta de Innovamat.
- Un grupo de control: escuelas que no están implementando la propuesta de Innovamat.
En el caso de México, para poder comparar mejor los resultados, se buscaron escuelas de un perfil socioeconómico similar entre ellas, sin diferencias significativas en el Índice de Desarrollo Humano (IDH). El IDH está desarrollado por el Programa de las Naciones Unidas para el Desarrollo (PNUD) y se utiliza para analizar el nivel de prosperidad de las naciones. En este caso, todos los colegios tenían un IDH entre 0.7 y 0.9 y no había diferencias significativas entre el grupo de intervención y el grupo control. En cambio, debido a limitaciones para obtener datos demográficos sobre las escuelas, en España no pudimos controlar el factor socioeconómico.
Para cada grupo (intervención y control), se preparó una adaptación de la prueba TIMSS a partir de las preguntas abiertas de la prueba de 2019 en Chile para 4º de primaria.
Se respetó totalmente la distribución de preguntas por bloques de contenido y dominios cognitivos de la prueba original, y también los contenidos concretos de cada pregunta. Se adaptaron las pruebas en tres aspectos:
- Adaptación lingüística: Las preguntas fueron traducidas y adaptadas al contexto territorial de cada región.
- Tipología de preguntas: Solamente se utilizaron las preguntas de respuesta múltiple debido a limitaciones tecnológicas. De las preguntas restantes, se seleccionó de manera aleatoria un total de 26 ítems (la prueba original tiene entre 20 y 28 preguntas, dependiendo del bloque de ítems que se asigna a cada estudiante).
- Tiempo ampliado: Se amplió el tiempo para completar la prueba de 36 a 60 minutos para reducir el estrés asociado a acabar una prueba en un tiempo limitado y dar acceso así a que la mayoría de estudiantes la pudieran acabar en el tiempo disponible.
Como podéis imaginar, el siguiente paso fue que cada grupo hiciera la prueba y después comparar los resultados obtenidos. En total se pasó la adaptación de la prueba TIMSS a 4 393 alumnos, de los cuales 2 407 utilizaban los materiales de Innovamat y 1 986 utilizaban los materiales de otras propuestas educativas (ver Tabla 1).
Tabla 1.
Muestra de alumnos incluidos en el análisis final.
* Tanto para el grupo intervención como para el grupo control, se decidió pasar la prueba en 5º porque, el año anterior, algunas escuelas nos comunicaron que en el momento de hacer la prueba esta incluía contenidos que aún no habían trabajado en 4º de primaria.
¿Cuáles fueron los resultados?
Nuestra pregunta de investigación principal, era: ¿Existen diferencias en los resultados de las pruebas TIMSS entre los alumnos que siguen la propuesta de Innovamat en las aulas y los que no?
Para dar respuesta a esta pregunta utilizamos el test de Scheirer-Ray-Hare1, con los resultados de las pruebas TIMSS como variable dependiente, y las variables grupo (intervención o control) y región (España o México) como variables independientes. Tanto en el curso 2022-2023 (Estudio 1) como en el curso 2023-2024 (Estudio 2), el test encontró un efecto significativo de la variable grupo y de la variable región (en todos los casos, p < .001)2. Esto nos indica que los resultados de la adaptación del test TIMSS fueron significativamente diferentes entre los dos grupos, y entre las dos regiones.
Además, investigamos la interacción entre las dos variables, grupo y región, para ver si el efecto significativo de utilizar Innovamat podía venir de las diferencias en una región en concreto o si, por lo contrario, el efecto era similar en ambas regiones. En ninguno de los dos estudios se encontró una interacción significativa entre las dos variables analizadas (en todos los casos, p > 0.1). Esto indica que las diferencias en los resultados del test TIMSS observadas para la variable grupo se dan de manera similar en las dos regiones.
Estos análisis nos muestran que las escuelas que utilizaron la propuesta de Innovamat obtuvieron mejores resultados en la adaptación de la prueba TIMSS que las escuelas que utilizaron otras propuestas educativas. Lo podemos observar en el siguiente gráfico (Figura 2).
Aunque no era nuestra pregunta principal, también vemos un efecto significativo de la región donde se pasó el test en cada curso. En el curso 2022-2023, las escuelas en México obtuvieron mejores resultados en general que las escuelas en España. En cambio, en el curso 2023-2024, el resultado fue el contrario. Dado que el test se aplicó en distintos momentos y cursos en cada región, no es posible interpretar estas diferencias como diferencias reales entre regiones (ver la discusión en la conclusión).
Figura 2.
Nota. Este gráfico muestra el porcentaje medio de acierto en las pruebas TIMSS junto con el intervalo de confianza (95 %) de estos resultados, para los resultados del curso académico 2022-2023 y 2023-2024, tanto en España como en México. En colores se separan los dos grupos de los estudios: grupo de intervención (utilizan Innovamat) y grupo de control (no utilizan Innovamat). El intervalo de confianza en un gráfico de barras que muestra el rango en el que creemos que se encuentra el valor verdadero (en este caso, la media de una población), basado en los datos que hemos obtenido. En este caso, las barras verticales nos indican que si repitiéramos el experimento muchas veces, en teoría, el valor promedio estaría dentro de ese rango en el 95 % de los casos.
Aspectos socioemocionales: ansiedad matemática y rendimiento
En el Estudio 2 (2023-2024), también se recogieron datos sobre la ansiedad matemática de los alumnos utilizando el cuestionario Modified Abbreviated Math Anxiety Scale (mAMAS), un cuestionario que ha sido validado en múltiples estudios (Carey et al., 2017; Caviola et al., 2017; Hopko et al., 2003). Los datos recogidos nos permitieron observar la correlación entre la ansiedad matemática y la competencia matemática del alumnado, medida a través de la adaptación de la prueba TIMSS.
En el siguiente gráfico podemos observar la correlación (ρ = −0,36, p < 0,001) entre los resultados obtenidos en las pruebas TIMSS y la ansiedad matemática que perciben los alumnos. El coeficiente de correlación de Spearman (ρ) nos indica que la correlación es moderada, según los estándares de Cohen (1988), muy utilizados en ciencias sociales: (0.10 – baja, 0.30 – moderada, 0.50 – alta). Esto significa que los alumnos con niveles más altos de ansiedad matemática tienden a obtener resultados más bajos en la adaptación de la prueba TIMSS.
Figura 3.
Nota. Este gráfico muestra un diagrama de dispersión de los resultados individuales de todos los estudiantes, donde cada punto representa la puntuación de un estudiante. La línea azul indica una regresión lineal, que sugiere que los alumnos con puntuaciones mayores en el test de ansiedad matemática (eje x) tienden a obtener peores resultados en la adaptación de la prueba TIMSS (eje y). El sombreado gris alrededor de la línea de regresión muestra dónde esperamos que caiga el promedio de los valores de la variable dependiente (porcentaje de aciertos en TIMSS) para un valor dado de la variable independiente (puntuaciones de ansiedad matemática), con un 95 % de confianza. Es decir, indica la incertidumbre sobre la posición de la línea de tendencia promedio, no sobre valores individuales. En términos simples, estamos 95 % seguros de que la línea azul, que indica la correlación entre ansiedad y resultados en las TIMSS, debe caer dentro del rango indicado por el sombreado gris.
¿Qué conclusiones podemos sacar?
El objetivo principal era identificar si los alumnos que utilizan los recursos educativos de Innovamat en su escuela obtienen mejores resultados que los alumnos que utilizan otros materiales, en su mayoría, libros de texto. Para ello, se adaptó una prueba de matemáticas a partir de las preguntas abiertas de la prueba TIMSS de 2019. Los resultados nos indican que los alumnos de escuelas con Innovamat muestran un mejor desempeño en la adaptación de la prueba TIMSS que las escuelas del grupo control.
Además, vemos que este resultado es consistente durante dos cursos distintos y en dos regiones diferentes, España y México.
También vemos diferencias a nivel general en los resultados entre las regiones, aunque estas diferencias probablemente son debidas a que en 2022-2023 el test se pasó antes en España (marzo) que en México (mayo-junio) y en 2023-2024 el test se pasó en cursos distintos (4º en México y 5º en España). Por lo tanto, estas diferencias entre regiones no son particularmente informativas.
Otro resultado relevante del estudio es la correlación negativa entre la ansiedad matemática y los resultados en la adaptación de la prueba TIMSS. La ansiedad matemática es una respuesta psicológica caracterizada por sentimientos de tensión y miedo ante la participación en tareas relacionadas con las matemáticas (Krinzinger, Kaumann, & Willmes, 2009). Diversos estudios han mostrado que ya a inicios de primaria, los estudiantes pueden mostrar ansiedad matemática (Gunderson, Park, Maloney, Beilock, & Levine, 2018). A menudo, esta ansiedad aumenta durante la escolarización (Levine & Pantoja, 2021) y está relacionada negativamente con la competencia matemática de los estudiantes (Ashcraft & Krause, 2007; Suinn, Taylor & Edwards, 1988). El resultado obtenido en nuestro estudio aporta más evidencias sobre la importancia de los factores socioemocionales, en este caso la ansiedad matemática, en el desarrollo de la capacidad matemática del alumnado.
También es importante destacar las limitaciones de los estudios presentados:
- No sabemos cuál era el resultado de las escuelas antes de empezar a utilizar Innovamat, por lo que no se puede atribuir directamente un efecto causal entre el uso de la propuesta y el mejor desempeño del alumnado en la prueba TIMSS. Para compensar esta limitación, el estudio se realizó en diferentes ediciones y regiones, con una muestra total de 4 393 estudiantes (2 407 con Innovamat y 1 986 sin Innovamat). Además, cuando fue posible, se controló que las características socioeconómicas de las escuelas del grupo intervención y control fueran parecidas, con el IDH como aproximación al nivel socioeconómico de cada centro. En el caso de España, no se pudieron obtener datos demográficos de los centros, por lo que no podemos afirmar que el grupo control y el grupo intervención fueran suficientemente parecidos.
- Otro aspecto a tener en cuenta es que la intervención no fue aleatoria. Las escuelas del grupo de intervención mostraron interés en utilizar la propuesta de Innovamat, mientras que las escuelas del grupo de control no quisieron utilizar la propuesta. En este sentido, puede ser que las diferencias entre escuelas no se deban simplemente al uso de unos materiales educativos u otros, sino también a características intrínsecas de las escuelas, como la voluntad para innovar, la motivación para mejorar la educación matemática de su alumnado, la capacidad de acción y acceso a recursos educativos, etc.
- Finalmente, otra limitación es el conflicto de interés existente, debido a que la investigación fue desarrollada por un equipo de investigadores que trabajan directamente con Innovamat.
En resumen, el estudio muestra resultados positivos y prometedores sobre el uso de Innovamat en la escuela para obtener un buen desempeño en pruebas competenciales de matemáticas, como la prueba TIMSS. En dos cursos diferentes y dos regiones diferentes, y con más de 4.000 alumnos analizados, vemos mejores resultados en la prueba para aquellas escuelas que siguieron la propuesta de Innovamat, en comparación con escuelas que utilizaron otras propuestas educativas.
Sin embargo, el diseño del estudio no permite obtener evidencias conclusivas sobre el impacto positivo de Innovamat en el desarrollo matemático del alumnado. Por este motivo, es importante seguir investigando, en otros contextos y con otros diseños, para avanzar en nuestro conocimiento sobre el impacto que tiene en el alumnado una propuesta educativa competencial como la de Innovamat.
Notas de pie de página
1
El test de Scheirer-Ray-Hare, Como el testANOVA, son pruebas estadísticas utilizadas para identificar diferencias significativas entre dos grupos en una muestra. ANOVA, al ser una prueba paramétrica, requiere que los datos cumplan ciertas condiciones, incluida la normalidad en la distribución de los residuos. Al no cumplirse esta condición en nuestros datos, optamos por el test no paramétrico de Scheirer-Ray-Hare, que permite el análisis sin la necesidad de normalidad.
2
Consideramos los valores p < .05 como significativos, siguiendo el estándar en el campo de las ciencias sociales. Además, consideramos los valores entre p = .05 y p = .1 como marginalmente significativos. En este último caso, no es posible afirmar que una variable tiene un efecto en otra, pero tampoco nos permite afirmar lo contrario. La mejor práctica sería seguir estudiando el efecto de la variable en el futuro.
Referencias
Carey, E., Devine, A., Hill, F., & Szűcs, D. (2017). Differentiating anxiety forms and their role in academic performance from primary to secondary school. PLOS ONE, 12(3), e0174418. https://journals.plos.org/plosone/article?id=10.1371/journal.pone.0174418
Caviola, S., Primi, C., Chiesi, F., & Mammarella, I. C. (2017). Psychometric properties of the Abbreviated Math Anxiety Scale (AMAS) in Italian primary school children. Learning and Individual Differences, 55, 174-182. https://doi.org/10.1016/j.lindif.2017.03.006
Cohen J. (1988). Statistical Power Analysis for the Behavioral Sciences. New York, NY: Routledge Academic. https://doi.org/10.4324/9780203771587
Hopko, D. R., Mahadevan, R., Bare, R. L., & Hunt, M. K. (2003). The Abbreviated Math Anxiety Scale (AMAS): Construction, validity, and reliability. Assessment, 10(2), 178-182. https://doi.org/10.1177/1073191103010002008
Math Anxiety and Math Ability in Early Primary School Years—Helga Krinzinger, Liane Kaufmann, Klaus Willmes, 2009. (s. f.). Recuperado 12 de noviembre de 2024, de https://journals.sagepub.com/doi/abs/10.1177/0734282908330583
Gunderson, E., Park, D., Maloney, E., Beilock, S., & Levine, S. (2017). Reciprocal relations among motivational frameworks, math anxiety, and math achievement in early elementary school. Journal of Cognition and Development, 19. https://doi.org/10.1080/15248372.2017.1421538
Levine, S. C., & Pantoja, N. (2021). Development of children’s math attitudes: Gender differences, key socializers, and intervention approaches. Developmental Review, 62, 100997. https://doi.org/10.1016/j.dr.2021.100997
Ashcraft, M. H., & Krause, J. A. (2007). Working memory, math performance, and math anxiety. Psychonomic Bulletin & Review, 14(2), 243-248. https://doi.org/10.3758/BF03194059
Suinn Mathematics Anxiety Rating Scale for Elementary School Students (MARS-E): Psychometric and Normative Data—Richard M. Suinn, Susan Taylor, Ruth W. Edwards, 1988. (s. f.). Recuperado 12 de noviembre de 2024, de https://journals.sagepub.com/doi/abs/10.1177/0013164488484013
