- El nostre equip de recerca ha realitzat dos estudis a Mèxic i Catalunya per analitzar si l’ús d’Innovamat es correlaciona amb un bon rendiment en la prova TIMSS.
- Els alumnes que feien Innovamat van mostrar un millor rendiment en l’adaptació de la prova TIMSS que els alumnes de les escoles que feien servir altres propostes educatives.
- També s’ha observat una correlació negativa entre l’ansietat matemàtica i els resultats en l’adaptació de la prova TIMSS.
Un aspecte molt important per a Innovamat i, especialment, per a Vèrtex, el seu grup de recerca, és poder analitzar quin impacte té l’ús de la proposta a l’aula a través de diversos estudis. Un d’aquests impactes podria ser l’efecte en els resultats que l’alumnat obté en proves estandarditzades com les proves TIMSS.
Què són les proves TIMSS?
Les proves TIMSS (Trends in international mathematics and science study) són unes proves internacionals organitzades per l’International Association for the Evaluation of Educational Achievement (IEA) en matemàtiques i ciències. Es fan cada 4 anys i van dirigides a estudiants de 4t de primària i 2n d’ESO. Es tracta d’una prova de referència en què, en la versió més recent (2019), van participar 64 països, consolidant-se com un dels instruments més validats en l’avaluació educativa a escala global.
La TIMSS avalua fins a quin punt es comprenen i s’apliquen els continguts del currículum. Per fer-ho, se centra en tres dimensions cognitives:
- Coneixement: els alumnes recorden i comprenen els conceptes matemàtics?
- Aplicació: saben com fer servir aquest coneixement en la resolució de problemes?
- Raonament: fan servir el pensament lògic i crític per resoldre problemes més complexos?
A més, la TIMSS també analitza factors contextuals que poden influir en l’aprenentatge, com l’entorn escolar, el suport familiar i els recursos educatius disponibles. No obstant això, ens centrarem en la part de les proves relacionada amb matemàtiques.
Com hem analitzat l’impacte?
L’equip de recerca, durant els darrers dos anys, ha portat a terme estudis que pretenien analitzar si l’ús d’Innovamat està relacionat amb un bon rendiment en la prova TIMSS de matemàtiques. Aquests estudis es van dur a terme a Catalunya i a Mèxic durant dos cursos consecutius: un durant el curs 2022-2023 i un altre durant el curs 2023-2024.
Figura 1.
Representació gràfica del disseny dels estudis.
Per a cada estudi i en cada territori, es van establir dos grups d’escoles:
- Grup d’intervenció: escoles que implementen la proposta d’Innovamat.
- Grup de control: escoles que no implementen la proposta d’Innovamat.
A Mèxic, per poder comparar millor els resultats, es van seleccionar escoles amb un perfil socioeconòmic similar, sense diferències significatives en l’Índex de Desenvolupament Humà (IDH). L’IDH, desenvolupat pel Programa de les Nacions Unides per al Desenvolupament (PNUD), s’utilitza per analitzar el nivell de prosperitat de les nacions. En aquest cas, totes les escoles tenien un IDH entre 0,7 i 0,9, sense diferències significatives entre el grup d’intervenció i el grup de control. A Catalunya, en canvi, per limitacions a l’hora d’obtenir dades demogràfiques de les escoles, no es va poder controlar el factor socioeconòmic.
Per a cada grup —intervenció i control—, es va preparar una adaptació de la prova TIMSS basada en les preguntes obertes de la prova de 2019 aplicada a Xile per a 4t de primària.
Es va respectar totalment la distribució de preguntes per blocs de contingut i dominis cognitius de la prova original, així com els continguts concrets de cada pregunta. No obstant això, s’hi van fer tres adaptacions importants:
- Adaptació lingüística: les preguntes van ser traduïdes i adaptades al context territorial de cada regió (Mèxic i Catalunya).
- Tipologia de preguntes: només es van utilitzar preguntes de resposta múltiple a causa de limitacions tecnològiques. D’aquestes preguntes, es va seleccionar de manera aleatòria un total de 26 ítems (la prova original inclou entre 20 i 28 preguntes, segons el bloc assignat a cada alumne).
- Temps ampliat: es va augmentar el temps per completar la prova, de 36 minuts a 60 minuts. Això tenia com a objectiu reduir l’estrès associat al límit de temps i permetre que la majoria d’alumnes poguessin acabar la prova dins del període disponible.
Com podeu imaginar, el pas següent va ser que cada grup fes la prova i, després, comparar els resultats obtinguts. En total, es va passar l’adaptació de la prova TIMSS a 4 393 alumnes, dels quals 2 407 feien servir els materials d’Innovamat i 1 986 feien servir els materials d’altres propostes educatives (vegeu la taula 1).
Taula 1.
Mostra d’alumnes inclosos en l’anàlisi final.
* Tant per al grup d’intervenció com per al grup de control, es va decidir fer la prova a 5è de primària perquè, l’any anterior, algunes escoles ens havien comunicat que, en el moment de fer la prova, hi havia continguts que encara no s’havien treballat a 4t de primària.
Quins en van ser els resultats?
La nostra pregunta de recerca principal era: existeixen diferències en els resultats de les proves TIMSS entre els alumnes que segueixen la proposta d’Innovamat a les aules i els que no?
Per donar resposta a aquesta pregunta, es va fer servir el test de Scheirer-Ray-Hare1, amb els resultats de les proves TIMSS com a variable dependent i les variables grup (intervenció o control) i regió (Catalunya o Mèxic) com a variables independents.
Tant durant el curs 2022-2023 (estudi 1) com durant el curs 2023-2024 (estudi 2), el test va mostrar un efecte significatiu de la variable grup i de la variable regió (en tots els casos, p < 0,001)2. Això ens indica que els resultats de l’adaptació de la prova TIMSS van ser significativament diferents entre els dos grups (intervenció i control) i també entre les dues regions (Catalunya i Mèxic).
A més, vam investigar la interacció entre les dues variables —grup i regió—, per veure si l’efecte significatiu d’utilitzar Innovamat podia derivar de diferències en una regió concreta o si, al contrari, l’efecte era similar en les dues regions. En cap dels dos estudis no es va trobar una interacció significativa entre les dues variables analitzades (en tots els casos, p > 0,1). Això indica que les diferències en els resultats de la prova TIMSS observades per a la variable «grup» es donen de manera similar en les dues regions.
Aquestes anàlisis mostren que les escoles que utilitzaven la proposta d’Innovamat van obtenir millors resultats en l’adaptació de la prova TIMSS que les escoles que feien servir altres propostes educatives. Ho podem observar en el gràfic següent (figura 2).
Encara que no era la nostra pregunta principal, també s’observa un efecte significatiu de la regió on es va dur a terme el test en cada curs. Al curs 2022-2023, les escoles de Mèxic van obtenir millors resultats en general que les escoles de Catalunya. En canvi, al curs 2023-2024, el resultat va ser l’invers. Atès que el test es va aplicar en moments i cursos diferents en cada regió, no és possible interpretar aquestes diferències com a diferències reals entre regions (vegeu-ne la discussió a la conclusió).
Figura 2.
Nota. Aquest gràfic mostra el percentatge mitjà d’encert en les proves TIMSS, juntament amb l’interval de confiança (95 %) d’aquests resultats, corresponents als cursos acadèmics 2022-2023 i 2023-2024, tant a Catalunya com a Mèxic. Els colors distingeixen els dos grups dels estudis: grup d’intervenció (fan Innovamat) i grup de control (no fan servir Innovamat). L’interval de confiança en un gràfic de barres indica el rang en què creiem que es troba el valor real (en aquest cas, la mitjana d’una població), basant-nos en les dades obtingudes. En aquest cas, les barres verticals mostren que, si repetíssim l’experiment moltes vegades, en teoria, el valor mitjà es trobaria dins d’aquest rang en el 95 % dels casos.
Aspectes socioemocionals: ansietat matemàtica i rendiment
A l’estudi 2 (2023-2024), també es van recollir dades sobre l’ansietat matemàtica dels alumnes mitjançant el qüestionari Modified Abbreviated Math Anxiety Scale (mAMAS), un qüestionari que ha estat validat en múltiples estudis (Carey et al., 2017; Caviola et al., 2017; Hopko et al., 2003). Les dades recollides ens van permetre observar la correlació entre l’ansietat matemàtica i la competència matemàtica de l’alumnat, mesurada a través de l’adaptació de la prova TIMSS.
Al gràfic següent es pot observar la correlació (ρ = -0,36, p < 0,001) entre els resultats obtinguts a les proves TIMSS i l’ansietat matemàtica percebuda pels alumnes. El coeficient de correlació de Spearman (ρ) ens indica que la correlació és moderada, segons els estàndards de Cohen (1988), molt utilitzats en ciències socials: (0.10 – baixa, 0.30 – moderada, 0.50 – alta). Això vol dir que els alumnes amb nivells més alts d’ansietat matemàtica tendeixen a obtenir resultats més baixos en l’adaptació de la prova TIMSS.
Figura 3.
Nota. Aquest gràfic mostra un diagrama de dispersió dels resultats individuals de tots els alumnes, en què cada punt representa la puntuació d’un alumne. La línia blava indica una regressió lineal, que suggereix que els alumnes amb puntuacions més altes al test d’ansietat matemàtica (eix x) tendeixen a obtenir pitjors resultats en l’adaptació de la prova TIMSS (eix y). L’enfosquiment gris al voltant de la línia de regressió mostra on esperem que caigui la mitjana dels valors de la variable dependent (percentatge d’encerts a les TIMSS) per a un valor determinat de la variable independent (puntuacions d’ansietat matemàtica), amb un 95 % de confiança. És a dir, indica la incertesa sobre la posició de la línia de tendència mitjana, no sobre els valors individuals. En termes simples, estem un 95 % segurs que la línia blava, que indica la correlació entre ansietat i resultats a les TIMSS, hauria de caure dins del rang indicat per l’enfosquiment gris.
Quines conclusions en podem treure?
L’objectiu principal era identificar si els alumnes que fan servir els recursos educatius d’Innovamat a l’escola obtenen millors resultats que els alumnes que fan servir altres materials, majoritàriament llibres de text. Per a això, es va adaptar una prova de matemàtiques a partir de les preguntes obertes de la prova TIMSS de 2019. Els resultats indiquen que els alumnes d’escoles amb Innovamat mostren un millor rendiment en l’adaptació de la prova TIMSS que els alumnes del grup control. A més, aquest resultat és consistent durant dos cursos diferents i en dues regions diferents, Catalunya i Mèxic.
També s’observen diferències generalment entre les regions, però aquestes diferències probablement es deuen al fet que, al curs 2022-2023, el test es va fer abans a Catalunya (març) que a Mèxic (maig-juny), i, al curs 2023-2024, es va fer en cursos diferents (4t a Mèxic i 5è a Catalunya). Per tant, aquestes diferències regionals no són especialment informatives.
Un altre resultat rellevant és la correlació negativa entre l’ansietat matemàtica i els resultats en l’adaptació de la prova TIMSS. L’ansietat matemàtica és una resposta psicològica caracteritzada per sentiments de tensió i por davant la participació en tasques relacionades amb les matemàtiques (Krinzinger, Kaumann i Willmes, 2009). Diversos estudis han demostrat que, ja a l’inici de primària, els alumnes poden mostrar ansietat matemàtica (Gunderson, Park, Maloney, Beilock i Levine, 2018). Aquesta ansietat sovint augmenta durant l’escolarització (Levine i Pantoja, 2021) i està relacionada negativament amb la competència matemàtica dels alumnes (Ashcraft i Krause, 2007; Suinn, Taylor i Edwards, 1988). El resultat del nostre estudi aporta més evidències sobre la importància dels factors socioemocionals, en aquest cas l’ansietat matemàtica, en el desenvolupament de la capacitat matemàtica de l’alumnat.
També és important destacar les limitacions dels estudis presentats:
- No es coneixen els resultats de les escoles abans d’utilitzar Innovamat, per la qual cosa no es pot atribuir directament un efecte causal entre l’ús de la proposta i el millor rendiment en la prova TIMSS. Per compensar aquesta limitació, l’estudi s’ha fet en diferents edicions i regions, amb una mostra total de 4 393 estudiants (2 407 amb Innovamat i 1 986 sense Innovamat). Quan va ser possible, es va controlar que les característiques socioeconòmiques dels centres del grup de recerca i del grup de control fossin semblants, utilitzant l’IDH com a aproximació al nivell socioeconòmic. A Catalunya, però, no es van poder obtenir dades demogràfiques dels centres.
- Un altre aspecte a tenir en compte és que la intervenció no va ser aleatòria. Les escoles del grup d’intervenció van mostrar interès a fer Innovamat, mentre que les del grup control no van voler implementar la proposta. En aquest sentit, pot ser que les diferències entre les escoles no només es deguin als materials educatius, sinó també a característiques intrínseques, com la voluntat d’innovar, la motivació per millorar l’educació matemàtica o la capacitat d’acció i accés a recursos educatius, etc.
- Finalment, una altra limitació és el conflicte d’interès existent, ja que l’estudi va ser desenvolupat per un equip d’investigadors que treballen directament amb Innovamat.
En resum, l’estudi mostra resultats positius i prometedors sobre l’ús d’Innovamat a l’escola per obtenir un bon rendiment en proves competencials de matemàtiques com la prova TIMSS. En dos cursos diferents i dues regions diferents, i amb més de 4 000 alumnes analitzats, s’observen millors resultats en la prova per a aquelles escoles que han seguit la proposta d’Innovamat, en comparació amb escoles que han utilitzat altres propostes educatives.
Tanmateix, el disseny de l’estudi no permet obtenir evidències concloents sobre l’impacte positiu d’Innovamat en el desenvolupament matemàtic de l’alumnat. Per aquest motiu, és important continuar investigant, en altres contextos i amb altres dissenys, per avançar en el nostre coneixement sobre l’impacte que té una proposta educativa competencial com la d’Innovamat en l’alumnat.
Notes a peu de pàgina
1
El test de Scheirer-Ray-Hare, igual que el test ANOVA, són proves estadístiques utilitzades per identificar diferències significatives entre dos grups en una mostra. L’ANOVA, en ser una prova paramètrica, requereix que les dades compleixin certes condicions, inclosa la normalitat en la distribució dels residus. Com que aquesta condició no es complia en les nostres dades, es va optar pel test no paramètric de Scheirer-Ray-Hare, que permet fer l’anàlisi sense la necessitat de normalitat.
2
Considerem els valors p < 0,05 com a significatius, seguint l’estàndard en l’àmbit de les ciències socials. A més, considerem els valors entre p = 0,05 i p = 0,1 com a marginalment significatius. En aquest últim cas, no és possible afirmar que una variable té un efecte sobre una altra, però tampoc es pot afirmar el contrari. La millor pràctica en aquests casos seria continuar estudiant l’efecte de la variable en el futur.
Referències
Carey, E., Devine, A., Hill, F., & Szűcs, D. (2017). Differentiating anxiety forms and their role in academic performance from primary to secondary school. PLOS ONE, 12(3), e0174418. https://journals.plos.org/plosone/article?id=10.1371/journal.pone.0174418
Caviola, S., Primi, C., Chiesi, F., & Mammarella, I. C. (2017). Psychometric properties of the Abbreviated Math Anxiety Scale (AMAS) in Italian primary school children. Learning and Individual Differences, 55, 174-182. https://doi.org/10.1016/j.lindif.2017.03.006
Cohen J. (1988). Statistical Power Analysis for the Behavioral Sciences. New York, NY: Routledge Academic. https://doi.org/10.4324/9780203771587
Hopko, D. R., Mahadevan, R., Bare, R. L., & Hunt, M. K. (2003). The Abbreviated Math Anxiety Scale (AMAS): Construction, validity, and reliability. Assessment, 10(2), 178-182. https://doi.org/10.1177/1073191103010002008
Math Anxiety and Math Ability in Early Primary School Years—Helga Krinzinger, Liane Kaufmann, Klaus Willmes, 2009. (s. f.). Recuperado 12 de noviembre de 2024, de https://journals.sagepub.com/doi/abs/10.1177/0734282908330583
Gunderson, E., Park, D., Maloney, E., Beilock, S., & Levine, S. (2017). Reciprocal relations among motivational frameworks, math anxiety, and math achievement in early elementary school. Journal of Cognition and Development, 19. https://doi.org/10.1080/15248372.2017.1421538
Levine, S. C., & Pantoja, N. (2021). Development of children’s math attitudes: Gender differences, key socializers, and intervention approaches. Developmental Review, 62, 100997. https://doi.org/10.1016/j.dr.2021.100997
Ashcraft, M. H., & Krause, J. A. (2007). Working memory, math performance, and math anxiety. Psychonomic Bulletin & Review, 14(2), 243-248. https://doi.org/10.3758/BF03194059
Suinn Mathematics Anxiety Rating Scale for Elementary School Students (MARS-E): Psychometric and Normative Data—Richard M. Suinn, Susan Taylor, Ruth W. Edwards, 1988. (s. f.). Recuperado 12 de noviembre de 2024, de https://journals.sagepub.com/doi/abs/10.1177/0013164488484013
