- Il nostro gruppo di ricerca ha condotto due studi, uno in Messico e uno in Catalogna (Spagna), per valutare se l’uso di Innovamat è correlato all’ottenimento di risultati positivi nei test TIMSS.
- Gli alunni che fanno matematica con Innovamat hanno ottenuto risultati migliori nei test TIMSS rispetto agli alunni delle scuole che utilizzano altre proposte didattiche.
- È stata osservata anche una correlazione negativa tra l’ansia matematica e i risultati della versione adattata dei test TIMSS.
Una cosa molto importante per Innovamat, e soprattutto per il suo gruppo di ricerca Vertex, è poter analizzare l’impatto dell’utilizzo della proposta in classe attraverso diversi studi. In questo caso, Innovamat ha analizzato l’impatto dell’uso della proposta nei risultati dei test standardizzati TIMMSS.
Cosa sono i test TIMSS?
I test TIMSS (Trends in International Mathematics and Science Study) sono delle prove internazionali organizzate dalla IEA (International Association for the Evaluation of Educational Achievement) per monitorare l’efficacia educativa in Matematica e Scienze. Si tengono ogni 4 anni e sono destinati agli alunni del 4° anno di Scuola primaria e del 3° anno di Scuola secondaria di primo grado. Si tratta di test di riferimento ai quali, nella loro edizione più recente, del 2019, hanno partecipato 64 paesi, consolidandosi come uno degli strumenti di riferimento nella valutazione educativa a livello globale.
I test TIMSS valutano il livello di comprensione e applicazione dei contenuti curriculari. Nei test si identificano tre dimensioni cognitive:
- Conoscenza: gli alunni ricordano e comprendono i concetti matematici?
- Applicazione: gli alunni sanno come utilizzare le loro conoscenze nella risoluzione dei problemi?
- Ragionamento: gli alunni usano il pensiero logico e critico per risolvere problemi complessi?
Test e analisi dei risultati
Figura 1.
Rappresentazione grafica della progettazione dello studio.
Per ogni studio e in ogni territorio sono stati individuati due gruppi di scuole:
- Gruppo di intervento: scuole che usano Innovamat.
- Gruppo di controllo: scuole che non usano Innovamat.
Nel caso del Messico, per un confronto più preciso dei risultati, i test sono stati somministrati agli alunni di scuole con profili socio-economici simili, senza differenze significative nell’ISU (Indice di Sviluppo Umano). L’ISU è elaborato dal Programma delle Nazioni Unite per lo sviluppo (United Nations Development Programme – UNDP) e viene utilizzato per analizzare il livello di prosperità delle nazioni. In questo caso, sono state selezionate scuole con un ISU compreso tra 0,7 e 0,9 senza differenze significative tra il gruppo di intervento e il gruppo di controllo. Per quanto riguarda le scuole della Catalogna, invece, a causa delle limitazioni nell’ottenimento di dati demografici, non siamo stati in grado di controllare il fattore socio-economico.
A ciascun gruppo (intervento e controllo) è stata somministrata una versione dei test TIMSS adattata a partire dalle domande aperte dei test realizzati nel 2019 in Cile dagli alunni del 4º anno di Scuola primaria.
- Adattamento linguistico: le domande sono state tradotte e adattate al contesto territoriale di ciascuna regione.
- Tipo di domande: sono state utilizzate solo le domande a scelta multipla a causa di limitazioni tecnologiche. Tra le restanti domande, ne sono state selezionate in modo casuale 26 (il test originale prevede tra 20 e 28 domande, a seconda del blocco di domande assegnato a ciascun alunno).
- Tempo ampliato: il tempo per completare i test è stato ampliato da 36 a 60 minuti per ridurre lo stress e consentire così alla maggior parte degli alunni di completarlo nel tempo a disposizione.
Tabella 1.
Campione di alunni inclusi nell'analisi finale.
* Si è deciso di somministrare i test in 5ª primaria sia al gruppo di intervento che a quello di controllo, in quanto alcune scuole hanno segnalato che i test includevano contenuti sui quali gli alunni di 4ª non avevano ancora lavorato.
Quali sono stati i risultati?
Gli studi sono stati condotti per comprendere se ci sono differenze nei risultati ottenuti dagli alunni che fanno matematica con Innovamat e gli alunni che usano altre proposte.
Per rispondere, abbiamo fatto ricorso al test di Scheirer-Ray-Hare1, utilizzando i risultati delle prove TIMSS come variabile dipendente e le variabili gruppo (intervento o controllo) e regione (Catalogna o Messico) come variabili indipendenti. Sia nell’anno accademico 2022-2023 (Studio 1) che nell’anno accademico 2023-2024 (Studio 2), il test ha riscontrato un effetto significativo della variabile gruppo e della variabile regione (in tutti i casi, p < .001)2. Ciò indica che i risultati della versione adattata del test TIMSS sono stati significativamente differenti tra i due gruppi e tra le due regioni.
Inoltre, abbiamo studiato l’interazione tra le variabili gruppo e regione per osservare se l’effetto significativo dell’utilizzo di Innovamat potesse derivare da differenze in una regione specifica o se, al contrario, l’effetto fosse simile in entrambe le regioni. In nessuno dei due studi è stata osservata un’interazione significativa tra le due variabili analizzate (in tutti i casi, p > 0,1). Ciò indica che le differenze nei risultati dei test TIMSS osservate per la variabile gruppo si verificano in modo simile nelle due regioni.
Queste analisi mostrano che le scuole che fanno matematica con Innovamat hanno ottenuto risultati migliori nella versione adattata dei test TIMSS rispetto alle scuole che usano altre proposte didattiche. Possiamo osservare questa conclusione nel grafico seguente (Figura 2).
Inoltre, notiamo un effetto significativo della regione in cui è stato sostenuto il test in ciascun anno scolastico. Nell’anno accademico 2022-2023, le scuole messicane hanno ottenuto risultati complessivamente migliori rispetto a quelle catalane. Nell’anno accademico 2023-2024, invece, il risultato è stato opposto. Poiché i test sono stati somministrati in momenti e anni scolastici diversi in ciascuna regione, non è possibile interpretare queste differenze come reali discrepanze tra regioni (si veda la conclusione).
Figura 2.
Nota. Questo grafico mostra la percentuale media di risposte corrette alle domande dei test TIMSS insieme all’intervallo di confidenza (95%) di questi risultati, per i risultati dell’anno accademico 2022-2023 e 2023-2024, sia in Catalogna che in Messico. I gruppi oggetto di studio sono separati per colore: gruppo di intervento (usano Innovamat) e gruppo di controllo (non usano Innovamat). L’intervallo di confidenza in un grafico a barre mostra il range in cui riteniamo si trovi il valore reale (in questo caso, la media di una popolazione), in base ai dati ottenuti. In questo caso le barre verticali mostrano che se ripetessimo l’esperimento più volte, in teoria, il valore medio rientrerebbe in quell’intervallo nel 95% dei casi.
Aspetti socio-emotivi: ansia matematica e performance
Nello Studio 2 (2023-2024), i dati sull’ansia matematica degli alunni sono stati raccolti anche utilizzando il Modified Abbreviated Math Anxiety Scale (mAMAS), un questionario validato in numerosi studi (Carey et al., 2017; Caviola et al., 2017; Hopko et al., 2003). I dati raccolti hanno permesso di osservare la correlazione tra l’ansia matematica e la competenza matematica degli alunni, misurata attraverso la versione adattata dei test TIMSS.
Nel grafico seguente, possiamo vedere la correlazione (ρ = −0,36, p < 0,001) tra i risultati ottenuti nei test TIMSS e l’ansia matematica percepita dagli alunni. Il coefficiente di correlazione di Spearman (ρ) indica che la correlazione è moderata, secondo gli standard di Cohen (1988) ampiamente utilizzati nelle scienze sociali: (0,10 – bassa, 0,30 – moderata, 0,50 – alta). Ciò significa che gli alunni con livelli più elevati di ansia matematica tendono a ottenere punteggi più bassi nella versione adattata dei test TIMSS.
Figura 3.
Nota. Il grafico di dispersione mostra i risultati individuali di tutti gli alunni (ogni punto rappresenta il punteggio di un alunno). La linea blu indica una regressione lineare, il che suggerisce che gli alunni con punteggi più alti nel test sull’ansia matematica (asse x) tendono a ottenere risultati peggiori nella versione adattata dei test TIMSS (asse y). L’ombreggiatura grigia attorno alla linea di regressione mostra dove ci aspettiamo che scendano i valori medi della variabile dipendente (percentuale di risposte corrette alle domande dei TIMSS) per un dato valore della variabile indipendente (punteggi di ansia matematica), con un 95% di confidenza. Ciò indica incertezza sulla posizione della linea di tendenza media, non sui valori individuali. In altre parole, siamo sicuri al 95% che la linea blu, che indica la correlazione tra ansia e risultati dei test TIMSS, dovrebbe rientrare nell’intervallo indicato dall’ombreggiatura grigia.
Quali sono le nostre conclusioni?
L’obiettivo principale degli studi era identificare se gli alunni che utilizzano le risorse educative di Innovamat ottengono risultati migliori rispetto a quelli che utilizzano altri materiali, principalmente libri di testo. A tale scopo sono stati adattati, sotto forma di domande aperte, i test di matematica TIMSS 2019. L’analisi indica che gli alunni delle scuole che fanno matematica con Innovamat hanno ottenuto risultati migliori nella versione adattata dei test TIMSS rispetto agli alunni delle scuole del gruppo di controllo. Inoltre, questo risultato è coerente in due anni diversi e in due regioni diverse, che sono Catalogna (Spagna) e Messico.
Notiamo differenze anche a livello generale nei risultati tra le regioni. Queste differenze sono probabilmente dovute al fatto che nel 2022-2023 i test sono stati realizzati prima in Catalogna (marzo) e poi in Messico (maggio-giugno) e nel 2023 -2024 sono stati realizzati da alunni di anni scolastici diversi (4ª in Messico e 5ª in Catalogna). Pertanto, queste differenze tra le regioni non sono particolarmente informative.
Un altro risultato rilevante dello studio è la correlazione negativa tra l’ansia matematica e i risultati della versione adattata dei test TIMSS. L’ansia matematica è una risposta psicologica caratterizzata da sentimenti di tensione e paura durante le prove di matematica (Krinzinger, Kaumann e Willmes, 2009). Diversi studi hanno dimostrato che già all’inizio della scuola primaria gli alunni possono manifestare ansia matematica (Gunderson, Park, Maloney, Beilock, & Levine, 2018). Questa ansia spesso aumenta durante il percorso scolastico (Levine & Pantoja, 2021) ed è negativamente correlata alla competenza matematica degli alunni (Ashcraft & Krause, 2007; Suinn, Taylor & Edwards, 1988). Il risultato ottenuto nel nostro studio fornisce ulteriori prove sull’importanza dei fattori socio-emotivi, in questo caso l’ansia matematica, nello sviluppo delle capacità matematiche degli alunni.
Di seguito, evidenziamo i limiti degli studi presentati:
- Non sappiamo quali fossero i risultati delle scuole prima di iniziare a fare matematica con Innovamat, quindi non è possibile attribuire direttamente un effetto causale tra l’utilizzo della proposta e la migliore performance degli alunni nei test TIMSS. Per compensare questa limitazione, lo studio è stato condotto in diverse edizioni e regioni, con un campione totale di 4 393 alunni (2 407 dei quali usano Innovamat e 1 986 non usano Innovamat). Inoltre, quando possibile, ci si è assicurati che le caratteristiche socio-economiche delle scuole nei gruppi di intervento e di controllo fossero simili, con l’ISU come approssimazione del livello socio-economico di ciascun centro educativo. Nel caso della Catalogna, non è stato possibile ottenere dati demografici dai centri educativi, quindi non è possibile affermare che il gruppo di controllo e il gruppo di intervento fossero sufficientemente simili.
- Un altro aspetto da tenere in considerazione è che l’intervento non è stato aleatorio. Le scuole del gruppo di intervento hanno mostrato interesse nell’utilizzo della proposta di Innovamat, mentre le scuole del gruppo di controllo non hanno voluto utilizzare la proposta. In questo senso, è possibile che le differenze tra le scuole non siano semplicemente dovute all’uso di alcuni materiali didattici o di altri, ma anche a caratteristiche intrinseche delle scuole, come la volontà di innovare, la motivazione a migliorare l’insegnamento della matematica, la capacità di azione e l’accesso alle risorse educative, ecc.
- Infine, un altro limite è rappresentato dal conflitto di interessi esistente, perché la ricerca è stata sviluppata da un team di ricercatori che lavora direttamente con Innovamat.
In sintesi, lo studio mostra risultati positivi e promettenti sull’uso di Innovamat a scuola per ottenere buoni risultati nei test di competenza matematica, come i test TIMSS. In due anni scolastici diversi e in due regioni diverse, e con più di 4 000 alunni analizzati, vediamo risultati migliori nel test per quelle scuole che fanno matematica con Innovamat, rispetto a quelle che usano altre proposte didattiche.
Tuttavia, la progettazione dello studio non consente di ottenere prove conclusive riguardanti l’impatto positivo di Innovamat sullo sviluppo matematico degli alunni. Per questo motivo è importante continuare la ricerca, in altri contesti e con altri programmi, per approfondire la conoscenza dell’impatto che una proposta basata sulle competenze come quella di Innovamat ha sugli alunni.
Note a piè di pagina
1
Il test di Scheirer-Ray-Hare, come il test ANOVA, è una prova statistica utilizzata per identificare differenze significative tra due gruppi in un campione. L’ANOVA, essendo un test parametrico, prevede che i dati soddisfino determinate condizioni, inclusa la normalità nella distribuzione dei residui. Poiché nei nostri dati questa condizione non è stata soddisfatta, abbiamo optato per il test non parametrico di Scheirer-Ray-Hare.
2
Consideriamo significativi i valori p < .05, attenendoci ai parametri standardizzati nell’ambito delle scienze sociali. Inoltre, consideriamo valori compresi tra p = .05 e p = .1 come marginalmente significativi. Non è possibile affermare che una variabile abbia effetto su un’altra, ma non si può nemmeno affermare il contrario. In questi casi, bisognerebbe continuare a studiare l’effetto della variabile in futuro.
Riferimenti bibliografici
Carey, E., Devine, A., Hill, F., & Szűcs, D. (2017). Differentiating anxiety forms and their role in academic performance from primary to secondary school. PLOS ONE, 12(3), e0174418. https://journals.plos.org/plosone/article?id=10.1371/journal.pone.0174418
Caviola, S., Primi, C., Chiesi, F., & Mammarella, I. C. (2017). Psychometric properties of the Abbreviated Math Anxiety Scale (AMAS) in Italian primary school children. Learning and Individual Differences, 55, 174-182. https://doi.org/10.1016/j.lindif.2017.03.006
Cohen J. (1988). Statistical Power Analysis for the Behavioral Sciences. New York, NY: Routledge Academic. https://doi.org/10.4324/9780203771587
Hopko, D. R., Mahadevan, R., Bare, R. L., & Hunt, M. K. (2003). The Abbreviated Math Anxiety Scale (AMAS): Construction, validity, and reliability. Assessment, 10(2), 178-182. https://doi.org/10.1177/1073191103010002008
Math Anxiety and Math Ability in Early Primary School Years—Helga Krinzinger, Liane Kaufmann, Klaus Willmes, 2009. (s. f.). Recuperado 12 de noviembre de 2024, de https://journals.sagepub.com/doi/abs/10.1177/0734282908330583
Gunderson, E., Park, D., Maloney, E., Beilock, S., & Levine, S. (2017). Reciprocal relations among motivational frameworks, math anxiety, and math achievement in early elementary school. Journal of Cognition and Development, 19. https://doi.org/10.1080/15248372.2017.1421538
Levine, S. C., & Pantoja, N. (2021). Development of children’s math attitudes: Gender differences, key socializers, and intervention approaches. Developmental Review, 62, 100997. https://doi.org/10.1016/j.dr.2021.100997
Ashcraft, M. H., & Krause, J. A. (2007). Working memory, math performance, and math anxiety. Psychonomic Bulletin & Review, 14(2), 243-248. https://doi.org/10.3758/BF03194059
Suinn Mathematics Anxiety Rating Scale for Elementary School Students (MARS-E): Psychometric and Normative Data—Richard M. Suinn, Susan Taylor, Ruth W. Edwards, 1988. (s. f.). Recuperado 12 de noviembre de 2024, de https://journals.sagepub.com/doi/abs/10.1177/0013164488484013
