Aquest mes de desembre ha estat marcat per la publicació de l’Informe TIMSS, un document que ha analitzat el rendiment en matemàtiques i ciències de diferents països del món a partir d’unes proves estandarditzades.
Però, què són les TIMSS? Com són les proves? Quines conclusions podem extreure dels resultats? I, el més important, què podem fer els docents per millorar l’educació matemàtica?
En aquest article, que adapta una sessió que vam fer en directe, explorarem totes aquestes qüestions i analitzarem didàcticament les proves, per veure-les com oportunitats d’aprenentatge! Si preferiu recuperar la sessió, la trobareu en aquest enllaç.
Desxifrant les proves TIMSS 2023
Les proves TIMSS, de l’anglès Trends in International Mathematics and Science Study, són unes proves estandarditzades internacionals que avaluen les competències cognitives en matemàtiques i ciències dels alumnes de 4t de primària i 2n d’ESO (4th and 8th grade) d’aproximadament 70 països.
A Espanya, per exemple, només les han passat als alumnes de 4t de primària. Podreu trobar l’informe sencer en aquest enllaç. Els països que fan matemàtiques amb la proposta curricular d’Innovamat que han passat les TIMSS són, a part d’Espanya, Xile, Brasil, Itàlia, Estats Units. Podreu consultar el llistat sencer dels països i les regions que han passat les TIMSS a través d’aquest accés.
A partir d’aquestes proves, l’entitat organitzadora IEA, International Association for the Evaluation of Educational Achievement, amb la col·laboració del Boston College, publica un informe amb diferents conclusions al voltant del rendiment en matemàtiques i ciències, i aprofundeix en els factors que afecten en l’aprenentatge. Aquesta entitat organitza, també, les proves PIRLS, Progress in International Reading Literacy Study, que avaluen la comprensió lectora.
Amb tot això, aquestes proves tenen l’objectiu d’avaluar sistemes educatius dels diferents països, i recollir conclusions generals sobre el rendiment de matemàtiques i ciències de l’alumnat en l’àmbit global.
Tanmateix, l’estudi pretén entendre els factors que tenen impacte en les habilitats matemàtiques i científiques. Per fer-ho, més enllà de les proves, es passa un qüestionari a l’alumnat, els docents i l’escola per determinar factors socioeconòmics, benestar, actituds i gestió sobre el procés d’aprenentatge de l’alumnat.
Us adjuntem un extracte d’una pregunta del qüestionari dels alumnes, en què es determina l’índex socioeconòmic a partir del nombre de llibres que tenen els alumnes a casa. Si voleu consultar els qüestionaris sencers, els trobareu en aquest enllaç.
Què avaluen les proves?
Les proves TIMSS avaluen la comprensió i l’aplicació dels continguts del currículum. Per fer-ho, se centren en tres dominis cognitius:
- Coneixement: els alumnes recorden i comprenen els conceptes matemàtics?
- Aplicació: saben com fer servir aquest coneixement en la resolució de problemes?
- Raonament: fan servir el pensament lògic i crític per resoldre problemes més complexos?
Podreu trobar més informació sobre els criteris d’avaluació aquí.
Com és la prova? Comparació amb altres proves estandarditzades.
Cada alumne respon a aproximadament 50 preguntes de matemàtiques i ciències en poc més de 72 minuts.
Ara per ara, només han alliberat alguns dels problemes, però analitzant la totalitat de la prova TIMSS del 2019 sabem que són:
- 55% tipus test.
- 41% resposta numèrica.
- 4% resposta oberta.
Altres referències que tenim de proves estandarditzades són les proves d’Avaluació de Competències Bàsiques, a 6è de primària, i les Proves PISA, a 4t d’ESO. Comparades amb aquestes dues proves, les diferències amb TIMSS es podrien resumir d’aquesta manera:
Analitzem les proves TIMSS 2023. Com són les preguntes?
Molt bé! Ja hem vist com són les proves TIMSS en comparació a altres proves estandarditzades. Però, i els problemes?
Per entendre ben bé tant la naturalesa de les preguntes com les condicions el dia de la prova, i a partir de les proves alliberades, vam decidir fer una anàlisi qualitativa: passar les TIMSS a una classe de 4t de primària (des d’aquí, moltes gràcies a l’Escola Tecnos de Terrassa per obrir-nos les portes).
Una de les coses que ens va cridar l’atenció era el variable temps. Si els alumnes havien de respondre més de 50 preguntes en 72 minuts, això volia dir que tenien aproximadament 1 minut i escaig per cada pregunta.
Per posar-nos en situació, alhora, vam proposar les mateixes preguntes a adults i els vam donar 1 minut per respondre.
Pregunta 1
Algunes respostes dels alumnes:
És interessant observar els diferents procediments seguits pels alumnes: mentre que uns van resoldre l’operació de forma vertical, d’altres ho van fer descomponent.
Hi ha alumnes que, tot i fer correctament les multiplicacions, van cometre errors en la suma. D’altres, per contra, es van confondre en la multiplicació, però van fer bé la resta de l’operació.
Pregunta 2
Algunes respostes dels alumnes:
És una pregunta de preàlgebra que requereix deducció i, en general, la majoria dels alumnes van raonar correctament i van arribar al resultat correcte.
Tanmateix, s’han detectat raonaments originals. Per exemple, algun alumne, en veure que la síndria de l’enunciat era més petita que la de l’exemple, va assumir que havia de pesar menys i va aplicar proporcionalitat.
Encara que podem considerar comprensibles alguns d’aquests raonaments (com el segon exemple mostrat a la imatge), la resposta no s’ajusta als estàndards de la prova i, per tant, és considerada incorrecta.
Pregunta 3
Algunes respostes dels alumnes:
La majoria d’alumnes van respondre correctament. Ara bé, s’han detectat errors és en el recompte de peixos blaus. En aquest cas, alguns alumnes van escriure “3” perquè, en lloc de consultar el nombre de girafes grogues tal com s’indicava, van escriure el nombre de girafes blaves, que apareixia just a sobre de la casella que havien d’emplenar.
Un error semblant es va produir amb el càlcul dels peixos grocs. En comptes de realitzar la resta indicada —24 menys 3 tortugues grogues i 10 girafes grogues— els alumnes van anotar directament “24” com a total de peixos grocs.
Considerem que gran part dels errors tenen a veure amb el factor temps, és a dir, amb una lectura massa ràpida dels enunciats perquè tenien un temps limitat per respondre a les diferents preguntes. A més, qualitativament vam veure que l’enunciat era molt llarg i com estava partit per la taula, això dificultava la comprensió.
Pregunta 4
Algunes respostes dels alumnes:
Els criteris de correcció exigien una argumentació. Per aquest motiu, només es van considerar vàlides les respostes que justificaven clarament el procés, per exemple: “Sí, encara pot agafar la carta 7 i això fa que 4+7=11, un resultat superior a 10.”
Si els alumnes es limitaven a dir que sí perquè es podia agafar el número 7, sense afegir cap explicació addicional, la resposta no es considerava correcta.
Pregunta 5
Algunes respostes dels alumnes:
En aquest cas, s’ha observat un nombre més baix d’encerts en comparació amb les preguntes anteriors. Molts alumnes van respondre 150 m o 120 m, mentre que la resposta correcta era 180 m.
L’enunciat feia referència a una aproximació, fet que podia resultar confús per l’alumnat, ja que el resultat era exactament 3 vegades i, per tant, la resposta era exactament 180 m. A més, hi ha un possible efecte òptic que pot induir a l’error, tenint en compte que la prova es realitzava en suport digital i no en paper i sense regle.
Pregunta 6
Algunes respostes dels alumnes:
És una pregunta d’operacions combinades. En aquest cas, no es busca que l’alumne sàpiga resoldre el problema, sinó que, sense haver après a classe aquest tipus d’operacions, sigui capaç de resoldre o deduir la resposta. És a dir, que pugui interpretar les representacions simbòliques per arribar al resultat.
Un fet curiós és que aquells alumnes que van plantejar el problema mitjançant multiplicacions (en lloc de divisions) no van saber trobar la resposta correctament, tot i que van arribar al resultat correcte mitjançant el seu propi raonament.
Altres troballes interessants...
Un altre dels problemes alliberats que vam passar als alumnes consistia a “arrodonir”, un concepte treballat a 4t. No obstant això, la principal dificultat que vam detectar en els alumnes era el concepte “d’arrodonir al miler”. Fixeu-vos!
En aquest cas, l’alumne va escriure el nombre, però els criteris d’avaluació dicten que la resposta és errònia, ja que s’ha de respondre de forma numèrica.
Una altra pregunta interessant era en el problema de dibuixar un camí paral·lel.
En totes aquestes respostes podem observar que tenen assolit el concepte de paral·lela, però el context els fa ser creatius i creen dibuixos que no els hi contaran correctament, ja que només donaven per correcta la recta paral·lela que passava pel punt.
Què hem vist?
Després d’analitzar els problemes, ens vam fixar que els podríem incloure o categoritzar de la següent manera:
- Aplicació directa d’un procediment: Per exemple, el problema de la multiplicació, on l’alumne ha de fer una operació determinada.
- Competencialment rics: Com el problema dels animals o el de la síndria, que requereixen un raonament més complex.
- Capciosos: Com el problema de l’edifici, en els quals és fonamental una interpretació acurada de l’enunciat, ja que pot induir a confusions.
- Fora del nostre currículum: Com el problema de les pilotes, que serveixen per anar més enllà de les nocions apreses i comprovar la capacitat de l’alumne per arribar a una conclusió sense tenir consolidats els coneixements específics.
Com vam acabar la dinàmica?
Després de la realització de la dinàmica, quan vam posar en comú els problemes, vam veure que l’alumnat els havia comprès correctament. Ara bé, moltes vegades pensem que imposar pressió temporal resulta contraproduent, ja que fa augmentar el nombre d’errors. S’ha de tenir en compte la variable del temps en l’anàlisi dels resultats.
Quan vam acabar la prova, vam comentar els problemes tranquil·lament i vam veure com els alumnes gaudien dels diferents raonaments i la gran majoria participava.
Per això, és necessari fomentar un aprenentatge que potenciï el raonament, la reflexió i l’establiment de connexions. Com a mestre, si ets conscient dels punts en què els alumnes fallen, els podràs treballar adequadament a classe. És molt important donar-li espai i temps a la conversa a l’aula, de manera que l’alumne pot argumentar, explicar raonaments i detectar on i com ha fallat, o quina estratègia ha fet servir per resoldre el problema. D’aquesta manera, acceptem que l’error és benvingut i junts, en dinàmica d’aula, aconseguim aprendre i treure-li suc als problemes.
Què mostren els resultats?
Després de la publicació de l’Estudi TIMSS, la premsa i l’opinió pública es van fer ressò d’uns resultats a la baixa. I és cert! La tendència va a la baixa. Però és important entendre els resultats, com són les proves i les condicions dels alumnes, i en què ens hem de fixar.
La primera gràfica (de color taronja) mostra l’evolució dels resultats de TIMSS en les últimes quatre edicions, i a simple vista sembla que els resultats han baixat pronunciadament.
En canvi, si observem la segona gràfica (amb línies verdes), que presenta les mateixes dades, però a escala, comprovem que la variació (-4 punts) és menys pronunciada del que semblava al primer cop d’ull en l’altra gràfica. Tot i que voldríem obtenir puntuacions més elevades, la tendència dels resultats és força estable, però a la baixa. Es tracta d’una oscil·lació moderada dins d’una estabilitat general en els resultats respecte a les edicions anteriors.
Un altre factor que vam observar és la gràfica comparativa del rendiment de matemàtiques amb l’índex socioeconòmic dels diferents països.
És important tenir en compte la variable socioeconòmica a l’hora de valorar el nivell de competència matemàtica a Espanya.
Observem que, d’acord amb el nivell socioeconòmic i cultural que tenim, els resultats no se surten de la normalitat. Això no vol dir que ens hàgim de conformar: hem d’apostar per polítiques educatives que afavoreixin una millora dels resultats, tenint en compte també que hem de fer front a diversos factors que afavoreixen la tendència a la baixa.
Una altra gràfica que va transcendir als mitjans era comparar els rendiments en matemàtiques de les diferents comunitats autònomes d’Espanya. Hem volgut incorporar-les en el gràfic internacional per posar-les en perspectiva. Així, podem observar a escala on s’ubiquen respecte de la resta de països avaluats.
Una altra idea en què ens volíem fixar era en els increments i els decrements respecte a la prova anterior, la TIMSS 2019. En aquest gràfic veiem què ha passat amb els blocs de contingut. Observem que, mentre en algunes àrees els resultats han baixat, en d’altres s’han mantingut o fins i tot han millorat lleugerament. Però les variacions no són gaire grans.
D’altra banda, pel que fa als processos cognitius, observem una millora dels alumnes catalans i espanyols en raonament, mentre que en coneixements i aplicació hi ha una lleugera baixada de nivell.
No podem perdre de vista que totes les pujades i baixades són petites en tots els casos, de manera que es manté una certa estabilitat dels resultats.
La darrera cosa que vam voler mirar era com es distribuïen els alumnes en els diferents nivells de rendiment matemàtic, i comparar-ho entre diferents països. En aquest gràfic, hem posat Catalunya i Espanya, que presenten una distribució molt similar, i Corea, un dels països amb més alumnes al nivell avançat. Veiem com es manté una distribució similar, però es desplaça la corba cap a la dreta en aquells països de tradició asiàtica, com Corea, Japó o Singapur. Podreu trobar les dades completes a l’informe.
Què podem fer per millorar?
Enfrontar els reptes educatius actuals requereix anar més enllà de la mecanització. No es tracta només de comprendre els continguts, sinó d’interioritzar els processos matemàtics per superar els nivells baixos en els resultats.
L’aprenentatge competencial, que fomenta el raonament, l’argumentació i el pensament crític, és clau per afrontar les preguntes de més complexitat. Ara bé, per interpretar els resultats cal considerar factors diversos, com el context socioeconòmic dels alumnes.
Davant d’un problema tan complex i multifactorial, és essencial sumar esforços des de tots els àmbits per avançar en la millora de l’educació i, amb això, dels resultats.
Seguirem, plegats, treballant per millorar l’educació matemàtica!
