- Nossa equipe de pesquisa realizou dois estudos, no México e na Catalunha, para analisar se o uso da proposta Innovamat está relacionado com um bom desempenho no teste TIMSS.
- Os alunos que usaram a Innovamat tiveram um desempenho melhor na adaptação do teste TIMSS do que os alunos de escolas que usam outras propostas educacionais.
- Também foi observada uma correlação negativa entre a ansiedade matemática e os resultados na adaptação do TIMSS.
Algo muito importante para a Innovamat e, em particular, para o seu grupo de pesquisa, o Vertex, é analisar o impacto do uso da proposta em sala de aula por meio de vários estudos. Um desses impactos poderia ser o efeito sobre os resultados obtidos pelos alunos em testes padronizados como, por exemplo, o TIMSS.
O que é o teste TIMSS?
O TIMSS (Tendências no estudo internacional da matemática e das ciências) é um teste internacional organizado pela International Association for the Evaluation of Educational Achievement (IEA) para avaliar o rendimento em matemática e ciências. Ele é realizado a cada 4 anos e se destina a alunos do 4º ano do Ensino Fundamental e do 2º ano do Ensino Médio. Trata-se de um teste de referência que teve a participação de 64 países em sua última edição, em 2019, o que faz dele um dos instrumentos mais reconhecidos na avaliação educacional em nível global.
O TIMSS avalia até que ponto o conteúdo do currículo é compreendido e aplicado. Para isso, ele se concentra em três dimensões cognitivas:
- Conhecimento: os alunos se lembram e entendem os conceitos matemáticos?
- Aplicação: eles sabem como usar esse conhecimento para resolver problemas?
- Raciocínio: eles usam o pensamento lógico e crítico para resolver problemas mais complexos?
O TIMSS também analisa fatores contextuais que podem influenciar a aprendizagem, como o ambiente escolar, o apoio familiar e os recursos educacionais disponíveis. Agora, no entanto, vamos nos concentrar na parte do teste que tem a ver com a matemática.
Como analisamos esse impacto?
Nos últimos dois anos, a equipe de pesquisa realizou estudos cujo objetivo era analisar se o uso da proposta Innovamat estava relacionado ao bom desempenho no teste de matemática do TIMSS. Esses estudos foram realizados na Catalunha (Espanha) e no México em dois anos consecutivos: um deles durante o ano letivo de 2022-2023 e o outro, no ano letivo de 2023-2024.
Figura 1.
Representação gráfica do desenho dos estudos.
Para cada estudo e em cada território, foram identificados dois grupos de escolas:
- Um grupo de intervenção: escolas que estão implementando a proposta Innovamat.
- Um grupo de controle: escolas que não estão implementando a proposta Innovamat.
No caso do México, para facilitar a comparação dos resultados, buscamos escolas com perfil socioeconômico semelhante, sem diferenças significativas no Índice de Desenvolvimento Humano (IDH). O IDH foi desenvolvido pelo Programa das Nações Unidas para o Desenvolvimento (PNUD) e é usado para analisar o nível de prosperidade das nações. Neste caso, todas as escolas tinham um IDH entre 0,7 e 0,9, e não havia diferenças significativas entre os grupos de intervenção e de controle. Em contrapartida, devido a limitações na obtenção de dados demográficos sobre as escolas, não foi possível controlar os fatores socioeconômicos na Catalunha.
Para cada grupo (intervenção e controle), foi preparada uma adaptação do teste TIMSS a partir das. perguntas abertas do teste para a 4º ano do ensino fundamental de 2019 no Chile.
A distribuição das perguntas por blocos de conteúdo e domínios cognitivos usada no teste original foi totalmente respeitada, assim como o conteúdo específico de cada pergunta. O teste foi adaptado em três aspectos:
- Adaptação linguística: as perguntas foram traduzidas e adaptadas ao contexto territorial de cada região.
- Tipologia das pergunta: foram usadas apenas perguntas de múltipla escolha devido a limitações tecnológicas. Das perguntas restantes, um total de 26 itens foi selecionado aleatoriamente (o teste original tem entre 20 e 28 perguntas, dependendo do bloco de itens atribuído a cada aluno).
- Ampliação do período: o tempo concedido para a conclusão do teste foi estendido de 36 para 60 minutos, de modo a reduzir o estresse associado à realização de testes com limitação de tempo e permitir que a maioria dos alunos acabasse no período disponível.
Como se pode imaginar, o passo seguinte foi aplicar o teste em cada grupo e, depois, comparar os resultados obtidos. No total, 4 393 alunos foram submetidos à adaptação do TIMSS. Destes, quais 2 407 usavam os materiais da Innovamat e 1 986, materiais de outras propostas educacionais (consulte a Tabela 1).
Tabela 1.
Amostra de alunos incluídos na análise final.
* Optou-se por realizar o teste de 5º ano, tanto para o grupo de intervenção quanto para o grupo de controle, porque algumas escolas informaram que, no momento da realização do teste, os alunos do 4º ano ainda não teriam visto parte do conteúdo.
Quais foram os resultados?
A principal pergunta da pesquisa foi: Há diferenças entre os resultados de TIMSS dos alunos que seguem a proposta Innovamat na sala de aula e dos alunos que não a seguem?
Para responder a essa pergunta, usamos o teste Scheirer-Ray-Hare1, com as pontuações do teste TIMSS como variável dependente e as variáveis de grupo (intervenção ou controle) e região (Catalunha ou México) como variáveis independentes. Tanto no ano letivo de 2022-2023 (Estudo 1) quanto no de 2023-2024 (Estudo 2), o teste encontrou um efeito significativo da variável de grupo e da variável de região (em todos os casos, p < 0,001)2. Isso indica que os resultados da adaptação do TIMSS foram significativamente diferentes entre os dois grupos e entre as duas regiões.
Além disso, investigamos a interação entre as duas variáveis, grupo e região, para verificar se o efeito significativo do uso da Innovamat poderia resultar de diferenças em uma determinada região ou se, ao contrário, o efeito era semelhante em ambas as regiões. Em nenhum dos estudos houve uma interação significativa entre as duas variáveis analisadas (em todos os casos, p > 0,1). Isso indica que as diferenças de pontuação no teste TIMSS observadas para a variável de grupo ocorrem de forma semelhante nas duas regiões.
Essas análises mostram que as escolas que usaram a proposta Innovamat tiveram um desempenho melhor na adaptação do TIMSS do que as escolas que usaram outras propostas educacionais. Isso pode ser visto no gráfico a seguir (Figura 2).
Embora esta não tenha sido nossa pergunta principal, também observamos um efeito significativo da região onde o teste foi realizado em cada ano. No ano letivo de 2022-2023, as escolas do México tiveram um desempenho geral melhor do que as escolas da Catalunha. Em contrapartida, no ano letivo de 2023-2024, o resultado foi oposto. Como o teste foi aplicado em momentos diferentes e em anos diferentes em cada região, não é possível interpretar essas diferenças como diferenças reais entre as regiões (consulte a discussão na conclusão).
Figura 2.
Observação. Este gráfico mostra a porcentagem média de acertos no teste TIMSS, juntamente com o intervalo de confiança (95%) desses resultados, para os ano letivo de 2022-2023 e 2023-2024, tanto na Catalunha quanto no México. Os dois grupos de estudo foram separados por cores: grupo de intervenção (usa Innovamat) e grupo de controle (não usa Innovamat). O intervalo de confiança aparece em um gráfico de barras que mostra o intervalo no qual acreditamos que está o valor verdadeiro (neste caso, a média de uma população), com base nos dados que obtivemos. Neste caso, as barras verticais indicam que, se fôssemos repetir o experimento muitas vezes, o valor médio estaria, teoricamente, dentro desse intervalo em 95% dos casos.
Aspectos socioemocionais: ansiedade matemática e desempenho
No Estudo 2 (2023-2024), também foram coletados os dados sobre a ansiedade matemática dos alunos usando a Escala de Ansiedade Matemática Abreviada Modificada (mAMAS), um questionário validado em vários estudos (Carey et al., 2017; Caviola et al., 2017; Hopko et al., 2003). Os dados coletados nos permitiram observar a correlação entre a ansiedade matemática e a competência matemática dos alunos, medida por meio da adaptação do teste TIMSS.
No gráfico a seguir, podemos observar a correlação (ρ = -0,36, p < 0,001) entre os resultados obtidos no teste TIMSS e a ansiedade matemática percebida pelos alunos O coeficiente de correlação de Spearman (ρ) indica que a correlação é moderada, de acordo com os padrões de Cohen (1988), amplamente usados nas ciências sociais: (0,10 – baixa, 0,30 – moderada, 0,50 – alta). Isso significa que os alunos com níveis mais altos de ansiedade matemática tendem a obter uma pontuação mais baixa na adaptação do TIMSS.
Figura 3.
Observação. Este gráfico mostra um diagrama de dispersão dos resultados individuais de todos os alunos no qual cada ponto representa a pontuação de um aluno. A linha azul indica uma regressão linear, sugerindo que os alunos com pontuações mais altas no teste de ansiedade matemática (eixo x) tendem a obter um desempenho pior na adaptação do teste TIMSS (eixo y). O sombreamento cinza ao redor da linha de regressão mostra onde esperamos que a média dos valores da variável dependente (percentual de acertos no TIMSS) caia para um determinado valor da variável independente (escores de ansiedade matemática), com 95% de confiança. Ou seja, indica incerteza sobre a posição da linha de tendência média, não sobre os valores individuais. Em termos simples, temos 95% de certeza de que a linha azul, que indica a correlação entre a ansiedade e os resultados no TIMSS, deve ficar dentro do intervalo indicado pelo sombreamento cinza.
Que conclusões podemos tirar?
O principal objetivo era identificar se os alunos que usam os recursos educacionais da Innovamat na escola têm um desempenho melhor do que os alunos que usam outros materiais, na maioria, livros didáticos. Para isso, foi criado um teste de matemática adaptando as perguntas abertas do teste TIMSS de 2019. Os resultados indicam que os alunos das escolas que usam a proposta Innovamat apresentam melhor desempenho do que os alunos do grupo de controle na adaptação do teste TIMSS. Além disso, vemos que esse resultado é consistente ao longo de dois anos letivos e em duas regiões diferentes, Catalunha e México.
Também observamos diferenças gerais nos resultados entre as regiões, embora essas diferenças provavelmente se devam ao fato de que, em 2022-2023 o teste foi realizado mais cedo na Catalunha (março) do que no México (maio-junho) e em 2023-2024 o teste foi realizado em séries diferentes (4º ano, no México, e 5º ano na Catalunha). Portanto, essas diferenças entre regiões não são particularmente informativas.
Outro resultado relevante do estudo é a correlação negativa entre a ansiedade matemática e os resultados na adaptação do teste TIMSS. A ansiedade matemática é uma resposta psicológica caracterizada por sentimentos de tensão e medo diante de tarefas relacionadas com a matemática (Krinzinger, Kaumann, & Willmes, 2009). Estudos demonstraram que os alunos podem apresentar ansiedade matemática desde o início do ensino fundamental (Gunderson, Park, Maloney, Beilock, & Levine, 2018). Essa ansiedade geralmente aumenta ao longo da vida escolar (Levine e Pantoja, 2021) e está negativamente relacionada à competência matemática dos alunos (Ashcraft e Krause, 2007; Suinn, Taylor e Edwards, 1988). O resultado obtido em nosso estudo fornece mais evidências da importância dos fatores socioemocionais, neste caso, a ansiedade matemática, no desenvolvimento da capacidade matemática dos alunos.
Também é importante destacar as limitações dos estudos apresentados:
- Não sabemos qual era o desempenho das escolas antes de começarem a usar a Innovamat, portanto, não podemos atribuir diretamente um efeito causal entre o uso da proposta e o desempenho dos alunos no TIMSS. Para compensar essa limitação, o estudo foi realizado em diferentes edições e regiões, com uma amostra total de 4 393 alunos (2 407 com Innovamat e 1 986 sem Innovamat). Além disso, sempre que possível, as características socioeconômicas das escolas dos grupos de intervenção e controle foram controladas, para que fossem semelhantes no que diz respeito ao indicador de status socioeconômico IDH. No caso da Catalunha, não foi possível obter dados demográficos das, portanto, não podemos afirmar que o grupo de controle e o grupo de intervenção eram suficientemente semelhantes.
- Outro aspecto que deve ser levado em conta é que a intervenção não foi aleatória. As escolas do grupo de intervenção demonstraram interesse em usar a proposta Innovamat, enquanto as escolas do grupo de controle não quiseram usar a proposta. Neste sentido, pode ser que as diferenças entre as escolas não fossem simplesmente devido ao uso de certos materiais educacionais, mas também a características intrínsecas das escolas, como disposição para inovar, motivação para melhorar a educação matemática dos alunos, capacidade de ação e acesso a recursos educacionais, etc.
- Por fim, outra limitação é o conflito de interesses existente, pois a pesquisa foi desenvolvida por uma equipe de pesquisadores que trabalha diretamente com a Innovamat.
Em resumo, o estudo mostra resultados positivos e promissores sobre o uso da Innovamat na escola para obter um bom desempenho em testes de competência em matemática, como o TIMSS. Em duas séries diferentes e duas regiões diferentes, e com uma amostra de mais 4.000 alunos, observamos melhores resultados nos testes para as escolas que seguiam a proposta Innovamat, em comparação com as escolas que usavam outras propostas educacionais.
Entretanto, o desenho do estudo não permite obter evidências conclusivas sobre o impacto positivo da Innovamat no desenvolvimento matemático dos alunos. Por esse motivo, é importante continuar pesquisando, em outros contextos e com outros desenhos, a fim de desenvolver o nosso conhecimento sobre o impacto, sobre os alunos, de uma proposta educacional baseada em competências, como a Innovamat.
Notas de pé de página
1
O teste Scheirer-Ray-Hare, assim como o testANOVA, são provas estatísticas usadas para identificar diferenças significativas entre dois grupos de uma amostra. Como teste paramétrico, o ANOVA exige que os dados atendam a determinadas condições, incluindo a normalidade na distribuição dos resíduos. Como essa condição não era atendida pelos nossos dados, optamos pelo teste não paramétrico de Scheirer-Ray-Hare, que permite a análise sem a necessidade de normalidade.
2
Consideramos os valores de p < 0,05 como significativos, seguindo o padrão das ciências sociais. Além disso, consideramos valores entre p = 0,05 e p = 0,1 como marginalmente significativos. Neste último caso, não é possível afirmar que uma variável tem efeito sobre outra, mas também não é possível afirmar o contrário. A melhor prática seria continuar a estudar o efeito da variável no futuro.
Referências
Carey, E., Devine, A., Hill, F., & Szűcs, D. (2017). Differentiating anxiety forms and their role in academic performance from primary to secondary school. PLOS ONE, 12(3), e0174418. https://journals.plos.org/plosone/article?id=10.1371/journal.pone.0174418
Caviola, S., Primi, C., Chiesi, F., & Mammarella, I. C. (2017). Psychometric properties of the Abbreviated Math Anxiety Scale (AMAS) in Italian primary school children. Learning and Individual Differences, 55, 174-182. https://doi.org/10.1016/j.lindif.2017.03.006
Cohen J. (1988). Statistical Power Analysis for the Behavioral Sciences. New York, NY: Routledge Academic. https://doi.org/10.4324/9780203771587
Hopko, D. R., Mahadevan, R., Bare, R. L., & Hunt, M. K. (2003). The Abbreviated Math Anxiety Scale (AMAS): Construction, validity, and reliability. Assessment, 10(2), 178-182. https://doi.org/10.1177/1073191103010002008
Math Anxiety and Math Ability in Early Primary School Years—Helga Krinzinger, Liane Kaufmann, Klaus Willmes, 2009. (s. f.). Recuperado 12 de noviembre de 2024, de https://journals.sagepub.com/doi/abs/10.1177/0734282908330583
Gunderson, E., Park, D., Maloney, E., Beilock, S., & Levine, S. (2017). Reciprocal relations among motivational frameworks, math anxiety, and math achievement in early elementary school. Journal of Cognition and Development, 19. https://doi.org/10.1080/15248372.2017.1421538
Levine, S. C., & Pantoja, N. (2021). Development of children’s math attitudes: Gender differences, key socializers, and intervention approaches. Developmental Review, 62, 100997. https://doi.org/10.1016/j.dr.2021.100997
Ashcraft, M. H., & Krause, J. A. (2007). Working memory, math performance, and math anxiety. Psychonomic Bulletin & Review, 14(2), 243-248. https://doi.org/10.3758/BF03194059
Suinn Mathematics Anxiety Rating Scale for Elementary School Students (MARS-E): Psychometric and Normative Data—Richard M. Suinn, Susan Taylor, Ruth W. Edwards, 1988. (s. f.). Recuperado 12 de noviembre de 2024, de https://journals.sagepub.com/doi/abs/10.1177/0013164488484013
