Nota do Instituto Alfa e Beto:
Este artigo foi publicado originalmente no jornal Folha de S. Paulo
ESTRANHO país, o nosso. Em 2006, pela primeira vez na história, um ministro da área reconheceu publicamente que a qualidade da educação brasileira era deplorável, ao apresentar os resultados da Prova Brasil. Nos últimos dias, no entanto, deu-se o inverso. E a propaganda oficial contribuiu para isso. Confundem as sombras com a realidade. Estamos na caverna de Platão.
Em edições recentes das revistas semanais, o governo apresentou uma curva de fazer inveja a Huff e Geis, autores do já quarentão “How to Lie with Statistics” (como mentir usando estatística). Vejamos os dados, depois, as implicações.
O Ideb, indicador oficial do desempenho da educação brasileira, mistura taxas de aprovação com notas dos alunos, aferidas pela Prova Brasil.
Embora seja relevante melhorar as taxas de aprovação, o indicador de qualidade deveria se refletir, isso sim, nas notas. Somente esse índice serve para comparar nossos resultados com os do Pisa.
Qualquer pessoa medianamente versada na matéria sabe distinguir flutuações estatísticas de tendências.
No caso da Prova Brasil, com um desvio padrão que pode variar de 40 a 50 pontos, flutuações inferiores a seis pontos para mais ou para menos, como vem ocorrendo ao longo dos últimos 15 anos, representam pouco mais do que meros ruídos. Seriam relevantes se fossem consistentes.
Ao longo da série histórica de sete aplicações da prova, sempre tivemos flutuações nas provas de português e matemática das três séries avaliadas.
Em 1997, houve quatro flutuações negativas; em 1999, foram seis; cinco, em 2001; uma, em 2003; e quatro, em 2005. Em 2007, todas as flutuações foram positivas. Do total de 20 mudanças negativas, 13 foram inferiores a seis pontos.
A única alteração relevante, em 2007, deu-se nos resultados de matemática na quarta série (11 pontos), o que, certamente, não pode ser justificado por uma política específica para a área. Explicações plausíveis seriam a maior homogeneidade na idade dos alunos (pela eliminação dos de maior idade, no geral com pior desempenho) e o fato de os resultados de matemática serem bastante inferiores ao de língua portuguesa, o que facilita a conquista de melhor patamar.
Já no indicador geral do Ideb, houve mudança de quatro décimos nos resultados da quarta série, um décimo nos resultados da oitava série e nenhuma mudança nos resultados do ensino médio. Exceto no ano de 1999, em que houve queda mais acentuada, os dados não sugerem nenhuma tendência -apenas flutuações em torno de patamares medíocres.
O gráfico usado na propaganda oficial comete duas violações graves.
Primeiro, apresenta como descendente praticamente tudo o que vem antes de 2003. Os dados não suportam essa representação. Segundo, aponta como ascendente tudo o que vem a partir de 2005 -e apresenta como se fosse uma tendência.
A maior manipulação, no entanto, se dá na inclinação das curvas e no tamanho dos degraus da caminhada rumo ao mundo desenvolvido.
Esse apelo da propaganda oficial pode prestar um enorme desserviço ao corajoso trabalho de convencimento que o ministro da Educação vem fazendo sobre a gravidade do problema educacional.
Entende-se que prefeitos e autoridades estaduais tenham comemorado pífias melhorias do Ideb, de resto apoiadas essencialmente em alterações nas regras de promoção. Do total de 84 Idebs -são 26 Estados com três Idebs cada-, apenas 14 apresentaram mais de 5% de melhora.
Desses, 12 estão em Estados do Norte, Nordeste e Centro-Oeste, onde é muito mais fácil melhorar pelo simples fato de que os dados de base são muito baixos.
A experiência internacional é cheia de ensinamentos a respeito dos ingredientes de como se deve fazer uma reforma da educação e as condições básicas de sucesso. A formação de um consenso sobre os problemas é um primeiro passo essencial. Antes de consolidar essa convicção, já começamos a nos iludir.
Quando Huff e Geis publicaram seu livro, há mais de 40 anos, o objetivo era alertar o leitor para os perigos das manipulações estatísticas. Em 2006, o Brasil deu um passo avante para iniciar uma reforma da educação. Agora, deu dois passos para trás. Mascarar a gravidade da situação dificilmente contribuirá para avançar na formação de consenso na área. Sugerir que já estamos a caminho do sucesso é puro ilusionismo.
