O Brasil rural da educação é invisível

O fato é antigo, mas só agora chamou nossa atenção: a nota da Prova Brasil – e consequentemente a nota do IDEB (Índice de Desenvolvimento da Educação Básica) para redes estaduais e municipais só inclui os resultados das escolas urbanas. Nesse artigo analisamos as várias distorções que isso cria e que apontam, por sua vez, para graves problemas associados à política do INEP de restringir o acesso dos pesquisadores aos dados das avaliações.  

Analisando os resultados recém-divulgados do SAEB-2023, pesquisadores do Instituto Alfa e Beto e da consultoria IDados identificaram um problema grave que afeta a nota e o ranking de centenas de municípios: a nota publicada pelo INEP refere-se apenas aos alunos das escolas urbanas. A média do município é calculada com base na média dos alunos da rede urbana que participaram do teste – desde que haja um número mínimo por escola. Esse critério elimina o desempenho dos alunos das escolas rurais, que, em milhares de municípios brasileiros, constitui parcela expressiva dos alunos. Ou seja, os municípios aplicam a prova nas escolas rurais, recebem as notas, mas a nota que conta é só das escolas urbanas. Aos olhos do INEP, o Brasil rural da educação é invisível. 

Ignorar o desempenho das escolas rurais tem várias implicações. Primeiro, limita o conhecimento da realidade da educação na zona rural.  Apenas o município tem acesso a esse dado – mas raros deles sabem acessar. Segundo, falseia os resultados da educação ao limitar a nota do município às escolas urbanas – em centenas deles isso significa que a nota do município se limita a pouquíssimos alunos de uma única escola urbana. Terceiro, cria incentivos para o município concentrar esforços na zona urbana e ignorar as escolas rurais. O município pode ficar melhor na foto e ainda pode receber benefícios. Ou pode ter escolas rurais de bom nível, mas que não são consideradas na nota do município. O momento das eleições municipais torna oportuna a discussão desse tema. 

A Prova Brasil só dá o retrato do Brasil urbano. E centenas de municípios brasileiros que possivelmente investem recursos vultosos em suas escolas rurais têm a sua reputação educacional estabelecida apenas pelo resultado das escolas urbanas. Além disso, centenas ou milhares de escolas consideradas rurais hoje se encontram em território urbano, devido às mudanças na ocupação do espaço urbano em várias cidades.  O resultado educacional de centenas de municípios poderia ser diferente se fossem computados todos os dados. O ranking oficial apenas mostra o lado visível do Brasil.  Os problemas com isso são óbvios. E esse, possivelmente, é apenas a ponta de um gigantesco iceberg encravado nas entranhas da burocracia do INEP. 

Dos quatro pilares da educação – currículo, professores, gestão e avaliação -, o Brasil só se destaca na avaliação. Possuímos um sistema razoavelmente sofisticado de avaliação tanto do ponto de vista técnico-pedagógico quanto logístico.  E isso continua valendo mesmo que a avaliação não venha servindo sua função primordial – fornecer informações úteis para tomar decisões.  Se assim o fosse, a educação nacional possivelmente estaria em situação muito melhor.  

Apesar das virtudes e avanços de nosso sistema de avaliação, suas lacunas são enormes. Uma delas já foi apontada acima – a omissão de dados das escolas rurais.  Outra é a sinalização inadequada. Por exemplo, quando formulou o IDEB, o MEC/INEP divulgou a ideia de que ao atingir 6 pontos na escala estaríamos no nível dos países desenvolvidos.  Nas séries iniciais chegamos próximos aos seis pontos. E daí? Continuamos na rabeira do mundo. O fluxo escolar melhorou, não está longe de ter sido corrigido, especialmente nas séries finais. E os alunos continuam aprendendo e sabendo muito pouco.  E os prefeitos comemoram a chegada ao IDEB de seis pontos.  

Para cumprir seu objetivo, nosso sistema de avaliação precisa de uma urgente reformulação.  Comecemos do mais importante, o acesso aos dados.   

Na maioria dos países avançados, o acesso dos pesquisadores aos dados é algo estimulado pelos governos e facilitado pelas instituições que os geram ou os administram. Para gerar conhecimento das causas – e não apenas correlações -, interessa ao pesquisador ter acesso aos dados individuais dos alunos. Em países como o Chile e Estados Unidos, por exemplo, é fácil relacionar a trajetória acadêmica de um indivíduo com seus rendimentos – uma medida fundamental para avaliar o benefício de diferentes trajetórias educacionais ou mesmo o impacto de diferentes instituições. Mas para isso é necessário que os pesquisadores tenham acesso aos microdados, ou seja, aos dados de cada indivíduo, e possam cruzá-los com outras bases de dados. 

Para situar o leitor em tema tão complexo, limito-me a examinar dois problemas principais relacionados às informações divulgadas pelo INEP.  O primeiro deles foi a mudança feita na coleta e divulgação de dados. No microdado do Saeb 2019 não há informação sobre o sexo dos alunos, algo que foi corrigido no Saeb 2021. Neste último, o microdado não traz a identificação de município e escolas, de modo que não sabemos, por exemplo, a distribuição de nível socioeconômico das escolas de cada município. Mas esse problema não se limita ao Saeb.

Desde 2020, os dados do ENEM não trazem a identificação das escolas que os alunos concluintes cursaram no ensino médio, o que impede até mesmo uma simples comparação de médias entre escolas. Esse fato inclusive abriu espaço para a comercialização de análises baseadas em dados obtidos na sala de sigilo. E desde 2021, o Censo da Educação Básica não traz informação no nível do aluno, o que impede computar o número de alunos por sexo e raça em cada série por escola e saber se há algum tipo de segregação nos municípios.  

O outro problema se refere à barreira erigida pelo INEP para acesso dos pesquisadores aos microdados. O INEP faz isso ativamente, em nome de uma interpretação especiosa da lei de proteção aos dados – e sempre, claro, com respaldo jurídico. Quem lida com informações sabe que não faltam tecnologia e recursos criptográficos para viabilizar esse acesso mantendo o sigilo.  Falta apetite para a transparência.  E isso não é de hoje nem deste governo.  

Essa barreira é reforçada por dois outros obstáculos criados pelo INEP – sempre na linha de criar dificuldades para vender facilidades.  O primeiro deles é a necessidade de o pesquisador apresentar um projeto.   Até aí tudo bem – embora a necessidade disso seja discutível.  Mais grave: o projeto é avaliado por funcionários do INEP, e não por acadêmicos independentes.  

Sabidamente há mérito em deixar os pesquisadores terem livre acesso aos dados – inclusive para formular hipóteses para futuras pesquisas.  No entanto, o INEP exige um projeto detalhado, em que o pesquisador precisa antecipar no detalhe os dados que vai pesquisar e os cruzamentos que pretende fazer – eliminando a possibilidade de “brincar” com os dados e procurar relações decorrentes desse exercício.   

Tudo isso constitui uma forte limitação para o uso da riquíssima base de dados que o país construiu ao longo de mais de duas décadas.  E talvez explique por que a avaliação não tem cumprido sua principal missão – orientar o processo de melhorar a qualidade.   O exemplo da omissão dos resultados das escolas rurais para estabelecer a nota média dos municípios é um exemplo disso.  

Outro exemplo que escancara a necessidade de “abrir a caixa preta do INEP” refere-se à confiabilidade da Prova Brasil e de seus resultados.  Na rodada do SAEB-2023 dezenas de municípios deram saltos gigantescos – 50 pontos ou mais em relação a 2019.  Alguns deram saltos de 100 pontos – todos esses em um único estado. A maioria é formada por municípios de tamanho ínfimo e uma história de baixa qualidade. De repente se tornam líderes nacionais. Para dar uma ideia – em quase 20 anos de Prova Brasil o crescimento médio da nota das escolas públicas municipais em Matemática foi de 5 pontos nas séries iniciais e 2,4 pontos nas séries finais. Isso tendo como ponto de partida um desempenho sofrível em 2005.  Entre 2019 e 2023, pouco mais de 40% dos municípios voltaram aos níveis de 2019 e, nas séries finais, apenas 33% dos municípios voltaram aos níveis de 2019.  Estamos falando aqui das redes municipais e excluindo as escolares rurais.  

Divulgar notas e rankings com tamanho ruído distorce a realidade e cria mitos e injustiças, sem estimular um debate mais sério sobre o tema. Claramente o Sistema Nacional de Avaliação carece de mecanismos básicos de controle de qualidade capazes de captar e lidar adequadamente com esses ruídos. Mas não é isso que acontece, no caso da Prova Brasil. Vale a fanfarra!  

Esses são apenas alguns dos exemplos de erros, imperfeições e perda de oportunidade de colocar o caro e gigantesco sistema nacional de avaliação a serviço da sociedade. Não se trata de jogar fora o bebê com a água do banho.  Ampliar o acesso e o escrutínio dos dados contribui para melhorar as informações e as decisões que se podem tomar para conhecer e melhorar a educação. Mas como o bebê não sabe se cuidar, e dadas as barreiras impostas pelas sucessivas administrações do MEC para solucionar esses problemas, resta ao Congresso Nacional cuidar do bebê – cuja saúde é muito frágil.   

 
João Batista Oliveira é presidente do Instituto Alfa e Beto *