Reynaldo Fernandes, do Inep: "Se a informação vem errada, o cálculo do Ideb também fica errado"

Até que ponto o Índice de Desenvolvimento da Educação (Ideb) mede a qualidade da educação brasileira? A pergunta está na cabeça de muitos pesquisadores e estudiosos desde que o Ministério da Educação (MEC) divulgou, no mês de junho, os resultados do Ideb de 2007.

Os resultados apresentados ao público revelam um aumento significativo do desempenho de redes e escolas, a ponto de o Brasil ter antecipado em dois anos o cumprimento de metas previstas para 2009. Nos anos iniciais do ensino fundamental e no ensino médio, o Ideb de 2007 ficou, respectivamente, em 4,2 e 3,5 – metas que se esperava atingir apenas em 2009. Nos anos finais do ensino fundamental, o Ideb verificado em 2007 foi de 3,8 – 0,1 ponto acima do estabelecido para 2009.

O maior avanço se deu nas séries iniciais do ensino fundamental. Nessa etapa, 20 das 27 unidades da Federação se igualaram ou superaram a meta para 2009. Nos anos finais do ensino fundamental, 15 estados ultrapassaram as metas para 2009. Já no ensino médio, o avanço foi mais tímido; ainda assim, sete unidades da Federação chegaram ao padrão esperado para daqui a dois anos.

Também chama a atenção, entre outros resultados, que o Nordeste, historicamente conhecido pelos problemas e dificuldades no campo da educação, tenha sido a região que puxou o avanço nos anos iniciais do ensino fundamental. Ou que Minas Gerais, que costuma se destacar positivamente nas avaliações oficiais, não tenha alcançado a meta do Ideb para 2007 no mesmo nível de ensino.

Esses resultados têm levado muitas pessoas – inclusive nos bastidores do MEC – a se perguntar quais são as causas de aumento tão significativo e, em certa medida, surpreendente. Afinal, não existem muitas dúvidas de que os efeitos das ações e políticas no campo da educação tendem a se materializar em médio e longo prazos. Fica no ar, então, uma questão: o que as redes públicas de ensino fizeram para gerar resultados positivos tão rapidamente? Afinal, o Ideb foi anunciado em abril e a Prova Brasil, cujos resultados compõem o índice, foi feita em novembro.

Enquanto alguns buscam as fórmulas para o sucesso, outros levantam a hipótese de que a fotografia da educação brasileira revelada por meio do Ideb talvez não corresponda exatamente à realidade das escolas e redes de ensino. Alguns apontam erros na base de dados do Educacenso, de onde se extrai a taxa de aprovação que, junto com a média dos alunos na Prova Brasil e no Sistema de Avaliação da Educação Básica (Saeb), origina o índice conhecido como Ideb.

Erros de informação

Esse teria sido o caso do município de São Paulo, onde alunos transferidos e que abandonaram os estudos durante o ano letivo de 2007 foram computados como reprovados, falseando os dados. Como a taxa de reprovação registrada no Educacenso foi maior do que a efetiva, a aprovação considerada para efeito de cálculo do Ideb foi menor do que a real. Por isso, o Ideb da capital paulista ficou abaixo do que deveria ser, segundo as autoridades locais.

O ocorrido veio a público por meio da imprensa e, em virtude desse caso e de outros que acabaram não sendo divulgados, o Inep abriu um prazo para que os estados (os responsáveis pela validação das informações fornecidas pelas escolas ao Educacenso) fizessem correções. Até meados de julho, o Inep ainda não tinha fechado o balanço dos ajustes, mas já era dado como certo que será necessário fazer uma nova divulgação com a correção do Ideb de municípios e escolas. Além disso, o Inep estuda modificar a maneira como é feita a divulgação dos resultados, passando a publicar, inicialmente, dados preliminares sujeitos a ajustes, como ocorre com o Educacenso.

O presidente do Inep, Reynaldo Fernandes, explica que o problema em São Paulo ocorreu porque escolas forneceram informações erradas. "Se a informação vem errada, o cálculo do Ideb também fica errado. Por isso, divulgamos os dados e demos um prazo para correções", afirma. Embora ele admita a possibilidade de erros no Ideb de algumas localidades, o presidente do Inep assegura que são erros pontuais, decorrentes das dimensões e da complexidade das operações envolvidas na coleta de dados do Educacenso e do processo de cálculo do índice. E por serem tão escassos dentro do universo, continua Fernandes, passam despercebidos nos testes de consistência dos dados realizados pelos técnicos do Inep.

Mudança de processo

O Educacenso foi implantado em 2007 e apresenta algumas diferenças fundamentais em relação ao Censo Escolar vigente anteriormente: a unidade de pesquisa deixou de ser a escola e passou a ser o aluno; além disso, os dados começaram a ser fornecidos diretamente pelas escolas ao Inep por meio de sistemas eletrônicos – antes eles eram consolidados e transmitidos ao Inep pelas secretarias estaduais. O problema é que, por ser novo, o sistema pode dar margem a falhas, até por falta de familiaridade dos diretores e dos secretários escolares que são, normalmente, os responsáveis pelo preenchimento dos formulários eletrônicos.

Para o coordenador da Campanha Nacional pelo Direito à Educação, Daniel Cara, é preciso avaliar outros fatores determinantes da qualidade do ensino

Exemplo disso é o módulo sobre movimentação e rendimento de alunos, que fornece algumas opções para informar a situação dos estudantes ao longo do ano letivo. Ele dá margem para que se marque que um mesmo aluno foi aprovado e abandonou os estudos, situações obviamente contraditórias. De acordo com a diretora do Departamento de Planejamento da Secretaria de Educação do Estado do Rio Grande do Sul, Ivonilda Hansen, algumas escolas gaúchas realmente cometeram erros durante o preenchimento das informações e, por isso, ficaram sem Ideb.

A diretora aponta ainda que há casos de erros de interpretação por parte dos responsáveis pelo fornecimento das informações nas escolas, que confundem, por exemplo, a reprovação (quando o aluno não atinge o mínimo exigido) e o abandono (quando ele, por algum motivo, deixa de freqüentar o sistema de ensino). Além desses problemas, a dimensão da rede de ensino dificulta a identificação dos erros. "É muito difícil acompanhar 2,6 mil escolas", argumenta a diretora Ivonilda. Apesar dessa possibilidade, ela elogia o Ideb e reitera a utilidade do indicador do ponto de vista da gestão. "Ele nos situa em relação ao conjunto de estados, permite comparações entre as redes de ensino e em relação ao passado", afirma.

Ideb x Saeb

As críticas ao Ideb não se restringem, contudo, às informações eventualmente equivocadas. O debate sobre as possibilidades e limites do Ideb como instrumento para medir a qualidade do ensino ganhou fôlego no mês de julho com um documento divulgado na internet assinado pela secretária de Educação de Minas Gerais, Vanessa Guimarães e seu adjunto João Antônio Filocre, questionando o resultado do Ideb para o estado e a metodologia adotada pelo Inep.

Entre os questionamentos que constam do documento está o fato de que foram feitas mudanças no Saeb de 2007 em relação às edições anteriores, o que poderia diminuir a precisão do resultado, ou seja, a mensuração da aprendizagem dos alunos, falseando novamente o Ideb.

Em linhas gerais a mudança consiste na transformação do Saeb em uma amostra da Prova Brasil.  De acordo com um documento produzido pelo Inep em resposta às críticas feitas por Minas Gerais, de 1995 a 2005 o Saeb era aplicado em uma amostra de alunos de cada um dos estratos avaliados (escolas públicas, privadas, urbanas e rurais da 4ª série e da 8ª série do ensino fundamental e da 3ª série do ensino médio). Cada aluno respondia a uma prova com 39 itens de matemática ou língua portuguesa, o que dava um total de 169 itens avaliados para cada uma das séries e disciplinas avaliadas em 26 tipos de provas diferentes. O objetivo do Saeb é fornecer informações sobre o país e os sistemas estaduais de ensino. A Prova Brasil é diferente, porque avalia alunos somente de escolas públicas urbanas, da 4ª e da 8ª séries, que estudam em turmas com pelo menos 20 alunos.

Com a modificação da metodologia em 2007, uma parcela dos dados obtidos na Prova Brasil – ou seja, na 4ª e na 8ª séries das escolas públicas – foi utilizada para o Saeb, o que totaliza um número de itens avaliados menor do que os 169 itens considerados até 2005. Para o secretário-adjunto de Educação de Minas Gerais, João Antônio Filocre, cabe ao Inep, explicar tecnicamente em que medida a modificação não prejudica a comparação dos resultados das edições anteriores do Saeb.

A questão é relevante para Minas porque o estado possui, há 16 anos, uma avaliação construída nos mesmos moldes do Saeb. "Ao longo do tempo, sempre comparamos os resultados e eles eram coincidentes. Em 2007, os resultados do Ideb não coincidem mais com o que levantamos na nossa avaliação", assinala Filocre. De acordo com ele, a avaliação mineira sinaliza para avanços significativos nos anos iniciais do ensino fundamental, o contrário do resultado do Ideb, que constatou uma melhoria da qualidade da educação nas demais etapas.

O presidente do Inep assegura que a nova metodologia não prejudica o Saeb, pois, ao contrário do que afirmam os técnicos de Minas Gerais, a mudança aumenta a precisão dos resultados obtidos, já que a parcela de dados referente ao ensino fundamental das escolas públicas considera todos os alunos que participaram da Prova Brasil – um universo maior do que a amostra do Saeb. "O efeito é um aumento da precisão dos dados referentes às turmas e às escolas, o que é bom, porque o foco das políticas públicas em vigor atualmente é a escola", reitera Fernandes.

Contudo, além dos ajustes já mencionados, Filocre aponta a necessidade de aperfeiçoar a concepção teórica do indicador, crítica que é compartilhada por especialistas em avaliação.  "É louvável que o Brasil tenha criado um indicador que fornece informações sobre a qualidade da educação. O Ideb é um esforço legítimo. No entanto, há aspectos que precisam ser mais bem cuidados, para que ele seja mais preciso para captar os movimentos", analisa o secretário-adjunto de Minas.

Nesse sentido, uma crítica relativa à metodologia é o fato de o indicador combinar taxas de aprovação (que é uma medida de fluxo e diz respeito aos sistemas de ensino) com o desempenho dos alunos na Prova Brasil e Saeb (que é uma medida individual dos alunos e das escolas). "Ao agregar coisas diferentes, o Ideb dá algumas indicações sobre qualidade, mas ele não sinaliza claramente o que precisa ser melhorado", analisa João Batista de Oliveira, presidente do Instituto Alfa e Beto, que presta assessoria a redes de ensino em programas de alfabetização e aceleração da aprendizagem.

João Filocre, de Minas Gerais: "Em 2007, os resultados do Ideb não coincidem mais com o que aferimos

Ele cita como exemplo o município alagoano de Jequiá da Praia, que teve aumento do Ideb na 4ª e na 8ª séries, apesar da queda de rendimento dos alunos. Após estudar o caso, o pesquisador concluiu que o aumento do índice no município se deve ao fato de que seu Ideb sofreu forte influência das taxas de aprovação, porque foi calculado apenas com base em dados de uma das duas escolas que constam da lista do Inep.  "Os dados precisam ser analisados com prudência", alerta. Para ele, o caso de Jequiá é uma ilustração de aspectos que talvez precisem ser ajustados no Ideb. "O Brasil possui muitos municípios pequenos, o que dá margem a desajustes, fragilizando os resultados", diz. "Há questões técnicas e metodológicas que precisam ser esclarecidas, tornadas públicas e discutidas."

Limites

Outro aspecto que vem sendo apontado são as eventuais limitações do Ideb. O coordenador da Campanha Nacional pelo Direito à Educação, Daniel Cara, aponta alguns limites do Ideb, indicador que, na opinião dele, é muito centrado na aprendizagem, desconsiderando elementos relevantes para uma educação de qualidade.  "O Ideb é um termômetro que revela se o aluno está ou não assimilando informações fornecidas pelo sistema educacional, mas não considera aspectos que têm impacto sobre a qualidade, como a valorização dos profissionais e a infra-estrutura", afirma Cara.

É por isso que em muitas partes do país estão surgindo avaliações locais com o objetivo de complementar o diagnóstico feito por meio do Ideb.  Um exemplo é Pernambuco que, em 2008, criou um sistema de avaliação que "dialoga" com o Ideb e, ao mesmo tempo, analisa o desempenho das escolas em relação a elas mesmas ao longo do tempo, além de estabelecer metas e mecanismos de premiação para aquelas que atingirem as metas.

"O Ideb é relevante para o país, como indicador nacional, mas é importante que cada sistema de ensino tenha suas próprias referências para monitorar mais de perto a realidade local", explica Margareth Zatoni, secretária executiva de Gestão de Rede da Secretaria de Estado da Educação de Pernambuco. Assim como Pernambuco, São Paulo e Distrito Federal, entre outros, estão implementando seus sistemas de avaliação.

O presidente do Inep vê o atual debate de maneira positiva e o entende como efeito do sucesso da atual política. "É normal que surjam críticas e o debate cresça. Quanto mais informações, maiores as críticas. Isso é natural e é bom. O Brasil só tem a ganhar", reitera Fernandes.

No entanto, baseando-se na experiência internacional, ele defende o atual rumo das políticas. "Os estudos evidenciam que o efeito das avaliações em larga escala é a melhoria da aprendizagem e da qualidade." Nessa medida, ele admite que possam existir erros pontuais. "Não existe avaliação perfeita, todas estão sujeitas a problemas, mas eles tendem a afetar uma parcela ínfima de escolas. Eles não prejudicam, nem inviabilizam a política", afirma o presidente do Inep.

O debate está lançado. Cabe acompanhar seus impactos e efeitos sobre o objetivo maior das ações e políticas e em torno do qual existe um consenso, independentemente das questões teóricas e metodológicas: a necessidade de melhorar, urgentemente, a qualidade da educação brasileira.

Autor

Marta Avancini