Alunos durante prova do Enem em 2009: prova passou a ser responsável pelo ingresso em universidades federais

Aquele ano escolar começou de maneira atípica. O pronunciamento do secretário de Educação dos EUA caiu feito uma bomba no colo dos pais norte-americanos: a partir daquele momento, as férias escolares teriam duração de um ano. Por consequência, todas as escolas do país seriam fechadas. “Agora que elas não existem mais, quem sabe poderemos voltar a ensinar de verdade?”, comemorou um professor. Um relatório do governo escrito para justificar a medida apontou que, como partiam do lema “faça primeiro, pense depois”, os formuladores de políticas públicas não perceberam que estavam criando respostas para os problemas errados. Enquanto isso, os professores, frustrados com o volume de testes padronizados, acabaram por se revoltar: optaram por ensinar apenas o que caía nas provas. Também cansados dos exames, os alunos pararam de frequentar as aulas. No fim das contas, as escolas simplesmente perderam sua razão de existir.

O parágrafo acima é o resumo de uma história fictícia criada pelo professor Mark Phillips, da Universidade Estadual de São Francisco, na Califórnia, e publicada no site do jornal The Washington Post em fevereiro deste ano. Ainda que exagerado e um tanto distante da realidade brasileira, este relato de um possível futuro do sistema educacional norte-americano reflete as preocupações de quem pensa e de quem participa dos sistemas de avaliação no Brasil.

Mais de duas décadas depois da chegada da primeira avaliação de desempenho dos alunos, o Sistema Nacional de Avaliação da Educação Básica (Saeb), e com diversas outras avaliações adotadas em âmbito nacional, estadual e municipal, várias questões pedem reflexão sobre o acerto dos caminhos por elas indicados: a pouca ou má apropriação de seus resultados, as fraudes para obtenção de melhor desempenho, o currículo pautado apenas pelas provas e visões reducionistas da qualidade de educação e do próprio significado do que seja educar.

Nos dias correntes, ainda é possível conversar com professores e gestores que relatam dificuldades para entender as avaliações. Há docentes categóricos: as provas padronizadas não deram mais subsídios para que eles conhecessem melhor seus alunos. Outros, como aqueles que trabalham na rede estadual de São Paulo, sentem-se obrigados a ensinar apenas o conteúdo exigido pelo Sistema de Avaliação de Rendimento Escolar do Estado de São Paulo (Saresp) porque a melhora dos resultados está atrelada ao recebimento de um bônus. Os alunos questionam o sentido das provas. No âmbito dos especialistas, há divergência sobre o papel da avaliação externa, além da falta de clareza sobre como instituir, nas redes e nas escolas, uma cultura de interpretação pedagógica dos resultados. Enquanto isso, o Brasil segue apostando nas avaliações de desempenho dos alunos como o instrumento com melhores condições de resolver um velho problema da educação: a melhoria da qualidade do ensino.

Medir, avaliar
A concepção de avaliação que aterrissou no Brasil em 1990 com o Saeb e persiste até hoje tem uma característica marcante. Em primeiro lugar, é preciso entender que avaliar não é sinônimo de medir. A medida apenas indica o quanto os alunos sabem de determinados conteúdos. Quando a medida passa a ser objeto de juízo, entra-se no terreno da avaliação. Por exemplo: o conhecimento apresentado por um aluno de 4ª série é considerado adequado ou insuficiente? Ao longo dos anos, o poder público brasileiro optou pela ênfase na avaliação de desempenho em língua portuguesa e matemática. Ao contrário da avaliação de aprendizagem, que é realizada na escola a partir de um acompanhamento do desenvolvimento do aluno no decorrer de sua trajetória escolar, a de desempenho tem como instrumento fundamental um teste padronizado realizado pelo estudante durante um tempo limitado.

Nesse sentido, a cultura da avaliação de desempenho aumentou de maneira considerável durante o governo do ex-presidente Luiz Inácio Lula da Silva. Em oito anos, foram criados a Prova Brasil, a Provinha Brasil e o Índice de Desenvolvimento da Educação Básica (Ideb). Isso sem contar as mudanças promovidas pelo governo federal no Exame Nacional de Desempenho de Estudantes (Enade, antigo Provão) e no Exame Nacional do Ensino Médio (Enem), que passou a ser responsável pelo ingresso dos estudantes em universidades federais.

Essas duas décadas também marcaram a introdução de diversas avaliações em sistemas estaduais e municipais, tais como o Sistema Mineiro de Avaliação da Educação Pública (Simave), o Sistema de Avaliação Educacional de Pernambuco (Saepe) e o Sistema de Avaliação do Rendimento Escolar do Rio Grande do Sul (Saers), entre outros. No Espírito Santo, estado que tenta aplicar um novo modelo de avaliação (leia texto na página 39), há o Programa de Avaliação da Educação Básica do Espírito Santo (Paebes). Em São Paulo, além do Saresp, aplicado pela rede estadual paulista, há também a Prova São Paulo, que avalia o desempenho dos alunos da rede municipal.

Educação comprometida?
Uma das principais críticas feitas à ênfase na avaliação de desempenho é o fato de ela ter se tornado um símbolo de qualidade de ensino. “Esta não é a única referência de qualidade, mas um indicador. Não podemos olhar a prova como a única avaliação do aluno”, opina Sandra Zákia, professora da Feusp e especialista na área. A fala de Sandra ecoa a percepção de muitos pesquisadores que se dedicam ao tema. Para Luiz Carlos de Freitas, da Unicamp, o básico avaliado pelas provas exclui uma série de dimensões fundamentais da formação do estudante. “Elas eliminam uma discussão importante sobre o que é ter uma boa educação. As matrizes limitam-se a algumas disciplinas e, dentro destas, a determinadas habilidades e competências igualmente limitadas”, opina.

Romualdo Portela, também professor da Feusp, acredita que as provas provocam uma “simplificação grosseira” da educação. “Educar é mais do que ensinar dois conteúdos. Queremos que os alunos tenham pensamento crítico e que adquiram noções de cidadania”, explica. “Dizer que temos um bom Ideb é bom para termos competitividade internacional, mas isso não faz referência à educação de que precisamos”, complementa.

No livro The work of nations (1992), Robert Reich, ex-secretário de trabalho do governo Bill Clinton, chama a atenção justamente para isso: as provas não dialogam com o tipo de educação que o mundo contemporâneo exige. Em artigo publicado no The New York Times anos depois, Reich via um contrassenso na aposta em exames padronizados justamente quando a economia fazia o movimento de eliminar os empregos padronizados. Ele também discorria sobre um efeito perverso trazido pelas provas em seu país: “elas são monstruosamente injustas com a maioria das crianças. Estamos criando um sistema de educação padronizado que chama muitos jovens de fracassados quando eles poderiam ter outro desempenho se tivessem sido apresentados a outro tipo de educação, cujo progresso fosse medido de outra maneira”.

Há quem pense diferente. Francisco Soares, da Universidade Federal de Minas Gerais (UFMG) é um deles. Para ele, as críticas feitas às avaliações acabam legitimando a não produção de evidências. “Como vou verificar se as crianças estão aprendendo? Se não sabemos o que está acontecendo, não temos como fazer nada”, defende. Questionado sobre a restrição curricular das provas, ele argumenta: “os críticos de agora são os mesmos que conviviam com escolas onde ninguém aprendia, mas ninguém sabia que isso ocorria. Os textos de leitura variam e se o aluno se especializar em entender os textos que estão nos testes, terá aprendido a ler e poderá funcionar como cidadão”, aponta.

Ruben Klein, da Cesgranrio, tem opinião semelhante. Quando escuta o discurso de que a escola “deve formar cidadãos críticos”, ele pondera: se o aluno não aprendeu a interpretar um gráfico, como vai ser crítico? “As avaliações dão subsídios para formular políticas públicas. Agora, também é preciso investir em formação de professores, livros didáticos etc.”, diz.

Altas expectativas
Críticas à parte, o que se observa na prática é que, quando os resultados das provas padronizadas são tomados como a grande medida da qualidade de ensino, alguns problemas tendem a surgir. Um exemplo claro são as consequências provocadas pela falta de controle de presença dos alunos que fazem a Prova Brasil, avaliação que é incorporada, juntamente com indicadores de fluxo, à nota final do Ideb. Muitas escolas colocam apenas seus melhores alunos para realizar o exame – não há uma medida que indique o número de ausentes. Assim, a nota é puxada para cima.

A importância dada aos resultados das provas também traz outro tipo de manipulação: as fraudes. Enquanto o Enem operava como exame de diagnóstico do ensino médio, o Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira (Inep) não registrou esse tipo de problema. Mas nas duas últimas edições, quando passou a determinar o ingresso em universidades federais, além do registro de vazamento da prova e da tentativa de venda ao jornal O Estado de S. Paulo, foram registradas diversas situações de cola. “A temática das fraudes passa a existir quando a prova passa a ter grande importância. Ela deve ser usada para monitorar, não como recurso administrativo”, defende Romualdo Portela.

Ele faz referência ao uso dos resultados de provas padronizadas para a bonificação de professores – política aplicada no Estado de São Paulo e em países como EUA e Inglaterra. A partir dos resultados do Saresp, a Secretaria de Educação paulista identifica os professores e funcionários de escolas que alcançaram as metas estabelecidas no ano anterior e os bonifica. Para receber o benefício, também é preciso ter comparecido às aulas em pelo menos dois terços do ano. Os prêmios são coletivos, por escolas que atingiram as metas, e não individuais. Em 2010, 176,5 mil dos 217.583 total de professores da rede receberam o bônus.

No final do mesmo ano, quando o Saresp foi aplicado, foram registrados quatro tipos de problemas: o gabarito trazia uma numeração diferente da que constava no caderno de perguntas; houve denúncias de que professores ajudaram seus alunos a realizar as provas; os exames chegaram na sala errada e os alunos tiveram de trocar de classe; muitos estudantes usaram o celular durante a realização da prova. Além disso, 200 alunos resolveram boicotar o exame (veja texto na pág. 30). Para Wanderley Messias da Costa, do Departamento de Geografia da USP, situações como essas, registradas tanto no Enem como no Saresp, demonstram a falta de infraestrutura e de logística dos órgãos que as executam. No caso do Enem, ele afirma que o Inep precisa criar um sistema central de computação à altura do porte do exame. “Poderiam até usar aparatos tecnológicos disponíveis em outros órgãos, como a Receita Federal e o Banco do Brasil”, sugere.

Wanderley cita como exemplo o Scholastic Assessment Test (SAT), exame do ensino médio nos EUA, que é administrado pelo computador. O aluno tem um login e uma senha no site da prova, através do qual pode acessar datas disponíveis para o exame, os resultados e até mesmo materiais explicativos e de preparação. “Mas a nota do SAT não define a entrada na universidade: há análise de currículo, de histórico escolar, de aspectos culturais e comportamentais e entrevista”, lembra. Outro caminho sugerido por ele para evitar as fraudes é descentralizar a aplicação do exame, contando com a ajuda das secretarias de estaduais de Educação.

Fraude educacional
Após a instituição dos exames padronizados, é comum que os professores se pautem pelo conteúdo das provas para determinar o currículo escolar, numa inversão de processo: não é o currículo mínimo nacional que pauta as provas, mas estas que constroem uma matriz curricular. Esse movimento cria um risco iminente de esvaziamento educacional, pelas limitações dessas matrizes. Para Sandra Zákia, a matriz do Saeb atualmente pauta boa parte dos currículos escolares na prática. “O currículo é uma mistura do que já se tinha com as matrizes”, explica. Romualdo Portela afirma que, em algum momento, o país terá de fazer uma revisão de ambos – do currículo e da matriz. “Vamos ter, inclusive, de perguntar: a matriz do Saeb é realmente boa?”, questiona. Na contramão, Francisco Soares, da UFMG, acredita que o currículo será sempre menor que a especificação das avaliações. “Como não temos uma clareza nas expectativas de aprendizagem, as avaliações cumprem um papel de dizer para as escolas que pelo menos aquilo que é cobrado tem de ser ensinado”, opina.

Mas nem o currículo garante a independência dos professores em relação aos exames. Matheus Lima leciona história para turmas de ensino médio na EE República do Peru, em São Paulo, estado com um currículo mínimo definido. O professor conta que, desde a instituição do bônus, a coordenadoria pedagógica passou a motivar os docentes a preparar suas aulas com base no Saresp – o objetivo é melhorar a nota. “Nós, professores, temos consciência de que não estamos falando de qualidade de educação. Mesmo quem não concorda acaba fazendo por conta do bônus. Ele acaba sendo o único motivo que faz a gente se engajar”, desabafa. O relato de Matheus não é o único que demonstra a força das provas. No site da EE Professor Paul Hugon, um aviso chama a atenção: “1º simulado do Saresp – 26/04/2010”.

Bônus e conhecimento da matriz
Ao analisar a fala de Matheus, Ocimar Alavarse, também da Feusp, levanta como possível causa a pressão sofrida por professores e coordenadores por parte de seus diretores, supervisores e, principalmente, da instância regional da secretaria estadual de Educação. “Ela pode estar associada à ameaça de não receber o bônus, cujo valor depende, também, do desempenho no Saresp”, explica. Mas, além disso, o depoimento do docente indica que há indícios de confusão e ignorância docente em relação às avaliações externas – até que ponto os docentes e gestores as conhecem? O domínio das matrizes e das escalas de proficiência é essencial para que eles façam bom uso pedagógico das testagens e potencializem a sua utilização.

O supervisor de ensino Julio Gomes de Almeida, da rede municipal de São Paulo, afirma que as avaliações externas não o ajudaram em seu trabalho. Para ele, a Prova São Paulo e as avaliações federais foram apresentadas de modo aligeirado, tornando difícil enquadrar o aluno nas escalas. “Além de saber o que as escalas dizem sobre os alunos, parece ser importante buscar o que dizem sobre o sistema, sobre as políticas públicas. O poder público implantou o sistema sem discutir com quem vai executá-lo”, explica. Julio não sabe como orientar os professores a mudar a metodologia inadequada. “Diante da dificuldade do aluno, eles mantêm o que já não vem dando certo. O desafio é direcionar o trabalho para o outro lado”, diz.

Longe da escola
Relato semelhante faz Cláudia Rácz, docente da mesma rede. “A Prova Brasil nunca me deu elementos para avaliar ou conhecer melhor meus alunos.” Sem nunca ter participado de uma capacitação sobre a prova, Cláudia entende as escalas de proficiência porque é curiosa. “Não temos um retorno de como o grupo se saiu. Acabo observando meus alunos fazendo a prova, para tentar captar suas dificuldades”, revela. A professora prefere apostar mais na avaliação que faz em sala de aula, mais processual. “Levo em conta a disciplina, o comprometimento, as lições de casa, as sondagens que faço, se prestam atenção”, explica. Raoni Huapaya, professor do ensino médio em escola particular do Espírito Santo, crê que a gestão dos resultados se dá mais no plano macro, na comparação com outros países e nas metas que o país assume, do que na escola. “Na sala de aula fica tudo muito abstrato”, pontua.

Nesse sentido, Luiz Carlos de Freitas, da Unicamp, considera que a Provinha Brasil é uma experiência positiva. “Ela é aplicada e corrigida pela própria escola e, portanto, pode ser usada em tempo real. As bases de dados das outras provas demoram a ser liberadas e têm formatação que exige muito trabalho para ficarem em condições de uso. Quando os resultados ficam prontos, já passou muito tempo, o professor não é o mesmo, o aluno mudou”, opina.

Para Ocimar Alavarse, um dos maiores desafios é transformar essas avaliações em apoio aos professores. “Eles precisam conhecer melhor as provas e saber analisar seus resultados. Elas devem ajudá-los na avaliação do dia a dia, porque são pontuais”, sugere. Ocimar afirma que é preciso instituir uma cultura de diálogo com as escolas, para que passem a incorporar os resultados. Para isso, o poder público deve capacitar docentes, coordenadores pedagógicos e supervisores no que diz respeito ao sistema de avaliação. “Assim, o professor poderá receber o resultado da prova e ser questionado: a nota está em concordância com o que você observa na escola?”, propõe.

Sandra Zákia segue o mesmo caminho. Para ela, seria um avanço pensar em uma avaliação externa que seja incorporada ao processo de autoavaliação da escola. “Os resultados de ambas podem ajudar a escola a lançar um olhar sobre si mesma. Mas isso é pouco feito no país.” Além de repensar a concepção de avaliação, é preciso instituir um processo de reflexão sobre os resultados obtidos.

“Estamos encantados com os números. Ainda não conseguimos dar uma interpretação pedagógica a eles”, afirma Francisco Soares. O matemático Ubiratan D””Ambrósio, que cita o livro The work of nations em suas pesquisas na área de ciências e educação, tem uma imagem simbólica para o sistema brasileiro de testagem dos alunos: é como se o país estivesse doente e usasse sucessivamente um termômetro para recolher informações sobre sua saúde. “Mas o termômetro só fornece isso: as informações”, constata. Resta, para além da coleta, saber qual o diagnóstico e quais as alternativas viáveis para que o país se afaste do cenário devastador descrito pelo americano Mark Phillips, citado no início desta matéria.

“Estamos retrocedendo”, diz dirigente paulista

A Secretaria de Estado da Educação de São Paulo discute mudanças de diretrizes tidas como as principais bandeiras das gestões de Maria Helena Castro Guimarães e Paulo Renato de Souza, ambas no governo José Serra (PSDB), como a bonificação por desempenho e o desenho do Sistema de Avaliação de Rendimento Escolar do Estado de São Paulo (Saresp). O atual secretário-adjunto, João Cardoso Palma Filho, afirma que a secretaria estuda desvincular os resultados do Saresp do bônus pago a professores da rede. Uma das justificativas é justamente a apropriação das matrizes da prova como o único currículo escolar. “Os professores começam a trabalhar em demasia em cima do Saresp porque vai ter repercussão no bolso deles. É uma distorção”, diz. Para Palma Filho, o currículo não pode ser focado apenas na prova, porque “reduz demais” o conteúdo a ser ensinado. Outra ideia que circula entre a equipe da nova gestão é usar o Saresp como um dos critérios de ingresso nas três universidades públicas paulistas (USP, Unesp e Unicamp), num modelo similar ao praticado com o Enem até 2008. A secretaria também discute simplificar as matrizes do Saresp, a partir da elaboração de uma sinopse mais simples e objetiva para diretores e supervisores de ensino. Além disso, há diretores e supervisores que apontam atraso na chegada dos resultados, e a não utilização de sua análise com fins de planejamento para o próximo ano letivo. O secretário-adjunto ressalta que o Saresp é uma avaliação de sistema, e que não deve ser usada pelas escolas para avaliar diretamente o aluno. Segundo ele, a função da avaliação de sistema é informar a secretaria sobre o funcionamento das escolas e sobre as intervenções que devem ser feitas. Portanto, ela não substitui a avaliação processual que a escola tem de fazer junto ao aluno. “Estamos retrocedendo. Antigamente, acompanhávamos o aluno. A cada dois meses, havia uma nota das avaliações. O que o aluno não estava aprendendo o professor tentava recuperar no bimestre seguinte. As avaliações de sistema são importantes, mas dentro do papel delas, que é orientar o planejamento”, conclui.

O boicote dos alunos

A Escola Técnica Estadual de São Paulo (Etesp) é considerada a segunda melhor escola pública do Estado de São Paulo, segundo o ranking do Enem. Nas duas últimas edições do Saresp (2009 e 2010), os 200 alunos da escola boicotaram a prova. O principal motivo para a recusa dos alunos de fazer o exame é o entendimento de que ele está sendo aplicado em escolas técnicas para “puxar a nota” geral do Índice de Desenvolvimento da Educação do Estado de São Paulo (Idesp) para cima. “Essas escolas [técnicas] têm desempenho superior muito mais pelo fato de seus alunos terem passado por um processo seletivo”, explica o manifesto da gestão Mosca na Sopa, operante até o final de 2011. “Pensamos que a secretaria quer fazer divulgação de resultados com a prova”, complementa Laura Viana, 17 anos, coordenadora de imprensa do Grêmio. Segundo ela, a prova é considerada fácil entre os estudantes das escolas técnicas. “Se o currículo fosse seguido direito, os alunos das outras escolas públicas também achariam”, opina. Outra crítica do Grêmio é a falta de explicação, por parte da secretaria estadual de Educação, sobre a prova. “Há professores que dizem que a nota vai ser usada na nota da escola, porque querem que os alunos tenham bom desempenho”, conta. “E se a prova tem como objetivo diagnosticar os principais problemas de aprendizagem, nada está sendo feito com isso. A gente nunca ouviu falar de avanços decorrentes dela”, afirma.

+ Leia mais:

– Lei de responsabilização dá indícios de não estar funcionando nos EUA

– Diane Ravitch: testes não podem ser mais importantes que o currículo

– Escola em Campinas tem concepção de avaliação que vai além do desempenho em testes