Professora na rede pública de Washington D.C.: eles agora não são mais avaliados pelos testes de seus alunos

Em junho de 2014, a rede escolar de ­Wa­shington D.C., uma das primeiras dos Estados Unidos a utilizar os resultados obtidos por estudantes em testes padronizados na avaliação de seus professores, anunciou que abandonaria essa prática. A decisão, tomada por conta de complicações que acompanharam a introdução de testes ligados ao novo parâmetro curricular do país (o Common Core State Standards), coloca esse método de avaliação docente novamente em xeque. Além dos próprios docentes, que consideram injusta a aferição de seu trabalho feita exclusivamente com base nos resultados das provas, há resistência à prática por parte de pesquisadores, da Associação Norte-Americana de Estatística, dos sindicatos de professores, e até mesmo da Fundação Bill e Melinda Gates, que investiu mais de US$ 200 milhões para implementar os padrões curriculares do Common Core.

Trajetórias de aprendizagem
O coro é especificamente contra o uso irrestrito dos chamados Value-Added Models (VAMs), um dos métodos de avaliação docente mais difundidos no país. O VAM é usado por formuladores de políticas públicas para avaliar o impacto de distritos educacionais, escolas e professores na aprendizagem dos alunos (medida pelo resultados de provas padronizadas feitas pelos estudantes). Esses métodos estatísticos permitem uma análise mais enriquecida dos resultados de provas padronizadas porque grupos de estudantes são “seguidos” para que suas trajetórias de aprendizagem sejam examinadas ao longo do tempo em diferentes anos escolares, com professores, escolas e distritos educacionais distintos. Trocando em miúdos, professores, distritos educacionais e escolas são avaliados pelo crescimento apresentado pelos alunos nos resultados de testes padronizados.

Para entender a importância dos VAMs e o porquê da resistência que se formou contra eles, é preciso fazer uma viagem No tempo. Aprovada pelo ex-presidente republicano George W. Bush em 2001, a lei No Child Left Behind (NCLB ou Nenhuma Criança Deixada para Trás) instituiu a primeira política de meritocracia mais importante do país ao estabelecer que todos os estados norte-americanos deveriam ter 100% de seus alunos proficientes em matemática e leitura até o final do ano acadêmico de 2014 (o que não ocorreu). O desempenho dos estudantes passou a ser aferido anualmente por testes padronizados (que não eram necessariamente os mesmos em diferentes estados) aplicados entre os 3º e 8º anos do ensino fundamental e em um ano do ensino médio. A cada ano, os resultados eram comparados com os dos anos anteriores e enquadrados nos níveis de proficiência definidos por cada estado. Assim verificava-se se as escolas apresentavam crescimento adequado ou não para chegar aos 100% de proficiência nas duas áreas do conhecimento. Essa “metodologia” de coleta de dados e análise do desempenho dos alunos desembocava em uma métrica chamada Avanço Anual Adequado (em inglês, Adequate Yearly Progress, ou AYP), que era usada para responsabilizar os atores educacionais na era da lei NCLB.

Foi nessa mesma época que foi criado o precursor de um dos VAMs mais utilizados no país: o Education Value-Added Assessment System (Sistema de Valor Agregado em Educação, ou Evaas), vendido pela empresa SAS. Desenvolvido pelo pesquisador William L. Sanders na Universidade do Tennessee em Knoxville, o Tennessee Value-Added Assessment System (Tvaas), implementado no estado do Tennessee em 1993, foi vendido em 2000 à empresa SAS, que hoje comercializa o Evaas.Quando o presidente democrata Barack Obama instituiu a segunda política de meritocracia mais importante do país – o Race to the Top (RTTT ou Corrida ao Topo) – em 2011, o Tvass/Evaas já era usado no Tennessee há mais de 20 anos. O estado foi um dos dois escolhidos para receber o primeiro prêmio em dinheiro concedido pelo governo federal (o outro foi Delaware). O RTTT estimula a competição entre estados e/ou distritos escolares por recursos. Na prática, aqueles que instituem as políticas recomendadas pelo governo federal ganham pontos – quanto mais pontos, maior a chance de ganhar recursos.

+ Para saber mais sobre o envolvimento de Dov Rosenberg no Public Schools First North Carolina, acesse o vídeo com uma entrevista realizada com ele

VAM: os problemas
Em 2011, o Evaas foi adotado pela rede estadual da Carolina do Norte como o processo estatístico que examinaria o impacto de professores, distritos educacionais e escolas no aprendizado de seus alunos. Em artigos assinados por William Sanders e outros pesquisadores, o Evaas é definido como um modelo que permite o rastreamento das mudanças ocorridas ao longo do tempo nos resultados das provas padronizadas feitas por alunos e do impacto que têm distritos escolares, escolas e professores na evolução desses resultados. O sistema, que processa até cinco anos de dados, usa regressões lineares com modelos mistos que aceitam variáveis de controle complexas para analisar os dados das provas.

Passados dois anos da adoção do Evaas no estado, Dov Rosenberg, 36 anos, professor auxiliar de tecnologia na escola Rogers-Herr, em Durham e um dos organizadores do movimento Public Schools First North Carolina (Escolas da Carolina do Norte em Primeiro Lugar), diz que ainda não compreende totalmente como o desempenho docente é aferido. “Não sabemos como chegam ao resultado final. Recebemos um número e um valor correspondente em percentil, mas não sabemos de onde eles vêm”, desabafa.

O relato de Rosenberg encontra eco a milhares de quilômetros dali, na cidade de Tempe, no estado do Arizona. Durante os últimos seis anos, Audrey Beardsley, da Universidade Estadual do Arizona, identificou diversas limitações do Evaas – uma delas é exatamente a sua inacessibilidade para os profissionais da educação. “Quando os docentes recorrem aos gestores para entender melhor os resultados, invariavelmente escutam que nem os próprios gestores conseguem compreendê-lo”, diz Audrey, que escreveu diversos artigos sobre o tema e identificou outros problemas em relação ao Evaas.

Um deles é o fato de que, no modelo, controlam-se os fatores socioeconômicos dos estudantes apenas implicitamente. Em análises como essas, é importante descartar a possibilidade de que, por exemplo, o crescimento nos resultados das provas de um grupo de alunos se justifica pelo fato de que os pais das crianças têm renda familiar alta e podem investir mais na educação de seus filhos.

Segundo Audrey, ela foi a primeira pesquisadora a ter acesso a uma parte do banco de dados do Evaas. “O maior problema que eu encontrei foi o nível de flutuação dos dados. A chance de um professor ser considerado eficiente ou não no período analisado era de praticamente 50% porque não havia um padrão. Em alguns casos, os dados flutuavam tanto que deixavam de ser confiáveis”, relata.

Trazendo críticas semelhantes ao debate, a Associação Americana de Estatística, a maior organização de estatísticos e profissionais afins do país, publicou uma nota em abril de 2014 com diversas recomendações sobre o uso de modelos de valor agregado. A nota toca em uma limitação fundamental dos VAMs: em geral, eles medem o desempenho acadêmico dos estudantes usando apenas os resultados de provas padronizadas. Ben Schneider, cientista político e professor do Instituto de Tecnologia de Massachusetts (MIT, o Massachusetts Institute of Technology), diz que medir a performance acadêmica de estudantes é uma tarefa difícil porque há muitas facetas do processo de aprendizagem que devem ser incluídas em um índice de desempenho. “Por essa razão, sindicatos de professores, educadores e diretores de escola consideram os índices focados nas provas imperfeitos”, explica. O uso dos testes como medida única traz outro problema: o ensino focado nas disciplinas que são cobradas nas provas (“teach to the test”). Schneider usa como exemplo o caso da política de bônus por performance para docentes implementada no Chile, onde o índice de desempenho foi elaborado junto com os professores e, por isso, engloba diversos aspectos do trabalho docente. “Avalia-se o plano de ensino do professor, há uma avaliação do diretor da escola, e o desempenho dos alunos nas provas é um componente”, diz.

Efeitos da política: falta consenso
Se a métrica usada na política de meritocracia para docentes é complexa e polêmica, a confusão não é menor no que diz respeito ao impacto dessas políticas na aprendizagem dos alunos. Como o próprio Schneider lembra, citando um estudo realizado pela Organização para a Cooperação e Desenvolvimento Econômico (OCDE) com os dados do Programa Internacional de Avaliação de Alunos (Pisa) que identifica efeitos positivos do bônus por desempenho no Chile, o que se encontra é correlação, e não causalidade. Os próprios VAMs sofrem desse problema, já que são uma tentativa de atrelar o desempenho dos alunos ao trabalho dos professores e das escolas de maneira mais geral.

Matthew G. Springer, professor de política educacional da Universidade Vanderbilt, realizou diversos estudos que buscam aferir o efeito da meritocracia para professores na aprendizagem dos estudantes em estados como Tennessee, Texas e Nova York. Segundo ele, as evidências no meio acadêmico são escassas e mistas. Em geral, experimentos que comparam o desempenho de professores que estão sujeitos ou não às políticas de incentivo financeiro na aprendizagem de seus alunos encontram evidências positivas para a aprendizagem em países como Índia e Israel, e negativos nos Estados Unidos. Mas mesmo nos Estados Unidos, lembra o pesquisador, um estudo de curta duração conduzido na rede de Chicago, no estado de Illinois, já identificou ganhos em aprendizagem para os professores que recebiam bônus. “É preciso lembrar que há uma diferença contextual entre a Índia rural e os Estados Unidos. Os problemas aos quais os alunos estão submetidos são diferentes. Diria que nos Estados Unidos a prática de compensar os professores com dinheiro por melhoria em performance não é necessariamente eficiente e eficaz”, diz.

Entre os estudos que encontram impacto nulo da política em aprendizagem nos Estados Unidos, está o desenvolvido em 2010 pelo próprio Springer e outros colegas. Durante três anos, os pesquisadores compararam dois grupos de professores de ensino fundamental que lecionam matemática em Nashville, no Tennessee (um grupo recebia incentivos financeiros e outro não). A hipótese era de que um dos problemas da educação norte-americana era a ausência de incentivos para docentes, e que a oferta desses incentivos, sozinha, melhoraria o desempenho dos estudantes nas provas. Os resultados não confirmaram a hipótese, ou seja, não houve diferença no desempenho dos estudantes que estudaram ou não com docentes que receberam bônus.

Springer explica, entretanto, que não é correto generalizar os resultados e dizer que a política de incentivos como um todo não funciona. “Esse era um tipo específico de programa de bônus. Não podemos generalizar nada para além do contexto de um programa de bônus que olha para a performance individual dos docentes no Tennessee”, diz, lembrando que há outros tipos de políticas de incentivo financeiro que premiam escolas ou profissionais de educação de determinados anos escolares. O pesquisador também alerta para o fato de que alguns programas por desempenho implementados atualmente já usam diversas medidas para aferir a performance dos professores, e não só os resultados das provas padronizadas.

Ben Schneider, do MIT, sugere uma mudança no foco da discussão sobre meritocracia para docentes. Em um artigo publicado recentemente na revista acadêmica Governance sobre a política de incentivos financeiros no Chile, ele e Alejandra Mizala, da Universidade do Chile, analisam as reformas educacionais levadas a cabo ao longo dos anos pelo governo daquele país. Os autores lembram que, de todas os questionamentos feitos por docentes e estudantes nos protestos de 2011, apenas a política de incentivos financeiros não foi colocada em xeque. Na ausência de dados empíricos convincentes que relacionam a política implementada no país com o desempenho acadêmico dos alunos, ele sugere outro enfoque para análise. “O nosso argumento é que o impacto mais importante é no longo prazo, mudando a perspectiva de carreira dos professores. A partir da mudança na carreira, surge outra: começam a ser atraídos os melhores professores para os cursos de pedagogia. É por essa via de formação dos melhores professores que pensamos que essa política tem impacto maior.”

Saiba mais
Para saber mais sobre o artigo que trata da política de bonificação por desempenho no Chile publicado por Ben Schneider, do MIT, na revista acadêmica Governance, e a discussão no meio acadêmico norte-americano após a publicação da nota da Associação Norte-Americana de Estatística, acesse o blog Educação e Pesquisa do site da revista Educação: www.educacaoepesquisa.blog.br

Autor

Beatriz Rey