Enade avalia o desempenho dos estudantes do ensino superior, mas são poucos os alunos que se preocupam com o seu resultado. Muitos fazem a prova sem comprometimento e até com descaso. Como não há padronização em seus itens, o nível de dificuldade da prova não é equivalente entre os anos, inviabilizando qualquer comparação. A partir dele, não dá para enxergar se os cursos estão melhorando ou piorando. Também não há uma indicação clara do que seja um resultado bom. Nessa perspectiva, considerando seus custos, será que o Enade está cumprindo seus objetivos? Seria o caso de descontinuá-lo?

Esses apontamentos estão no relatório Repensando a Garantia da Qualidade do Ensino Superior, produzido pela OCDE (Organização para a Cooperação e Desenvolvimento Econômico) a partir de uma ampla investigação a respeito da eficiência e a eficácia do sistema de avaliação do ensino superior brasileiro.

Entre outros pontos, o documento afirma que o processo de credenciamento e autorização de cursos é suficientemente rigoroso para barrar instituições fraudulentas e de qualidade muito ruim.

Porém, os avaliadores da OCDE acreditam que alguns mecanismos podem ser aprimorados para tornarem-se mais relevantes e eficazes. No caso de manutenção do Enade, por exemplo, a recomendação é que sejam estabelecidos: objetivos mais realistas para a prova (avaliar competências gerais ou disciplinas específicas? Fazer uma avaliação universal ou amostral?); parâmetros de comparabilidade; patamares de qualidade (razoável, bom e excelente); e meios para tornar o teste relevante para o estudante.

Pelo fato de o Enade ter um grande peso no CPC (Conceito Preliminar de Curso), o próprio indicador foi questionado. A participação de 35% do IDD (Indicador de Diferença entre os Desempenhos Observado e Esperado) também foi considerada excessiva e o IDD em si foi tachado como inadequado para medir valor agregado – além de presumir que o Enem expressa adequadamente as competências dos ingressantes, o IDD é calculado com um indicador não confiável que é o Enade, assinala o documento. IDD também é falho porque não reconhece que fatores não diretamente ligados ao ensino podem interferir no desempenho dos alunos.

Os especialistas da OCDE ainda ressaltaram que foco no corpo docente permanente penaliza os cursos profissionais no CPC e que indicadores como taxa de evasão e de empregabilidade dos cursos poderiam integrá-lo.

No caso dos cursos com CPC insatisfatório, as visitas in loco deveriam se deter sobre as causas da baixa performance, o que não é feito hoje na avaliação da organização internacional, uma vez que 40% dos instrumentos estão relacionados com a qualidade do corpo docente e 30% com a infraestrutura. Somente 30% deles se voltam para as questões da aprendizagem. Essa mesma proporção é aplicada nos processos de renovação de reconhecimento de curso.

As visitas in loco também deveriam tentar extrair dos cursos bem avaliados os fatores de seu sucesso para dar caminhos às demais IES que compõem o sistema.

Os analistas ainda chamaram a atenção para a carência de indicadores específicos para avaliar a educação a distância. Embora reconheça as mudanças feitas recentemente nos instrumentos de avaliação, a opinião da OCDE é que elas ainda são insuficientes para abarcar todas as especificidades da EAD.

Nesse contexto da avaliação externa, a organização também sugeriu a criação de uma plataforma amigável para estudantes e familiares consultarem informações confiáveis sobre o status da IES e do curso; o desenvolvimento de indicadores mais sofisticados para avaliar a qualidade da educação a distância e sua expansão; o aprimoramento dos processos de seleção e preparação das comissões de avaliadores; e o acompanhamento de perto dos cursos recém-criados.

O peso do Enade: o resultado da prova interfere decisivamente na nota do curso, mas nem todos os alunos se esforçam para ter um bom desempenho. Para tornar o indicador confiável, isso precisa mudar, aponta a OCDE (foto: Kelly Sikkema/ Unsplash)

Autoavaliação e responsabilização

O levantamento dedica uma parte importante aos processos internos de garantia da qualidade, hoje negligenciados na opinião da OCDE. Como resultado, as Comissões Próprias de Avaliação (CPA) prestam-se mais ao cumprimento das regras estabelecidas pelo Sinaes (Sistema Nacional de Avaliação da Educação Superior), quando poderiam ir além da legislação e estabelecer meios robustos de controle da boa qualidade, deduzem os avaliadores a partir de entrevistas realizadas nas IES. Ao mudar essa lógica e reduzir a ênfase nos indicadores de infraestrutura para dar mais espaços aos indicadores de resultados educacionais e performance institucional, o MEC poderia instituir a autoacreditação para aquelas que provarem ter condições para isso, reduzindo a burocracia e até os custos do governo com os processos de avaliação.

Ainda relacionado a esse tópico, o documento também sugere encurtar o prazo de renovação de credenciamento para as universidades e centros universitários. Enquanto no Reino Unido, na Suécia e nos Países Baixos essa renovação acontece a cada seis anos, no máximo, no Brasil ela pode levar 10 anos para acontecer, encobrindo por muito tempo possíveis falhas, aponta a OCDE.

O fato de o MEC ser responsável pelas instituições federais e, ao mesmo tempo, ser quem as avalia revela a existência de um conflito de interesses, observam os analistas. O Conaes é tratado como um órgão que não tem recursos nem capacidade para supervisionar o sistema de avaliação da qualidade. Tendo em vista as experiências internacionais, as autoridades brasileiras deveriam considerar a possibilidade de trabalhar com agências acreditadoras independentes para assumir papéis que hoje cabem ao MEC e ao Inep.

Procurado pela reportagem para comentar o relatório, o MEC não quis se pronunciar.

Problemas conhecidos

Na opinião de Inês Confuorto, especialista nos instrumentos de avaliação do governo, as críticas são pertinentes e muitas delas são velhas conhecidas do setor, como as que recaíram sobre o Enade. “O aluno não tem comprometimento com a prova, pois a nota não vai para o seu portfólio. São raros os casos em que os egressos têm de informar sua nota para um processo seletivo”, observa a coordenadora da Assessoria de Planejamento e Acompanhamento Acadêmico da Pró-reitoria de Graduação e pesquisadora institucional da Universidade Cruzeiro do Sul.

Ela também concorda com a fragilidade do CPC, que, segundo ela, poderia incluir o Conceito Institucional (CI) e o Conceito de Curso (CC) para expressar mais fielmente a qualidade dos programas avaliados.

Os avaliadores também diferem muito entre si, evidenciado as falhas de capacitação desses profissionais. “Muitos são excelentes professores, mas não conhecem necessariamente a legislação e as particularidades do sistema de avaliação. Eu já tive que explicar ao avaliador como determinados processos funcionavam”, relata.

Críticas como essas levam Confuorto a acreditar que o sistema de avaliações como um todo precisa ser revisitado para elevar o nível de qualidade das IES e favorecer a diversidade de modelos de ensino.

Sérgio Fiuza de Mello Mendes, vice-reitor do Centro Universitário do Estado do Pará (Cesupa), também discorda da maneira com a qual as instituições são avaliadas, principalmente por causa do Enade, que, ao ter se transformado no pilar do processo avaliativo, conduziu a “distorções indesejáveis”. Citando estudos do professor Simon Schwartzman, ele explica que os “procedimentos estatísticos de padronização das notas são confusos, e os critérios de ponderação das diferentes provas são discricionários, o que torna a interpretação dos resultados do exame ainda mais incerta”.

Além disso, como não existem padrões de referência de desempenho do Enade que definam o que é ou não requerido como mínimo, a posição ocupada em uma escala não expressa a qualidade de um curso, mas somente sua posição relativa em relação aos demais. “Se todos os cursos de uma determinada área forem mal avaliados em uma edição, aquelas instituições que se destacarem entre as piores passarão para a sociedade a ideia equivocada de que elas têm boa qualidade. Porém, elas só foram as melhores entre as piores. O contrário também pode ocorrer”, exemplifica. “Esse problema com o Enade se reproduz no CPC, com consequências também para o IGC”, acrescenta.

Nesse sentido, o vice-reitor do Cesupa reitera afirmações que tem repetido há quase uma década: é preciso revisar o Enade, o CPC e o IGC, pois eles são “insuficientes, e por isso inapropriados, para expressar todas as dimensões da avaliação dispostas na lei que instituiu o Sinaes.”

Como foi produzido o relatório

O documento Repensando a Garantia da Qualidade do Ensino Superior (Rethinking Quality Assurance for Higher Education in Brazil) foi realizado pela OCDE a pedido do próprio Ministério da Educação. O exame envolveu a análise de documentos e a realização de entrevistas com dezenas de pessoas, incluindo representantes do MEC, Inep, Capes, instituições de ensino superior públicas e privadas (entre elas Uninassau, USP, Unicamp, FGV e Kroton) e entidades como o Semesp e a OAB. A equipe de avaliadores permaneceu no Brasil entre 5 e 14 de março e foi composta por María José Lemaitre, diretora executiva do Centro Interuniversitário de Desenvolvimento, uma organização internacional, sediada no Chile, dedicada à melhoria do ensino superior; Pedro N. Teixeira, professor associado do departamento de Economia da Universidade do Porto, onde foi vice-reitor, e diretor do Centro de Investigação de Políticas de Ensino Superior, de Portugal; Thomas Weko, analista sênior da OCDE e especialista em ensino superior, tendo trabalhado no Departamento de Educação dos Estados Unidos; e Simon Roy, analista da OCDE. Para acessar o documento na íntegra, entre em http://bit.do/relatoriobrasil

Leia também:

Financiamento Fapesp: recursos para pesquisar e inovar

Professores estão assistindo as próprias aulas para melhorar o desempenho em sala

Autor

Marina Kuzuyabu