Quem entendeu a nova avaliação do ensino?
"Louvemos a coragem do MEC de gerar e divulgar
avaliações. Mas parece inapropriado entregar
ao público uma medida tão confusa"
Um médico que ficasse sabendo que seu paciente tem 88 batidas cardíacas por minuto, 39 graus de febre e um índice de 380 de colesterol teria os elementos iniciais para fazer um diagnóstico. Imaginemos agora que somássemos esses três índices e mostrássemos apenas o total. Seria um número sem sentido.
É tal espécie de soma que o MEC acaba de fazer, com o seu novo indicador de qualidade dos cursos superiores, o Conceito Preliminar de Avaliação. Ao somar três indicadores, deixa o público igualzinho ao médico do parágrafo acima. Pior, junta conceitos individualmente pouco conhecidos. Como o professor Simon Schwartzman havia partido antes na empreitada de entender essa química, juntei-me a ele na preparação do presente ensaio.
O primeiro número levantado pelo MEC é baseado em prova aplicada a uma amostra de alunos de cada curso. É o Enade (a nova versão do Provão), que mede quanto os alunos sabem ao se formar. É um conceito tão simples e poderoso quanto o resultado de um jogo de futebol. Só que não podemos comparar profissões, como faz o MEC, pois a dificuldade das provas não é a mesma. Se o Grêmio ganhou do Cruzeiro, isso não significa que é melhor do que o Real Madrid que perdeu do Chelsea.
Ademais, o MEC introduziu um complicador. Soma aos resultados da prova aplicada aos formandos a nota dos calouros na mesma prova. Ou seja, premia o curso superior que atrai os melhores alunos (a maioria deles oriunda de escolas médias privadas). Portanto, soma a contribuição do curso superior à do médio. Em uma pesquisa de que participei, 80% do resultado do Provão se devia à qualidade dos alunos aprovados no vestibular. Assim sendo, ele favorece as universidades públicas, pois sendo gratuitas atraem os melhores candidatos.
Ilustração Atômica Studio |
O segundo ingrediente do teste é o Índice de Diferença de Desempenho (IDD). O Enade mostra quais cursos produzem os melhores alunos. Contudo, um desempenho excelente pode resultar apenas de haver recebido alunos mais bem preparados. Em contraste, o IDD mede a contribuição líquida do curso superior. A idéia é boa. Em termos simplificados, calouros e formandos fazem a mesma prova. Subtraindo das notas dos formandos a nota dos calouros, captura-se o conhecimento que o curso "adicionou" aos alunos. Portanto, mede a capacidade do curso para puxar os alunos para cima, ainda que não consigam atingir níveis altos. É o que faltava na avaliação. Exemplo: na Farmácia temos uma escola com 5 no Enade e 2 no IDD. Temos outra com 2 no Enade e 5 no IDD. Embora a média seja a mesma, esconde mundos diferentes. A primeira forma os melhores profissionais, porque recruta bem, mas ensina pouco. A segunda produz alunos medíocres, mas oferece muito a eles. Cada indicador tem seu uso.
Finalmente, há o terceiro elemento, o Índice de Insumos. Trata-se de uma lista de descrições do processo de ensino, incluindo o número de doutores, docentes em tempo integral e outros. Pensemos no famoso Guia Michelin, que dá estrelas aos restaurantes franceses. O visitador vai anônimo ao restaurante e atribui estrelas se a comida e o ambiente forem muito bons. Jamais ocorreria pôr ou tirar estrelas por conta da marca do fogão, dos horários dos cozinheiros ou do número de livros de culinária disponíveis. Depois que a comida foi provada, nada disso interessa – exceto para algum consultor da área. Para escolher um restaurante, só interessam as estrelas, refletindo a qualidade da sua mesa. A avaliação da excelência de um curso é como as estrelas do Michelin. Para o público, conhecidos os resultados, os meios ou processos se tornam irrelevantes. Se o aluno aprendeu, não interessa como nem com quem – a não ser aos especialistas.
Mas há outras tolices. Um curso de filosofia em que todos os professores são doutores em tempo integral pode ser ótimo. Mas seria medíocre um curso de engenharia, arquitetura ou direito em que isso acontecesse, pois as profissões estariam sendo ensinadas por quem não as pratica. Esse curso ganha pontos pelo perfil dos docentes, justamente quando deveria perdê-los. Há outros desacertos técnicos que não cabe aqui comentar. Mas, como dito, a falha mais lastimável é a decisão de somar três indicadores que mal sabemos como interpretar individualmente. Louvemos a coragem do MEC de gerar e divulgar avaliações. Mas nos parece inapropriado entregar ao público uma medida tão confusa.
