Perícia do Inep aponta fragilidades na pontuação do Enem 2016

Perícia revela problemas na metodologia de avaliação do Enem 2016

Uma perícia realizada no Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira (Inep) identificou importantes fragilidades no processo de pontuação do Enem 2016, questão que ganhou destaque ao longo do ano de 2017. A investigação, encomendada pelo Ministério Público Federal (MPF) através de ação judicial na comarca de Uberlândia em Minas Gerais, examinou detalhadamente as avaliações do Exame Nacional do Ensino Médio realizado em duas ocasiões distintas durante aquele ano.

O objetivo principal da perícia foi verificar se a considerável diferença no número de inscritos entre as duas aplicações do Enem 2016 influenciou nos resultados finais e prejudicou especialmente os alunos que realizaram a segunda prova. A perícia foi conduzida entre os dias 5 e 9 de fevereiro de 2018, nas dependências do instituto em Brasília, por Tufi Machado Soares, especialista em Teoria da Resposta ao Item (TRI).

As duas aplicações do Enem 2016 e suas diferenças

Em 2016, devido às ocupações estudantis em diversas instituições de ensino, o exame foi aplicado em dois períodos distintos. A primeira aplicação ocorreu nos dias 5 e 6 de novembro, quando aproximadamente 5,8 milhões de alunos participaram das provas. Já a segunda aplicação, realizada em 3 e 4 de dezembro, contou com participação bem inferior: menos de 170 mil candidatos se apresentaram.

Essa discrepância significativa no número de participantes levantou questionamentos sobre a equidade do processo de avaliação. O Ministério da Educação havia assegurado na época que haveria isonomia nas avaliações, independentemente da data em que os candidatos realizassem as provas. Contudo, as reclamações de estudantes que fizeram a segunda aplicação sugeriram que suas notas eram sistematicamente inferiores às de candidatos da primeira data.

Os achados principais da perícia sobre fragilidades

O laudo elaborado por Tufi Machado Soares, que anteriormente atuou como membro do conselho científico do Enem e possui expertise em Teoria da Resposta ao Item, resultou em documento extenso com 207 páginas. Neste relatório, o perito identificou diversos pontos de fragilidade na metodologia adotada para pontuar as medidas do exame.

Os principais pontos de fragilidade encontrados, ordenados por grau de importância, foram: o número reduzido de itens comuns previamente calibrados nos pré-testes e fixados na prova regular; o tamanho inadequado das amostras de calibração em alguns pré-testes; a imprecisão na forma como os resultados do Enem são divulgados ao público; e a ausência de informações transparentes sobre a qualidade dos testes e das medidas utilizadas.

Análise comparativa entre as disciplinas

A perícia demonstrou que nas disciplinas de Ciências Humanas e Ciências da Natureza, ambos os testes apresentaram níveis praticamente equivalentes de precisão em praticamente todos os níveis de proficiência. A prova da segunda aplicação de Ciências da Natureza foi considerada ligeiramente mais acessível em comparação com a primeira.

Já nas disciplinas de Linguagens e Códigos e Matemática, identificaram-se diferenças mais pronunciadas. Na primeira disciplina, os candidatos da primeira aplicação apresentaram vantagem, enquanto na Matemática essa vantagem favoreceu os candidatos da segunda aplicação. As menores diferenças observadas ocorreram justamente em Ciências da Natureza.

Ressalvas do perito e limitações da análise

Apesar de identificar as fragilidades, o perito ressalvou que não seria possível realizar uma análise completa de comparabilidade para todos os casos individualmente, considerando as dimensões e complexidades do Enem. Segundo Tufi Machado Soares, cada caso precisaria de análise individualizada, o que provavelmente não levaria a conclusões definitivas na maioria dos cenários.

O documento apresenta ainda sugestões de mudanças na forma de confecção e divulgação das provas, visando melhorar a transparência e a confiabilidade dos resultados futuros. O perito, no entanto, optou por não se manifestar publicamente até a realização de uma audiência pública que seria posteriormente agendada pelo Ministério Público Federal.

Resposta do Inep às conclusões da perícia

O Inep, em nota oficial dirigida à imprensa, afirmou que não foi notificado oficialmente sobre qualquer resultado específico referente à perícia. A instituição reafirmou sua confiança na metodologia adotada desde 2009, ressaltando que esta é reconhecida nacional e internacionalmente como referência em avaliações em larga escala.

A assessoria de comunicação do instituto enfatizou que conta com a consultoria de diversos especialistas de destacada atuação em análise estatística e psicométrica, e que se pronunciaria adequadamente quando fosse devidamente notificada dos desdobramentos. Concluiu, ainda, que o laudo representa uma opinião isolada, independentemente de seu conteúdo.

Próximos passos do Ministério Público Federal

O procurador da República Leonardo Macedo, responsável pelo inquérito civil que apura irregularidades referentes à adoção de diferentes critérios de correção das provas do Enem 2016, informou que encaminhou os resultados da perícia tanto ao Inep quanto aos estudantes que afirmaram ter sido lesados pelo teste.

Segundo Macedo, o laudo é abrangente mas não apresenta uma conclusão única e definida. O plano inicial foi distribuir a perícia aos principais interessados, oferecendo prazo para análise detalhada. Posteriormente, seria marcada audiência pública onde todas as partes poderiam expor seus pontos de vista. Somente após esse processo, o Ministério Público Federal analisaria as medidas a serem adotadas, que poderiam incluir indenizações, aumento de notas ou outras alternativas.

Contexto das ocupações estudantis que originaram a situação

O cenário que levou à aplicação dupla do Enem 2016 iniciou-se em outubro daquele ano, quando uma onda de ocupações estudantis começou no estado do Paraná e se expandiu rapidamente por todo o território nacional. Os estudantes protestavam principalmente contra a reforma do ensino médio e a Proposta de Emenda à Constituição número 241.

Em 27 de outubro, um levantamento da União Brasileira dos Estudantes Secundaristas (Ubes) apontava a existência de 1.154 ocupações em escolas, institutos e universidades em pelo menos 21 estados e no Distrito Federal. Diante dessa situação, na véspera da aplicação original, o Ministério da Educação anunciou o adiamento do exame em 364 locais de prova, afetando mais de 270 mil candidatos.

Reclamações e investigação posterior

As investigações do Ministério Público Federal sobre o Enem 2016 tiveram início após a divulgação dos resultados em janeiro de 2017. Estudantes de diversos estados procuraram o órgão relatando insatisfação com as notas obtidas, especialmente aqueles que realizaram a segunda aplicação. Muitos reportavam notas significativamente menores quando comparadas com candidatos da primeira data.

Uma análise das reclamações recebidas demonstrou diferenças consideráveis nas notas entre os dois grupos de candidatos. O procurador Leonardo Macedo apontou para suspeitas relacionadas à metodologia da Teoria da Resposta ao Item (TRI), argumentando que esse sistema considera o número total de candidatos e seria necessário levar em conta diferenças no percentual de treineiros em cada aplicação, além da maior abstenção observada na segunda prova.