.
Perícia revela problemas no sistema de pontuação do Enem 2016
Uma análise técnica realizada nas dependências do Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira (Inep) identificou significativas fragilidades no processo de pontuação do Enem 2016, exame aplicado em duas ocasiões distintas naquele ano. O levantamento foi encomendado pelo Ministério Público Federal (MPF) em Uberlândia, Minas Gerais, através de ação judicial, com o objetivo de investigar se a discrepância na quantidade de participantes entre as duas aplicações afetou os resultados finais dos candidatos.
O contexto que motivou esta perícia sobre a pontuação do Enem 2016 envolve questões relacionadas à paridade nas avaliações. Enquanto a primeira aplicação, realizada nos dias 5 e 6 de novembro, contou com a participação de aproximadamente 5,8 milhões de estudantes, a segunda edição, marcada para 3 e 4 de dezembro, registrou a participação de menos de 170 mil candidatos. Esta discrepância significativa levantou suspeitas sobre possíveis impactos negativos para os participantes da segunda aplicação.
Contexto das duas aplicações em 2016
A realização de duas datas distintas para o Enem 2016 foi consequência direta das ocupações estudantis que ocorreram em diversas instituições de ensino público espalhadas por 23 estados brasileiros e no Distrito Federal. Estas mobilizações estudantis, que protestavam contra reformas educacionais e medidas fiscais, impossibilitaram o uso de muitos estabelecimentos como locais de prova na data originalmente prevista.
Diante desta situação, o Ministério da Educação decidiu deslocar a aplicação do exame para mais de 270 mil candidatos, viabilizando uma segunda data nacional para a realização das provas. Embora representasse menos de 5% do total de inscritos, este procedimento levantou questionamentos sobre a garantia de isonomia entre os participantes das diferentes aplicações.
Metodologia da perícia e dados analisados
A perícia foi conduzida por Tufi Machado Soares, professor do Departamento de Estatística e coordenador da Unidade de Pesquisa do Centro de Políticas Públicas e Avaliação da Educação (Caed) da Universidade Federal de Juiz de Fora (UFJF). Como membro anterior do conselho científico do Enem e especialista em Teoria da Resposta ao Item (TRI), metodologia central na pontuação do Enem 2016, o perito possuía credibilidade técnica reconhecida para realizar esta análise.
O trabalho foi desenvolvido entre 5 e 9 de fevereiro de 2018, utilizando informações sigilosas do Inep. O resultado produziu um laudo composto por 207 páginas, documento que posteriormente foi encaminhado à reportagem pelo Ministério Público Federal e que detalhava especificamente as fragilidades encontradas no processo de pontuação.
Principais fragilidades identificadas na pontuação
O laudo apresentou uma lista ordenada por importância das fragilidades encontradas no processo de pontuação do Enem 2016. Em primeiro lugar, constava a limitação no número de itens comuns previamente calibrados durante os pré-testes e posteriormente fixados na prova regular do exame. Esta questão afetava diretamente a capacidade de comparação entre os testes.
Em segundo lugar, foi identificado o tamanho inadequado das amostras utilizadas na calibração de alguns pré-testes. Esta limitação comprometia a robustez estatística das medições realizadas. O terceiro ponto de fragilidade relacionava-se à precisão com que os resultados finais do Enem eram reportados ao público, apontando deficiências na comunicação dos dados. Por fim, o documento ressaltava a ausência de informações públicas sobre a qualidade dos testes aplicados e das medidas adotadas.
Variações na comparabilidade entre disciplinas
A análise técnica da pontuação do Enem 2016 revelou comportamentos distintos em diferentes áreas de conhecimento. Nas disciplinas de Ciências Humanas e Ciências da Natureza, ambos os testes apresentaram níveis praticamente equivalentes de precisão em praticamente todos os níveis de proficiência dos candidatos. A prova de Ciências da Natureza da segunda aplicação demonstrou ser ligeiramente mais acessível em relação à primeira edição.
Contrastando com este cenário, as maiores diferenças de comparabilidade foram identificadas nas disciplinas de Linguagens e Códigos e Matemática. Na disciplina de Linguagens e Códigos, os candidatos da primeira aplicação apresentaram vantagem significativa, enquanto na disciplina de Matemática, a vantagem recaiu sobre os candidatos da segunda aplicação. As variações menos pronunciadas foram observadas nas questões de Ciências da Natureza.
Limitações na análise individual de casos
Apesar dos achados detalhados, o perito ressalvou uma limitação importante em seu parecer técnico. Segundo Tufi Soares, não seria possível realizar uma análise completa de comparabilidade para todos os casos individualmente, considerando as dimensões amplamente conhecidas do Enem. Cada situação particular de candidato necessitaria de avaliação isolada e, ainda assim, provavelmente não se chegaria a conclusões definitivas na maioria dos casos analisados.
Esta ressalva técnica indica que, embora a perícia tenha identificado fragilidades sistemáticas no processo de pontuação do Enem 2016, a aplicação prática destas descobertas a candidatos específicos apresenta complexidades adicionais. O perito também realizou sugestões de modificações na forma de construção e divulgação das provas futuras.
Posicionamento do Inep sobre os achados
O Inep divulgou nota informando que não foi notificado oficialmente sobre qualquer resultado relacionado à perícia realizada nas dependências do instituto. A instituição reafirmou sua confiança na metodologia adotada desde 2009 para o Enem, destacando o reconhecimento obtido em âmbitos nacional e internacional.
O instituto também mencionou contar com consultoria de diversos especialistas com destacada atuação em análise estatística e psicométrica de avaliações em larga escala. Em sua conclusão, a assessoria de comunicação do Inep observou que "independentemente do seu conteúdo, o referido laudo representa uma opinião isolada", minimizando assim o impacto dos achados da perícia.
Próximos passos e audiência pública
O procurador da República Leonardo Macedo, responsável pelo inquérito civil que investiga irregularidades relacionadas aos critérios de correção aplicados ao Enem 2016, informou que encaminhou os resultados da perícia para o Inep e para os estudantes que manifestaram ter sido prejudicados pelas avaliações. Segundo o procurador, o laudo é extenso e não apresenta uma conclusão única e definitiva.
O procedimento estabelecido pelo MPF inclui o envio da perícia aos principais interessados, seguido de um prazo para análise das informações. Posteriormente, está programada uma audiência pública onde todas as partes poderão apresentar seus pontos de vista sobre o caso. Apenas após esta audiência é que o Ministério Público Federal analisará as medidas a serem adotadas.
Conforme declarado pelo procurador Macedo, o MPF está atuando com cautela no assunto, comparando a situação a "um elefante de porcelana". As opções em discussão incluem a possibilidade de solicitar indenizações aos candidatos afetados, aumentar as notas de estudantes prejudicados ou adotar outras medidas reparatórias. Até o momento, não há previsão definida para a realização da audiência pública.
Reclamações iniciais dos candidatos
A investigação do Ministério Público Federal sobre o Enem 2016 teve origem nas reclamações de estudantes após a divulgação dos resultados em janeiro de 2017. Candidatos que realizaram a segunda aplicação do exame procuraram o MPF manifestando inconformismo com as notas obtidas, alegando que haviam ficado significativamente abaixo das notas de candidatos da primeira aplicação.
Uma análise realizada pelo MPF sobre as notas dos candidatos que apresentaram reclamações confirmou a existência de grandes diferenças quando comparadas com os resultados de candidatos da primeira aplicação. O procurador Leonardo Macedo explicou que alunos que realizaram a primeira prova obtiveram notas proporcionalmente maiores, e que o motivo suspeito reside na aplicação da metodologia TRI, que leva em consideração o número total de candidatos participando de cada aplicação.
