Manifesto: Sobre a Avaliação de Títulos e Trabalhos na Coppe/UFRJ

Este manifesto versa sobre o parágrafo 4 do Artigo 47 da Resolução número 15 do Conselho Universitário (CONSUNI) da Universidade Federal do Rio de Janeiro (UFRJ) e os potenciais impactos negativos que sua interpretação rígida pode trazer aos institutos da universidade. O parágrafo do CONSUNI determina que “o julgamento de Títulos e Trabalhos deve seguir a tabela com pontuações e critérios de cada instância acadêmica, devidamente aprovada por seu órgão colegiado superior e publicada no Boletim da UFRJ até a data final de inscrições prevista no edital de abertura do Concurso Público.”

Considere-se, incialmente, que, no rito do Concurso Público para Professor da Carreira de Magistério Superior, são contemplados critérios de homologação da inscrição dos candidatos, no intuito de habilitar sua participação. Em particular, no Instituto Alberto Luiz Coimbra de Engenharia e Pesquisa de Pós-Graduação (COPPE), estes critérios envolvem, além da pertinência em títulos obtidos e em atividades e trabalhos realizados, também a avaliação quantitativa da produção científica de acordo com os critérios de classificação estabelecidos nas Normas que regulamenta a avaliação de docentes da COPPE/ UFRJ. Desta forma, candidatos com sua inscrição homologada iniciam o concurso atendendo a um critério mínimo estabelecido pela unidade e serão diferenciados pelo desempenho acima desse limiar nas provas.

Na avaliação dos candidatos homologados, o estabelecimento de critérios rígidos com percentuais pré-estabelecidos para diferentes itens pode causar distorções inaceitáveis. O Instituto Alberto Luiz Coimbra de Engenharia e Pesquisa de Pós-Graduação (COPPE) compreende 13 programas em diferentes áreas de engenharia e ciência da computação, cada qual com especificidades bem distintas. Essas diferenças requerem, inclusive, diferentes comissões avaliadoras na CAPES para as diversas áreas de atuação da COPPE. Além disso, existem nítidas distinções entre subáreas dentro do mesmo campo. Por exemplo, documentos de área de Computação da CAPES já destacaram que fatores de impacto, como JCR e H-index, variam significativamente entre subáreas, dificultando comparações diretas de índices de impacto.  Esse é apenas um exemplo.  O problema se intensifica ainda mais em áreas multidisciplinares. Portanto, é impossível capturar adequadamente toda a diversidade inerente às diferentes áreas de atuação em índices numéricos resumidos em uma planilha. Buscar um indicador médio aplicável a áreas tão diversas e com condições distintas apresenta um risco considerável de negligenciar ou subavaliar contribuições relevantes em uma área em comparação com outra. Outro exemplo é a dificuldade de avaliar a produção resultante de pesquisa em rede com muitos coautores usando um indicador simples. A lista de exemplos onde a aplicação de índices “gerais” causa distorções inaceitáveis para uma avaliação cuidadosa é extensa.

É por isso que o papel das comissões de especialistas é vital. Essas comissões devem ter autonomia para julgar e ponderar critérios nas avaliações científicas. O papel da comissão é crucial para resolver questões complexas, e ela deve ter liberdade para fazê-lo. Restringir o trabalho de uma comissão de especialistas a uma mera tabela de pontuação prejudica seu julgamento. A análise qualitativa e cuidadosa por uma comissão de especialistas seniores com reconhecida competência acadêmica não deve ser minimizada em favor de métricas simplistas expressas em índices de planilha. O trabalho de uma comissão de especialistas pode ser totalmente transparente em seu julgamento, apesar da existência de itens qualitativos no processo de avaliação.

A COPPE sempre foi defensora da liberdade e autonomia universitária. É essencial alertar para o crescente aumento de regras nos processos de avaliação que buscam satisfazer órgãos de controle externos ao ambiente acadêmico. Esses órgãos, sem conhecimento adequado e experiência de como é processada a avaliação por pares – pilar do processo científico – indiretamente vêm promover o uso simplista de métricas que resultam na distorção completa do processo de avaliação e comprometem a autonomia universitária. Portanto, solicitamos que as avaliações realizadas por comissões acadêmicas especializadas em áreas específicas não sejam reduzidas a meros algoritmos computacionais e que a essas comissões de especialistas seja dada a liberdade necessária para realizar suas avaliações de forma eficaz.

Aprovado no Conselho Deliberativo da

COPPE/UFRJ de 02 de julho de 2024