Repensando a Avaliação de Pesquisa no Brasil

DORA e USP reúnem especialistas para discutir caminhos para uma avaliação de pesquisa mais responsável

No último dia 15 de setembro, a Rede Brasileira de Reprodutibilidade (RBR) participou do evento “Localising the Global: Towards Responsible Research Assessment in Brazil”, organizado pela DORA (San Francisco Declaration on Research Assessment) em parceria com o Projeto Métricas e a Pró-Reitoria de Pesquisa e Inovação da Universidade de São Paulo (USP).

O encontro reuniu pesquisadores, gestores e representantes de instituições brasileiras e internacionais para discutir um tema cada vez mais urgente: como tornar a avaliação da pesquisa mais justa, transparente e alinhada aos princípios da ciência aberta.

Entre os participantes estavam Paulo Nussenzveig (Pró-Reitor de Pesquisa e Inovação da USP), Rebecca Lawrence (vice-presidente da DORA), Jacques Marcovitch (USP/Projeto Métricas), Giovanna Lima (gestora de programas da DORA), Phil Baty (Times Higher Education), David McAllister (Schmidt Science Fellows), Sylvio Canuto (FAPESP), Olival Freire Jr. (CNPq) e Ricardo Ceneviva (RBR). Também participaram representantes de universidades públicas paulistas e um público interessado em repensar o futuro da avaliação científica no país.

Da crítica às métricas ao avanço de novas práticas

Nas falas de abertura, Paulo Nussenzveig, Jacques Marcovitch e Rebecca Lawrence destacaram um consenso crescente: é hora de superar uma avaliação limitada a métricas baseadas em publicações e valorizar critérios que reconheçam impacto social, integridade, diversidade e colaboração.

Rebecca Lawrence apresentou as principais atividades da DORA, que nasceu como uma declaração e hoje é uma iniciativa global pela transformação da avaliação de pesquisa. Entre os recursos apresentados estão o Reformscape, uma base de dados interativa sobre práticas de avaliação responsável, e o SPACE, uma matriz de avaliação institucional que auxilia organizações a mensurar seu progresso em direção a práticas mais responsáveis.

Lawrence também destacou os próximos passos da DORA: o desenvolvimento de guias específicos para agências de fomento, sociedades científicas e editoras, e o fortalecimento das iniciativas regionais, incluindo a América Latina, por meio da parceria com o Foro Latinoamericano sobre Avaliação Científica (FOLEC/CLACSO - El Foro Latinoamericano sobre Evaluación Científica).

Avanços e desafios do cenário brasileiro

Na mesa com representantes do CNPq, FAPESP e RBR, os participantes apresentaram os principais avanços no contexto nacional. Olival Freire Jr. destacou as mudanças recentes nas bolsas de produtividade do CNPq, como a nova Súmula Curricular, as extensões de prazos para maternidade e adoção e a criação de um Código de Conduta Ética para avaliadores. As medidas buscam reduzir desigualdades e aproximar o CNPq dos princípios do DORA.

Sylvio Canuto, da FAPESP, ressaltou a importância de equilibrar métricas e julgamentos qualitativos, além de reforçar o papel da ciência aberta e dos planos de gestão de dados nas novas políticas da agência.

Representando a RBR, Ricardo Ceneviva apresentou as recomendações elaboradas pela Rede para a valorização de práticas de ciência aberta e reprodutível na avaliação de programas de pós-graduação pela CAPES. Ceneviva enfatizou também a importância de considerar reprodutibilidade um pilar na avaliação responsável, lembrando que a avaliação dos processos é tão importante quanto a avaliação dos resultados.

Nosso coordenador e embaixador, Ricardo Ceneviva, representou a RBR em uma mesa que contou com a participação de Sylvio Canuto e Olival Freire Jr., sob moderação de Giovanna Lima.

Experiências nas universidades paulistas

Representantes da USP, UNESP, UNICAMP e UNIFESP compartilharam suas experiências na adoção de práticas de avaliação mais responsáveis. A UNICAMP, signatária do DORA desde 2018, desenvolveu uma ferramenta que integra indicadores qualitativos e quantitativos e estimula a autoavaliação institucional.

Na USP, o Projeto Métricas vem ampliando o debate e fornecendo diretrizes para bancas e concursos e as atividades guiadas pelo Grupo de Trabalho em Ciência Aberta, estimulando práticas de pesquisa mais abertas e reprodutíveis.  A UNIFESP tem proposto planos de trabalho com metas de impacto social e sistemas de acompanhamento docente. Já a UNESP destacou a importância de formar pesquisadores e docentes desde cedo para uma cultura de avaliação pautada por qualidade, impacto e integridade.

De rankings à cultura de excelência

Na mesa sobre rankings e seleção de talentos, Phil Baty defendeu que o uso de métricas nos rankings deve ser inovador a ponto de identificar práticas de pesquisa voltadas à valorização quantitativa de publicações, de forma que os rankings evoluam sua avaliação, incorporando diversidade, contexto e transparência metodológica. David McAllister, por sua vez, reforçou que a identificação de talentos interdisciplinares exige avaliação por pares diversos e especializados, pois a excelência científica é multidimensional.

“Descongelando” a avaliação

Durante sua apresentação, Jacques Marcovitch lembrou que “organizações bem-sucedidas têm mais dificuldade de sair de um estado congelado do que as que estão falhando”. O Brasil começa, ainda que lentamente, um processo de “descongelamento” das práticas tradicionais de avaliação rumo a um modelo mais aberto, colaborativo e responsável.

Para a RBR, fazer parte dessa transformação é essencial, pois reprodutibilidade, transparência e integridade são os alicerces de uma ciência confiável e de impacto, além de uma avaliação que realmente reconhece o valor da pesquisa.

Mais sobre a autora:

Isis é doutoranda em Ciências pela USP, atuando nas áreas de fisiologia humana e neurociências, com ênfase em termorregulação, neuroinflamação e inflamação sistêmica. Como Embaixadora da RBR, ela desenvolve pesquisa sobre as práticas e políticas de ciência aberta de universidades e instituições de pesquisa brasileiras. Ela também faz parte da equipe que idealizou e planeja a Semana USP de Ciência Aberta, uma semana de eventos organizados pelas Comissões de Pesquisa das Escolas, Faculdades e Institutos da USP para discutir e oferecer treinamentos e ferramentas relacionadas à ciência aberta e reprodutibilidade.