Em junho de 2024 oficializamos nossa participação como membros da CoARA (Coalition for Advancing Research Assessment). A CoARA é uma coalizão global de organizações de pesquisa, financiamento, agências nacionais e regionais de avaliação, entre outros tipos de organizações, mobilizadas para reformar a forma como a pesquisa, pesquisadores e suas instituições são avaliadas.
O Acordo para Reforma de Avaliação em Pesquisa (ARRA)
Em 2022, um grupo formador da CoARA, inicialmente focado em organizações europeias, publicou o ARRA (The Agreement on Reforming Research Assessment). Esse acordo é baseado no entendimento de que a avaliação de produtos de pesquisa, pesquisadores e/ou de instituições de pesquisa precisa ser repensada, principalmente evitando-se métricas baseadas em publicações. Com isso, os impactos negativos da busca por periódicos com alto fator de impacto, que incluem por exemplo a redução do rigor metodológico e o custo elevado para publicações, seriam evitados.
Os 4 compromissos centrais do acordo estão resumidos no quadro abaixo. Destacam-se a necessidade de diversificar as contribuições científicas consideradas nas avaliações e um papel mais relevante de avaliações qualitativas em detrimento do uso de métricas quantitativas.
Compromissos centrais do ARRA
(Acordo para Reforma de Avaliação em Pesquisa)
Reconhecer a diversidade de contribuições e carreiras em pesquisa, de acordo com as necessidades e a natureza da pesquisa.
Contribuições para a ciência não são apenas artigos; outros produtos de pesquisa, práticas de pesquisa e atividades relacionadas (supervisão, treinamento, etc) devem também ser reconhecidos. Da mesma forma, outras carreiras em ciência além do papel de pesquisador devem ser reconhecidas e valorizadas.
Basear a avaliação da pesquisa principalmente na avaliação qualitativa, para a qual a revisão por pares é fundamental, apoiada pelo uso responsável de indicadores quantitativos
Abandonar usos inadequados de métricas baseadas em periódicos e publicações na avaliação da pesquisa, em particular usos inadequados do fator de impacto e índice h
Evitar o uso de rankings de instituições de pesquisa na avaliação da pesquisa
Outros 6 compromissos de apoio estão incluídos no acordo, com enfoque em permitir a mudança para novos sistemas de avaliação e permitir o aprendizado contínuo e uso de evidências na tomada de decisões.
Atividades da Rede Brasileira de Reprodutibilidade
Ao nos tornarmos membros da CoARA, somos também signatários do ARRA. Com isso, indicamos que a RBR compartilha a visão de necessidade de reformas e adota os compromissos do acordo para suas atividades. Como não somos uma organização que avalia pesquisadores, podemos trabalhar em apoiar nossos membros a implementar medidas de reforma e em buscar evidências sobre as melhores formas de fazê-lo.
Nossa primeira atividade nessa direção já foi divulgada: em maio apresentamos uma lista de recomendações para a CAPES indicando que reformas deveriam ser feitas no modelo de avaliação das pós-graduações brasileiras. Os próximos passos devem incluir recomendações direcionadas às coordenações dos programas, com ações concretas que já podem ser implementadas de forma independente e indicações de ferramentas e plataformas relevantes para cada área do conhecimento.
Além disso, todos os membros da RBR podem contribuir nos grupos de trabalho da CoARA. Atualmente os tópicos discutidos incluem: infraestruturas abertas para avaliações responsáveis, multilinguismo e vieses na avaliação de pesquisa, experimentação em avaliação de pesquisa, métricas e indicadores responsáveis, reconhecimento de avaliações por pares de alta qualidade, entre outros. A lista completa e mais informações sobre cada grupo podem ser vistas aqui. Caso queiram contribuir, entrem em contato conosco para organizarmos nossas contribuições.
Outras ideias de como a RBR pode atuar estão surgindo e enquanto organizamos um plano de ação (ao longo do próximo ano) estamos abertos a ouvir nossos membros e toda a comunidade interessada. Contribua escrevendo pra gente por e-mail (redereprodutibilidade@gmail.com) ou participando no Zulip (www.reprodutibilidade.zulipchat.com).
Comments