Nos dias 18 e 19 de abril, a Rede Brasileira de Reprodutibilidade realizou uma conferência online sobre Reprodutibilidade na Pesquisa Brasileira, como evento preparatório para a 5ª Conferência Nacional de Ciência e Tecnologia. Foram dois dias de debates sobre o que é a reprodutibilidade nas ciências naturais, ciências da saúde e nas humanidades, além de discussões sobre os papéis que instituições, financiadores e periódicos podem assumir para promover práticas de pesquisa reprodutíveis. A gravação dos dois dias de evento estão disponíveis no Youtube (dia 1 e dia 2) e o resumo da conferência está disponível aqui.
Durante a conferência, o diretor de avaliação da CAPES, Dr. Antônio Gomes de Souza Filho, convidou a RBR a elaborar uma lista de recomendações práticas para incorporar práticas de pesquisa abertas e reprodutíveis na avaliação das pós-graduações brasileiras. A elaboração do documento foi liderada pela RBR, com ampla colaboração dos membros da Parceria para o Governo Aberto (Compromisso 3) e de nossa comunidade. O documento está disponível aqui e traz 8 recomendações, baseadas em iniciativas internacionais de reforma da avaliação científica e adaptadas ao contexto da avaliação das pós-graduações, que estão resumidas na figura abaixo.
A avaliação da CAPES ocorre a cada 4 anos, validando os cursos de mestrado e doutorado do país e informando o direcionamento dos investimentos do governo federal no Sistema Nacional de Pós-Graduação. Com isso, a avaliação tem um grande potencial de direcionar práticas de pesquisa dentro dos programas. Nas últimas avaliações, os critérios de avaliação relacionados à qualidade da produção intelectual têm sido fortemente vinculada ao ranking Qualis, que por sua vez se apoia em outros indicadores bibliométricos dos periódicos, como o fator de impacto.
Diversas iniciativas internacionais, como a DORA, o Manifesto de Leiden, o CoARA e os Princípios de Hong Kong recomendam que o veículo de publicação não seja utilizado para a avaliação da qualidade da pesquisa, o que consiste na primeira de nossas recomendações. Também propomos que a avaliação qualitativa de produções selecionadas seja valorizada, e explicitamente direcionada a diferentes dimensões de qualidade definidas pela CAPES, como o rigor metodológico e a transparência.
Recomendamos ainda que a disponibilização aberta de artigos, teses e dissertações seja valorizada, bem como o compartilhamento de dados, materiais, códigos e outros produtos de pesquisa. A forma como o acesso aberto é alcançado deve ficar a cargo do pesquisador, e não deve depender do pagamento de taxas de publicação no caso dos artigos.
Outras recomendações giram em torno da formação e apoio oferecido aos alunos para a adoção de práticas de pesquisa abertas e reprodutíveis. Um programa de pós-graduação de excelência deve incluir discussões sobre estes tópicos no currículo, além de possuir políticas e serviços de apoio nesse sentido. Também devem ser valorizadas ações de educação aberta que disponibilizem cursos e disciplinas oferecidos pelo programa a um público mais amplo.
Por fim, recomendamos que a avaliação de produtividade dos docentes e discentes das pós-graduações incluam dimensões para além da produção científica. Atividades como a revisão por pares pré- e pós-publicação, editoração de revistas científicas, participação em organizações e comissões dedicadas a políticas científicas e em colaborações estáveis de pesquisa também devem ser valorizadas na avaliação.
As recomendações foram apresentadas pela RBR ao Conselho Técnico-Científico da Educação Superior no dia 21 de maio, e estamos abertos a elaborar recomendações neste sentido para outras agências, instituições e programas de pós-graduação.
Caso você esteja interessado em adaptar nossas recomendações para seu contexto, acesse o documento e entre em contato conosco via redereprodutibilidade@gmail.com.
Comments