Iniciativa Brasileira de Reprodutibilidade publica artigo sobre lições aprendidas com o projeto

Novo preprint descreve os desafios enfrentados pelo projeto e aponta caminhos para fortalecer a reprodutibilidade na biologia de laboratório

A Iniciativa Brasileira de Reprodutibilidade (IBR), projeto que contribuiu para a criação da Rede Brasileira de Reprodutibilidade, publicou um novo preprint descrevendo os principais desafios enfrentados ao longo dos seus sete anos de trabalho.

O projeto contou com 56 laboratórios e reuniu mais de 200 pesquisadores para realizar 143 replicações de experimentos publicados nas últimas duas décadas por cientistas vinculados a instituições brasileiras. Por ser um projeto com escopo nacional, a IBR permitiu observar de perto como laboratórios acadêmicos realizam replicações com uma abordagem confirmatória.

Um dos principais desafios constatados foi a falta de uma linguagem comum para descrever métodos na biologia de laboratório. Mesmo com protocolos detalhados e pré-registrados, diferentes laboratórios interpretaram as mesmas instruções de formas distintas. Essa variação reflete como o conhecimento técnico em biologia é transmitido – majoritariamente entre pares ou absorvido de forma tácita – e reforça a importância de desenvolver e adotar convenções comuns.

Outro aprendizado importante diz respeito à validação de que as replicações foram metodologicamente adequadas para testar o resultado original. A tentativa de estabelecer critérios de validade pré-definidos não foi bem-sucedida, devido às dificuldades dos laboratórios em elaborar esses critérios e aderir a eles mais tarde. A solução encontrada foi criar um comitê independente de validação que avaliava procedimentos e desvios de protocolo sem ter acesso aos resultados, uma estratégia que parece ser mais viável para implementação por laboratórios individuais.

O texto também reflete sobre os limites do pré-registro na biologia experimental. Na maior parte dos métodos na área, os principais graus de liberdade dos pesquisadores estão nas decisões durante a coleta de dados, e não na análise dos dados. Como várias dessas decisões dependem de observações intermediárias feitas no próprio experimento, é difícil pré-registrar protocolos de antemão, e o ganho com isso parece menor em relação a áreas em que a maior parte da complexidade está na análise dos dados. Por isso, o conceito de pré-registro precisa ser adaptado para refletir a realidade de cada área de pesquisa.

A lição mais ampla, porém, é estrutural. Contingências como problemas logísticos e a escassez de recursos humanos e financeiros, que são comuns e desafiadoras, sobretudo em contextos como o brasileiro, acabam tendo um impacto muito grande sobre a rotina dos laboratórios. Se, por um lado, esses desafios foram intensificados pelo contexto da pandemia de Covid-19, por outro, eles também são potencializados pelo fato de que grupos de pesquisa acadêmicos costumam ser pequenos, muito dependentes de pessoas individuais e pouco robustos a contingências devido à sua própria estrutura.

Além de torná-los pouco robustos, a estrutura fragmentada dos laboratórios também prejudica sua capacidade de colaboração. Um projeto multicêntrico de larga escala, como foi a IBR, exige um grau de coordenação hierárquica ao qual nem os laboratórios participantes nem a comissão organizadora estavam acostumados. As dificuldades de implementar projetos de larga escala indicam a importância da especialização e profissionalização tanto de equipes técnicas de apoio nas universidades quanto das estruturas de gestão de projetos.

Os primeiros resultados da Iniciativa

No início de 2025, a IBR divulgou seus resultados principais em preprint — que foram posteriormente revisados em 2026. A partir de uma amostra de experimentos biomédicos publicados por grupos brasileiros, o projeto planejou 180 replicações, das quais 143 foram realizadas e 90 foram consideradas válidas pelo comitê de validação criado pelo projeto, sendo que entre 20% e 44% dos experimentos conseguiram ser replicados com sucesso. Os resultados sugerem que parte da baixa replicabilidade reflete características dos experimentos publicados, mas que variações técnicas entre laboratórios também têm peso importante.

Einstein Foundation Award

Em novembro de 2025, a IBR recebeu o Einstein Foundation Award, premiação internacional promovida pela Fundação Einstein de Berlim em parceria com o BIH QUEST Center for Responsible Research. A Iniciativa foi contemplada na categoria institucional. O prêmio reconheceu não apenas os resultados do projeto, mas seu impacto no fortalecimento de práticas de pesquisa e o legado para organizações como a própria Rede Brasileira de Reprodutibilidade e o BRISA.

Leia mais em: https://osf.io/preprints/metaarxiv/8y3tg_v1