Reprodutibilidade na ciência enfrenta desafios de valorização, transparência e viés cultural. Enquanto a crise de credibilidade exige práticas de Ciência Aberta, estudos de reprodutibilidade revelam limitações na abrangência e aplicabilidade dos resultados. A diversidade de populações e variáveis surge como essencial para superar o viés WEIRD e promover uma ciência mais inclusiva.
Por Raquel Freitag e Julian Tejada
Imagem de Freepik
O avanço da ciência decorre do desenvolvimento de pesquisas cujos resultados sejam confiáveis e que sustentem a hipótese que se deseja comprovar. Para que isto aconteça, não basta apenas seguir o método científico (com a delimitação de uma pergunta de pesquisa após a observação de fatos, com uma hipótese e predições a serem testadas em um arranjo – experimental ou observacional – para posterior análise), é preciso haver um corpo de resultados convergentes, na mesma direção dos resultados, para garantir a confiabilidade dos resultados, bem como contribuir para o desenvolvimento do campo teórico, seja em situações de normalidade ou de crise.
E, para haver essa garantia, é preciso existir reprodutibilidade na ciência. O rótulo “reprodutibilidade” recobre uma gama de subarranjos experimentais, que vão da repetição (mesmo experimento, mesmo arranjo, mesmo laboratório), passando pela replicação (mesmo experimento, mesmo arranjo, laboratório diferente), até a reprodução (mesmo experimento, arranjo diferente), mas também incluindo o reuso (experimento diferente, mesmo arranjo).
Apesar de a ciência depender de reprodutibilidade, pesquisas que se propõem a repetir, replicar ou reproduzir outros estudos são, muitas vezes, pouco valorizadas, em especial na área de ciências humanas, por conta de uma cultura que enfatiza a importância dada à originalidade e ao ineditismo. Agências de fomento, periódicos e programas de pós-graduação valorizam mais pesquisas que se apresentem como originais do que estudos que visam a reprodutibilidade.
A ciência vive um momento de crise, que vai muito além da crise da replicabilidade; é uma crise de credibilidade, que decorre da falta de transparência no processo, que é, no cenário brasileiro, majoritariamente financiado pelo contribuinte. O movimento Ciência Aberta (Open Science) (Foster & Deardorff 2017) propõe diretrizes para a prática científica colaborativa, compartilhada e pública. Isso significa transparência da concepção inicial da ideia (registro do projeto e declaração das hipóteses) ao conjunto dados, notas de pesquisa, relatórios, instrumentos e a publicação final, que podem ser usados, reutilizados e compartilhados por outras pessoas.
O ponto de partida do movimento Ciência Aberta é a transparência e a reprodutibilidade da análise: os dados existem realmente? Se outra pessoa replicar os mesmos procedimentos, alcançará os mesmos resultados? Os projetos Reproducibility Project: Psychology (Nosek et al, 2015) e Many Labs 2 (Klein et al. 2018), identificaram que entre o 40 ao 50% dos estudos de pesquisa na área da psicologia científica puderam ser reproduzidos, o primeiro conseguiu reproduzir 39 de 100 estudos, enquanto o segundo conseguiu reproduzir 15 de 28.
Isso não significa que os estudos originais estavam errados, mas possivelmente que os procedimentos relatados não foram suficientes para trilhar o caminho da reprodução, mesmo contando com dicas e informações proporcionadas pelos autores originais dos estudos.
Estudos que contam apenas com a publicação dos resultados, sem nenhum outro material suplementar, são virtualmente impossíveis de serem reproduzidos, ficando no campo da ciência não reproduzível no espectro da reprodutibilidade (Peng, 2011). Se a publicação dos resultados for acompanhada pelo código de análise, a replicação começa a ficar potencialmente viável; se os dados forem compartilhados também, aumenta ainda mais a viabilidade da replicação. A plena replicação, o padrão-ouro no espectro da reprodutibilidade, requer que não só dados e código estejam disponíveis, mas que estejam também explicitados os passos metodológicos executados (em suma, como um tutorial); ver figura 1.
Figura 1. Elementos que tornam mais provável a reprodutibilidade de um estudo.
Fonte: os autores.
Nas ciências que estudam a expressão humana, como nas emoções e na linguagem, além das questões metodológicas relacionadas à reprodutibilidade, um outro fator que leva a não reprodução de resultados é o viés cultural. Reproduções de estudos de comportamento em comunidades diferentes levarão a resultados diferentes? Há razões para se acreditar que sim, especialmente se considerarmos o problema WEIRD (Henrich, Heine & Norenzayan 2010): os estudos sobre o comportamento vêm sendo realizados em uma amostra populacional homogênea denominada pelo acrônimo WEIRD (Western, Educated, Indutrialized, Rich, Democratic), que corresponde a cerca de 12% da população global, cujos resultados são generalizados para todo o resto. Mais ainda: a maior parte dos estudos são desenvolvidos em universidades, com amostras constituídas entre esse grupo.
Não é diferente do que é feito no Brasil. No campo da Psicolinguística, Marcus Maia (2022), em Psicolinguística: diversidades, interfaces e aplicações reuniu um conjunto de estudos que mostram que embora metodologias, métodos de testagem e análise de resultados tenham sido aprimorados nos últimos anos, ainda há muitas limitações que impedem que os resultados comparados, discutidos ou aplicados adequadamente a populações menos específicas. A comparação dos resultados se torna ainda mais complexa em estudos que consideram variáveis independentes que não são usualmente controladas em estudos psicolinguísticos, como etnicidade, sexo biológico, identidade de gênero, graus de escolaridade, letramento, bilinguismo ou multilinguismo e diferenças etárias, diatópicas, diastráticas, diafásicas e diamésicas, e que permitem mensurar especificidades que vão além do WEIRD.
O desafio da reprodutibilidade se torna ainda maior quando se amplia o número de variáveis independentes tanto para abordagens observacionais como experimentais com foco na diversidade de populações, variáveis, técnicas e métodos de análise. Estudos de interfaces e aplicações da psicolinguística que podem ajudar no desenvolvimento da disciplina e das sociedades, como tem sido o caso dos estudos de processamento da variação linguística (Freitag; Soto, 2023).
A realização de replicações de estudos com grupos diferentes pode levar a resultados que levem ao questionamento de generalizações universais, como no caso das emoções, por exemplo. Os desafios ainda são grandes.
Referências
Foster, E. D., & Deardorff, A. (2017). Open science framework (OSF). Journal of the Medical Library Association: JMLA, 105(2), 203.
Freitag, R., & Soto, M. (2023). Processamento da variação linguística: desafios para integrar aquisição, diversidade e compreensão em um modelo de língua. Revista de Estudos da Linguagem, 31(2), 397-431.
Henrich, J., Heine, S. J., & Norenzayan, A. (2010). Most people are not WEIRD. Nature, 466(7302), 29-29.
Hoogeveen, S., Sarafoglou, A., & Wagenmakers, E. J. (2020). Laypeople can predict which social-science studies will be replicated successfully. Advances in Methods and Practices in Psychological Science, 3(3), 267-285.
Klein, R.A., Vianello, M., Hasselman, F., et al. (2018). Many Labs 2: Investigating Variation in Replicability Across Samples and Settings. Advances in Methods and Practices in Psychological Science.1(4):443-490. doi:10.1177/2515245918810225
Maia, M. (2022). Psicolinguística: Diversidades, interfaces e aplicações. São Paulo: Contexto.
Open Science Collaboration. Estimating the reproducibility of psychological science. Science, v. 349, n. 6251, p. aac4716, 28 ago. 2015.
Peng, R. D. Reproducible Research in Computational Science. Science, v. 334, n. 6060, p. 1226–1227, 2 dez. 2011.
Sobre os autores
Julian Tejada
Psicólogo pela Universidad Nacional de Colombia, Doutor em Psicobiologia pela Universidade de São Paulo, professor da Universidade Federal de Sergipe (UFS) do Departamento de Psicologia (DPS) e dos Programas de Pós-Graduação em Psicologia (PPGPSI-UFS) e Ciências Fisiológicas (PROCFIS-UFS).
Raquel Freitag
Linguista, com mestrado e doutorado em Linguística pela Universidade Federal de Santa Catarina. Professora do Departamento de Letras Vernáculas da Universidade Federal de Sergipe, atuando nos programas de Pós-Graduação em Letras e em Psicologia.
Ambos coordenam o Laboratório Multiusuário de Informática e Documentação Linguística, da Universidade Federal de Sergipe, que tem participado de estudos de reprodutibilidade.
Comments