Reprodutibilidade na linguística: explorando os desafios metodológicos enfrentados pelo campo. Uma abordagem colaborativa e transparente se faz necessária para transformar a pesquisa linguística mais confiável.
Por Miguel Oliveira Jr.
A crise da reprodutibilidade na ciência é um desafio que tem recebido atenção crescente nos últimos anos. Ela se refere à preocupação de que muitos estudos científicos, em diversas áreas, não podem ser facilmente replicados por outros pesquisadores, levantando questões sobre a confiabilidade e a validade das descobertas científicas. Fatores como práticas de pesquisa questionáveis, tamanho inadequado de amostras, vieses estatísticos e falta de transparência na comunicação de resultados contribuem para essa crise. Enfrentar esse problema é fundamental para manter a integridade e a credibilidade da pesquisa científica, promovendo práticas rigorosas, revisão por pares mais robusta e uma cultura de compartilhamento aberto de dados e métodos.
Thomas Kuhn ([1962] 1996) propõe que o progresso científico segue um ciclo de três fases: “ciência normal”, “crise” e “revolução”. Durante a “ciência normal”, os cientistas operam dentro de um paradigma estabelecido, com poucos conflitos em relação às teorias fundamentais. No entanto, quando surgem anomalias que desafiam este paradigma, entra-se na fase de “crise”, onde as normas são questionadas. Esta crise pode levar a uma “revolução”, onde um novo paradigma substitui o antigo.
Sönning & Werner (2021) aplicam esta estrutura à metodologia de pesquisa. Na “ciência normal” metodológica, procedimentos amplamente aceitos são adotados. Quando surgem anomalias metodológicas, ocorre uma “crise” metodológica, resultando na diversificação de técnicas e na falta de consenso. A atual “crise de replicação” exemplifica esta crise metodológica, revelando deficiências nas técnicas que levam a resultados inconsistentes. Grieve (2021) sugere que uma “revolução” metodológica pode estar próxima, embora haja resistência daqueles que têm interesse no paradigma existente. Ao contrário das revoluções teóricas, as revoluções metodológicas podem não resultar em mudanças drásticas na forma como os problemas de pesquisa são abordados, mas sim em ajustes nas práticas metodológicas vigentes.
Em linguística, a falta de reprodutibilidade também é evidente. Em um estudo recente, Kobrock & Roettger (2023) analisaram a reprodutibilidade em revistas linguísticas de 1945 a 2020, com foco nas replicações diretas, consideradas fundamentais para fortalecer a base empírica e teórica do campo. Observaram que revistas de acesso aberto e aquelas que encorajam explicitamente estudos de reprodução estavam associadas mais frequentemente a trabalhos que citavam a reprodução. A análise mais detalhada desses revistas e dos trabalhos identificados por busca automática revelou que as replicações diretas eram raras na área. A maioria das replicações era conceitual ou parcial, e a replicação frequentemente ocorria em uma língua semelhante à do estudo original, com um tempo médio de 7 anos entre os estudos. Esses resultados destacam desafios na replicação em linguística experimental e sugerem a necessidade de maior incentivo à replicação direta e mudanças nas práticas de pesquisa.
Grieve (2021) explora as razões por trás da falha na replicação de estudos linguísticos. Ele destaca três razões fundamentais: falhas técnicas na concepção e execução dos estudos, variação desconhecida na população estudada e variação no contexto de coleta de dados. Ele enfatiza que a manipulação do contexto social pode afetar a produção e a percepção da linguagem, tornando a replicação menos provável em linguística. Consequentemente, ele destaca a importância de reconhecer os desafios específicos da pesquisa linguística e interpretar os resultados com cautela.
O debate sobre a crise de replicação tem sido mais proeminente em subáreas da linguística que adotaram abordagens quantitativas, como a psicolinguística, a sociolinguística e a linguística de corpus. No entanto, essa discussão precisa ser estendida a todas as subáreas da linguística. Nesse contexto, Sönning & Werner (2021) sugerem um novo paradigma metodológico para a linguística. Este novo paradigma propõe uma mudança na forma como os resultados são comunicados, com um foco na apresentação conceitual das descobertas, evitando jargões incompreensíveis e mantendo o foco nas questões linguísticas. Além disso, propõe-se que os dados e o código de análise estejam disponíveis tanto durante a revisão por pares quanto após a publicação, incentivando uma cultura de dados abertos e interação respeitosa. O novo paradigma também defende uma abordagem mais cautelosa em relação às contribuições empíricas. Isso envolve um foco na confirmação independente de reivindicações, na replicação de descobertas e na avaliação crítica de descobertas isoladas.
Os sistemas acadêmicos atuais não têm incentivado a realização de estudos de replicação. Órgãos de fomento e agências que avaliam programas de pós-graduação, por exemplo, não valorizam esses estudos. Da mesma forma, as revistas acadêmicas geralmente não incentivam a submissão de estudos de replicação. Além disso, esses estudos raramente são citados, o que contribui para a relutância em conduzi-los. Kobrock & Roettger (2023) defendem que a área da linguística pode servir de exemplo para outras áreas das Ciências Humanas e Sociais, pois adota reformas metodológicas mais rapidamente. No entanto, para tornar a prática da reprodutibilidade mais eficiente, os autores sugerem uma avaliação mais crítica da escolha de quais estudos merecem replicação e métodos mais eficientes para identificar alvos de replicação e conduzir estudos de replicação. Isso pode incluir, entre outras ações, uma participação mais efetiva de estudantes de pós-graduação em projetos de reprodutibilidade e o compartilhamento de recursos em esforços de replicação multi-laboratoriais.
A crise da reprodutibilidade na ciência é um desafio que abrange várias áreas, incluindo a linguística. Enfrentá-lo requer uma mudança significativa na cultura acadêmica e na abordagem metodológica, promovendo a replicação, mediante políticas institucionais. A implementação dessas mudanças é essencial para preservar a integridade da pesquisa científica e fortalecer a confiança na validade de suas descobertas.
Referências
Grieve, Jack. "Observation, experimentation, and replication in linguistics" Linguistics, vol. 59, no. 5, 2021, pp. 1343-1356. https://doi.org/10.1515/ling-2021-0094
Kobrock, K., & Roettger, T. B. (2023). Assessing the replication landscape in experimental linguistics. Glossa Psycholinguistics, 2(1). http://dx.doi.org/10.5070/G6011135
Kuhn, Thomas S. [1962] 1996. The structure of scientific revolutions. Chicago: University of Chicago Press.
Sönning, Lukas and Werner, Valentin. "The replication crisis, scientific revolutions, and linguistics" Linguistics, vol. 59, no. 5, 2021, pp. 1179-1206. https://doi.org/10.1515/ling-2019-0045
Sobre o autor
Miguel Oliveira Jr
Professor da Faculdade de Letras da Universidade Federal de Alagoas. É membro do Conselho Deliberativo do Comité International Permanent des Linguistes (CIPL) e coordenador do projeto Interfaces Prosódicas, da Asociación de Linguística y Filología de América Latina (ALFAL). É idealizador e editor do periódico Cadernos de Linguística (cadernos.abralin.org), que implementou pioneiramente para a área inúmeras ações associadas à política da Ciência Aberta. Foi presidente da Associação Brasileira de Linguística (Abralin) entre 2017-2021.