skip to Main Content

Questionários estruturados podem tornar a avaliação por pares mais eficiente

Publicado em: Questionários estruturados podem tornar a avaliação por pares mais eficiente

Por Lilian Nassi-Calò

Imagem: engin akyurt.

A avaliação por pares é um tema recorrente neste blog e na literatura científica em todas as áreas do conhecimento, por sua relevância no processo editorial e seu reconhecido potencial em aprimorar a qualidade dos manuscritos submetidos para publicação.

Nas últimas décadas, os recursos para pesquisadores sobre como se tornar um bom parecerista vêm aumentando em todo o mundo, por iniciativa de sociedades científicas que visam atender a suas especialidades, organizações nacionais e internacionais de editores científicos e estudos abrangentes sobre avaliação por pares.

O Programa SciELO implementa, adota e incentiva, desde 2018, práticas de ciência aberta em suas coleções de periódicos, com a disponibilização aberta de dados de pesquisa, a postagem de preprints, a adoção de publicação contínua e o aumento da transparência nos processos de avaliação de pesquisas, artigos e periódicos. Como resultado, os editores de periódicos vêm, de forma crescente, adotando estas práticas com resultados positivos no aumento de preprints sendo publicados e compartilhados com a comunidade científica, a redução de prazos entre a submissão e a publicação e cada vez mais os dados sendo disponibilizados em repositórios abertos.

O post Como reformular a publicação científica para enfrentar a crise da avaliação por pares,1 aborda as potenciais causas que faz da avaliação por pares o processo mais lento da publicação de um artigo e um constante desafio aos editores e equipes editoriais. Uma nova abordagem propõe que os periódicos estruturem um formulário padrão a ser respondido pelos pareceristas, para que nenhum aspecto importante da avaliação do manuscrito passe desapercebida.

Mario Malički e Bahar Mehmani realizaram um estudo piloto com 23 periódicos de todas as áreas do conhecimento do publisher Elsevier, intitulado Structured Peer Review: Pilot results from 23 Elsevier Journals2 e postado no repositório de preprints bioRxiv. Os autores propõem uma série de perguntas – que deveriam ser padronizadas para um determinado periódico, conforme suas particularidades, que enfocam nos aspectos metodológicos, analíticos e de interpretação do artigo. Por exemplo, os editores consideram importante orientar os pareceristas para considerar se os métodos descritos são suficientemente detalhados para permitir que o trabalho seja reproduzido por outros pesquisadores, se análise estatística adicional é necessária, ou ainda se a interpretação dos dados é substanciada pelos dados e metodologia do estudo.

Na hipótese da resposta a alguma destas questões seja insatisfatória, o parecerista deve, então, fornecer críticas construtivas aos autores. Caso o parecerista julgue que não tem conhecimento suficiente para fazê-lo, deve declarar ao editor sua limitação. Outros aspectos do trabalho, como ineditismo, impacto potencial, qualidade da redação (em qualquer idioma) e formatação são de responsabilidade dos editores. Os autores recomendam fortemente que os relatos de avaliação por pares sejam disponibilizados integralmente e de forma aberta, como parte do artigo publicado. “Isso permitiria que os leitores julgassem por si mesmos como um artigo foi avaliado e possibilitaria que os pesquisadores estudassem as práticas de revisão por pares.”2

Os resultados do estudo piloto mostram que quase todos os pareceristas (92%) responderam à totalidade das questões do formulário. Quando orientados pelo mesmo conjunto de questões, 41% dos pareceristas fizeram as mesmas recomendações quanto a aceitar, revisar ou rejeitar um artigo. Os pareceristas tiveram o maior percentual de concordância (72%) sobre a avaliação a respeito do fluxo e a estrutura do manuscrito e menor concordância (53%) sobre a avaliação a respeito de se os resultados são suficientemente sustentados pelos dados. Havia ademais, neste estudo, uma seção dissertativa opcional denominada comentários ao autor, que foi preenchida por 49% do pareceristas.

O questionário padrão proposto3 inclui apenas oito questões, duas para cada seção do artigo, introdução, métodos, resultados e discussão, que podem ser adequadas a periódicos de qualquer área do conhecimento e está disponível on-line no website da European Association of Science Editors, associação da qual os autores do estudo, Malički e Mehmani são, respectivamente, presidente e membro do Comitê de Avaliação por Pares. Cabe notar que os autores recomendam respostas múltipla-escolha, para tornar o processo mais célere e facilitar a leitura pelos autores.

Com o intuito de documentar práticas similares, foi feita uma busca por periódicos e publishers que documentam em suas páginas web instruções a pareceristas se disponibilizam formulários padrão de avaliação por pares. Os resultados são sumarizados na Tabela 1. Alguns mencionam dispor de formulários, porém não estavam disponíveis a leitores e presume-se que estariam disponíveis nos sistemas de gestão on-line de manuscritos, como o ScholarOne ou o OJS (Open Journal Systems), por exemplo. Outros não usam formulários, mas relacionam as perguntas que recomendam sejam feitas pelos pareceristas aos autores na avaliação dos manuscritos.

 

Tabela 1. Recursos sobre avaliação por pares recomendados por periódicos e publishers a pareceristas.

 

Cabe notar, ademais, que a totalidade dos periódicos e publishers pesquisados na Tabela 1 em algum ponto das instruções aos pareceristas recomenda veementemente não utilizar ferramentas de IA (inteligência artificial) na avaliação por pares.

O estudo sobre o questionário estruturado de avaliação por pares e os recursos citados na Tabela 1 apontam para a mesma direção. Cada vez mais a comunidade científica demanda transparência na avaliação da pesquisa. Os leitores de um artigo muito se beneficiam ao ter acesso aos informes de avaliação por pares, para saber a que tipo de escrutínio os manuscritos foram submetidos para serem aprovados e publicados.

Notas

1. NASSI-CALÒ, L. Como reformular a publicação científica para enfrentar a crise da avaliação por pares [online]. SciELO em Perspectiva, 2023 [viewed 15 May 2024]. Available from: https://blog.scielo.org/blog/2023/12/13/como-reformular-a-publicacao-cientifica-para-enfrentar-a-crise-da-avaliacao-por-pares/

2. MALIČKI, M and MEHMANI, B. Structured Peer Review: Pilot results from 23 Elsevier Journals. bioRxiv [online]. 202 [viewed 15 May 2024]. https://doi.org/10.1101/2024.02.01.578440. Available from: https://www.biorxiv.org/content/10.1101/2024.02.01.578440v1

Referências

BERK, J., HARVEY, C.R. and HIRSHLEIFER, D.A. A Checklist for Reviewing a Paper. StanfordGSB-Bus :: SSRN [online]. 2016 [viewed 15 May 2024]. http://doi.org/10.2139/ssrn.2887708. Available from: https://papers.ssrn.com/sol3/papers.cfm?abstract_id=2887708

DRUBIN, D.G. Any jackass can trash a manuscript, but it takes good scholarship to create one (how MBoC promotes civil and constructive peer review). Mol. Biol. Cell [online]. 2017, vol. 22, no. 5, pp. 525-714 [viewed 15 May 2024]. https://doi.org/10.1091/mbc.e11-01-0002. Available from: https://f1000research.com/for-referees/guidelines

DRUBIN, D.G. Evaluating how we evaluate. Mol. Biol. Cell [online]. 2017, vol. 23, no. 17, pp. 3277-3497 [viewed 15 May 2024]. https://doi.org/10.1091/mbc.e12-06-0490. Available from: https://www.molbiolcell.org/doi/10.1091/mbc.e12-06-0490

MALIČKI, M and MEHMANI, B. Structured Peer Review: Pilot results from 23 Elsevier Journals. bioRxiv [online]. 202 [viewed 15 May 2024]. https://doi.org/10.1101/2024.02.01.578440. Available from: https://www.biorxiv.org/content/10.1101/2024.02.01.578440v1

MEIER, A. How to Review a Technical Paper [online]. Advice compiled by Michael Ersnt | University of Washington Computer Science & Engineering. 1992 [viewed 15 May 2024]. Available from: https://homes.cs.washington.edu/~mernst/advice/meier-paper.review.html

NASSI-CALÒ, L. Como reformular a publicação científica para enfrentar a crise da avaliação por pares [online]. SciELO em Perspectiva, 2023 [viewed 15 May 2024]. Available from: https://blog.scielo.org/blog/2023/12/13/como-reformular-a-publicacao-cientifica-para-enfrentar-a-crise-da-avaliacao-por-pares/

PeerJ STAFF. How To Become Good At Peer-Review [online]. PeerJ Blog, 2014 [viewed 15 May 2024]. Available from: https://peerj.com/blog/post/73296165864/how-to-become-good-at-peer-review/

Links externos

A guide to becoming a peer reviewer | Editor Resources: https://editorresources.taylorandfrancis.com/reviewer-guidelines/

A Peer Review Process Guide – Scisnack: https://www.scisnack.com/wp-content/uploads/2018/10/A-Peer-Review-Process-Guide.pdf

bioRxiv: https://www.biorxiv.org/

Cell Press Multi-Journal Submission Reviewer Template: https://www.cell.com/pb-assets/journals/platform/hubs/multi-journal-submissions/CP-Multi-Journal-Reviewer-Template-1696609810287.docx

Declaração de Apoio à Ciência Aberta com IDEIA: https://25.scielo.org/wp-content/uploads/2023/09/Declaracao-em-Apoio-a-Ciencia-Aberta-com-IDEIA.pdf

Forms, policies, and ethics | The BMJ: https://www.bmj.com/about-bmj/resources-authors/forms-policies-and-checklists

Guidelines for Article Reviewers | F1000Research: https://f1000research.com/for-referees/guidelines

Guidelines for Reviewers | PLOS ONE: https://journals.plos.org/plosone/s/reviewer-guidelines

How to conduct a review | Elsevier: https://www.elsevier.com/reviewer/how-to-review

How to Write a Report | Nature: https://www.nature.com/nature/for-referees/how-to-write-a-report

Information for reviewers | Cell Press: https://www.cell.com/reviewers

Information for reviewers | Royal Society Open Science: https://royalsocietypublishing.org/rsos/for-reviewers

Peer Review | Nature Portfolio: https://www.nature.com/nature-portfolio/editorial-policies/peer-review

PeerJ – About – Aims & Scope: https://peerj.com/about/aims-and-scope/#peer-review-criteria

Referee Guidelines – EPL: https://www.epletters.net/referee-guidelines/

Resources for reviewers | The BMJ: https://www.bmj.com/about-bmj/resources-reviewers

Reviewer Recommendation and Comments – PLOS: https://genweb.plos.org/Marketing/plosone-reviewer-form.pdf

Reviewers Instructions & Acknowledgement – PNAS: https://www.pnas.org/reviewer

Tools and Resources for Reviewers | Wiley: https://authorservices.wiley.com/Reviewers/journal-reviewers/tools-and-resources/index.html

 

Sobre Lilian Nassi-Calò

Lilian Nassi-Calò é química pelo Instituto de Química da USP e doutora em Bioquímica pela mesma instituição, a seguir foi bolsista da Fundação Alexander von Humboldt em Wuerzburg, Alemanha. Após concluir seus estudos, foi docente e pesquisadora no IQ-USP. Trabalhou na iniciativa privada como química industrial e atualmente é Coordenadora de Comunicação Científica na BIREME/OPAS/OMS e colaboradora do SciELO.

 

Como citar este post [ISO 690/2010]:

NASSI-CALÒ, L. Questionários estruturados podem tornar a avaliação por pares mais eficiente [online]. SciELO em Perspectiva, 2024 [viewed ]. Available from: https://blog.scielo.org/blog/2024/05/15/questionarios-estruturados-podem-tornar-a-avaliacao-por-pares-mais-eficiente/

Fonte: Questionários estruturados podem tornar a avaliação por pares mais eficiente
Feed: SciELO em Perspectiva
Url (Fonte): blog.scielo.org
Back To Top