Traduction: G.M.
The review of scientific studies in journals is subjective and quality is variable
Summary
Peer reviews in science, in which independent scientists who are experts on the subject assess the paper, is the current strategy for ensuring quality and control in scientific research and, therefore, it is essential for the academic world. However, a new study uncovers why this system frequently receives harsh criticism about its effectiveness and transparency, and she proposes alternatives to improve it.
Résumé
La revue par les pairs en science, dans laquelle des scientifiques indépendants qui sont des experts sur le sujet évaluent le papier, est la stratégie actuelle pour assurer la qualité et le contrôle dans la recherche scientifique et, par conséquent, il est essentiel pour le monde académique. Cependant, une nouvelle étude démontre pourquoi ce système reçoit fréquemment de sévères critiques quant à son efficacité et sa transparence, et elle propose des alternatives pour améliorer cela.
Variability in quality of reviews is a serious problem, not only for the scientific community, but also for the journals, which in the last few years have openly recognised that it is increasingly difficult to secure the participation of scientists as reviewers.
La variabilité de la qualité des examens est un problème grave, non seulement pour la communauté scientifique, mais aussi pour les journaux, qui, dans les dernières années ont ouvertement reconnu qu'il est de plus en plus difficile d'obtenir la participation de scientifiques comme évaluateurs.
The review of scientific studies in journals is subjective and the quality is variable Peer reviews in science, in which independent scientists who are experts on the subject assess the paper, is the current strategy for ensuring quality and control in scientific research and, therefore, it is essential for the academic world. However, a study led by the Portuguese, Catarina Ferreira, uncovers why this system frequently receives harsh criticism about its effectiveness and transparency, and she proposes alternatives to improve it.
L'examen des études scientifiques dans des revues est subjective et la qualité est variable. L'examen par les pairs de la science, dans lequel les scientifiques indépendants qui sont des experts sur le sujet évaluent le papier, est la stratégie actuelle pour assurer la qualité et le contrôle dans la recherche scientifique et, par conséquent, il est essentielle pour le monde académique. Cependant, une étude menée par la Portugaise, Catarina Ferreira, découvre pourquoi ce système reçoit fréquemment de sévères critiques quant à son efficacité et de transparence, et elle propose des alternatives pour l'améliorer.
In the sphere of scientific publications, the process known as 'peer reviews' consists of evaluating manuscripts that are sent to scientific journals to be published, by two or more qualified independent reviewers, who are usually experts on the subject. Catarina Ferreira, researcher at Trent University (Canada), the Institute of Research in Game Resources and CIBIO-UP in Portugal, is leading a study reviewing the history of this review process. In the study, published in 'Biological Reviews', Ferreira highlights the resistance of this technique to changes in publishing practices, which has further exacerbated the vulnerabilities of this system.
Dans le domaine des publications scientifiques, le processus connu sous le nom «revue par les pairs» consiste à évaluer les manuscrits qui sont envoyés à des revues scientifiques pour être publiés, par deux ou plusieurs évaluateurs indépendants qualifiés, qui sont généralement des experts sur le sujet. Catarina Ferreira, chercheur à l'Université Trent (Canada), l'Institut de recherche sur les ressources du jeu et CIBIO-UP au Portugal, mène une étude passant en revue l'histoire de ce processus d'examen. Dans l'étude, publiée dans «Biological Reviews», Ferreira souligne la résistance de cette technique à des changements dans les pratiques d'édition, ce qui a encore aggravé les vulnérabilités de ce système.
"The main weaknesses are currently related to three aspects: the voluntary nature of the peer review, since 'peers' only participate in the process if they wish, the disparity of review criteria or guidelines produced by scientific journals, and a lack of tangible recognition of the reviewers for their service to the scientific community. All of the above makes the peer review process slow, highly subjective, and results in reviews of greatly varying quality," the researcher said.
"Les principales faiblesses concernent actuellement trois aspects: la nature volontaire de l'examen par les pairs, puisque les « pairs »participent au processus seulement s'ils le souhaitent, la disparité des critères de l'examen ou des lignes directrices produites par les revues scientifiques, et un manque de notoriété tangible des examinateurs pour leur service à la communauté scientifique. Tout ce qui précède rend le processus d'examen par les pairs lent, très subjectif, et aboutit en des évaluations de qualité très variable ", dit le chercheur.
This is a serious problem, not only for the scientific community, but also for the journals, which in the last few years have openly recognised that it is increasingly difficult to secure the participation of scientists as reviewers -in ecology, the non-acceptance rate for requests to review articles is 49%- and obtain high quality exams.
"Cases of scientific fraud and retractions of articles -adds Ferreira- are increasing, and they reflect the ineffective examination on which a weak peer review is based."
C'est un problème grave, non seulement pour la communauté scientifique, mais aussi pour les journaux, qui, dans les dernières années ont ouvertement reconnu qu'il est plus difficile d'obtenir la participation de scientifiques comme des relecteurs - en écologie, le taux de non-acceptation pour des demandes d'évaluation d'articles est de 49% - et d'obtenir des évaluations de grande qualité.
"Les cas de fraude et de rétractations d'articles scientifiques - ajoute Ferreira- sont en augmentation, et ils reflètent l'évaluation inefficace sur lequel repose une faible évaluation par les pairs."
"Les cas de fraude et de rétractations d'articles scientifiques - ajoute Ferreira- sont en augmentation, et ils reflètent l'évaluation inefficace sur lequel repose une faible évaluation par les pairs."
The steps for publishing in a scientific review
In the specific case of this study, all of the authors, who are trained as biologists, focussed on the field of ecology and evolution. From the hundreds of scientific journals that are published in these fields, they chose to contact the 38 considered to be the top journals, as classified by the standings produced by 'Google Scholar Metric'.
Dans le cas spécifique de cette étude, tous les auteurs, qui sont formés en tant que biologistes, se sont centrés sur le domaine de l'écologie et de l'évolution. Parmi les centaines de revues scientifiques qui sont publiées dans ces domaines, ils ont choisi de contacter le 38 considérées comme les meilleures revues, selon la classification produite par 'Google Scholar Metric'.
"We did it in this manner simply because we assumed that the journals that have a higher 'traffic' of articles received also have more pressure to improve the peer review system," argued the expert. Peer review was defined as "not consistent" in all of the 38 journals selected on ecology and evolution, and scientists ensure that it is something that is a cross-cutting issue in practically all scientific fields.
"The definition of an 'ideal' peer review is somewhat complex and, currently, even the journals that have the most organised systems struggle with weak reviews, which demonstrates that standardising review criteria and guidelines does not at all resolve all of the weaknesses in the system," the researcher added.
"Nous l'avons fait de cette manière parce que nous avons supposé que les journaux qui ont une forte «audience » reçoivent aussi plus de pression pour améliorer le système de revue par les pairs", fait valoir l'expert. L'évaluation par les pairs a été définie comme "non fiable" pour l'ensemble des 38 revues sélectionnées sur l'écologie et l'évolution, et les scientifiques assurent que c'est quelque chose qui est une question transversale dans pratiquement tous les domaines scientifiques.
"La définition d'un examen par les pairs« idéal »est quelque peu complexe et, actuellement, même les journaux qui ont les systèmes les mieux organisés luttent avec des évaluations faibles, ce qui démontre que les critères de normalisation des évaluations et les recommandations ne résolvent pas du tout, toutes les faiblesses dans du système », a ajouté la chercheuse.
"La définition d'un examen par les pairs« idéal »est quelque peu complexe et, actuellement, même les journaux qui ont les systèmes les mieux organisés luttent avec des évaluations faibles, ce qui démontre que les critères de normalisation des évaluations et les recommandations ne résolvent pas du tout, toutes les faiblesses dans du système », a ajouté la chercheuse.
How can this system be improved?
Some measures have been suggested as potential mitigators of weaknesses such as the privatisation of peer reviews and making participation mandatory.
"Applying correction factors to the h-index -the highest number of articles that an author has published and been cited at least the same number of times-, paying fees to the reviewers or offering them royalties (such as discounts on subscription fees or acknowledgement notes) are some of the proposals. Moreover, some editors are making efforts to homogenise review criteria between them, such as the British Ecological Society, and some review guidelines exist, although there is no agreed criteria on which is the most relevant," highlights Ferreira.
Comment ce système peut-il être amélioré?Certaines mesures ont été suggérées comme pouvant potentiellement amoindrir les faiblesses telles que la privatisation des évaluations par les pairs et rendre la participation obligatoire.
"L'application de facteurs de correction à l'index h -le plus grand nombre d'articles que l'auteur a publié et a été cité au moins le même nombre de fois-, de payer des frais aux évaluateurs ou en leur offrant des redevances (tels que des rabais sur les frais d'abonnement ou notes de reconnaissance ) sont quelques-unes des propositions. en outre, certains éditeurs font des efforts pour homogénéiser les critères d'évaluation entre eux, comme la British Ecological Society, et certaines lignes directrices d'évaluation existent, bien qu'il n'y ait pas de critères convenus sur ce qui est le plus pertinente," souligne Ferreira.
"L'application de facteurs de correction à l'index h -le plus grand nombre d'articles que l'auteur a publié et a été cité au moins le même nombre de fois-, de payer des frais aux évaluateurs ou en leur offrant des redevances (tels que des rabais sur les frais d'abonnement ou notes de reconnaissance ) sont quelques-unes des propositions. en outre, certains éditeurs font des efforts pour homogénéiser les critères d'évaluation entre eux, comme la British Ecological Society, et certaines lignes directrices d'évaluation existent, bien qu'il n'y ait pas de critères convenus sur ce qui est le plus pertinente," souligne Ferreira.
In the 38 reviews analysed, the disparity of methods used by the journals to instruct their reviewers on peer reviews was evident, from the complete absence of guidelines and unclear criteria, to more formal systems with forms and defined criteria.
"None of the measures proposed to date has the potential to resolve the problems in the long term, because they are partial and not holistic. In our opinion, a contemporary peer review process, in which the current needs of the scientific community are addressed, should be centralised in a platform -independent of journals, whose interests are above all financial- with clear review criteria and guidelines, adjusted according to the scientific field," the researcher concludes.
They also propose that this centralisation be led by scientists, since this would facilitate the standardisation of the process, as well as increasing its transparency and reliability.
Dans les 38 revues analysées, la disparité des méthodes utilisées par les revues pour donner des instructions à leurs évaluateur sur la révision par les pairs était évidente, de l'absence complète de recommandations et des critères peu clairs, à des systèmes plus formels avec des formes et des critères définis.
"Aucune des mesures proposées à ce jour n'a le potentiel de résoudre les problèmes à long terme, car elles sont partielles et non globales. À notre avis, un processus d'examen par les pairs contemporain, dans lequel les besoins actuels de la communauté scientifique sont évalués, devrait être centralisé dans une plate-forme -indépendante de journaux, dont les intérêts sont surtout financiers- avec des critères d'évaluation et des recommandations clairs, ajustés selon le domaine scientifique », conclut la chercheuse.
Ils proposent également que cette centralisation soit dirigée par des scientifiques, car cela faciliterait la normalisation du processus, ainsi que l'accroissement de la transparence et de la fiabilité.
"Aucune des mesures proposées à ce jour n'a le potentiel de résoudre les problèmes à long terme, car elles sont partielles et non globales. À notre avis, un processus d'examen par les pairs contemporain, dans lequel les besoins actuels de la communauté scientifique sont évalués, devrait être centralisé dans une plate-forme -indépendante de journaux, dont les intérêts sont surtout financiers- avec des critères d'évaluation et des recommandations clairs, ajustés selon le domaine scientifique », conclut la chercheuse.
Ils proposent également que cette centralisation soit dirigée par des scientifiques, car cela faciliterait la normalisation du processus, ainsi que l'accroissement de la transparence et de la fiabilité.
Story Source:
The above post is reprinted from materials provided by Plataforma SINC. Note: Materials may be edited for content and length.
Journal Reference:
- Catarina Ferreira, Guillaume Bastille-Rousseau, Amanda M. Bennett, E. Hance Ellington, Christine Terwissen, Cayla Austin, Adrian Borlestean, Melanie R. Boudreau, Kevin Chan, Adrian Forsythe, Thomas J. Hossie, Kristen Landolt, Jessica Longhi, Josée-Anne Otis, Michael J. L. Peers, Jason Rae, Jacob Seguin, Cristen Watt, Morgan Wehtje, Dennis L. Murray. The evolution of peer review as a basis for scientific publication: directional selection towards a robust discipline? Biological Reviews, 2015; DOI: 10.1111/brv.12185
Pour citer cette page
Plataforma SINC. "The review of scientific studies in journals is subjective and quality is variable." ScienceDaily. ScienceDaily, 12 June 2015. <www.sciencedaily.com/releases/2015/06/150612103805.htm>.
