Compréhension et conduite de l'examen par les pairs

La « revue par les pairs » implique que des scientifiques lisent le travail d'autres scientifiques et décident s'il est digne d'être publié. J'avais un mentor qui avait l'habitude de dire que la science n'était pas vraiment une science avant d'être diffusée (publiée ou au moins présentée lors de conférences scientifiques). Jusque-là, tout ce bricolage dans le laboratoire n'est vraiment rien de plus qu'un passe-temps, parce que les efforts n'ont pas contribué à notre corps commun de connaissances scientifiques.

Le processus d'examen par les pairs en est une composante essentielle, car tout ce qui compte n'est pas scientifique. Malheureusement, il y a un certain «scientisme», parmi les universitaires et les critiques de la science, qui habillent leur langue de termes scientifiques, mais ne pratiquent pas vraiment la science. C'est seulement la science s'il y a une tentative systématique de contribuer de façon significative à la connaissance scientifique.

En pratique, la façon dont on détermine si cette barre a été respectée consiste à envoyer des rapports scientifiques à des évaluateurs indépendants pour commentaires et critiques. Ils donneront des suggestions sur la façon d'améliorer la présentation ou de clarifier les détails de la méthode scientifique. Il est rare de voir un article dans une revue scientifique qui n'a pas été soumis à ce processus de révision et de révision.

Bien que ce soit une partie essentielle du processus scientifique, il est étonnant que les scientifiques y reçoivent relativement peu de formation. Beaucoup d'étudiants diplômés, de jeunes chercheurs ou de personnes travaillant dans des institutions à faibles ressources n'ont pas eu l'occasion de comment mener une revue scientifique. En tant qu'éditeur d'une revue scientifique, on me demande souvent de telles directives pour les réviseurs et je partage quelques suggestions ci-dessous.

Le processus d'évaluation par les pairs repose sur des examens réfléchis et rigoureux. Le domaine de la psychologie est chanceux parce que la plupart des chercheurs se consacrent à fournir des évaluateurs équilibrés et constructifs qui identifient de manière appropriée les principales forces et faiblesses d'un manuscrit. Fournir des examens à d'autres universitaires est une avenue importante pour influencer le domaine et maximiser la qualité de la recherche sur la violence.

Le résultat est un ensemble de preuves qui est probablement plus fort à bien des égards que ce qui est parfois décrit dans les médias ou par les politiciens. Il n'est pas facile de publier une étude scientifique, en particulier dans un journal supérieur.

Normes générales pour le processus d'examen

1) Il est important de maintenir un ton constructif et d'identifier les forces et les faiblesses. Peu importe si le manuscrit est publié dans une revue particulière, le but ultime du processus d'évaluation par les pairs est d'améliorer le niveau global de la science dans le domaine. Heureusement, même lorsque les manuscrits sont rejetés, les auteurs trouveront les commentaires utiles à leur travail futur. Au fil des ans, j'ai reçu de nombreux commentaires élogieux de la part d'auteurs, y compris des lettres de refus, à propos de conseils utiles pour poursuivre leurs recherches.

Si vous lisez un article qui semble présenter de nombreux problèmes, souvenez-vous que nombre d'entre eux pourraient être des premiers efforts d'étudiants ou d'autres jeunes chercheurs. Nous ne voulons pas les effrayer sur le terrain avec des critiques inutilement hostiles, nous voulons encadrer les gens à atteindre les plus hauts standards scientifiques.

2) Il existe généralement de nombreux choix méthodologiques et statistiques acceptables. L'un des premiers conseils que je donne aux nouveaux réviseurs ou aux nouveaux éditeurs est de réaliser que les autres scientifiques n'ont pas dû faire les choix que vous avez faits. Il y a presque toujours plusieurs options raisonnables pour des mesures, des statistiques, des citations à d'autres travaux. Une pluralité d'approches profite au domaine.

Les éléments d'un examen

Commentaires narratifs. La partie principale de l'examen est des commentaires narratifs détaillés. Si votre seule expérience avec les critiques est d'obtenir un papier dans un collège ou une classe de lycée, vous seriez probablement surpris de voir comment les commentaires sont détaillés. Habituellement, il y a des commentaires de 2 ou 3 réviseurs anonymes plus l'éditeur. Au total, il est courant que ces ajouts correspondent à plusieurs pages dactylographiées. J'ai reçu des critiques pour plusieurs de mes propres articles qui ajoutent jusqu'à 9 ou 10 pages à simple interligne!

L'examen individuel typique varie de quelques paragraphes à quelques pages de récit qui comprend des commentaires spécifiques pour les auteurs. Il est courant que les revues soient organisées dans l'ordre du manuscrit. Certains critiques préfèrent organiser leurs commentaires de ce qu'ils considèrent comme les commentaires les plus importants. L'organisation est acceptable. Les auteurs trouvent souvent utile que les commentaires soient numérotés, de sorte qu'ils sont plus facilement mentionnés dans leur lettre d'accompagnement expliquant comment ils ont révisé le manuscrit.

Il peut sembler intéressant d'écrire une revue très courte et complètement positive, mais à long terme, ces dernières ne sont pas seulement nuisibles à la science, elles n'aident pas non plus les scientifiques à s'améliorer. Vous ne diriez pas à quelqu'un qu'il pourrait gagner Wimbledon qui peut à peine faire du swing sur une raquette de tennis, et ce n'est pas agréable de suggérer qu'une étude est géniale si elle est très imparfaite.

Les commentaires narratifs sont partagés avec les auteurs.

Recommandation générale Les noms des différentes recommandations de publication varient d'une revue à l'autre, mais généralement les catégories suivantes sont incluses sous une forme quelconque. Ces recommandations ne peuvent pas être vus par les auteurs, seulement par l'éditeur:

Accepter tel quel : Ceci est généralement réservé aux manuscrits qui ont été soumis à une ou plusieurs révisions. Il est important que les manuscrits soient aussi forts que possible, à la fois en termes de science et de clarté de la présentation. Pratiquement tous les manuscrits peuvent être améliorés. "Accept As Is" est une décision initiale extrêmement rare.

Révision mineure : Une révision mineure spécifique fait référence à des modifications moins approfondies, telles que la clarification de points ou l'élaboration d'implications.

Les questions sur l'adéquation de la logique, l'adéquation des mesures, ou la justesse de l'approche statistique sont rarement mineures.

"Mineur" implique également généralement qu'il ne reste que quelques problèmes à résoudre. Votre avis sera compilé avec d'autres personnes susceptibles de soulever des points différents, donc si vous avez identifié plusieurs points à adresser (certainement 10 ou plus), il est peu probable qu'il tombe dans la catégorie «révision mineure».

Révision majeure : Cette recommandation est appropriée pour les manuscrits qui ont le potentiel d'apporter une contribution solide, mais nécessitent des révisions plus substantielles afin d'évaluer pleinement la science. Les recommandations pour refaire des analyses statistiques tombent généralement dans cette catégorie, car une nouvelle analyse des données pourrait jeter les résultats sous un jour très différent. Ceci est également approprié pour les documents qui fournissent des descriptions incomplètes d'une ou plusieurs mesures, si l'adéquation de l'opérationnalisation ne peut être déterminée. Cependant, aucun de ces problèmes ne risque de changer radicalement les résultats ou l'interprétation des données, et il n'y a pas d'indication d'un problème majeur insurmontable (comme un problème avec la procédure qui ne peut pas être «résolu»).

Rejeter : Cette option est pour les manuscrits qui ont un potentiel limité pour contribuer à la littérature. Cela pourrait être dû à des problèmes d'échantillonnage ou de mesure insurmontables (les problèmes statistiques sont potentiellement plus «réparables»). Cela peut aussi être dû à la portée limitée de l'étude, surtout si cela semble indiquer une approche fragmentée de la publication (par exemple, se concentrer sur seulement 2 ou 3 variables d'un ensemble de données plus grand qui pourrait fournir une analyse plus complète).

Bien que, bien sûr, aucun auteur ne souhaite recevoir une décision de rejet, le rejet sert plusieurs objectifs importants. Principalement, ces décisions aident à maintenir des normes élevées de rigueur scientifique. Espérons que les décisions de rejet aideront également les chercheurs à concevoir de futures études ou leur donneront des idées sur la façon de renforcer leur soumission pour un autre point de vente.

Préparation d'un examen

Il y a un nombre presque infini de questions qui pourraient être soulevées dans une revue, mais certaines des préoccupations les plus souvent mentionnées sont les suivantes:

1) Les articles empiriques doivent établir comment le manuscrit actuel s'appuie de manière significative sur le travail existant (y compris le travail le plus récent) et surtout comment le manuscrit actuel apportera une contribution originale au domaine. Au-delà de cela, il n'est pas nécessaire, et il n'y a pas de place dans un manuscrit, de fournir des revues de littérature détaillées dans un document présentant de nouvelles données.

2) L'introduction doit fournir une justification spécifique, idéalement basée en théorie, pour inclure les principales variables à l'étude.

3) Les revues de la littérature et les articles théoriques devraient également indiquer clairement comment la synthèse fera progresser le domaine.

4) En ce qui concerne la méthodologie, l'une des questions les plus importantes est de se concentrer sur l'adéquation de l'opérationnalisation des constructions. Une mesure de haute qualité est essentielle. Aucune quantité d'analyses statistiques sophistiquées ne peut compenser les mesures problématiques ou les procédures d'échantillonnage défectueuses.

5) Les statistiques doivent être clairement justifiées et expliquées, et appropriées pour tester les hypothèses.

6) Le but des discussions n'est pas simplement de rediffuser les résultats, mais de mettre les résultats dans le contexte de la littérature antérieure, de reconnaître les limites de la présente étude et de suggérer des implications spécifiques pour la recherche et les applications futures. .

Se renseigner sur l'examen par les pairs et sur la façon de faire de bonnes évaluations est excellent pour devenir un meilleur scientifique et aussi un meilleur consommateur d'information scientifique.

Note: Ceci est adapté d'un précédent guide de l'évaluateur que j'ai préparé pour les réviseurs de psychologie de la violence.