Par Scott C. Marley
Le thème présidentiel de la Division 15 de cette année est «Impacting Pre-K to Grey», ce qui signifie que notre domaine souhaite avoir un impact positif sur toutes les populations d'apprenants. Une manière claire d'influer sur l'éducation avec toutes les populations est de traiter les problèmes identifiés dans la littérature comme la «crise de la réplication». La beauté de la crise de réplication fournit de nombreuses opportunités pour une croissance significative dans le domaine de la psychologie éducative. Ma position est que les éducateurs sont souvent insensibles à la mise en œuvre de pratiques fondées sur des données probantes en raison des considérations de crédibilité associées à la reproductibilité et à la question connexe de la généralisabilité. Il existe des approches systématiques pour aborder ces deux considérations qui sont souvent négligées par les producteurs et les consommateurs de la recherche en éducation. Mais d'abord, je donne un exemple concret de mes journées d'instituteur qui illustre les défis de crédibilité auxquels fait face la psychologie éducative si, en tant que domaine, cela va être pertinent pour les leaders éducatifs «Pré-K à Gris». Ensuite, je fournis une justification pour expliquer pourquoi «plus de recherche est nécessaire», mais – plus important encore – je suggère que ce qui est nécessaire est une recherche plus crédible entre les unités, les traitements, les résultats et les paramètres.
Au début de ma carrière, j'étais un enseignant de quatrième année dans une réserve indienne rurale américaine. Les enfants de la communauté étaient principalement des apprenants de langue seconde issus de ménages socioéconomiques défavorisés. Les écoles du district ont été jugées peu performantes ou défaillantes et, en réponse, les écoles ont dû agir en adoptant des «pratiques fondées sur des données probantes». Bien que je défende les éducateurs utilisant des preuves scientifiques pour prendre des décisions, je considère important que les producteurs et les consommateurs reconnaissent les limites de la documentation sur les pratiques fondées sur des données probantes (pour une discussion pertinente, voir Marley et Levin, 2011). Sans une bonne compréhension de ces limites, il est probable que l'on soit victime de deux «vœux pieux» qui peuvent entraîner un optimisme injustifié dans l'efficacité des interventions éducatives.
La première forme de vœu pieux est la croyance qu'une intervention peut résoudre des problèmes éducatifs très complexes avec toutes les populations. Cette croyance coïncide avec l'idée qu'une intervention peut être prouvée efficace plutôt que soutenue par les preuves qui suggèrent l'efficacité d'une intervention. La preuve suppose une connaissance parfaite de l'efficacité de l'intervention, tandis que l'accent mis sur les meilleures preuves reconnaît que la connaissance est toujours incomplète et sujette à changement (pour une discussion pertinente voir, Guba et Lincoln, 1994). La deuxième forme de vœu pieux est la croyance selon laquelle un résultat est le résultat d'une seule cause connaissable (p. Ex., «Une piètre performance en lecture est attribuable à l'instruction« insérer la saveur la moins populaire »). Selon les penseurs, il suffit de trouver la balle magique, d'attaquer la cause unique et de résoudre le problème. C'est aussi simple que ça !! Nous devrions le faire maintenant !! Pourquoi n'avons-nous pas commencé ?! Mais les solutions aux problèmes éducatifs ne sont presque jamais évidentes ou faciles.
Il y a probablement plusieurs raisons pour lesquelles les éducateurs sont sceptiques quant à la valeur de la recherche en éducation, dont certains psychologues scolaires peuvent tenir compte. Une explication potentielle qui peut être adressée est que les éducateurs peuvent reconnaître de manière informelle que la recherche en éducation a des problèmes de crédibilité (Hsieh et al., 2005). Par exemple, après avoir été désignée «peu performante», mon école de réservation a été assainie par de soi-disant experts qui n'avaient jamais enseigné dans une réserve rurale. Leur principale recommandation était que l'école adopte une intervention fondée sur des données probantes. À ce moment-là, j'avais une idée du contexte dans lequel les preuves à l'appui de l'intervention proposée étaient sensiblement différentes du contexte dans lequel j'enseignais. En d'autres termes, la généralisabilité de l'intervention fondée sur la preuve était discutable. La généralisabilité des résultats de la recherche – ainsi que la question connexe de la reproductibilité – pourrait très bien expliquer pourquoi «plus de recherche est nécessaire» dans des contextes ciblés maintenant plus que jamais. Cependant, ajoutons à cette phrase commune trouvée à la fin des articles empiriques pour qu'il se lise " une recherche plus crédible est nécessaire." La réplication et la généralisabilité sont deux indicateurs de crédibilité (pour plus d'autres indicateurs de crédibilité, voir Levin, 1994, 2004) cela nécessite plus d'attention avant que les chercheurs en éducation, les consultants et autres ne soient trop sévères avec leurs recommandations éducatives.
Le premier indicateur de crédibilité avant de formuler des recommandations éducatives est que les résultats doivent être répliqués pour déterminer si un résultat particulier est robuste ou une anomalie (pour une discussion détaillée, voir Schmidt, 2009). Une préoccupation est que les sciences sociales peuvent avoir un biais de publication associé à la publication de résultats positifs qui sont des anomalies. La deuxième préoccupation est que les réplications sont rarement publiées dans des revues éducatives (Makel et Plucker, 2014). L'absence d'études de réplication est souvent attribuée aux éditeurs de revues, aux évaluateurs et aux organismes subventionnaires qui s'attendent à de la nouveauté. Si c'est le cas, mettre l'accent sur la nouveauté des résultats pourrait favoriser des structures de récompense qui minimisent la valeur des études de réplication (Koole et Lakens, 2012). Un manque d'études de réplication limite clairement la mesure dans laquelle nous pouvons tirer des conclusions sur l'efficacité d'une approche pédagogique. Cette limitation n'est pas souvent mentionnée dans les recommandations qui accompagnent diverses pratiques fondées sur des données probantes.
La deuxième exigence consiste à examiner attentivement la possibilité de généraliser les résultats afin d'assurer un degré élevé de validité externe avant de faire des recommandations aux éducateurs (Shadish, Cook et Campbell, 2002). Des préoccupations peuvent être exprimées concernant les études qui examinent l'efficacité des interventions pédagogiques en utilisant des échantillons d'étudiants ou d'autres échantillons «uniques». Par «unique», je veux dire les échantillons de participants qui se souviennent avoir rapporté leur formulaire de consentement parental avec une signature, les participants qui acceptent de remplir des sondages ou d'autres façons comparables dont un échantillon peut différer des populations existant dans la nature.
Comment les producteurs et les consommateurs de la recherche en éducation peuvent-ils relever les défis associés à l'application des résultats de la recherche en éducation? En tant que domaine, nous pouvons nous tourner vers les normes pour les tests éducatifs et psychologiques (AERA, APA, & NCME, 1999) pour obtenir des conseils. Les normes obligent les producteurs et les utilisateurs de tests à bien connaître les conditions dans lesquelles les inférences valables sont le plus susceptibles de découler des résultats des tests. Plusieurs des normes soulignent que les populations ne sont pas interchangeables et que les producteurs et les utilisateurs de tests sont censés examiner la performance des scores des sujets dans un nouveau contexte. En d'autres termes, les réplications sont censées garantir que les résultats des tests sont correctement interprétés dans des contextes qui diffèrent sensiblement du contexte initial. Une approche similaire est justifiée avec la recherche d'intervention si la base de la littérature doit être considérée comme crédible au point que les praticiens peuvent prendre des décisions éclairées. Plusieurs cadres ont été proposés pour améliorer la généralisabilité des résultats de la recherche. Un tel cadre consisterait à incorporer les préoccupations de généralisation classiques proposées par Cronbach (Cronbach et Shapiro, 1982) à un modèle de recherche programmatique reproduit et étendu. Cela conférerait une crédibilité bien nécessaire à la base littéraire.
Selon le cadre UTOS classique de Cronbach, les examens de généralisabilité peuvent avoir lieu à travers les États, les traitements, les résultats et les vérifications. Chacune des composantes du cadre fournit aux chercheurs un espace suffisant pour reproduire et étendre les résultats de la recherche et permettre aux consommateurs d'évaluer le degré de confiance qu'ils devraient avoir dans une intervention. Peut-être que les éditeurs de journaux, les réviseurs et les agences de financement seraient plus enclins à envisager de publier et de financer des études situées explicitement dans un cadre UTOS répliqué-étendu et de peser moins sur la nouveauté des idées et des résultats initiaux? Si une recherche crédible qui a une incidence sur toutes les populations, de «pré-K à gris», doit se produire, ces approches systématiques ou comparables pour reproduire et généraliser les résultats devraient porter leurs fruits. En attendant, si les lecteurs souhaitent participer à des discussions sur la réplication et la généralisation à la conférence APA de cette année à Toronto, veuillez envisager de participer à la programmation collaborative de la Division 15 avec d'autres divisions sur la «crise des répliques».
Titre de la séance: La crise de la réplication-Ce qui nous a amené ici et où nous devons aller
Type de session: Symposium
Date: Jeu 08/06 10:00 – 11:50
Division / Sponsor: Groupe de programmation CPG-Central; Co-Liste: 30, 3, 5, 6, 10, 15, 24, 26
Bâtiment / Salle: Palais des Congrès / Salle 716A Bâtiment Sud-Niveau 700
Les références:
American Educational Research Association, Association américaine de psychologie, et Conseil national de mesure sur la mesure dans l'éducation. (1999). Normes pour les tests éducatifs et psychologiques. Washington, DC: American Psychological Association.
Cronbach, LJ, et Shapiro, K. (1982). Concevoir des évaluations de programmes éducatifs et sociaux . Jossey-Bass Inc Pub.
Guba, EG, et Lincoln, YS (1994). Paradigmes concurrents dans la recherche qualitative. Handbook of Qualitative Research , 2, 163-194.
Hsieh, P., Acee, T., Chung, W.-H., Hsieh, Y.-P., Kim, H., Thomas, GD, Levin, JR, Robinson, DH (2005). La recherche interventionnelle en éducation est-elle en déclin? Journal of Educational Psychology , 97 (4), 523.
Koole, SL, & Lakens, D. (2012). Récompenser les réplications est un moyen sûr et simple d'améliorer la science psychologique. Perspectives on Psychological Science , 7 (6), 608-614.
Levin, JR (1994). Concevoir une recherche interventionnelle en éducation qui soit à la fois crédible et crédible. Educational Psychology Review, 6 (3), 231-243.
Levin, JR (2004). Pensées aléatoires sur la (in) crédibilité de la recherche interventionnelle en éducation-psychologie. Psychologue en éducation , 39 (3), 173-184.
Marley, SC, & Levin, JR (2011). Quand les énoncés prescriptifs dans la recherche en éducation sont-ils justifiés? Educational Psychology Review, 23 (2), 197-206.
Schmidt, S. (2009). Allons-nous vraiment le faire à nouveau? Le puissant concept de réplication est négligé dans les sciences sociales. Examen de la psychologie générale , 13 (2), 90.
Shadish, WR, Cook, TD et Campbell, DT (2002). Dessins expérimentaux et quasi expérimentaux pour l'inférence causale généralisée. New York, NY: Houghton Mifflin.
