Essayer de voir les articles pour les moyens

Mon collègue Kalif Vaughn et moi avons eu une idée de recherche ce mois-ci. Nous avons mené une première étude et obtenu de très bonnes données. Je parie que si nous avions continué et soumis un papier, il aurait traversé sans problème. * Mais il y avait un problème. Voyez si vous pouvez le repérer.

Nous avons présenté aux participants des problèmes de test d'association à distance (RAT). Par exemple,

  • Sandwich Golf Pied
  • Verrouillage de la ligne d'extrémité
  • Saut latéral coulé
  • Fourche Homme Noir

Il y a un quatrième mot qui correspond à chacun de ces trios (réponses ci-dessous).

Nous avons donné à nos participants 10 secondes pour réfléchir à la réponse. Ensuite, nous leur avons soit dit la réponse ou leur a donné 30 autres secondes pour méditer puis leur a dit la réponse. La question était, le groupe de 40 secondes surperformerait-il le groupe de 10 secondes sur un test qui a eu lieu quelques minutes plus tard? Nous sommes excités à propos de cette découverte parce que la réponse était non.

Je suis vraiment intéressé de savoir si le succès de la récupération affecte l'apprentissage. J'ai publié une étude cette année montrant que faire une tentative de récupération est très important, mais que cela réussisse ne semble pas avoir d'importance (Kornell, Klein et Rawson, 2015). Nous avons donc regardé nos nouvelles données, et à voir: les participants ont eu plus de bonnes réponses (pendant la première phase) dans les 40 secondes que dans les 10 secondes. Mais (comme je l'ai dit), ils n'ont pas fait mieux sur le test final. Nous en avons donc tiré la conclusion évidente: encore une fois, essayer de penser à la réponse était bénéfique, mais le succès n'était pas pertinent.

Repérer le problème? C'est dans ce dernier paragraphe. Voici une autre information. Au cours de la phase d'étude, la condition de 40 secondes a fait environ 10 points de pourcentage de mieux que le groupe de 10 secondes. En d'autres termes, seulement 10% des items ont été convertis des échecs de récupération en succès de récupération.

Imaginons maintenant que le succès de la récupération compte, et cela se traduit par une différence d'apprentissage de 15 points de pourcentage. Un avantage de 15% pour 10% des articles? Si le succès de la récupération compte, cela se traduirait par une énorme différence de 1,5 point de pourcentage sur le test final. Trop petit pour être détecté.

Nous avons donc encore une découverte intéressante ici (nous travaillons toujours activement sur ce projet). Mais sur la base des données jusqu'à présent, il serait erroné de tirer des conclusions sur l'effet du succès de la récupération. Par un accident chanceux, nous avons pensé à ce problème. Mais cela m'inquiète combien il serait facile de manquer. Voici deux pièges:

  • Trop confiance en la signification. Ce n'est pas parce qu'un effet est significatif (l'augmentation de 10% de la performance pendant la phase d'étude) que nous pouvons oublier la taille de l'effet et supposer qu'il est transcendant et qu'il devrait avoir de gros effets sur la ligne.
  • Agrégation au lieu d'individualiser. Il est tentant de considérer les effets comme des monolithes qui affectent tous les objets. C'est fondamentalement ce que nous faisons quand nous tracerons des moyens. Mais parfois, un effet ne s'applique qu'à un sous-ensemble d'éléments. Dans ce cas, le succès de la récupération ne s'appliquait qu'à 10% des items. (Nous avons tiré une conclusion similaire sur l'importance de la désagrégation des items dans l'examen de l'effet à long terme des tests dans Kornell, Bjork et Garcia, 2011.)

C'est un peu le contraire de "ne peut pas voir la forêt pour les arbres." Le problème ici est de négliger les individus: "ne peut pas voir les éléments pour les moyens."

Réponses: club, mort, large, terrain

Vérifiez-moi sur Twitter.

* Ha ha, ouais. Droite.

Les références

Kornell, N., Bjork, RA, et Garcia, MA (2011). Pourquoi les tests semblent-ils empêcher l'oubli? Un modèle de bifurcation basé sur la distribution. Journal de la mémoire et de la langue, 65 (2) , 85-97. doi: 10.1016 / j.jml.2011.04.002

Kornell, N., Klein, PJ et Rawson, KA (2015). Les tentatives de récupération améliorent l'apprentissage, mais le succès de la récupération (par rapport à l'échec) n'a pas d'importance. Journal of Experimental Psychology: Apprentissage, mémoire et cognition, 41 (1), 283-294. doi: 10.1037 / a0037850