L’un des principaux journaux en psychologie a publié aujourd’hui un article que j’ai trouvé trompeur.
Schaeffer, MW, CS Rozek, T. Berkowitz, Levine, SC et Beilock, SL (2018). Dissocier la relation entre l’anxiété mathématique des parents et les résultats en mathématiques des enfants: effets à long terme d’une intervention dans une application mathématique. Journal of Experimental Psychology: Général, 1 (999 ), 1–9. http://doi.org/10.1037/xge0000490
L’étude a examiné un échantillon diversifié d’enfants de la région de Chicago. En première année, ces enfants ont reçu une application qui impliquait de faire leurs devoirs avec un parent. Il y avait deux versions de l’application. L’une concernait les mathématiques. L’autre (qui servait de condition de contrôle) concernait la lecture. La question était de savoir si l’application améliorerait les performances en mathématiques. Les chercheurs ont suivi avec les enfants et ont examiné leurs compétences en mathématiques en troisième année. Maintenant les résultats sont sortis.
L’application a-t-elle rendu les enfants meilleurs en mathématiques? Non.
Les performances globales en mathématiques ne différaient pas de manière significative entre les enfants dotés de l’application de mathématiques et ceux ayant l’application de lecture. Comme les auteurs écrivent “… il convient de noter que nous ne voyons pas un effet principal de l’intervention.”
Pour être clair, l’application a été utile: les élèves en condition de contrôle ont fait pire en mathématiques si leurs parents étaient anxieux (ce qui semble mal). Dans la condition mathématique, cette relation n’était pas significative (ce qui semble bien). Les auteurs résument leurs conclusions comme suit:
«Nous montrons qu’une application mathématique particulière peut entraîner des changements durables dans l’association entre l’anxiété mathématique des parents et les résultats en mathématiques des enfants, et nous espérons, dans les recherches futures, identifier les facteurs spécifiques qui font la réussite de cette application.»
C’est vrai. Et cela semble potentiellement important. Mais je pense aussi que l’article est trompeur. Dans cet exemple, vous devez vous rappeler de ne pas supposer que «succès» signifie «incite les enfants à apprendre davantage de mathématiques». Pire encore, le résumé fait référence à «l’avantage durable de l’application de calcul». Il indique également que des interventions telles que l’application de calcul «… peut avoir de puissants effets durables sur les résultats scolaires des enfants… »
Les articles doivent être aussi ouverts et francs que possible au sujet de leurs découvertes. Celui-ci cache quelque chose d’important. C’est un barrage de positivité. Dans une section de résultats de deux pages, une seule phrase indique que l’intervention n’a pas eu d’effet global significatif. Il se trouve dans une position peu visible, au milieu d’un paragraphe au milieu de la section de résultats. Le reste de la section des résultats est entièrement optimiste, comme le reste de l’article.
Ce qui me tient vraiment à cœur, c’est la façon dont les auteurs impliquent que cette application est un grand cadeau pour la société. Par exemple, les auteurs écrivent:
«Bien que de nombreuses applications soient annoncées comme capables de développer les compétences et les aptitudes scolaires des enfants, l’efficacité de ces applications et leur impact sur l’apprentissage des enfants sont insuffisantes et encore moins d’études examinent leurs effets durables. De plus, toutes les applications ne sont pas créées égales (Hirsh-Pasek et al., 2015), et l’intervention de l’application mathématique examinée dans cette étude diffère de nombreuses applications traditionnelles de plusieurs manières potentiellement importantes. ”
Ironiquement, les auteurs critiquent la pratique consistant à faire des déclarations trompeuses sur les «effets durables sur l’apprentissage», mais c’est exactement ce qu’ils font. Malheureusement, ce n’est pas nouveau. Comme je l’ai déjà écrit, les psychologues scolaires promettent souvent plus que leurs résultats.
Voici le libellé que j’aurais aimé voir: «Dans l’ensemble, l’application de mathématiques n’a pas amélioré les scores en mathématiques de manière significative davantage que la condition de contrôle.» C’est la vérité. Si était dans le résumé et la conclusion, cet article ne poserait aucun problème.
Du point de vue des auteurs, cependant, il pourrait y avoir un problème. Cela aurait peut-être réduit les chances que cet article soit publié dans un journal aussi prestigieux. Cela pourrait également rendre l’application moins attrayante.
Si quelqu’un essayait de me vendre cette application, je ne l’achèterais pas. Ma première question serait: «Quelle preuve existe-t-il que cette application améliore les compétences en mathématiques en général?» D’après les données de 3e année de cet article, il n’y en a pas.
En bref, ce document promet plus que ce qu’il peut offrir. Je ne dis pas que les auteurs l’ont fait exprès. Ils ont probablement de bonnes intentions. Je suis sûr qu’ils ont hâte d’aider les enfants et je ne leur reprocherais pas d’être trop impatients. Mais leurs intentions ne sont pas à moi de juger.
Ce que je peux dire, c’est que l’écriture me rappelle la formulation prudente d’un politicien. Cela semble dire quelque chose d’important, mais lorsque vous analysez soigneusement le langage, vous réalisez qu’il manque quelque chose.
Vérifiez moi sur Twitter.
Références
Schaeffer, MW, CS Rozek, T. Berkowitz, Levine, SC et Beilock, SL (2018). Dissocier la relation entre l’anxiété mathématique des parents et les résultats en mathématiques des enfants: effets à long terme d’une intervention dans une application mathématique. Journal of Experimental Psychology: Général, 1 (999), 1–9. http://doi.org/10.1037/xge0000490
