Pourquoi le travail sur les interventions est-il aussi important que s’il fonctionnait?

Votre évaluation ne devrait pas se contenter d’une réponse oui / non.

Tech. Sgt. Ryan Crane/Keesler

Source: Tech. Sgt. Ryan Crane / Keesler

Beaucoup d’entre nous sont jugés non pas par la richesse de nos idées, mais par la qualité de nos résultats. Combien d’étudiants avez-vous recrutés? Combien d’argent avez-vous sauvé le collège? Combien de bourses avez-vous reçues? Quelles que soient les mesures qui définissent votre réussite professionnelle (heureusement, la mienne n’est pas le nombre de personnes qui lisent ce blog), des questions comme celles-ci limitent notre objectif à celui de savoir si les nouveaux programmes et les innovations fonctionnent, sans se soucier de la raison pour laquelle ils fonctionnent ou non. Pourquoi, cependant, est plus qu’une question académique et peut avoir de multiples avantages lors d’une évaluation. Ce conseil est particulièrement vrai dans le contexte actuel de nudging – interventions peu coûteuses et évolutives qui peuvent être facilement mises en œuvre et répétées – lorsque la simplicité de ces stratégies peut masquer les réponses psychologiques complexes qu’elles suscitent chez les personnes que nous souhaitons soutenir. Demander pourquoi un programme fonctionne peut nous aider à élargir la portée de nos efforts, à concevoir des solutions complémentaires et à diagnostiquer les problèmes lorsque nos efforts échouent.

Étude de cas: Changer les habitudes énergétiques

Un ensemble d’études désormais célèbre a montré comment la preuve sociale peut réduire l’utilisation d’énergie par les ménages. La plupart d’entre nous ne savent pas combien d’énergie est normale, donc si nous découvrions que nous en utilisons plus que la moyenne, nous pourrions être motivés à ramener notre consommation plus près de la norme. Le programme de conservation Opower a donc envoyé à ses clients des factures indiquant la quantité d’énergie utilisée par rapport à leurs voisins. En passant, les clients qui ont utilisé plus d’énergie que la moyenne ont réduit leur consommation avec le temps, effets qui ont persisté de manière assez vigoureuse pendant des années.

Alors, pourquoi la consommation d’énergie a-t-elle diminué? Deux analyses différentes des données Opower ont abouti à des explications différentes:

#1. La preuve sociale change les habitudes. Lorsque les gens reçoivent leur première facture, leur consommation d’énergie quotidienne diminue fortement. Leur consommation remonterait lentement jusqu’à l’arrivée de la prochaine facture, puis la consommation d’énergie diminuerait. Dans le quatrième projet de loi, toutefois, la consommation d’énergie des gens avait tendance à se stabiliser à un niveau inférieur à celui où elle avait commencé, de sorte qu’il n’y a pas eu de baisse ni de rebond. Selon ces chercheurs, de nouvelles habitudes (éteindre la lumière en quittant une pièce, réajuster le thermostat, par exemple) s’étaient établies. Ou avaient-ils?

# 2. La preuve sociale motive l’amélioration de l’habitat. Une analyse concurrente a examiné l’évolution de la consommation d’énergie des ménages après la vente d’une maison. Les nouveaux occupants n’ayant jamais été exposés à des preuves sociales, ils devraient donc rester naïfs sur ce qui constitue une utilisation normale de l’énergie. Pourtant, la consommation d’énergie dans les maisons revendues n’a pas augmenté. Pourquoi? Les chercheurs affirment que les propriétaires d’origine, ceux qui ont reçu des preuves sociales, ont apporté des améliorations telles que des thermostats programmables et des appareils Energy Star. Cette explication suggère que quatre mois n’étaient pas le temps qu’il fallait pour que de nouvelles habitudes se forment, mais plutôt le temps qu’il fallait aux gens pour rendre leur maison plus économe en énergie, un impact qui est resté dans la maison même après le départ des propriétaires.

Un résultat, deux explications… tant que la preuve sociale fonctionne, on s’en fout! Mais imaginons le déploiement de ce programme de conservation dans un quartier à faible revenu. Si la preuve sociale modifie les habitudes énergétiques des gens, alors cela devrait fonctionner quel que soit le revenu du ménage. Mais si la preuve sociale incite principalement les gens à améliorer leurs maisons, cela pourrait ne pas être possible parmi une population plus défavorisée. De même, les personnes qui vivent déjà dans des maisons économes en énergie ne bénéficieraient de la preuve sociale que si elle engendrait de nouvelles habitudes, car elle n’a pas d’autres améliorations à apporter. Comme vous pouvez le constater, le pourquoi est extrêmement important lors de la planification d’un programme tel que celui-ci dans de nouvelles localités.

Que peut faire «pourquoi» pour vous?

L’exemple Opower révèle une des principales raisons d’examiner le fonctionnement d’un programme: l’ évolutivité . Souvent, lorsque nous introduisons un nouveau programme ou une nouvelle technologie dans l’enseignement supérieur, nous le testons avec un groupe spécifique d’étudiants, mais nous prévoyons de le généraliser si le projet pilote se déroule bien. Comprendre pourquoi, et pas seulement si quelque chose fonctionne, nous aidera à prédire comment les nouvelles populations vont réagir. Par exemple, si une nouvelle intervention destinée aux étudiants de première génération vivant sur le campus accroît les performances académiques principalement en motivant les étudiants à demander un tutorat, elle risque de ne pas intéresser les étudiants des transports, les adultes qui travaillent et les parents qui n’ont peut-être pas plus de temps à consacrer à leur vie. aider à chercher. Si cette intervention fonctionne en créant des habitudes d’étude plus efficaces, elle aura plus de chances d’aider un plus grand nombre d’étudiants. En comprenant le mécanisme sous-jacent, nous avons une meilleure idée de ceux qui pourraient bénéficier de notre intervention.

Demander pourquoi un programme fonctionne peut également nous aider à développer des solutions complémentaires pour les défis des étudiants. Supposons que nous pilotons une initiative de bien-être réussie et que, grâce à des sondages, nous découvrions que nous avions un impact important sur l’amélioration des habitudes de sommeil des élèves. Nous pouvons maintenant trouver d’autres moyens d’améliorer le sommeil afin de maintenir et d’accroître ces gains, ainsi que de déterminer la meilleure façon d’appliquer nos conclusions sur le sommeil. Mais disons que même si notre projet pilote initial avait réussi, nous n’avions vraiment aidé que les femmes à mieux dormir, pas les hommes. Nous savons maintenant qu’il faut cibler les hommes différemment et examiner si la modification de leurs habitudes de sommeil a un impact proportionnel sur leur bien-être général.

Enfin, examiner pourquoi quelque chose fonctionne peut également nous aider à diagnostiquer pourquoi quelque chose ne fonctionne pas. Souvent, lorsqu’un pilote échoue, le bébé sort avec l’eau du bain et on recommence. Mais demander pourquoi peut nous révéler la faille fatale que nous pourrons corriger lors de la prochaine itération. Par exemple, imaginez que vous mettiez en place une intervention à valeur d’utilité pour les débutants en STEM qui augmenterait le temps consacré aux études mais n’aurait pas d’impact significatif sur le GPA. Peut-être que l’effet était trop faible (les élèves doivent étudier encore plus avant que leurs notes ne s’améliorent) ou que le mécanisme de changement soit insuffisant et que vous deviez plutôt cibler leurs habitudes d’étude ou leurs comportements de recherche d’aide. Explorer les raisons vous donne l’opportunité de voir votre pilote selon de nouvelles perspectives et d’y apporter des améliorations avisées sans partir de zéro.

Conclusion

Dans ce monde de nudging, il peut être facile de mettre en œuvre une intervention simple et d’obtenir des résultats rapides, mais cela ne signifie pas que vous ne devriez pas regarder sous le capot pour comprendre ce qui fait avancer cette intervention. Il est certain que demander pourquoi peut être difficile: cela implique souvent la collecte de données supplémentaires telles que des enquêtes, des entretiens et un suivi comportemental, qui ajoutent tous des coûts et un fardeau à votre évaluation. Mais les retombées en termes d’évolutivité, de développement et de diagnostic valent bien l’investissement supplémentaire nécessaire pour poser la question très importante de «Pourquoi?

Références

Allcott, H. et Rogers, T. (2014). Les effets à court et à long terme des interventions comportementales: preuves expérimentales de la conservation de l’énergie. American Economic Review, 104 (10), 3003-3037.

Brandon, A., Ferraro, PJ, Liste, JA, Metcalfe, RD, Price, MK et Rundhammer, F. (2017). Les effets de nudges sociaux persistent-ils? Théorie et preuves tirées de 38 expériences sur le terrain naturel (n ° w23277). Bureau Nationale de la Recherche Economique.