Ce que l'évaluation peut faire et ce qu'elle ne peut pas faire

Le psychiatre dans un procès pour meurtre a témoigné que l'augmentation des réponses occasionnelles du défendeur au cours d'une administration du MMPI signifiait que son testament (celui du défendeur) avait été annulé au cours de l'interrogatoire de police de deux heures, donc ses aveux (du défendeur) être jeté dehors. J'ai témoigné que ma profession est fière de savoir ce que la plupart des gens feront à une occasion donnée ou ce qu'une personne fera à plusieurs reprises, mais il est ridicule de penser que les données actuelles permettent de savoir ce qu'une personne fera ou fera une occasion passée spécifique.

Cette confusion est omniprésente en psychologie. La loi des grands nombres nous assure que, en moyenne, le comportement d'un groupe s'installera autour de sa norme. Cela nous permet de prévoir l'incidence des crimes ou de l'utilisation de produits ou des accidents de voiture, par exemple. Le même raisonnement nous permet de prédire comment un athlète va performer au cours d'une saison, mais pas à une occasion spécifique. Même Ted Williams a frappé dans de nombreux doubles jeux, et même Bucky Dent a frappé une course à domicile occasionnelle de jeu-gagnant. Quand j'entends que tel et tel n'est pas le genre de personne à faire tel ou tel, je grimace. En effet, selon mon expérience, c'est souvent la conviction qu'ils sont au-dessus de l'inconduite qui conduit les gens à se laisser aller à des tentations qu'ils ne peuvent pas gérer.

Deux chercheurs ont étudié la capacité des psychologues à prédire les résultats pour des personnes spécifiques dans une tâche spécifique. (Gardez à l'esprit que prédire signifie parler de quelque chose avant de connaître le résultat, pas avant que cela arrive, affirmant que vous pouvez dire qu'un client a été abusé sexuellement comme un enfant en l'observant comme un adulte est une prédiction.) Tous les candidats pour Air L'école de pilotage de Force a reçu une entrevue clinique approfondie, un test de Rorschach, un test d'achèvement de la peine, un test de dessin de figure et deux autres instruments. Une fois l'école de pilotage terminée, les chercheurs ont choisi 50 diplômés qui ont réussi avec brio et 50 qui avaient des compétences de pilote supérieures à la moyenne, mais qui se sont retirés pour des raisons liées à leur comportement, excluant ceux qui avaient une maladie physique. Est-ce que 19 psychologues cliniciens célèbres pourraient examiner les protocoles d'entrée et dire si un pilote donné s'est terminé par un succès ou un échec psychologique?

La réponse était non. Les psychologues ne se comportaient pas mieux que le hasard, même lorsque leurs jugements ne comprenaient que les pilotes dont ils étaient sûrs, même lorsque les trois psychologues examinant le même pilote s'accordaient pour dire s'il était un succès ou un échec, même quand le meilleur le plus chanceux?) des psychologues était séparé des autres. Si Klopfer et Piotrowski (qui ont tous deux participé) ne peuvent pas dire si un pilote réussira à passer l'école de pilotage, puis-je utiliser un Rorschach pour dire si quelqu'un va réussir dans un emploi? Puis-je mener une entrevue et dire si le candidat réussira aux études supérieures?

Bien sûr, nous avons de meilleurs tests de nos jours et de meilleures méthodes, dont la principale est d'interpréter uniquement des données inhabituelles. Cependant, je vois encore de nombreux psychologues d'évaluation essayer de donner un sens à toutes les données, comme dans page après page des déclarations interprétatives souvent tirées de services informatisés. Et la chose importante à propos de cette étude est de savoir à quel point le design était biaisé en faveur des psychologues (en n'incluant que des étoiles et des ratés).

Prendre le coeur; il y a deux choses que nous pouvons faire. Nous pouvons nous engager dans des processus itératifs, apprendre de nos erreurs et dépendre plus de nos données que de nos théories. Ainsi, après que cette étude a été menée, les chercheurs ont examiné les différences réelles entre les pilotes réussis et échoués et ont commencé le développement d'un algorithme fondé sur des preuves plutôt que sur la théorie. Ils ont découvert, par exemple, que l'intérêt pour le vol à vie ne prédisait pas le succès après tout. Cette méthode ne fonctionne que si vous suivez vos évaluations et apprenez d'eux et si vous interrogez scrupuleusement et démystifiez vos signifiants chéris. L'autre chose que nous pouvons faire est d'expliquer plutôt que de prédire le comportement. Une bonne explication est celle qui donne aux gens des idées sur ce qu'il faut essayer ensuite. Je ne lis pas beaucoup d'évaluations psychologiques qui expliquent pourquoi un parent, disons, s'est comporté abusivement ou négligemment; Je lis surtout des descriptions vagues, souvent tautologiques («il a battu l'enfant parce qu'il est fâché et impulsif») du caractère des parents.

Ceci est tout aussi vrai en thérapie que dans les évaluations. Parce que chaque thérapie commence par une évaluation ou une formulation de cas, l'implication est que de nombreuses thérapies sont organisées autour des généralités de la narration du patient plutôt que des spécificités des relations du patient avec le monde.

Si votre jugement clinique est basé sur votre estimation de vous-même, vous échouerez. Si elle est humblement subordonnée à la preuve et se concentre sur ce qu'il faut faire plutôt que sur ce qui s'est passé ou se passera, vous pourriez dire quelque chose d'utile.

Holtzman, W. et Sells, S. (1954). Prédiction du succès de vol par l'analyse clinique des protocoles de test. Journal of Abnormal and Social Psychology , 49 , 485-490.

Ce poste a été publié à l'origine dans The Colorado Psychologist .