Comment éviter d'être trompé par les sondages d'opinion

Selon un titre sur le site du magazine Cosmopolitan , "Enquête montre que la plupart des Américains pensent que Caitlyn Jenner va changer le monde." Je vais poser la chance que la plupart des Américains seraient surpris d'apprendre que c'est ce qu'ils pensent. Prenez-moi, par exemple. Je suis d'avis que Caitlyn Jenner a fait plus que sa juste part de changement, merci beaucoup. Est-ce que cela signifie que je ne suis pas un Américain "le plus"?

En fait, mon article ne parle pas de Caitlyn Jenner, bénissez son cœur (comme disent les sudistes). Il s'agit de sondages faillibles et les interprétations tordues de ceux-ci comme fréquemment rapporté par les médias. Celui qui a écrit le titre ci-dessus soit savait que c'était un battage médiatique ou ne savait pas et ne s'en souciait pas. Je ne sais pas ce qui est pire. Peut-être qu'ils sont tous les deux (pire, c'est). Il n'y a rien dans le sondage à propos de Jenner qui change le monde. Au mieux, cela suggère qu'elle peut aider à stimuler l'acceptation du transgendérisme.

Le sondage a été mené conjointement par NBC News et l'Université de Pennsylvanie. Cela semble crédible, n'est-ce pas? C'est ce que tu es supposé penser. Le but de ce sondage est d'influencer votre façon de penser. L'implication pas si subtile est que vous êtes dans la minorité rétrograde si vous n'êtes pas d'accord. Mais pourquoi ce sondage, sur ce sujet? Et pourquoi maintenant? Que vendent-ils? Ce sont les types de questions qui fournissent une base pour tester les mérites de ce sondage ou de tout autre sondage.

Si une enquête doit être utilisée pour représenter les opinions d'une majorité d'Américains (ou de tout autre groupe important), elle doit être menée en utilisant une méthodologie scientifiquement solide. Sinon, il ne représente rien de plus que les opinions de ceux qui ont participé à l'enquête. Aucun sondage n'est absolument vierge et impeccable. Il y a toujours une marge d'erreur d'échantillonnage ou de biais. Nous devons voir si nous pouvons trouver les failles et déterminer si elles sont d'importance minimale ou majeure. Découvrons quelques indices.

Le premier indice est très subtil – comme une batte de baseball qui frappe le pont de votre nez à la vitesse de la chaîne. L'enquête a été menée à l'aide d'un échantillon non probabiliste . En clair, les participants à l'enquête n'ont pas été sélectionnés au hasard. Parfois, cette approche est nécessaire parce que l'échantillonnage aléatoire serait trop ardu ou coûteux. Il existe différents types d'échantillonnage non probabiliste, certains meilleurs que d'autres pour ce type de sondage. Les enquêteurs ont utilisé l' échantillonnage de commodité – c'est-à-dire qu'ils se sont appuyés sur des personnes qui se sont portées volontaires pour participer.

L'échantillonnage de commodité sape l'affirmation selon laquelle la plupart des Américains sont d'accord avec les résultats. Les personnes qui se portent volontaires pour participer peuvent avoir un agenda personnel, une perspective biaisée, un lien émotionnel avec le problème, ou peuvent répondre simplement parce qu'on leur a promis une récompense pour leur participation. (Je n'ai aucune information quant à savoir si NBC News / UPenn a offert une récompense.) Supposons que vous alliez mener un sondage sur les opinions des Américains sur l'augmentation du salaire minimum. Feriez-vous confiance aux résultats si les seules personnes interrogées étaient celles qui se sont portées volontaires pour donner leur avis sur ce sujet? Prétendre que les résultats d'un tel sondage représenteraient les opinions de la plupart des Américains serait farfelu.

Comme on peut s'y attendre dans la recherche universitaire, les enquêteurs de l'UPenn reconnaissent ces limites dans leur méthodologie:

Comme l'échantillon est basé sur ceux qui ont initialement choisi de participer plutôt que sur un échantillon probabiliste, aucune estimation de l'erreur d'échantillonnage ne peut être calculée. Toutes les enquêtes peuvent être sujettes à plusieurs sources d'erreur, y compris, mais sans s'y limiter, l'erreur d'échantillonnage, l'erreur de couverture et l'erreur de mesure.

Une autre faiblesse est que les réponses à l'enquête ont été recueillies via un sondage en ligne (par exemple via Survey Monkey). Il n'y a rien de mal à ce que le sondage en ligne soit un moyen de recueillir des données. Le problème réside dans le fait que les personnes âgées, en particulier les plus de 70 ans, sont moins susceptibles de répondre à un sondage en ligne. Ils peuvent donc être sous-représentés dans l'échantillon, ce qui mine une fois de plus l'affirmation selon laquelle le sondage est représentatif de la plupart des Américains.

Depuis que ce sondage a été commandé par NBC News et distribué à d'autres médias, comme Cosmopolitan , il est raisonnable de supposer qu'il a été commandé dans le but de faire des nouvelles et d'augmenter le taux d'audience et les taux de clics. (Oh, pour ces beaux jours où les médias n'ont pas fait les nouvelles, ils l'ont juste vendue au détail.)

Les enquêteurs de l'UPenn ont fait aussi bien que prévu, compte tenu de l'ampleur de leur tâche et des contraintes de temps et de budget. Cependant, une conception de recherche imparfaite donne des résultats imparfaits. Ce ne sont certainement pas des résultats qui soutiennent l'affirmation selon laquelle «la plupart des Américains pensent que Caitlyn Jenner va changer le monde».

World to Caitlyn: Ne change pas.