Combien de levés d'enquête Amazon MTurk y a-t-il?

De nos jours, la plupart des chercheurs expérimentaux (sans parler des psychologues sociaux, des politologues, des économistes du comportement, etc.) ont remplacé ou complété des groupes d'étudiants avec des travailleurs d'Amazon Mechanical Turk (MTurk) pour mener leurs recherches. L'utilisation de sondages MTurk pour la recherche est pratique, bon marché et rapide. (C'est aussi souvent une exploitation, mais c'est un blog différent).

Source: Zol Korabi par Rolo Natkys Flickr sous licence CC BY 2.0

Il n'est pas étonnant que des dizaines de milliers d'études en psychologie soient effectuées chaque année en utilisant des travailleurs de MTurk comme preneurs de sondage. (Quand j'ai cherché sur MTurk alors que j'écrivais ce billet, 319 sondages étaient disponibles pour être remplis en MTurk, et je n'ai même pas la qualification MTurk Master!)

Étant donné qu'un nombre important de recherches en sciences sociales reposent aujourd'hui sur les travailleurs de MTurk, il est certainement utile d'en savoir plus sur ces personnes. Cette information a une incidence sur la validité de la recherche en cours. Il y a beaucoup de questions importantes à poser comme:

• Qui sont ces gens?
• Répondent-ils sérieusement aux sondages?
• Pouvons-nous être certains que tout ce que nous trouvons dans ce groupe s'applique à la population en général? En d'autres termes, sont-ils représentatifs?
• Quelle est la validité des inférences faites à partir de leurs réponses? De quoi devrions-nous nous préoccuper?

Chacune de ces questions mérite d'être explorée. Cependant, dans ce post, je veux examiner une autre question que j'étais très curieux de savoir: "Combien de preneurs d'enquête sont là sur Amazon Mechanical Turk?"

• Superfluidité: décoder l'énigme de la flexibilité cognitive
• Les hautes températures augmentent le risque d'agression chez les chiens
• Excellence en soins de santé mentale
• Comportement à risque et victimes: deux problèmes, pas un
• Mon animal de compagnie déteste le vétérinaire!

Pourquoi cette question est-elle importante?

Puisant mon inspiration dans une étude dont je parlerai un peu plus loin, il est utile de considérer le site Amazon MTurk comme un étang, chaque chercheur comme un pêcheur ou une pêcheuse, et chaque travailleur MTurk comme un poisson. Chaque fois qu'un chercheur publie une étude, il lance un filet pour capturer plusieurs centaines de poissons. Ils attrapent et relâchent le poisson, mais dans le processus, ils extraient une certaine «essence» du poisson sous la forme de réponses aux questions d'enquête, en changeant le poisson de son état primitif.

À l'heure actuelle, des milliers de filets sont projetés dans l'étang de MTurk chaque semaine par (surtout) des universitaires et, de plus en plus, par des sondeurs professionnels. Donc, les questions de «y a-t-il assez de poisson?» Ou si nous attrapons tous le même poisson sont importantes.

Un grand nombre de répondants a trois avantages: (1) une plus grande chance de trouver des caractéristiques diverses, et un nombre suffisant de répondants ayant une certaine caractéristique, disons, des observateurs de télévision lourds, ou des amateurs de randonnée; (2) plus de répondants «frais» et non contaminés qui prendront la tâche de répondre sérieusement à l'enquête et le feront avec la pensée et l'honnêteté (c.-à-d. Quelqu'un qui n'a pas répondu à l'échelle générale de soi ou au conservatisme économique fois déjà), et (3) une plus grande chance d'un échantillon représentatif de la population dans son ensemble (bien que cela ne soit pas garanti).

• 3 étapes pour gérer un patron narcissique
• Jeux en ligne montrent la personnalité du joueur et comment le changer
• Comment avoir des amis au travail quand vous êtes le patron
• Cultiver la résilience à travers l'histoire
• L'inconvénient de la perfection: 7 traits à apprivoiser

Directement de la bouche du cheval – Le site de MTurk?

Le premier endroit logique pour chercher la réponse est le site MTurk lui-même. Vous vous attendez à ce que Amazon fournisse cette information, mise à jour quotidiennement, pour deux raisons. Tout d'abord, il s'agit d'informations cruciales pour les clients d'Amazon (les chercheurs universitaires et commerciaux) qui les paient cher pour utiliser le site. Sans aucun doute, cela augmenterait la qualité de la recherche effectuée en utilisant le site. Et deuxièmement, ils savent déjà combien de travailleurs MTurk utilisent le site, il est donc très facile (et bon marché) de les extraire et de les publier. Mais malheureusement, ce n'est pas le cas.

Leur revendication «Accès à plus de 500 000 travailleurs de 190 pays» est à peu près vide de sens car elle est imprécise et n'a pas changé depuis des années. De plus, il n'est pas clair combien de ces soi-disant un demi-million de personnes prennent effectivement des sondages ou sont venus et repartis du site.

En passant, il est époustouflant, et une vraie honte, combien de médias réputés tels que le Guardian, le Wall Street Journal, et même des organismes de recherche comme le Pew Research Center rapportent paresseusement ce numéro douteux. Bien que ce ne soit pas vraiment de «fausses nouvelles», cela me semble être une «nouvelle paresseuse», car cela peut déformer le reste de l'histoire qui est rapportée.

Pas cool, Amazon et les gros médias! Ok, alors maintenant nous avons besoin d'autres sources pour trouver le numéro.

Stewart et al. étude, jugement et prise de décision, 2015.

Le professeur de psychologie Neil Stewart et une équipe de chercheurs de sept laboratoires différents répartis dans différents pays ont mené l'étude la plus complète et impressionnante (en termes de taille et de durée) à ce jour pour répondre à cette question que j'ai pu trouver. Couvrant la collecte de données MTurk de tous leurs laboratoires de janvier 2012 à mars 2015, et utilisant une méthode statistique cool que les écologistes utilisent habituellement pour déterminer la population d'un animal ou d'un oiseau particulier dans la nature, ils ont conclu que le chercheur moyen utilisant MTurk accès à un bassin d' environ 7 300 répondants à un moment donné. Ils ont également constaté que 26% des preneurs d'enquête de MTurk «prennent leur retraite» tous les trimestres et qu'ils sont réapprovisionnés par de nouveaux travailleurs. Il convient également de noter que leurs laboratoires utilisaient principalement des répondants basés aux États-Unis. J'ai été frappé par leur comparaison:

"Ainsi, la population que le laboratoire moyen peut atteindre est seulement quelques fois plus grande que le bassin de participants actifs dans une université typique (les crédits de cours ont tendance à être très élevés), avec un taux de roulement qui n'est pas différent. des étudiants universitaires. "(page 485)

Ainsi, les enquêteurs de MTurk sont comme un groupe d'étudiants sur les stéroïdes!

Certaines de leurs autres conclusions suscitent également la réflexion, c'est le moins qu'on puisse dire. Environ 65% de leurs enquêteurs ont participé à plusieurs études menées par le même laboratoire (j'ai obtenu cette valeur en regardant la figure 5 dans leur article). Maintenant, il est très probable que ces différentes études portaient sur des sujets différents, mais ce n'est pas encore idéal. Et un peu plus de 50% des participants ont participé à des études de plusieurs laboratoires. C'est le poisson qui est attrapé, relâché, et attrapé à nouveau, relâché encore et encore attrapé, et ainsi de suite.

J'ai pu trouver deux autres estimations de provenance plus ancienne et / ou en utilisant ce que je pensais être des méthodes moins fiables:

• Une étude de 2011 sur la linguistique computationnelle réalisée par Karen Fort, Gilles Adda et K. Bretonnel Cohen a estimé le nombre de preneurs d'enquête entre 15 059 et 42 912. Ceci était basé sur des estimations d'enquête d'un groupe de travailleurs de MTurk et ajusté en utilisant l'opinion d'experts. De plus, ils incluaient également des répondants non américains (un bon nombre de travailleurs viennent d'Inde).
• Un commentateur anonyme sur Reddit a indiqué qu'ils ont pu obtenir 6000 répondeurs uniques en une semaine en n'ayant aucune condition ou restriction sur qui pourrait participer à leur étude.

Alors que faire de ces chiffres?

Pour donner un peu de perspective, la société de panel en ligne YouGov affirme avoir un panel en ligne de 4 millions de panélistes couvrant 37 pays, et un panel américain de 1,8 million de panélistes. De même, SurveyMonkey prétend avoir un panel en ligne de plus de 30 millions de personnes, et Slice Intelligence a 4,2 millions de personnes dans son panel en ligne. De toute évidence, ce ne sont que des revendications, tout comme la revendication "Plus de 500 000 …" d'Amazon, et il est impossible de vérifier l'un d'entre eux.

Pour en revenir à Amazon MTurk, il me semble qu'il n'y a pas beaucoup de poissons et qu'il y a beaucoup trop de filets jetés dans l'étang MTurk. Ce n'est certainement pas une bonne nouvelle si vous êtes un chercheur en psychologie, car une grande majorité des travailleurs de MTurk ont ​​pris des douzaines, sinon des centaines, d'autres enquêtes dans un court laps de temps. Il est fort probable que beaucoup d'entre eux sont en train de participer à une session d'enquête marathon. Cela peut créer toutes sortes de problèmes si le chercheur essaie de produire une manipulation psychologique comme une induction d'humeur, ou un état d'esprit spécifique, etc. (Plus d'informations à ce sujet dans un prochain article).

Trop de pêcheurs, pas assez de poisson.

Donc, c'est l'image qui nous reste. Imaginez un étang avec environ 10 000 poissons nageant à n'importe quel moment. Et puis imaginez des dizaines de milliers de pêcheurs et de pêcheuses alignés autour de l'étang et jetant leurs filets des milliers de fois chaque semaine, attrapant les poissons, les sondant et les relâchant, attrapant, sondant, puis relâchant, attrapant, sondant, puis relâchant encore et encore. Il n'est pas étonnant qu'un quart du poisson prenne sa retraite tous les trois mois. Ils sont probablement brûlés du sondage multitudinous des pêcheurs. C'est ce qu'utilisent les travailleurs de MTurk pour faire de la recherche en sciences sociales, c'est comme vers le début de 2017. Ce n'est pas joli à voir.

PS:

Après avoir écrit ce post, Kristy Milland (Twitter handle: @TurkerNational) m'a envoyé un lien vers une étude qu'elle a menée (voir ses commentaires ci-dessous). Au cours d'une période de six semaines en 2015, elle a reçu 25 293 participants uniques aux États-Unis, et un total de 30 002 participants (dont la plupart venaient d'Inde) ont complété son succès. Notez que ceci inclut tous les travailleurs de MTurk, pas seulement les enquêteurs. Le lien vers les résultats de l'étude de Kristy peut être trouvé ici.

À propos de moi

J'enseigne le marketing et la tarification aux étudiants de MBA à l'Université Rice. Vous pouvez trouver plus d'informations sur moi sur mon site ou me suivre sur LinkedIn, Facebook ou Twitter @ud.