4 modifications que je ferai en utilisant Amazon MTurk pour la recherche

Source: Signe vu à Santa Cruz par Robert Couse-Baker sous licence CC BY 2.0

Il y a quelques jours, j'ai décrit mon expérience plutôt intense et pas tout à fait agréable, travaillant à temps partiel comme Amazon Mechanical Turk (MTurk)   ouvrier. Non seulement cette expérience m'a laissé "secoué et agité" pour ainsi dire, mais cela m'a aussi fait réfléchir aux changements que je devrais faire lorsque je reviens à utiliser MTurk comme chercheur pour collecter des données d'enquête ou expérimentales.

Voici ma liste de quatre changements que je prévois de faire en utilisant MTurk pour poster mon travail (d'autres chercheurs sont invités à rejoindre J).

1. Payer les travailleurs deux fois plus!

La question de la rémunération était peut-être la révélation la plus frappante de mon expérience et celle qui serait impossible sans avoir marché dans la peau d'un travailleur de MTurk pendant une semaine. Jusqu'à présent, lorsque j'ai publié mes sondages sur MTurk, je pensais aux travailleurs de façon très abstraite et floue, si je pensais à eux du tout.

Ayant déjà travaillé dans le domaine de la recherche marketing commerciale, j'avais l'impression que mes données étaient à un prix défiant toute concurrence (j'ai déjà travaillé sur un projet de recherche impliquant des prisonniers, et même un auditoire captif coûtait environ 3 $ / sondage); mais je l'ai balayé. À quel prix? Après mon expérience de travail, il est clair pour moi que je ne payais pas assez pour la valeur que je reçois des travailleurs de MTurk.

• Menant du coeur
• Devriez-vous démarrer votre propre entreprise?
• Mad Men: Don Draper sur le divan
• Quelle est la meilleure émotion?
• Affaires: Définition des objectifs de la vision

Pour un sondage de 6 à 7 minutes, j'ai offert entre 0,40 $ et 0,60 $ selon le nombre de questions ouvertes, la lecture et la compréhension des passages, etc. À partir de maintenant, je vais offrir au moins 1,00 $. Avec mon budget de recherche limité, cette augmentation de salaire unilatérale signifie que je devrai travailler plus dur sur le front en concevant et en planifiant des études plus soigneusement et en faisant moins d'entre eux.

(Et je me rends compte qu'Amazon a récemment augmenté considérablement la commission qu'ils facturent aux chercheurs, mais à mon avis, c'est une question entièrement différente qui revient à des combattants plus féroces, cela n'a rien à voir avec une rémunération équitable des travailleurs).

Là vous allez, un professeur de marketing offrant de payer le double! Étrange, je sais.

• Pourquoi Lita Ford a toujours des roches
• Les chercheurs d'emploi surqualifiés s'unissent
• 8 façons de devenir plus autonome au travail
• S'INQUIÉTER DE LA MAUVAISE CHOSE
• Avez-vous trop manger ou après Thanksgiving? Pardonnez-vous et soyez reconnaissants

2. Contrôler et maintenir avec diligence la qualité des enquêtes

Du point de vue des travailleurs de MTurk, tout ce qui les ralentit fait mal, à la fois cognitivement (dans la façon dont ils pensent et répondent aux questions) et dans le livre de poche! De tels points de douleur peuvent inclure beaucoup de choses. Des questions qui sont tordues de mots, mal formulées ou ambiguës, des fautes d'orthographe, des fautes de grammaire, des flux de sondages compliqués, des tâches qui forcent les répondants à rester assis pendant plus de deux minutes, des questions ouvertes qui obligent les gens à écrire certains nombres énormes de mots (ou caractères, je pense que quelque chose de plus de 100 caractères est trop), les enquêtes qui sont trop longues (quoi que plus de 70 questions sont trop longues à mon avis) tous contribuent grandement à la douleur des enquêteurs.

Dans les études que j'ai (ou mes co-auteurs) ont publiées sur MTurk, nous avons été généralement bons à propos de ces choses. Mais nous hésitons de temps en temps. Parfois, nous avons mal codé un type de réponse dans une question de sorte qu'un blanc qui devrait vraiment être rempli de texte force une réponse à une adresse courriel. D'autres fois, nous laissons une faute de frappe flagrante dans l'enquête lorsque nous l'affichons qui distrait les répondants. Ce sont de petites choses comme celle-ci que nous allons nous concentrer à réparer.

Mon propre contrôle le plus flagrant du contrôle de la qualité est que je vais souvent passer le copy-editing, le prétesting et le feuilletage des questionnaires que je suis sur MTurk (par paresse pure ou excès de confiance injustifié, je ne sais pas).

Mon mantra à partir de maintenant: Copyedit et puis pré-test le questionnaire sur moi-même (et les co-auteurs ou les séides) au moins trois fois avant qu'il ne soit jamais posté pour les travailleurs MTurk. Si je ne peux pas y arriver en douceur, il est probable que les répondants ne le feront pas non plus.

J'ai fait une liste de contrôle qui passe en revue tous ces problèmes potentiels et pourrait être utile aux chercheurs qui mènent des sondages en ligne. Cela peut être téléchargé ici.

3. Pas seulement obtenir un consentement éclairé, mais aussi donner l'occasion de «rétroaction éclairée»

Comme la plupart des chercheurs, j'insère un formulaire de consentement éclairé expliquant la procédure de mon étude, ses risques potentiels, mes coordonnées, etc. au tout début de mon questionnaire. Mais je réalise maintenant que ce n'est pas aussi utile que cela pourrait être pour deux raisons.

• La forme est plutôt dense. Il est déraisonnable de s'attendre à ce que les travailleurs de MTurk sur l'horloge lisent attentivement plus de 300 mots avant même que l'étude ne commence. Même si je demande aux travailleurs de l'imprimer pour référence future, il est peu probable que la plupart le fassent.
• Le formulaire de consentement éclairé est très souvent le seul endroit où le nom et les coordonnées du chercheur sont fournis. Cependant, le travailleur a vraiment besoin de cette information à la toute fin après que le dernier bouton a été pressé et que l'enquête a été soumise.

Donc, en plus d'obtenir un consentement éclairé, je vais obtenir une «rétroaction éclairée» à la toute fin, après la soumission de l'enquête et le code d'achèvement. C'est là où il semble approprié de fournir mes coordonnées et de demander des commentaires et donner l'occasion de formuler des plaintes.

Les spécialistes du marketing posent régulièrement des questions aux clients sur leur expérience après un repas au restaurant ou un tour en avion, alors pourquoi les chercheurs ne devraient-ils pas faire la même chose après une enquête MTurk?

4. Compléter les études MTurk avec des échantillons et des méthodes radicalement différents

Indépendamment de l'adéquation statistique des données de MTurk, il y a quelque chose de puant par rapport à la recherche en sciences sociales menée uniquement avec une méthode qui permet aux enquêteurs de remplir des enquêtes comme les travailleurs à la chaîne assemblant des montres Apple.

Laissez-moi vous dire pourquoi. Dans la prise de décision morale, une classe importante (et horrible) de problèmes implique de choisir entre deux situations VRAIMENT mauvaises (que j'espère sincèrement qu'aucun d'entre nous n'aura jamais à rencontrer dans nos vies réelles). De tels dilemmes comprennent: «Souffriez-vous un enfant avec vos mains nues pour sauver une douzaine d'étrangers d'être tué?» Ou «Prépareriez-vous et servez votre chien / chat dans un festin de village si cela signifiait que tout votre village serait épargné d'être abattu immédiatement? " Yikes!

Ces types de questions sont horribles. Pour tout être humain normal, ils créent une agitation émotionnelle et morale lorsque vous les rencontrez (du moins ils l'ont fait pour moi!). C'est ce qu'ils sont censés faire. Mais supposons que vous rencontriez les mêmes questions encore et encore … et encore; Disons que vous rencontrez une douzaine de ces questions dans 20 sondages chaque semaine (la prise de décision morale est un sujet de recherche populaire, après tout).

Allez-vous ressentir le même dilemme moral intense la 17ème fois que vous répondez à ces questions? En aucune façon! Vous allez comme: "Yawn! Eh bien, pour apaiser les maraudeurs, je vais cuisiner Rover en steaks pour le festin du village! Ensuite! " Mon point est de répondre, vous pouvez toujours répondre aux questions de la façon dont le chercheur veut, attend, ou prédit, mais sûrement sans agitation émotionnelle qui est au cœur de telles décisions morales!

Il y a au moins deux autres raisons pour lesquelles je me méfie de mener uniquement des recherches fondées sur des échantillons MTurk. Premièrement, en raison de la facilité, du coût et de la rapidité des études MTurk, il y a une tendance croissante à mener de nombreuses études pour un même projet avec l'idée de reproduire les résultats et d'utiliser des méthodes statistiques sophistiquées comme la méta-analyse la taille de l'effet plus fiable .

Cependant, ce déluge de données acquises à bon compte néglige le fait que toutes les études ont été faites avec des enquêteurs qui sont blasés de manière homogène; il est donc possible que les résultats ne se généralisent pas au-delà des enquêteurs de la chaîne de montage. Et la vérité est que nous en savons beaucoup trop peu sur les preneurs de sondage professionnels au-delà du fait qu'ils sont relativement peu nombreux.

Deuxièmement, pour les chercheurs appliqués en particulier, la complaisance découlant d'avoir mené de nombreuses études en ligne évite de reconnaître les limites sévères associées aux tâches textuelles qui impliquent des histoires imaginaires et des scénarios que les enquêtes en ligne peuvent se permettre. De telles mesures peuvent ou non être transférées à de véritables décisions ou comportements dans le monde réel que nous sommes vraiment intéressés à étudier.

Pour ces raisons, je prévois d'utiliser MTurk échantillons principalement pour la réalisation de pré-tests et pour la recherche exploratoire qui constitue une petite fraction des études dans un projet de recherche particulier. En l'état, je préfère mener des études de terrain (avec de vrais clients, par exemple) et mesurer des comportements réels plutôt que des opinions sur la manière dont se comporteraient les enquêteurs.

Je veux dire une dernière chose (si vous, le lecteur, êtes allé aussi loin sans me lancer des jurons). Lorsque vous posterez du travail sur MTurk, ne serait-il pas bien que les chercheurs utilisent leur vrai nom et déclarent clairement leur affiliation? Utiliser des pseudonymes comme "SocPerfLab37" crée l'impression de spammeurs en ligne qui lancent du Viagra tous les jours!

Autres ressources

Un collectif de travailleurs et de chercheurs de MTurk, appelé le Dynamo, a mis au point un excellent ensemble de lignes directrices pour les chercheurs qui décrit beaucoup de choses que j'ai abordées ici de façon beaucoup plus approfondie et plus encore. Le groupe a également fait des recherches intéressantes sur l'action collective parmi les travailleurs de MTurk.

Plus à propos de moi

J'enseigne le marketing de base et les prix aux étudiants de MBA à l'Université Rice et mon curriculum vitae est ici.

Vous pouvez trouver et télécharger un grand nombre de mes écrits académiques et certains de mes écrits orientés vers les praticiens au SSRN. Si vous ne trouvez pas quelque chose d'ancien, écrivez-moi un email et je vous l'enverrai.

Certains de mes écrits pour les gestionnaires et les gens d'affaires peuvent être trouvés sur HBR.org et j'écris aussi un blog relativement nouveau intitulé "The Science behind Behaviour" sur Psychology Today.

Vous pouvez vous connecter avec moi sur LinkedIn ou Facebook , ou vous pouvez m'envoyer un email. Toutes les questions, commentaires, réflexions et idées pour de futurs articles de blog ou projets de recherche académique sont les bienvenus. Ne m'envoyez pas de mail de haine, s'il vous plait.

[Ce message est posté de LinkedIn Pulse ]