L’évaluation est le processus de détermination du mérite, de la valeur ou de l’importance de quelque chose, et une évaluation est un produit concret de ce processus. Selon Michael Scriven dans The Logic of Evaluation , «l’évaluation professionnelle est une évaluation effectuée de manière systématique et objective avec un degré de compétence qui nécessite une formation ou un apprentissage spécifique approfondi». La logique de l’évaluation est un exemple de la méthode pas à pas. processus pouvant être adapté pour nous aider à porter un jugement sur la qualité des produits, des programmes, des politiques ou du personnel.
Définir le processus
La logique de l’évaluation est un processus en quatre étapes qui comprend: 1) la définition des critères qui seront utilisés pour évaluer quelque chose; 2) établir des normes de performance sur ces critères; 3) mesurer la performance réelle; et 4) synthétiser les résultats pour parvenir à un jugement évaluatif. Ce qui est particulièrement intéressant dans ce processus, c’est que les gens le font souvent de manière intuitive, mais ils peuvent sauter des étapes pouvant conduire à des conclusions trompeuses. Cet article espère clarifier à quoi ce processus ressemble et comment il peut être appliqué à une situation réelle.
La première étape de la définition des critères consiste à générer une liste de dimensions ou d’éléments qui nous aideraient à capturer les performances d’un produit / programme / politique. Par exemple, si nous voulions évaluer une voiture, certains des critères que nous générerions pourraient inclure le nombre de personnes assises, les miles par gallon (MPG), sa cote de sécurité en cas de collision, son apparence (son esthétique) et son aspect esthétique. prix. Cette liste de critères n’est pas exhaustive, mais elle offre un point de départ pour nous amener à réfléchir aux dimensions qui entrent dans l’évaluation d’une voiture. Il est également important de noter que tous les critères ne sont pas d’égale importance. Ainsi, dans le cas de l’évaluation d’une voiture, nous voudrons peut-être accorder une grande importance aux critères de sécurité. Ainsi, même si une voiture est d’un prix raisonnable, a une belle apparence, devient excellente , et peut accueillir six personnes mais échoue lors des tests de sécurité les plus simples, puis échoue automatiquement en tant que voiture, la sécurité étant probablement l’une des caractéristiques les plus importantes.
Une fois que nous avons défini les critères, nous devons ensuite déterminer dans quelle mesure il faut que quelque chose fonctionne sur ces critères (c.-à-d. Normes). Par exemple, si nous utilisons MPG comme critère, nous devrions également déterminer une norme de performance pour ce critère. Cela signifie que nous devons déterminer un niveau de performance acceptable sur ce critère, alors 10 MPG seraient-ils acceptables? 35 MPG? 50 MPG ou même 100 MPG? Il existe différentes manières d’aborder ce processus. Le plus simple est d’établir un seuil de performance permettant de décider qu’en raison du prix de l’essence, une voiture doit obtenir au moins 35 MPG pour être considérée comme un «bon» niveau. de performance sur MPG. Une autre méthode consiste à développer un système de points dans lequel plus le MPG est élevé, plus la voiture gagne de points (par exemple, 10 MPG pour 10 points, 100 MPG pour 100 points). Vous pouvez suivre ce processus avec les autres critères, vous pouvez donc fixer un prix pour le montant que vous souhaitez dépenser pour une voiture, identifier le nombre de passagers que vous souhaitez pouvoir accueillir, et peut-être même développer un système de notation. pour la qualité de la voiture.
Lorsque vous avez terminé l’identification des critères et la définition des normes, la partie amusante de la mesure et de la collecte des informations commence. Dans l’exemple des voitures, cela voudrait dire que nous commencerions à collecter des données de critères sur les différentes voitures que nous envisageons. Vous pouvez collecter les données directement, de sorte que vous pouvez mettre un gallon d’essence dans une voiture et la conduire sur une piste pour voir jusqu’où elle va (cela peut vous aider à déterminer le MPG) ou trouver des sources de données existantes sur les performances de la voiture. Certaines données de performances sont faciles à obtenir, par exemple, le nombre de personnes pouvant tenir dans une voiture peut être déterminé en regardant à l’intérieur de la voiture. Il peut être difficile de collecter directement d’autres informations, et vous devrez vous fier à d’autres sources extérieures. Par exemple, l’Institut d’assurance pour la sécurité routière (IIHS) devrait obtenir des données sur la sécurité en cas de collision. Une fois que toutes les mesures sont terminées et que les données sont collectées, l’étape la plus intéressante du processus d’évaluation commence.
Le processus de synthèse consiste à utiliser les critères qui ont été identifiés, les normes de performance qui ont été déterminées et les mesures collectées pour aboutir à une conclusion finale d’évaluation ou à un jugement. Dans l’exemple voiture, cela voudrait dire que vous compareriez les données que vous avez collectées pour chaque voiture aux normes de performance que vous avez identifiées et que vous allouiez des points à leur performance par rapport à ces critères. Par exemple, vous pouvez avoir une voiture qui gagne 40 MPG (40 points sur 100), qui semble acceptable (par exemple, qui gagne 50 points sur 100 points), a obtenu d’excellents résultats aux tests de sécurité (80 points sur 100 points), mais coûte très cher (10 points sur 100). Le score total pour cette voiture serait de 180 points sur 400 possibles. Une autre voiture pourrait obtenir 300 points sur 400, ou 50 sur 400, en fonction de ses performances durant le processus de mesure. Une fois que vous avez examiné l’attribution de points, il serait facile de déterminer laquelle est considérée comme la “meilleure” voiture.
Il est également important de rappeler que dans le cadre de ce processus, vous devez déterminer si ces voitures ont satisfait aux critères les plus importants ou les plus critiques (par exemple, la sécurité lors des essais de collision). Ainsi, même si une voiture remplit très bien tous les autres critères (100 points sur le prix, 100 points sur l’esthétique, 100 points sur le MPG) mais échoue aux tests de sécurité, la voiture doit être retirée de la considération et jugée comme «échec». voiture.
J’espère que cette illustration offre quelques indications sur la manière dont la logique de l’approche d’évaluation peut rendre les concepts abstraits plus explicites et systématiques. La logique de l’approche d’évaluation peut être utilisée dans de nombreuses situations différentes, telles que l’évaluation de programmes tels que les efforts de rétention des étudiants, les initiatives de prévention de la grossesse et les interventions de réhabilitation pour toxicomanes. Il peut également être utilisé pour évaluer diverses politiques qui affectent nos vies et, comme illustré dans l’exemple de la voiture, dans notre processus de prise de décision habituel. Cependant, il y a des complexités supplémentaires à ce processus qui seront abordées dans les prochains articles, par exemple lors de l’évaluation d’un programme scolaire, les critères de performance du principal peuvent être très différents de ce que pensent les parents et le processus de négociation entre ces différences pourrait affecter la crédibilité et l’utilité du jugement d’évaluation final. Nous explorerons ces complexités et le rôle de l’évaluation dans la prise de décision lors du prochain versement.
Références
Scriven, Michael, «The Logic of Evaluation» (2007). Archives de la conférence OSSA . 138. https://scholar.uwindsor.ca/ossaarchive/OSSA7/papersandcommentaries/138
