Dans quelle mesure les collèges réussissent-ils à acquérir des compétences essentielles?

Résultats d'apprentissage attendus Pensée critique. Évaluation. Valeur ajoutée.

Ce sont des termes qui, peut-être pas plus tard qu'au début des années 2000, auraient préoccupé un nombre relativement restreint d'administrateurs de collèges et d'universités et de membres du corps professoral. Maintenant, cependant, ces termes sont un aspect inévitable de la vie pour un nombre croissant d'individus qui enseignent – et ceux qui sont chargés d'assurer la qualité de l'enseignement – dans l'enseignement supérieur américain.

En supposant que les autres universités sont comme celle où j'enseigne, les instructeurs de presque tous les cours doivent collecter et rapporter des données d'évaluation en ce qui concerne la mesure dans laquelle les étudiants atteignent des objectifs d'apprentissage spécifiques prédéfinis dans les programmes. Les évaluations, qui doivent aller au-delà des notes des élèves dans le cours, peuvent inclure des devoirs écrits, des questions d'examen, des groupes de discussion ou des sondages – tout ce qui quantifie la mesure dans laquelle les élèves atteignent les objectifs d'apprentissage du cours. Les modes d'évaluation multiples sont considérés meilleurs que ceux au singulier.

Le mouvement vers l'évaluation, la quantification et la documentation de l'apprentissage des étudiants – encouragé par les agences d'accréditation régionales qui ont le pouvoir d'accorder ou de refuser des certificats de santé aux universités – fait partie d'un cadre de responsabilisation plus large. Les entraîneurs sportifs sont non seulement jugés sur leurs records de victoires et défaites et sur les personnalités de la télévision, mais aussi sur leur audience. Ces jours-ci, on peut difficilement rester dans un hôtel, prendre un vol, manger dans un restaurant ou se faire couper les cheveux (au moins par des franchises nationales), sans avoir à remplir une enquête en ligne, dont les résultats seront vraisemblablement utilisés par la direction pour évaluer le ou les employés avec lesquels vous avez interagi.

Dans la mesure où les systèmes de responsabilisation améliorent réellement la qualité des services fournis, ils devraient être les bienvenus. Cependant, de nombreux membres du corps professoral – sceptiques que les évaluations jaugent réellement l'apprentissage des élèves, frustrés d'avoir encore une tâche à accomplir et s'inquiètent de l'intrusion administrative dans la façon dont ils enseignent leurs cours – semblent moins enthousiastes que le mouvement d'évaluation. David Glenn, en écrivant dans la Chronique de l'Enseignement Supérieur, a produit plusieurs articles sur l'évaluation et la responsabilité. Celui-ci en particulier capture la saveur du débat.

La contribution la plus récente au débat vient des sociologues de l'éducation Richard Arum et Josipa Roksa, via leur nouveau livre Academically Adrift: Limited Learning on College Campus . Arum et Roksa rapportent les résultats d'une étude longitudinale nationale portant sur 2 362 étudiants de première année de 24 établissements qui ont complété, entre autres mesures, l'Évaluation collégiale de l'apprentissage (ALC) au cours du semestre d'automne 2005 de leurs écoles. Les auteurs reconnaissent que les «procédures nationales d'échantillonnage probabiliste» n'ont pas été suivies dans toute la mesure, mais montrent que les données démographiques de l'échantillon de l'étude ressemblent à celles d'autres bases de données sur les inscriptions aux collèges américains.

Qu'est-ce que le CLA? Arum et Roksa notent à plusieurs reprises qu'il vise à évaluer «la pensée critique, le raisonnement complexe et l'écriture», par opposition à des connaissances spécifiques au cours. Les auteurs se concentrent sur la «tâche de performance» de l'ACC, la décrivant comme une activité d'écriture de 90 minutes administrée par ordinateur, dans laquelle les élèves répondent à des scénarios hypothétiques de décision dans le monde réel. Les élèves reçoivent du matériel supplémentaire tel que des articles de journaux, des statistiques et des notes de service concernant le scénario. Selon le livre, la CLA vise à mesurer:

… dans quelle mesure l'élève évalue la qualité et la pertinence de la preuve, analyse et synthétise les données et l'information, tire des conclusions de son analyse et envisage d'autres perspectives (p.

Les principales constatations concernant le changement dans le rendement des étudiants CLA de la première à la deuxième année d'études comprenaient:

  • une amélioration moyenne de 0,18 écart-type (que les statisticiens de premier rang qualifieraient de «petite» amélioration);
  • "Pas de gains statistiquement significatifs … pour au moins 45% des étudiants de notre étude" (page 36); et
  • un gain énorme de 1,5 écart-type pour les élèves qui réussissent déjà bien (c.-à-d. dans le top 10% de la distribution).

(Les analystes de données de réserve ont tendance à étudier les changements au fil du temps des «effets de plafond» [c.-à-d. Que certains participants obtiennent des résultats aussi élevés à la première évaluation, il n'y a pas de place pour améliorer la deuxième évaluation]. La conclusion précédemment citée sur la façon dont les élèves se situent près du sommet s'améliore encore et d'autres analyses présentées aux pages 153-154 du livre semblent apaiser les inquiétudes concernant les effets de plafond.)

Les auteurs ont également examiné les aspects de l'expérience éducative qui étaient en corrélation avec la performance de l'ACC de deuxième année, au-delà de ce que l'on pouvait attendre de la performance des étudiants en première année. Empruntant à l'économie, on dit qu'une telle approche capture l'avantage à valeur ajoutée d'avoir fréquenté une université. Des exemples de constatations étaient que les cours exigeant des lectures et des écritures approfondies étaient associés à des augmentations des scores de CLA en deuxième année, alors que les heures passées à étudier avec leurs camarades présageaient une diminution de ces scores (voir le tableau A4.5).

Dans leur conclusion, Arum et Roksa mettent en garde contre les «systèmes de reddition de comptes à enjeux élevés» concernant la CLA et les instruments connexes, qui pourraient impliquer des critères de performance absolus et des sanctions obligatoires pour les enseignants et les superviseurs. Comme ils le prétendent:

[…] nous ne sommes tout simplement pas à un stade de connaissances scientifiques où les résultats d'apprentissage des étudiants peuvent être mesurés avec suffisamment de précision pour justifier l'adoption d'un système de responsabilisation coercitive sans réserves importantes (p.

Un article récent sur l'évaluation co-écrit par le Provost et Vice Provost pour la planification et l'évaluation à mon université d'origine, Texas Tech, est disponible ici. Ces fonctionnaires discutent de l'ACC et d'autres outils possibles pour évaluer le rendement des élèves, en mettant l'accent sur les solutions qu'ils considèrent comme les meilleures pour Texas Tech.

Un adieu triste à un collègue: L' académie a perdu un professeur passionné et chercheur quand ma collègue de Texas Tech Sarah Kulkofsky est morte le 13 janvier 2011 à l'âge de 30 ans. Le livre susmentionné, Academically Adrift , a conclu en appelant instants un «amour perpétuel de l'apprentissage» chez leurs élèves. Comme les témoignages des étudiants et des collègues de Sarah lors de son décès étaient clairs, Sarah avait réussi de façon spectaculaire dans ce domaine.