Au-delà de l’onde de choc créée par leur arrivée sur le marché de la formation universitaire, les MOOC ont rapidement fait l’objet de préoccupations en lien avec l’évaluation de la qualité des apprentissages réalisés par les étudiantes et étudiants qui s’y inscrivent. Cette question devient hautement stratégique si l’on considère les visées certificatives de bon nombre de ces initiatives. Il appert que celles-ci souhaitent plus ou moins ouvertement se tailler une place en enseignement supérieur.
L’évaluation des apprentissages dans le cadre d’un MOOC n’est pas chose simple considérant le besoin d’évaluer un aussi grand nombre d’étudiants sans ressources spécifiquement dédiées à leur encadrement. C’est cette notion d’évaluation à grande échelle qui prête flanc aux critiques, lesquelles ne manquent pas de mettre en doute la fiabilité des résultats d’une telle opération. L’enjeu dépasse largement la reconnaissance de crédits complétés; la capacité du système à permettre aux participants d’évaluer leur compréhension et leur progression reste importante dans un contexte de formation, et ce peu importe le type de clientèle visée.
L’ordinateur corrige
Les premiers MOOC ont largement misé sur des modalités d’évaluation automatisées. On pense évidemment aux modes d’évaluation à correction automatique connus depuis longtemps, tels les quiz ou les questionnaires à choix multiples. Les limites d’une telle solution sont évidentes : dans un article sur le phénomène des MOOC, l’auteur Nicholas Carr évoque le témoignage d’un participant qui souligne que l’évaluation automatisée ne supporte pas le développement d’une pensée critique, en plus d’accroître le sentiment d’isolement des étudiantes et étudiants.
Plusieurs initiatives font miroiter la capacité des systèmes de colliger, vu le nombre de participants concernés, une masse importante de données susceptibles de guider la construction d’exercices, d’examens et d’algorithmes de correction automatique plus raffinés. Carr évoque le souhait de plusieurs promoteurs de constituer des banques de données qui permettraient au système de détecter la triche, voire de s’adapter au niveau de compréhension de l’étudiant. Il rapporte à cet effet les propos de David Kuntz, de la firme Newton, qui se spécialise en apprentissage adaptatif (adaptive learning).
Kuntz envisage trois stades potentiels de personnalisation du système :
Stade 1 : Les réponses de l’étudiant guident sa progression par le biais du matériel prévu pour le cours. Cette fonctionnalité est déjà en place dans bon nombre de MOOC.
Stade 2 : Le système adapterait automatiquement le mode de diffusion des contenus (texte, vidéo, jeu, discussions) aux préférences et aux réactions de l’étudiant, telles que révélées par les données qui y sont colligées en termes de contenus consultés, de vitesse de navigation, etc.
Stade 3 : Un environnement sur mesure, où non seulement les contenus, mais l’ensemble des paramètres (interface ou autre) évolueraient pour s’adapter aux préférences manifestées par les étudiantes et étudiants.
À terme, on ne peut qu’imaginer les possibilités qu’ouvrirait une telle personnalisation de l’environnement sur le plan de l’évaluation des apprentissages.
D’autres internautes corrigent
Plutôt que de s’en remettre à la technologie, plusieurs misent plutôt sur le facteur humain et mettent de l’avant la valeur ajoutée que représentent des modalités d’évaluation par les pairs. Là encore, les détracteurs n’ont pas tardé à souligner l’hétérogénéité des participants et la grande variabilité quant à ce qu’ils sont en mesure d’apporter comme rétroaction.
Dans le compte-rendu de son expérience comme participant à un MOOC, Jonathan Marks constate que l’évaluation par les pairs qui caractérise ce type d’environnement est forcément sommaire et se limite à des «productions» courtes, devant être corrigées à l’aide d’une clé de correction simple. Sans surprise, ce professeur de sciences politiques relève que l’évaluation s’avère inégale d’un étudiant à l’autre et que le jugement porté ne s’accompagne pas de justifications, ce qui limite d’autant sa portée formatrice. Bref, à ses yeux, on ne peut parler d’un choix stratégique sur le plan pédagogique.
Cette forme d’évaluation par les pairs constituerait plutôt une réponse à une contrainte inhérente à un tel mode de formation, soit le nombre démesurément élevé d’étudiants. Les principaux acteurs en sont conscients; à preuve l’annonce de Coursera faisant connaître son travail sur un algorithme visant à relativiser le poids accordé à la rétroaction de personnes dont les corrections antérieures ont été jugées peu rigoureuses.
Payer pour se faire évaluer
La problématique de l’évaluation des apprentissages semble suffisamment importante pour que des fournisseurs soient de plus en plus nombreux à chercher des solutions externes à proposer à leurs participants. Des partenariats récemment établis entre des fournisseurs de MOOC et des entreprises spécialisées permettent dorénavant d’offrir aux étudiants intéressés, moyennant rétribution, des séances d’examen en présence sous surveillance. Les fournisseurs Udacity et EdX ont conclu des ententes en ce sens avec Pearson VUE, une entreprise spécialisée en «testing». Le cours lui-même demeure ouvert et gratuit à quiconque désire s’y inscrire, mais l’examen permettant d’obtenir l’attestation officielle sera payant.
Certification en vue?
Aussi embryonnaire soit-il, ce repositionnement n’est pas sans incidence sur les institutions d’enseignement qui, jusqu’ici, ont gardé une certaine distance face au phénomène. En effet, depuis 2011, la position défendue par les universités américaines appelées à commenter la multiplication des initiatives de MOOC avait toujours été sans équivoque : en aucun cas ces formations ne donneraient accès à des crédits universitaires.
Or, de tels partenariats entre fournisseurs de MOOC et entreprises spécialisées ouvrent ultimement la voie à une certaine forme de reconnaissance de crédits de la part des universités.
- Colorado State University’s Global Campus a déjà annoncé publiquement son intention de reconnaître ce type de formation.
- Pour sa part, l’Université de Washington réfléchirait à une offre de «MOOC enrichi», en collaboration avec le fournisseur Coursera. Aux cours de base, gratuits et ouverts, s’ajouteraient des fonctionnalités supplémentaires : davantage d’exercices, interactions directes avec les formateurs et – surtout – une évaluation plus formelle des apprentissages. Le tout accessible à un nombre limité d’étudiants prêts à payer le prix… à un tarif avoisinant celui d’un cours régulier, et ce à condition qu’ils soient par ailleurs inscrits comme étudiants réguliers à l’université.
- Le 14 novembre 2012, l’American Council of Education annonçait une initiative financée par la Bill and Melinda Gates Foundation visant à déterminer si elle recommandera la certification d’une dizaine de MOOC de la compagnie Coursera aux institutions américaines. ACE Credit serait aussi en discussion avec edX (MIT-Harvard). Si ces démarches étaient concluantes, des étudiants adultes ayant suivi des MOOC pourraient obtenir la documentation nécessaire pour faire reconnaître leurs acquis par les institutions qui le désirent.
- Début janvier 2013, c’est la San Jose State University qui annonçait son alliance avec Udacity en vue d’offrir des cours d’appoint et des cours de base en algèbre et en statistiques, et ce à coût modique (150 $ par cours pour la durée du projet pilote). L’annonce précise que des professeurs seraient impliqués dans la production du matériel et dans l’encadrement des étudiantes et étudiants, à titre de «mentors».
Peu importe la réponse mise de l’avant, il est clair que l’évaluation des apprentissages dans le cadre d’un MOOC demeure un enjeu, et ce autant pour les institutions et les fournisseurs que pour les participants.
Dans un tel contexte, faut-il s’étonner de l’annonce de la University of Maine at Presque Isle (UMPI), qui offre dorénavant aux étudiantes et étudiants inscrits gratuitement en ligne la possibilité de compléter les mêmes évaluations que ceux qui sont formellement inscrits? Pour ce faire, on leur propose de se joindre à des LOOC (Little Open Online Classes), des mini-MOOC de deux à sept étudiants qui s’ajoutent à la quinzaine d’étudiants en présentiel et à qui les professeurs responsables ont accepté d’offrir une rétroaction. Si les étudiantes et étudiants en ligne acquittent les frais de scolarité, ils obtiennent des crédits pour le cours. Outre une stratégie de recrutement, on peut y voir le retour du balancier ainsi qu’une réaffirmation de l’importance du facteur humain dans la formation.
Sources
Carr, Nicholas, «The Crisis in Higher Education», MIT Technology Review, 27 septembre 2012.
Kolowich, Steve, «Without Credit», Inside Higher Ed, 18 juillet 2012.
Kolowich, Steve, «MOOC’s Little Brother», Inside Higher Ed, 6 septembre 2012.
Kolowich, Steve, «MOOCing On Site», Inside Higher Ed, 7 septembre 2012.
Lewin, Tamar et John Markoff, «California to Give Web Courses a Big Trial», The New York Times, 15 janvier 2013.
Mangan, Katherine, «A First for Udacity: a U.S. University Will Accept Transfer Credit for One of Its Courses», The Chronicle of Higher Education, 6 septembre 2012.
Marks, Jonathan, «Who’s Afraid of the Big Bad Disruption?», Inside Higher Ed, 5 octobre 2012.
Poppano, Laura, «The Year of the MOOC», The New York Times, 2 novembre 2012.
Watters, Audrey, «Top Ed-Tech Trends of 2012: MOOCs», Inside Higher Ed, 18 décembre 2012.
Weimer, Maryellen, «Peer Assessment is Not an Elixir for All Group Work Challenges», Faculty Focus, 10 octobre 2012.