Pourquoi évaluer en ligne ?
Le projet FlexiEval a débuté 7 mois avant la crise sanitaire COVID-19 et s’est inscrit dans la continuité du travail initié par le groupe de travail interne de l’Université de Montpellier « Numérique pour les examens et l'évaluation des connaissances et des compétences » [GT NUMEVAL]. Ce groupe de travail, composé d’une soixantaine de membres (enseignants, enseignants-chercheurs et personnels administratifs), avait été lancé en février 2019. Son objectif était de mettre le numérique au service de la transformation des évaluations.
Au cœur de ces transformations se trouve l’ « arrêté Licence du 30 juillet 2018 » qui oriente vers une structuration des parcours de licence en blocs de connaissances et de compétences, privilégiant les modalités d'évaluation continue. Également, l'approche par compétences incite à une réflexion approfondie sur l'évaluation des acquis d'apprentissage, conformément aux propositions du rapport sur la stratégie nationale de l’enseignement supérieur [StraNES] de 2014. La proposition 17 de ce rapport préconise notamment l'autorisation de l'accès à Internet lors des examens. Afin de couvrir tous les aspects, plusieurs sous-groupes ont été créés, qui ont traité les questions pédagogiques, mais aussi techniques, réglementaires et organisationnelles.
Ce groupe de travail a vu son action poursuivie dans le projet FlexiEval qui a débuté en 2019. Cependant, la trajectoire de ce dernier a été modifiée en raison de la crise sanitaire. La nécessité de proposer une continuité pédagogique à distance et l’organisation des examens en distanciel a conduit à une accélération considérable du projet FlexiEval avec un développement massif de l’usage du numérique pour les examens et l’évaluation des connaissances et des compétences. Il a ainsi inclus l’adoption de différents outils numériques pour assurer un enrichissement des évaluations, avec une approche par compétences et une automatisation des évaluations en disposant d'une large palette d'évaluations formatives et sommatives.
Évaluation en ligne
Le choix des activités à évaluer est structuré autour de deux axes majeurs :
- le premier met en exergue des perspectives innovantes dans le domaine de l’évaluation des acquis d’apprentissage visés (learning outcomes) ;
- le second prend en compte le changement de paradigme intégrant l’approche par compétences.
Le premier axe, grâce à une évaluation des acquis d’apprentissage, tend vers une automatisation des évaluations en simplifiant et généralisant les évaluations grâce au numérique.
Afin de réussir cette transition, le projet FlexiEval a mis en avant l'importance de structurer l'enseignement :
- en respectant l'alignement pédagogique de J. Biggs (Biggs, J. - Enhancing teaching through constructive alignment. High Educ 32, 347–364 (1996)) ;
- en mobilisant des taxonomies d'apprentissage pour définir les acquis d'apprentissage visés.
Une fois cette structuration réalisée, diverses modalités d'automatisation ont été mises en place. Les outils numériques ont facilité le processus, notamment ceux favorisant l'interaction et l'autoévaluation des apprenants. L’Université de Montpellier a choisi d'utiliser les applications Wooclap et Wooflash. En s'appuyant sur les principes des neurosciences et de l’intelligence artificielle, celles-ci permettent de suivre les performances des étudiants et de personnaliser les apprentissages.
Dans le cadre du projet, des activités et plugins de la plateforme Moodle de l’Université de Montpellier ont été testés pour évaluer les acquis d’apprentissage.
L’activité « test » par exemple, présente la diversité d’utilisation la plus étendue :
- Elle est particulièrement adaptée pour les grands groupes, car elle offre une correction automatique et une objectivité et homogénéité de l'évaluation (résultats constants et barèmes prédéfinis).
- Elle convient à un large éventail de matières et d’évaluer de nombreuses notions.
- Le test peut être utilisé dans toutes les modalités et temporalité d’évaluation (synchrone, asynchrone) et tous types d’évaluation (positionnement, formatif, sommatif, auto-évaluation...).
Le deuxième axe se concentre sur la transition vers une approche par compétences (l'APC) dans l’enseignement supérieur.
Au sein de chaque formation, les enseignants sont amenés à proposer des situations les plus proches de la réalité. La façon dont l’enseignement est dispensé change. Désormais, l’enseignant crée des activités pédagogiques qui permettent à l’apprenant de mobiliser ses compétences.
Ainsi, le deuxième axe du projet FlexiEval examine les outils numériques facilitant l'évaluation du développement des compétences, en mettant en avant :
- le eportfolio ;
- les badges numériques ;
- l’évaluation par les pairs.
Comment accompagner les acteurs ?
L’utilisation des outils numériques demande un accompagnement. Afin d’impliquer tous les acteurs et d'améliorer leur accompagnement, une enquête a été menée auprès des équipes pédagogiques.
L’enquête porte sur l'évolution des usages du numérique pour les évaluations avant et pendant la crise sanitaire. Elle montre notamment qu’après le début de la crise, bien qu’une grande majorité déclare utiliser le numérique par obligation, 152 réponses (68 %), une majorité (144 personnes - 64 %), continuerait d’utiliser le numérique pour les évaluations. L’enquête a également montré qu’au sein de l’Université, le nombre moyen de quiz créés ou modifiés est passé de 90 par mois en 2019, à 350 en 2022, soit presque un quadruplement.
Le projet FlexiEval a mis en lumière les difficultés que les enseignants peuvent rencontrer lors de la mise en place des évaluations via le numérique. Au-delà des questions techniques, les évaluations avec le numérique engendrent d’autres difficultés.
Notre enquête montre clairement que la triche est une thématique récurrente concernant les examens à distance. Ainsi, près de la moitié (48 %) des répondants a été confrontée à des cas de triche lors des examens à distance.
Comment limiter la triche ?
L’utilisation d’outils numériques comporte plusieurs risques. Le premier est que la plateforme Moodle ne résiste pas à une influence accrue. Afin de le limiter, une montée de version de Moodle a été effectuée. La crise sanitaire a également conduit au développement d’une application interne « Moodéval », une application de déclaration d’examens en ligne prévus sur Moodle afin de limiter les risques de surcharge et de coupure du service.
Concernant la triche des apprenants, une des pistes explorées est l'évaluation des compétences. Les problèmes à résoudre ne sont alors plus uniquement liés à une discipline, mais à un parcours de formation. Des situations authentiques sont évaluées, rendant ainsi la triche plus difficile. Pour cela, deux outils numériques ont été testés :
- le eportfolio avec deux outils, Mahara et Karuta ;
- les badges : l’Université de Montpellier a opté pour une licence open badges factory.
Enfin, le troisième point de vigilance concerne l’interprétation des réponses des étudiants (Berthiaume et al, 2020), et par conséquent la part de subjectivité de l'évaluateur. L'équipe a mis en place une grille critériée, plus complexe à mettre en place qu’une échelle descriptive, qui permet aux enseignants de réduire cette part de subjectivité.
Vers une évaluation par les pairs ?
Le travail précurseur, qui avait été mené par l'établissement sur la thématique des évaluations des connaissances et des compétences dans le cadre de FlexiEval, a permis la gestion de la crise COVID-19 en s’appuyant sur des fondamentaux solides et en évitant de se fourvoyer dans l’adoption de solutions inadaptées. Il est ainsi possible de dire que les évaluations et examens à distance ont pu se dérouler à l’Université de Montpellier sans problème majeur.
Le projet aura eu un rôle transformant et structurant fort au sein de l'établissement en étant l'occasion de fédérer les équipes enseignantes et d'appui autour de la construction d'un nouvel écosystème numérique d'apprentissage.
Parmi les outils d’évaluations testés dans le cadre du projet FlexiEval, l’évaluation par les pairs, disponible dans Moodle, a rencontré une réticence de la part des enseignants, en partie à cause de la complexité du paramétrage de l’activité. Afin d'y remédier et de faire bénéficier étudiants et enseignants, un partenariat avec la startup EdTech montpelliéraine ChallengeMe a été mis en place dans le cadre d’un nouveau projet intitulé Pairs’Eval, lauréat de l’AMI « Emergences » 2021 du MESR.
