Premiers résultats de l'expérimentation de télésurveillance d'épreuves

Contexte de l'expérimentation

Voici les premiers résultats recueillis lors d'une expérimentation qui a eu lieu depuis décembre 2015 à l'Université de Caen Normandie. Il s'agissait de tester dans des conditions réelles des modalités d'examens alternatives aux examens présentiels dans le cadre d'une formation à distance avec des étudiants en cours de formation et d'évaluation. L'expérimentation a été réalisée dans le cadre de la formation au C2i niveau 1 assurée par l'Université de Caen Normandie. Il s'agissait de faire passer en ligne à des étudiants inscrits au C2i-1 le QCM de certification C2i1, qui est un des éléments de la certification C2i-1.

Public

Sur les 2 459 étudiants inscrits au C2i-1 à l'Université de Caen :

• 80 étudiants se sont portés volontaires sur la plateforme du C2i de l'Université de Caen ;
• 46 candidats sont allés jusqu'à se créer un compte chez ProctorU ;
• 31 candidats ont passé l'examen dans cette expérimentation (majoritairement de moins de 25 ans et majoritairement des sexe féminin).

La perte de 36 candidats entre les deux inscriptions est actuellement en cours d'étude. Parmi les 15 candidats qui se sont inscrits chez ProctorU mais n'ont pas passés l'examen :

• sept étaient absents non excusés ;
• huit étaient absents excusés, parmi eux :
  • trois ont été arrêtés par un problème matériel ;
  • cinq ont eu des problèmes pendant l'examen lui-même entraînant un arrêt de l'expérimentation tels qu'un blocage de l'installation de l'applet de ProctorU par le fournisseur internet des logements étudiants du campus ou un débit de connexion trop faible.

Cette expérimentation a permis à un ensemble d'étudiants éloignés géographiquement de passer cet examen. Ils étaient situés :

• dans différents pays :
  • Autriche ;
  • Espagne ;
  • Sénégal ;
  • Lettonie ;
• et dans les villes française de :
  • Martigues ;
  • Paris ;
  • Le Poiré sur Velluire.

Durée et période d'examen

Les QCM C2i passés en ligne dans le cadre de l'expérimentation ont eu lieu les 26 et 27 Janvier 2016. Une troisième session a été ajoutée le 2 février 2016 pour permettre à certains candidats de réessayer le passage de l'examen à distance. Lors de l'inscription, une liste de créneaux horaires prévus était préalablement proposée aux étudiants concernés par l'expérimentation. Ils devaient choisir un créneau de passage. Un étudiant ne se connectant pas au jour et heure prévus était considéré comme absent à partir de plus de 15 minutes de retard.

Analyse des résultats

Les connexions pour la session

Les inscriptions sur le site de ProctorU ne posent pas de difficulté pour les candidats bien que l'interface soit entièrement en anglais, ce qui a pu entraîner des difficultés pour certains candidats. Au moment du rendez-vous du candidat avec ProctorU, il devait se connecter sur le site de ProctorU et lancer sa demande de démarrage de l'examen. Il devait également se connecter sur la plateforme du C2i de l'université de Caen où se trouvait l'examen. Une fois en contact avec le surveillant, les vérifications commençaient. Lors de l'examen, l'étudiant doit disposer d'une pièce où il est seul et il doit bénéficier d'un ordinateur connecté à Internet disposant d'une Webcam. Sur les 31 étudiants ayant passé l'examen télésurveillé, quatre ont eu des problèmes techniques dont trois étant obligés d'abandonner l'épreuve. Le surveillant ProctorU commence par vérifier l'identité du candidat, ce qui l'entoure dans la pièce et les applications qui sont en fonctionnement sur son ordinateur. En cas de besoin, il stoppe les applications inutiles pour l'examen et/ou demande de ranger certaines choses. Sur la plate-forme un mot de passe d'accès au QCM était demandé. C'est le surveillant ProctorU qui a entré le mot de passe à partir du poste de l'étudiant, via une prise de contrôle à distance, sans le communiquer à l'étudiant. Cette phase s'est bien passée mais a parfois entraîné un retard par rapport à l'heure du rendez-vous prévu entre le candidat et ProctorU pour différentes causes :

• temps important passé avec le candidat précédent ;
• problème de mot de passe.

Les relations entre le candidat et le surveillant ProctorU

Lors des échanges pré-expérimentation, les surveillants en charge des étudiants de l'Université de Caen n'étaient que pour 50 % réellement francophones. Cela a entraîné peu de gêne auprès des étudiants : uniquement 15 % des candidats ont ressenti des difficultés à communiquer avec leur surveillant et aucun n'a stoppé l'expérimentation pour cette cause. L'utilisation systématique du tchat est particulièrement utile dans le cas d'un surveillant non francophone car l'écrit est plus facile à comprendre que l'oral. Cela permettait aussi aux surveillants non francophone de communiquer dans un français approximatif ayant recours à des outils de traduction automatique.

Les relations avec le surveillant ont été ressenties de façon très positive par les étudiants : 77 % des candidats ont trouvé l'interaction avec le surveillant satisfaisante ou très satisfaisante. Une partie des soucis relevés par les 23 % de candidats moyennement satisfaits est dû au problème de compréhension de l'anglais et au dédoublement de surveillant. En effet, ProctorU prévoit systématiquement :

• un surveillant pour la connexion et les vérifications de départ ;
• un surveillant pour la surveillance de l'examen.

L'université n'était pas au courant de ce fonctionnement et donc les candidats non plus, ce qui les a parfois perturbés. Cependant, aucun candidat ne s'est révélé peu ou pas du tout satisfait par le surveillant. La vérification de l'identité par le surveillant qui ne représente pas l'ordre public ou l'université n'est pas un blocage à cette méthode d'examen. Elle ne gêne pas les candidats :

• 85 % pas du tout ;
• 15 % un peu ;
• 0 % beaucoup ;

Par ailleurs, aucun candidat n'a été gêné par le fait que le surveillant ne soit pas un enseignant. Cette absence d'enseignant est même pointée positivement par les étudiants stressés car ils se sentent plus à l'aise en passant l'examen dans un lieu où ils sont "seuls". C'est apparemment la deuxième cause d'intérêt pour l'examen à distance après l'éloignement géographique. Loin de penser que la présence de l'enseignant s'avère rassurante en cas de question sur le sujet, ce que ne manquent pas de faire les étudiants en général dans les examens présentiels, les étudiants renvoient le message que la présence de l'enseignant est source de stress, comme s'ils se sentaient jugés deux fois :

• sur la copie ;
• sur la façon de la faire.

La surveillance de l'examen

Comme prévu dans les conditions de télésurveillance de ProctorU, le surveillant est resté en ligne pendant toute la durée du QCM pour chaque candidat. En cas de non-respect des règles de l'examen, le surveillant prévient l'étudiant et peut rédiger un rapport. Suite à l'expérimentation de janvier 2016, 2 rapports d'incident ont été rédigés par ProctorU et communiqués à l'université de Caen. Les débordements décrits dans les rapports n'avaient pas d'incidence sur l'examen :

• fermeture de la connexion ProctorU sans avis du surveillant mais après fermeture de la plateforme de l'examen pour l'un ;
• utilisation de la fenêtre du tchat comme d'une ardoise pour l'autre.

Le risque de triche

L'avis des étudiants sur la possibilité de triche dans le contexte de l'examen à domicile est particulièrement intéressant. 15 % d'entre eux pensent que le cadre du domicile peut mettre trop à l'aise et tenter le candidat à ouvrir ses cours. 60 % d'entre eux pensent au contraire être surveillé de la même manière que lors d'un examen en salle, voire de façon plus stricte car la webcam ne fait pas de pause ! Cependant, un candidat nous a montré que comme lors des examens présentiels classiques, tous les surveillants n'étaient pas sans failles dans leur surveillance. Ce candidat a pu, pendant les 45 minutes d'examen :

• filmer toute la séance ;
• envoyer des SMS ;
• envoyer des mails ;
• discuter avec une personne qui se trouvait dans la même pièce que lui.

Un autre candidat a déclaré avoir été dérangé par un tiers pendant l'examen sans que cela soit communiqué à l'Université de Caen par un rapport d'incident. Ces possibilités de débordements sont actuellement en cours de discussions avec ProctorU.

La réussite à l'examen

Les résultats obtenus sur les sessions en ligne sont difficilement interprétables car réalisés sur un nombre trop faible de candidats. Cependant, sur l'ensemble des trois sessions de passage ils sont comparables aux résultats de ce même examen réalisé en salle habituellement, à savoir 52 % de réussite pour l'examen à distance et environ 60 % pour l'examen sur table. Notez qu'aucun étudiant n'a échoué par défaut de rendu de copie dans le temps imparti. L'examen en télésurveillance oblige l'étudiant à déposer son travail avant la fin du temps et tous ont bien su gérer cette contrainte. Cela va à l'inverse des examens en salle où l'on constate souvent que des étudiants cherchent à gagner un maximum de temps sur la fin de l'épreuve.

Le ressenti général

Le ressenti global des candidats a été très positif de façon générale. L'avantage le plus important de cette modalité d'examen est d'être bien adaptée à certaines contraintes :

• cas des étudiants éloignés géographiquement pour qui l'examen sur table a un coût très élevé et/ou oblige à des démarches très lourdes telles que la recherche d'un lieu et d'une personne de surveillance au niveau de l'ambassade de France ;
• cas pour les candidats qui ont un emploi et pour lesquels l'autorisation de s'absenter pour passer un examen passe par des jours de congés. La possibilité de passer l'examen à des horaires hors travail (19h00 - 22h30) était un point important pour eux.

Les étudiants n'ayant pas de contrainte particulière telle que le lieu ou la disponibilité pour ce choix de démarche ont trouvé ce mode attirant car :

• plus confortable car pas de nuisance sonore ou visuelle ;
• plus calme ;
• moins stressant ;
• offrant une concentration plus aisée.

Seul un étudiant ayant eu des problèmes avec un débit web instable et des échanges très difficiles avec un surveillant non francophone a eu un ressenti réellement négatif. À l'exception de ce candidat, 100 % des étudiants sont prêts à recommencer ce mode d'examen et à le conseiller à un ami. Le plus gros incident technique a eu lieu pour les étudiants habitants dans les logements étudiants du campus universitaire pour lesquels le blocage de l'applet de ProctorU avec le fournisseur web de ces logements a empêché l'expérimentation. Les autres incidents techniques sont dus à des manques parmi les vérifications demandées avant l'expérimentation aux étudiants :

• absence de webcam ;
• débit insuffisant.

La gestion du temps pendant l'examen doit être faite par l'étudiant lui-même avec le temps restant qui est toujours présent sur son écran. Cet affichage a rendu la gestion du temps facile à 96 % des étudiants. Cette expérimentation portait sur un examen de 45 minutes et les candidats estiment la durée maximale d'un examen en télésurveillance de façon très variée : la moyenne est de plus d'une heure mais les propositions varient de 30 minutes à quatre heures. Cette variation est certainement liée au type d'examen concerné.

Les étudiants ayant passé cette expérimentation étaient des volontaires et étaient donc tous des habitués des technologies numériques. Dans les prochaines applications de cette méthode, ce ne sera pas le cas de tous les étudiants. Certains d'entre eux pourront être perturbés par l'aspect numérique d'un examen. Il faudra préparer les candidats avec des informations beaucoup plus précises que celles qui ont été données dans cette expérimentation. Ces précisions seront disponibles grâce aux retours de l'expérimentation de janvier 2016. Finalement, 87.50 % des étudiants consultés estiment que leur domicile est un bon lieu pour passer une épreuve et acceptent donc de partager une responsabilité des conditions matériel de l'examen.

Suite de l'expérimentation

Afin de recueillir plus de cas comparables à analyser et asseoir la validité statistique de l'expérience, des sessions de QCM C2i en télésurveillance seront reproduites fin mai/début juin 2016. Il est aussi envisagé de prolonger l'expérimentation l'année universitaire prochaine en changeant deux paramètres. Le très faible taux de candidats au final par rapport au vivier initial montre que les étudiants de formation initiale inscrits au C2i ne sont pas le public auquel la télésurveillance à domicile apporte une valeur ajoutée essentielle. Il faut donc :

• changer de public en visant les étudiants en formation continue à distance ;
• faire en sorte que l'épreuve à distance ne se fasse pas en plus d'une épreuve "normale", comme c'était le cas ici, mais à la place d'une épreuve passée en salle.

Enfin, les questions importantes relatives aux données à caractère personnel et de mise en conformité avec les lois Informatique et Libertés restent une suite importante de l'expérimentation. Selon la CNIL, un examen télésurveillé doit être un traitement devant recevoir un avis de la CNIL tant que la réglementation des ENT ne la prévoit pas explicitement. S'agissant des ENT, un cadre général a été mis en place par le ministère et la CNIL en 2006. Cet acte réglementaire voit un ENT comme un portail d'accès à des services proposés par l'établissement. Cette vision des ENT est certainement obsolète aujourd'hui :

• les services à intégrer dans l'ENT ne sont pas forcément des services internes à l'établissement ;
• un ENT n'est pas qu'un bouquet de service.

Les finalités du numérique liées à la pédagogie ne se résument pas de manière simpliste en termes de données et de services. Les notions sont autant d'éléments centraux de Systèmes d'Informations ouverts et les ENT deviennent de plus en plus une composante à part entière. Les évolutions du numérique actuelles, comme la certification à distance, ou à venir très prochainement rendent nécessaire de revisiter le texte de l'acte réglementaire de 2006. Il faudra le rendre plus ouvert et le refaire valider par le Ministère et la CNIL. Il y a une problématique juridique évidente. Il y a un questionnement stratégique à poser autour des questions de données à caractère personnel dans les rapports entre pédagogie et numérique. La question de la télésurveillance des examens à domicile ne fait qu'aborder ces questions.