Retour sur l’atelier « Comment évaluer les connaissances et compétences de nos élèves ? Réflexions sur d’autres formes d’évaluation » organisé par le Chaudron le 19 janvier 2022.
Un atelier animé par Anaïs Daniau.
Pour cette première rencontre de l’année, nous souhaitons évoquer le sujet de l’évaluation à travers deux témoignages :
- Le retour d’expérience de Sarah Ghaffari, au sujet de la mise en œuvre par IMT Atlantique (où elle est travaille comme enseignante-chercheuse) d’une évaluation par les compétences sortant de l’échelle classique de notation entre 0 et 20
- Les explorations de Matéo Sorin, enseignant-chercheur à ISEN Yncrea Ouest, à propos d’une évaluation plus intuitive, analogique, préférant les retours qualitatifs aux quantitatifs.
Une grille d’évaluation commune ?
Sarah Ghaffari commence par nous indiquer que ses collègues de l’IMT Atlantique tirent leurs évaluations d’un catalogue de 14 compétences communes à toutes les unités d’enseignement (UE). Elles ont des intitulés assez génériques de façon à pouvoir résonner avec le plus de disciplines possibles. Il y a par exemple « Savoir poser un problème » ou encore « savoir communiquer ». Ces compétences amènent des éléments de réponse à la question :
Que doit savoir faire un ingénieur acteur du changement du monde, soucieux des transitions et responsable de ses activités ?
Sarah Ghaffari, enseignante-chercheuse IMT Atlantique
Cette question a été traitée dans un groupe de travail qui n’a pas pleinement associé l’équipe enseignante, ce qui ne facilite pas vraiment sa transposition dans l’organisation des enseignements.
Très concrètement, quelle forme cela prend-il ? Chaque UE peut évaluer au maximum 4 compétences. L’intensité de travail sur chacune de ces compétences est pondéré au sein de l’UE par un système de jetons.
A chaque compétence est associé cinq niveaux de maitrise. Le niveau 1 correspond à une simple exposition tandis qu’un élève ayant atteint le niveau 5 sera capable de proposer des choses nouvelles. La compétences est considérée comme validée à l’issue de la formation à la condition que le niveau 3 soit atteint.
Pour chacune de ces compétences au sein d’une UE, la notion est symbolique. Les élèves obtiennent :
- Un « – » si l’évaluation est en deçà des attentes pédagogiques,
- « = » si cela y correspond,
- « + » si cela les dépasse.
Une certaine complexité de mise en œuvre
Remettre en cause les choses : pourquoi pas ! Mais la mise en œuvre de ce nouveau système pose beaucoup de questions. Il superpose d’ailleurs sans trop le dire l’évaluation des compétences et l’évaluation par les compétences.
Côté étudiant-es, cette approche déboussole, tant le système prépa a ancré l’importance des classements et des dixièmes de points. Les compétences étant partagées entre UE, il leur est d’ailleurs difficile d’appréhender ce qui est validé comme ce qui ne l’est pas. L’idée de progression est plus floue : les compétences sont évaluées de manière séparée dans chaque UE, donnant une suite de +, de – et de =. D’ailleurs, savoir résoudre un problème en maths et savoir résoudre un problème en sociologie : est-ce la même chose ? Sarah Ghaffari exprime un certain doute à ce sujet, bien que ce système de notation semble mettre les deux idées sur le même plan.
Côté profs, l’alignement entre évaluation et compétence est un petit casse-tête. Dans quelle mesure un QCM ou un devoir sur table peut-il mesurer une compétence ? Comment faire lorsque l’on a peu d’heures de cours pour avoir suffisamment de situations évaluant ces compétences ? Ces dernières étant vaguement définies, la perception de cette compétence dépend beaucoup de la personne qui évalue.
Concernant la maquette, les compétences ont beau être transdisciplinaires, ce n’est pas le cas des UE. Il y a d’ailleurs toujours des distinctions de cours plus orientés théoriques, dont la vocation est de transmettre du savoir et des cours plus pratiques, où la notion de compétence semble plus adaptée. Cela pose quelques problèmes notamment pour les cours théoriques, vu que ce qui sort des compétences définies à l’échelle de l’institution ne peut être évalué.
Le jury renforce certaines incohérences, la validation de la formation étant décidé par examen des UE et non des compétences.
Les interactions avec le reste du monde viennent rajouter une couche de complexité. Comment faire pour rendre ce système compatible avec la situation d’étudiant-es en échange, présent-es pour un semestre ? Comment former efficacement les intervenant-es extérieur-es, qui doivent aussi procéder à quelques évaluations ?
Un certain potentiel
Ces doutes semblent partagés par le reste de l’audience. Quelques collègues partagent d’autres expériences de l’évaluation par compétence dans d’autres contextes.
Stéphane Jamin-Normand rapporte quelques éléments de son expérience en tant qu’enseignant dans la formation Simplon. Cette formation est à destination de personnes en reconversion vers les métiers du développement informatique. Les promos sont de taille restreinte (24 personnes cette année), suivi par deux profs, accompagné-es de quelques intervenant-es extérieur-es.
L’évaluation par compétence a aussi été choisie dans cette formation. Ainsi 18 compétences techniques ont été définies, auxquelles s’ajoutent 8 en gestion de projet. Pour chacune, trois de niveaux de maitrise sont associés : être capable de reproduire, être capable de modifier, être autonome. Cela permet une mesure de la progression sur chacune de ces compétences.
Cette progression est visualisée, tant côté prof que côté élève grâce à un tableau de bord partagé. Les connaissances en elles-mêmes ne sont pas notées, mais elles constituent un pré-requis au lancement d’un projet.
La dimension d’équipe et la visualisation de la progression génèrent une certaine émulation. Si les profs remarquent que certaines compétences ne sont pas maitrisées, d’autres projets en rapport peuvent alors être proposés. Cela demande alors un certain travail d’adaptation.
Henrique Fagundes Gasparoto évoque lui son expérience passée de l’apprentissage par problème. Dans ce contexte, des équipes étudiantes travaillent à la résolution de problèmes, parfois multidisciplinaires. Plusieurs temps d’évaluation donnent plusieurs informations :
- Les examens permettent de mettre en avant les connaissances acquises par les élèves,
- les livrables illustrent les compétences en gestion de projet,
- la soutenance donne des informations complémentaires tant sur la maitrise du sujet que l’aisance dans la démarche.
Donner un autre sens aux notes
Matéo Sorin enchaine avec la présentation d’un outil d’évaluation qu’il a développé sur Excel. Durant les cours qu’il donne dans le module de Formation Humaine et Sociale (FHS), les élèves fournissent des rendus sous des formes très diverses : rapports, présentations orales, film, création sonore, etc. Ces rendus demandent donc un mode d’évaluation assez versatile. Pour certains projets, ces rendus correspondent à des jalons intermédiaires. Ce n’est pas tant la note qui compte que les retours qualitatifs proposant des pistes de travail pour cheminer vers le rendu final.
Problème : les étudiant-es ont beaucoup de mal à se détacher de la note. Comment faire pour donner plus de places aux commentaires ?
Matéo Sorin présente alors une feuille de calcul listant divers critères d’évaluation. A chaque critère, il indique :
- la note,
- le nombre maximum de points que l’on peut obtenir,
- un éventuel commentaire.
A côté du commentaire, une case se colore automatiquement, proportionnellement à la note obtenue. Ainsi, pour un 4/5, la case se colore à 80%. On obtient alors une barre de progression qui est la seule information transmise aux groupes étudiants dans un premier temps : les colonnes associées aux notes sont masquées. Ce document accompagne le rapport corrigé avec des annotations.
La vision des profs n’est-elle pas aussi polluée par tous ces chiffres ?
Comme on peut le voir sur l’exemple précédent, la grille d’évaluation comporte plusieurs éléments qui ne sont pas évalués avec le même barème : certains rapportent 5 points, d’autres 8, ou encore 10. Est-il si simple de faire des conversions d’une ligne à l’autre ? Par exemple : donne-t-on la même valeur à un 4/5 et à un 8/10 ?
Matéo Sorin souhaitait avoir une notation plus intuitive, plus analogique.
Son idée ? Évaluer à l’aide d’un curseur, la position du curseur étant interprétée automatiquement par le fichier en une note.
Cette suggestion a lancé une belle discussion.
Sarah Ghaffari confirme qu’elle a aussi pu observer les distractions causées par le rendu simultané d’une note et de commentaires. Elle pose toutefois la question du sens de cette évaluation : s’agit-il de comparer les élèves ? de les placer de façon plus absolue ? Le problème reste le même avec une notation classique.
Henrique Fagundes Gasparoto rapporte son expérience de notation sur d’autres échelles. Il indique qu’avoir moins d’échelons (niveau 1, 2, 3 et 4 par exemple plutôt qu’une notation continue entre 0 et 20) permet d’avoir plus de stabilité dans les notes, certaines variations n’étant pas forcément justifiées. Cela peut en effet beaucoup varier avec l’humeur, la copie lue précédemment, la fatigue, etc. Mais s’il y a trop peu de niveaux, on peut parfois manquer de nuances.
Laurent Étienne cherche aussi à faire ce type d’évaluation par compétences, notamment dans ses cours de master. Il essaie de faire des retours individualisés tout en respectant l’anonymat des personnes. Il apprécie pour cela le module Grille d’évaluation de Moodle, pour de multiples raisons :
- les critères peuvent s’enregistrer puis se partager, sur divers épreuves ou entre plusieurs enseignant-es,
- la grille est associée à une épreuve « Devoir » : l’élève peuvent consulter en parallèle le document évalué et annoté.
Ce module est utilisable (et utilisé) sur la plateforme de l’école. La section Bac à Sable permet de s’entrainer.
Jérémy Freixas pose la question de l’interprétation de ces niveaux de progression. Il se demande aussi à quel point les items (ou compétences) sont clairement définis, tant pour les profs que pour les élèves. L’idéal serait d’avoir quelque chose de suffisamment clair pour être transmis à la classe avant l’évaluation.
Sarah Ghaffari confirme qu’il lui semble nécessaire de se représenter les compétences au moment de la création du cours, afin de rendre ça plus concret auprès des élèves. Les commentaires restent nécessaires afin de ne pas obtenir une seule grille aride avec des cases cochées.
Matéo Sorin conclut en ajoutant que bien son outil ne soit pas aussi standardisé qu’un module Moodle ou une grille d’évaluation, le fait qu’il soit éditable le rend assez flexible et adaptable. Cela permet d’éviter de tordre son protocole d’évaluation pour lui faire dire ce que l’on a envie.
Crédits images : Evelyn Merkli, Ryan McGilchrist, Michael Pollak, Cheesyfeet (Flickr)
Le Chaudron 