Pourquoi EVAPM ?

Il ne s’agit pas ici de présenter longuement l’observatoire « EVAPM [1] », son
expérience internationale ainsi que les multiples travaux que l’observatoire a
développés, l’étude 2008 étant la vingtième enquête EVAPM.

Fruit d’une collaboration entre l’APMEP, l’INRP et l’IREM de Besançon,
oeuvrant au développement et au fonctionnement d’un observatoire des acquis des
élèves, EVAPM entre dans sa vingt-deuxième année. Sa mission est l’observation
continue des différentes facettes du curriculum mathématique des lycées et des
collèges, curriculum souhaité, curriculum réel et curriculum atteint…

Rappelons qu’à
ce titre EVAPM s’est toujours fait l’écho des questions vives posées dans notre
association, au service des professeurs et des élèves ; certains des grands thèmes
débattus récemment dans notre association – le socle, le calcul mental, l’évolution
des acquis après le changement de programme de sixième, … – sont présents dans
l’étude 2008.

L’évaluation n’est pas un sujet facile : évaluer, oui bien sûr ! Mais avec quels
contenus et surtout avec quels objectifs ? Je reprends ici les propos d’Antoine Bodin
dans l’article du BGV 144, critiquant la dernière évaluation CM2 : « l’évaluation
2009 assume d’emblée sa fonction d’évaluation, de pilotage et cela à tous les
niveaux : niveaux de la classe et de la gestion pédagogique de la classe et de chacun
des élèves, puis, successivement, niveaux de l’école, du département, de l’académie,
du ministère, … ». Ceci peut expliquer les inquiétudes des collègues, leur réticence
face aux enquêtes évaluatives mises en place par l’institution, surtout dans un climat
de plus en plus concurrentiel pour les établissements scolaires où l’action de
l’enseignant – malgré l’affichage d’intentions contraires – apparaît de moins en moins
libre.

L’APMEP se doit de posséder ses propres outils au service des enseignants de
mathématiques ; l’observatoire EVAPM en est un : il a été créé par des enseignants
et pour les enseignants ! L’observatoire permanent ainsi à la disposition de
l’association et des collègues donne l’accès à de nombreux instruments d’évaluations,
mais apporte aussi de précieux renseignements concernant les pratiques, les
conceptions, les connaissances et compétences des élèves, renseignements dont nous
pouvons, au mieux de nos possibilités, contrôler la validité et la portée.
Un
enseignant peut se servir des analyses thématiques, et prendre davantage en compte,
lors de la préparation de son enseignement, les obstacles rencontrés par les élèves et
présentés dans les analyses. Par voie de conséquence, nous pensons que ce travail
quantitatif, éloigné par moments des préoccupations quotidiennes de l’enseignant,peut avoir une retombée sur l’apprentissage des élèves à condition qu’ensemble nous
puissions l’exploiter.

Présentation générale de l’étude

L’étude présentée dans ce bulletin a été réalisée à la fin du second trimestre de
l’année scolaire 2007-2008. Elle a été préparée par l’ensemble des membres de
l’équipe EVAPM et a été réalisée avec l’aide de nombreux professeurs de
mathématiques volontaires qui ont fait passer les épreuves dans leur classe, les ont
corrigées, tout en respectant les protocoles de passation et de correction définis par
EVAPM. 
Cette évaluation ne présente aucun caractère officiel, elle est organisée pour
l’association, pour les collègues et pour leurs élèves. Cependant, comme toutes les
épreuves organisées par l’équipe EVAPM depuis sa création, elle dispose de l’appui
de l’Inspection générale, des IA-IPR, de l’INRP et de l’IREM de Besançon.

L’équipe EVAPM a souhaité réaliser une étude portant sur les acquis propres aux
niveaux de sixième et de cinquième mais sans aucune prétention d’exhaustivité, de
façon à pouvoir privilégier la rapidité d’exploitation et d’interaction avec les
enseignants. Alors que, parmi nos études précédentes, celles à volonté exhaustives ont
nécessité jusqu’à 30 épreuves différentes, celle-ci n’en comporte que 3 en cinquième
et 4 en sixième.
Une première exploitation a été diffusée deux mois après la
réalisation de l’enquête, alors que nous recevions encore des résultats. Nous sommes
aujourd’hui en mesure de fournir l’ensemble des résultats quantitatifs, ce qui offre à
tous la possibilité de s’approprier et d’analyser plus à fond les données statistiques.

Les objectifs de l’étude

La précédente enquête d’EVAPM, l’évaluation sixième 2005, avait aussi été
conçue pour permettre la comparaison avec une étude ultérieure à venir pour observer
les effets du changement de programme opéré à la rentrée 2005-2006.
L’étude 2008
constitue donc en partie une réplique de l’étude sixième de 2005. Son premier objectif
est d’obtenir une comparaison des résultats obtenus avec ceux de l’épreuve 2005.
En sixième, l’évaluation est construite pour pouvoir rendre compte d’une partie
aussi importante que possible des contenus du programme. Elle est aussi construite
pour évaluer la plupart des éléments exigibles en fin de sixième ou en fin de
cinquième en ce qui concerne le socle commun de connaissances et de compétences.

Alors que la mise en place du socle commun apparaissait comme une priorité
affichée dansla circulaire de rentrée à l’automne 2007
, il nous a semblé intéressant
de mettre en place une enquête à même d’apprécier la stabilité des acquis de la classe
de sixième à la classe de cinquième, ce qui constitue le second objectif de l’étude.

Le troisième objectif de l’étude 2008 était de fournir une image, aussi fidèle que
possible des acquis des élèves dans le domaine de la gestion mentale. Pour cela, une
épreuve orale et visuelle portant sur la gestion mentale d’informations
mathématiques, épreuve incluant mais dépassant le seul calcul mental a été mise en
place en sixième et cinquième. Ce type d’épreuve fait écho aux débats très nourris
auxquels notre association a souvent offert une tribune. Notons qu’aucune enquête
aussi détaillée dans le domaine de la gestion mentale n’existe actuellement à l’échelle
nationale alors que, là encore, les injonctions institutionnelles sont très fortes : « un
apprentissage progressif des quatre opérations doit être proposé par l’école
élémentaire et la pratique du calcul mental doit être renforcée ».

De manière générale, les collègues préparant les questions d’évaluation ont le
souci de comparer les acquis actuels des élèves avec ceux observés par EVAPM depuis
1987. Le matériel de passation, les nouvelles questions, les analyses et les scores de
réussite viennent compléter la base de données EVAPMIB

Les épreuves et le recueil des données

Elles étaient au nombre de quatre en sixième, de trois en cinquième, toutes
différentes, avec dans tous les cas des questions en commun entre les épreuves de
même nature en sixième et en cinquième.

 En sixième, trois épreuves par questionnaire écrit en première passation :

• Une épreuve de type A [2], entièrement formée de questions à choix
  multiples (calculatrices non autorisées).
• Une épreuve de type B composée de questions à réponses ouvertes et
  courtes.
• Une épreuve de type C composée de questions à réponses ouvertes et
  courtes et pour laquelle, en principe, l’élève a la place d’organiser sa
  réponse sur la feuille. Cette épreuve porte sur le thème de la
  proportionnalité.

Chaque classe participante devait réaliser deux des épreuves proposées en une première
passation de 45 min, deux élèves voisins ne passant pas la même épreuve.
Ce
dispositif a pour effet de limiter les effets de voisinage et permet de multiplier par
deux l’information recueillie.

 En cinquième, deux épreuves par questionnaire écrit en première passation :

• Une épreuve de type B.
• Une épreuve de type C portant, comme pour les classes de sixième, sur le
  thème de la proportionnalité.
  Le choix n’existait pas pour les classes de cinquième (facultatif du coup).

 Pour les niveaux de sixième et cinquième, une épreuve de type D : en deux
parties portant sur la gestion mentale des informations en mathématiques. La
première partie est un questionnaire oral de 15 min, la seconde est un
questionnaire écrit, projeté sur un écran, sur la même durée.

L’enquête était complétée par un questionnaire destiné aux enseignants et un
questionnaire destiné aux élèves, intitulé « Moi et les mathématiques ».

Remarque sur le recueil des données : l’étude rassemblait 211 prises d’information
(ou items) en sixième et 146 en cinquième… L’équipe EVAPM remercie ici tous les
collègues qui ont donné de leur temps et apprécie à sa juste valeur cet investissement.
Les échanges par courrier au retour des évaluations ont mis l’accent sur la lourdeur de
la saisie des résultats, l’équipe prévoit dès maintenant d’en tenir compte pour les
études ultérieures.

Les analyses présentées dans ce bulletin

Précisons tout d’abord que malgré les prises de positions qui apparaîtront ci ou là,
nous évitons dans nos analyses de porter des jugements définitifs et nous souhaitons
que les collègues se saisissent des résultats, présentés ici de façon incomplète, et se
fassent leur propre idée sur la qualité de l’étude et de sa mise en oeuvre, sur les profits
qu’ils peuvent tirer de ces résultats au bénéfice de la formation mathématique des
élèves. Nous vous encourageons dès à présent à consulter le site de l’APMEP pour
obtenir l’ensemble du matériel de passation et des résultats statistiques complets.

Nous présentons de courts articles par domaine qui exploitent les résultats obtenus
sur l’ensemble des épreuves. Ce choix possède l’avantage de présenter d’emblée les
comparaisons des résultats obtenus entre les classes de sixième et les classes de
cinquième. II permet également de mettre en évidence un travail sur l’évaluation des
compétences, comme j’essaierai de l’illustrer dans l’article « L’évaluation des
compétences dans l’étude EVAPM 2008 et après… » à venir dans une prochaine
publication du bulletin.

 Le domaine numérique

Les questionnaires visuels et oraux apportent un plus à l’évaluation des acquis en
montrant la difficulté rencontrée par les élèves à maîtriser la numération, à disposer
de procédures rapides pour traiter des algorithmes « pré-algébriques » comme la
factorisation dans le cas de 2 345 × 17 − 2 345 × 7. Les difficultés rencontrées dans
l’élaboration des ordres de grandeurs montrent l’importance qu’il y a à accorder aux
procédures de calcul dans le domaine du calcul réfléchi. Les résultats présentés dans le
chapitre sur le domaine numérique s’articulent avec l’analyse de l’épreuve D.

 Le domaine géométrique

Dans la plupart des cas, notons que les réussites en sixième sont égales ou
supérieures aux taux de réussite obtenues pour les questions déjà présentes dans
l’étude de 2005. Dans un premier chapitre, on présente quelques réflexions autour de
la tâche qui consiste à se représenter mentalement un rectangle pour résoudre un
problème arithmétique lié à des contraintes sur ses dimensions et son périmètre :
« Imagine un rectangle ». L’article « Le cube » s’intéresse aux items concernant les
cubes dans l’étude EVAPM 2008 : si les élèves de sixième en 2008 réussissent aussi
bien, voire mieux, que les élèves de 2005, on note des différences
(développementales ?) notables à la faveur des élèves de cinquième en ce qui concerne
la perception de l’espace. Le chapitre « Construction » illustre le manque
d’anticipation dont font preuve les élèves dans les problèmes de construction.

 Grandeurs et mesure

Force est de constater que d’importantes difficultés subsistent notamment dans le
domaine des conversions de mesures et ceci pour différentes grandeurs.

 Les questionnaires professeur et élèves

L’article présente quelques résultats du questionnaire rendu par les professeurs
participants. Dans l’analyse du questionnaire élève, on découvre (surprise !) que les
élèves développent un rapport positif (allez voir dans quel sens !) aux mathématiques
et à leur apprentissage…

 Les statistiques

Il s’agit d’une présentation des points saillants dans les résultats statistiques
globaux.

En guise de conclusion provisoire…

Les membres de l’équipe ont préparé les divers questionnaires, ils ont travaillé par
correspondance (souvent !) et se sont réunis (rarement !) pour la mise au point de
l’étude. Après la passation des épreuves, ils se sont partagé l’analyse des résultats.
Les échanges ont été nombreux, mais peut-être pas assez par manque de temps.
Cependant, au moment de soumettre cette publication, il n’est pas possible de rendre
à chacun la paternité de sa publication. Dans le Bulletin, les textes ne sont pas signés
et derrière chacun, il convient de voir un travail d’équipe.

Philippe Le Borgne
Responsable de l’Observatoire EVAPM [3]