L’évaluation à plusieurs : ingrédient de la démocratie

Michèle Tallard, Jean-Louis Dayan, propos recueillis par Danielle Kaisergruber

Le Conseil national d’évaluations de la formation professionnelle (CNEFP) a fonctionné de 2011 à 2018. Michèle Tallard l’a présidé de fin 2015 à fin 2018, à la suite de Sandra Enlart. Jean-Louis Dayan y a participé en tant que « personnalité qualifiée ». Créé de par la volonté des partenaires sociaux, ce Conseil a été une instance d’évaluation inscrite dans la sphère paritaire, de partage et de propositions dans le domaine de la formation professionnelle continue. Michèle Tallard et Jean-Louis Dayan reviennent sur cette expérience et se demandent comment caractériser ce type d’instance. Corps intermédiaire, outil d’aide à la décision ou tout simplement ingrédient de la démocratie ?

Comment est né le CNEFP ?

Michèle Tallard : Le Conseil national d’évaluations de la formation professionnelle a été créé par l’ANI de 2009 alors que le paritarisme dans la formation continue faisait l’objet de vives critiques concernant la faible transparence de ses circuits de financement ou encore son manque d’efficacité. Créer une instance d’évaluation correspondait donc à une volonté de produire des connaissances, mais aussi de légitimer l’action des partenaires sociaux, de montrer en s’appuyant sur des méthodes scientifiques solides — attestées par les personnalités qualifiées — que le système était performant. Il s’agissait également d’assurer un meilleur pilotage en évaluant les orientations fixées et les dispositifs créés par les accords nationaux interprofessionnels (ANI) sur la formation : par exemple le contrat de professionnalisation a été revu lors de la négociation de 2013 suite à une évaluation réalisée en 2012 par le CNEFP. L’évaluation du Conseil en évolution professionnelle (CEP) ou encore celle des effets de l’ANI de 2013 sur la négociation de branche sur la formation se placent aussi dans cette logique. On pourrait également citer le suivi quantitatif du recours à l’entretien professionnel de formation dans les entreprises.

Le CNEFP a connu une longue période de gestation puisqu’il n’a été en place qu’en mai 2011, sans doute parce qu’il fallait nommer des personnalités faisant consensus, et s’accorder sur son mode de fonctionnement et les moyens financiers dont il pourrait bénéficier. Formellement, c’était un groupe technique de l’organe politique des partenaires sociaux (Comité national de la formation professionnelle – CPNFP, devenu COPANEF en 2013) ; il pouvait donc bénéficier des moyens techniques du Fonds paritaire de sécurisation des parcours professionnels (FPSPP), c’est-à-dire s’appuyer sur son service juridique ou son service de communication.

Jean-Louis Dayan : La liste des missions dressée par l’accord de 2009 était d’ailleurs très longue au regard de ses moyens. Étant donné la polysémie du terme « évaluation », les signataires avaient beaucoup « chargé la barque » du CNEFP, allant jusqu’à lui confier le pilotage du système, voire le contrôle de qualité des formations.

Dans ce cadre paritaire, avec trois collèges (organisations patronales, organisations syndicales, personnalités qualifiées), est-ce que l’évaluation était différente ?

MT. Elle ne l’était pas dans les méthodes suivies, même si certaines des questions évaluatives qui ont structuré la commande adressée à des chercheurs ou cabinets d’étude portaient la marque de l’origine paritaire de l’instance (par exemple, l’effet sur le système ou les structures paritaires de tel ou tel dispositif)

JLD. Ayant participé à d’autres évaluations de politiques publiques je peux témoigner que le Conseil a suivi les mêmes démarches et observé les mêmes « règles de l’art » que les autres instances d’évaluation (je pense par exemple à l’évaluation de la Loi quinquennale pour l’emploi ou celle du RMI dans les années 1990).

Quels sont les travaux conduits qui vous ont marqués ? Sur quels sujets ?

MT. Les travaux menés à l’initiative du CNEFP se caractérisent par un mix d’études quantitatives et qualitatives. Les évaluations lancées à partir de 2012 avaient pour objectif principal de répondre à deux préoccupations centrales des accords interprofessionnels sur la formation de ces dernières années : lutter contre les inégalités d’accès à la formation et ainsi faciliter l’accès à la qualification ; sécuriser les parcours professionnels.

L’évaluation de la formation dans les entreprises de 10 à 49 salariés (2012-2013), comme celle des ingénieries de formation à destination des salariés les moins qualifiés (2016), se place dans cette logique : saisir les effets des politiques paritaires développées depuis les années 2000. À l’issue d’un cadrage macroéconomique et statistique, la réalisation d’un nombre significatif de monographies d’entreprises a permis d’analyser la manière dont les acteurs de terrain se sont saisis des dispositifs et/ou des ingénieries de formation et de cerner les facteurs favorisant la mise en place de véritables politiques d’entreprise (faciliter la possibilité pour les dirigeants de construire une stratégie, lisibilité de l’offre de formation…). L’appui, différencié selon la taille de l’entreprise, sur des ressources externes comme les OPCA, les organismes de formation ou pour les plus petites entreprises, les experts-comptables, s’est apparu comme un facteur essentiel.

Parallèlement à l’analyse des modes de construction des politiques de formation professionnelle en entreprise, ces deux évaluations pointent l’importance à accorder aux formes d’apprentissage dans la situation de travail en vue de favoriser la mobilisation autour de la formation de ceux qui sont le moins enclins à s’y engager. Ces formes d’ingénieries combinent généralement, au sein de parcours de formation dédiés, des pratiques pédagogiques multiples s’articulant autour d’objectifs d’acquisition individualisés. Difficile à standardiser, leur développement est néanmoins un enjeu pour la reconnaissance des compétences acquises dans le cadre du travail.

Menée selon une méthode analogue, l’évaluation de la mise en œuvre des formations obligatoires répondait quant à elle à un double enjeu de connaissance et de mesure d’impact. Elle a montré la difficulté pour l’ensemble des acteurs rencontrés de délimiter le périmètre de ce qu’on appelle «  formations obligatoires ». La diversité des formes d’appropriation du cadre réglementaire — allant d’une approche restrictive à une autre, extensive, qui les intègre à la politique globale de formation — varie selon la taille de l’entreprise et le secteur d’activité (étendue de la réglementation, intensité des recyclages…). En ce qui concerne les salariés, leur réception de ces formations diffère selon le mode d’articulation de celles-ci à l’activité de travail. Dans chaque cas, il s’agissait en suivant une méthode qualitative de rentrer dans la boîte noire des politiques d’entreprises.

Répondant aux mêmes enjeux, mais transversale à ces travaux, la série d’enquêtes statistiques DEFIS, initiée à la demande du CNEFP et réalisé par le Céreq, a permis de documenter les liens entre formation et trajectoires professionnelles. Il s’agit d’une cohorte représentative des personnes qui étaient salariées en entreprise à la fin de l’année 2013, suivies durant les cinq années suivantes. Dotée d’un volet employeur, elle a aussi permis de prendre en compte le double ancrage de la formation dans le travail et dans l’emploi : la description fine du contexte d’entreprise (organisation du travail, politique des ressources humaines, profil du dirigeant, etc.), y compris celles de 3 à 9 salariés, a permis d’enrichir la compréhension des déterminants de l’accès à la formation.

Dans les deux dernières années ont été en outre lancées et réalisées des évaluations de dispositifs nationaux comme le Conseil en évolution professionnelle (CEP) ou encore la négociation de branche sur la formation consécutive à l’ANI de 2013 et la loi de 2014. La première met en lumière les difficultés, mais aussi les dynamiques, notamment territoriales, engendrées par la nécessité pour les conseillers [1] de sortir des attitudes prescriptives habituelles. La seconde met en exergue le rôle pédagogique de la négociation de branche, même si les dispositions adoptées par les négociateurs ne sont que faiblement innovatrices. Elle permet également de cerner des configurations de branche susceptibles de faciliter la négociation sur la formation.

En général, on fait comme si l’acte d’évaluation se résumait à un rapport d’évaluation produit par des spécialistes, chercheurs ou consultants. Ce qui en fait une démarche d’expert. Comment réussit-on à travailler ensemble au sein d’un Conseil formé de trois collèges autour d’une étude d’évaluation pour la transformer en « un jugement d’évaluation » élaboré de manière plus ou moins collégiale ?

MT. En fait il y a eu au sein du Conseil de nombreuses discussions collectives tout au long de l’élaboration des cahiers des charges puis des suivis des travaux. La question serait plutôt celle de la synthèse. Partant des conclusions établies par les prestataires, les membres du Conseil se les appropriaient pour en faire ressortir les points saillants à leurs yeux et les faire remonter « aux politiques » (entendons par là, par différence avec les « techniciens », les responsables des organisations en charge de la ligne politique et de la conduite des négociations, en l’occurrence les membres du COPANEF).

Il faut souligner la très grande qualité de la participation des représentants syndicaux et patronaux. Ils étaient très actifs, très engagés. Ils participaient aux Comités techniques de suivi de chaque évaluation, qui s’ajoutaient à la réunion mensuelle du Conseil en plénière. Il n’y avait pas de langue de bois, mais un vrai partage de la culture de l’évaluation, avec des bénéfices à retirer pour tout le monde. Nous avions des discussions riches sur la méthode : par exemple sur le nombre d’enquêtes de terrain nécessaires pour disposer d’informations suffisamment diversifiées sur lesquelles fonder une analyse fiable. De même la préférence est allée d’un commun accord à des enquêtes qualitatives et des analyses statistiques structurelles plutôt qu’à des mesures d’impact de court terme fondées sur la comparaison entre populations « traitées » et populations témoins, « toutes choses égales par ailleurs ».

Plus largement, en parallèle au pilotage d’évaluations de la politique paritaire, le CNEFP s’était donné pour objectif de contribuer au partage d’une culture de l’évaluation. L’organisation de deux journées d’étude (2013, 2016) a visé à favoriser l’appropriation des travaux de l’instance et à nourrir les réflexions sur l’évaluation comme sur ses modalités concrètes de production. La publication des actes de la première de ces journées dans une revue largement diffusée (Education Permanente) participait de ces mêmes objectifs, de même que l’organisation, fin 2018, d’une nouvelle journée consacrée aux résultats de multiples exploitations du Dispositif d’enquêtes sur les formations et les itinéraires des salariés (DEFIS).

Quelles étaient les relations du CNEFP avec le COPANEF ?

MT. Il y a eu deux périodes entre 2016 et 2018 : une phase de vraie autonomie ou de quasi-indépendance la première année, où l’existence même de l’instance d’évaluation était valorisée par les « politiques » — Le CNEFP n’ayant pas de personnalité morale, il fut même question de marquer cette indépendance en lui conférant un statut associatif — suivie d’une période marquée par des relations plus tendues avec le COPANEF, du fait du passage à une conception plus instrumentale de l’évaluation. Le CNEFP fut alors enjoint de prouver son utilité à l’instance politique [2], dont les responsables tendaient à remettre en cause son autonomie en voulant avoir leur mot à dire, non sur le contenu des rapports d’évaluation que sur leur diffusion).

JLD. Il s’agit là, au-delà du cas particulier du CNEFP, de tensions très habituelles entre évaluateurs et décideurs. Elles relèvent d’un malentendu quasiment constitutif entre les uns et les autres qui, à mon avis, n’est pas entièrement réductible. On aborde souvent la question de l’évaluation des politiques publiques avec en tête une boucle « idéale » : décision/mise en œuvre/évaluation des résultats/nouvelles décisions en retour. Mais c’est une vue de l’esprit. Dans la réalité, les évaluateurs répondent à des questions que les décideurs ne leur ont pas posées, et les décideurs prennent des décisions qui ne répondent pas aux résultats des évaluations. Cela vient du fait que décideurs et évaluateurs suivent des logiques très différentes, les uns étant engagés dans une action dont ils doivent rendre compte politiquement, les autres dans une position d’observation et de jugement dont ils doivent rendre compte scientifiquement.  Avec toutes les contradictions, discordances de temps, arrière-pensées et manœuvres que l’on peut imaginer.

Ce qui ne veut pas dire que l’évaluation soit vouée à l’échec. En fait ses conclusions circulent, dans le monde des experts et au-delà, à travers les colloques, mais aussi la presse et les médias. La réflexion collective avance ainsi par étapes et souvent par approximations, contribuant à nourrir des débats, diffuser des interprétations et former des opinions qui à leur tour nourrissent les décisions futures. Non pas sous la forme idéale de recommandations qui seraient appliquées à la lettre, mais à travers la production d’une sorte « d’air du temps » qui fait évoluer les regards, nécessairement discordants, portés sur les mesures publiques, et ménage des espaces de dialogue raisonné.

Le CNEFP avait-il les moyens en correspondance avec ses missions ?

MT. Il faut distinguer les moyens matériels et les moyens humains. En ce qui concerne les premiers, après une période difficile pendant laquelle Sandra Enlart, sa première présidente, s’est beaucoup battue pour obtenir des moyens pérennes, une ligne évaluation a été inscrite en 2017 dans le budget du FPSPP à laquelle émargeait le CNEFP. Mais ce budget n’a pas été consommé faute de moyens humains : lorsqu’à la demande des organisations syndicales le secrétariat général assuré par le MEDEF a disparu en 2013, comme dans d’autres instances où cette pratique était usuelle, le fonctionnement quotidien du CNEFP a dû être assuré par un chargé d’études à mi-temps et l’appui des personnalités qualifiées — entièrement bénévoles — dont la présidente. Cela était largement insuffisant pour assurer la longue liste des missions du CNEFP et réaliser le programme annuel d’évaluations voté, même si le chargé d’études avait la possibilité de s’appuyer sur les services techniques du FPSPP (juridiques, financiers ou communication), eux-mêmes surchargés. De même, mis à part l’organisation des deux journées d’étude, les moyens ont manqué pour diffuser les travaux auprès des acteurs du régime paritaire de formation, et particulièrement auprès du réseau des organismes collecteurs (ex OPCA), en dépit de l’intérêt que manifestaient leurs acteurs.

Comment pourrait-on caractériser une telle instance ? L’évaluation, c’est plutôt un truc d’experts alors que c’est indispensable à la démocratie et que les citoyens se posent de nombreuses questions d’évaluation (cf. les Conférences citoyennes régionales, Metis, entretien avec Sophie Guillain). Mais une instance d’évaluation paritaire, est-ce un corps intermédiaire ? 

MT. Par sa composition, oui, c’est un corps intermédiaire dans la mesure où il contribue à la professionnalisation des acteurs du paritarisme et donc à la régulation globale du système de la formation professionnelle continue.

JLD. On peut à cet égard se demander s’il ne manque pas aujourd’hui, dans un paysage de l’action publique pour l’emploi et la formation largement recomposé, une instance d’évaluation indépendante à la composition quadripartite, dont la mission serait de coordonner les programmes d’évaluation portant sur les différentes catégories de mesures, en lieu et place ou bien en complément des « comités scientifiques » propres à certains programmes (comme le Plan d’investissement dans les compétences [PIC] ou certains opérateurs [comme Pôle Emploi]). Voilà un corps intermédiaire qui nous semblerait aujourd’hui particulièrement utile.

J’ajouterai, en m’éloignant un peu, mais pas tant que cela du terrain de l’évaluation proprement dite, que dans la nouvelle configuration mise en place par les réformes récentes du marché du travail, qui donne une place centrale à l’initiative individuelle, la question des intermédiaires de la relation d’emploi me paraît prendre une importance particulière. Dès lors qu’il s’agit d’offrir de nouvelles libertés aux actifs dans la conduite de leurs parcours – et donc de nouvelles responsabilités, comme en témoigne la réforme en cours de l’assurance chômage – la capacité d’agir des personnes devient en enjeu crucial. Suffit-il pour cela de dispositifs individualisés [comme le CPF, le CEP], d’outils numériques adaptés ou d’une offre de services démultipliée ? Nous ne le croyons pas ; il s’agit aussi et surtout que les personnes disposent de pouvoirs d’agir [cf. l’empowerment des anglo-saxons] qui ne peuvent prendre leur source dans les seuls services d’accompagnement offerts par des opérateurs vis-à-vis desquels elles se trouvent peu ou prou en situation de dépendance, voire de subordination. Entre les appareils publics et « les gens », il manque des corps intermédiaires disposant d’assez d’autonomie pour garantir l’exercice effectif de la « liberté de choisir son avenir professionnel », et tout simplement pour rééquilibrer les pouvoirs de marché.

Le CNEFP n’existe plus dans la nouvelle configuration créée par la loi de septembre 2018 [Loi « pour la liberté de choisir son avenir professionnel »] où le COPANEF dont on a parlé, le FPSPP sont « fondus » dans la nouvelle agence publique à gouvernance quadripartite France Compétences. Est-ce que le paritarisme dans la formation professionnelle a vécu ?

MT. Sans doute, le paritarisme en tant que système ayant une indépendance, faisant ses propres choix et gérant ses propres dispositifs a-t-il vécu, mais il était fragilisé depuis plusieurs années avec la tendance de plus en plus interventionniste de l’Etat dans la formation professionnelle comme dans d’autres domaines, comme l’indemnisation du chômage. On peut d’ailleurs se demander si avec la consolidation de l’instance politique qu’était le COPANEF dans l’ANI de 2013 et les moyens conférés par le FPSPP, un choix n’avait pas été fait — du moins par certaines organisations comme la CFDT et le MEDEF — de légitimer l’existence du paritarisme comme un élément du quadripartisme [régulation commune du système par les syndicats, le patronat, les régions et l’Etat]. On peut prendre l’exemple du « plan 500 000 » de formation des chômeurs, qui était une mesure d’initiative gouvernementale à laquelle le COPANEF a contribué, en la cofinançant via les fonds du FPSPP, mais aussi en la mettant en œuvre en tant que partie prenante des contrats régionaux cosignés par l’Etat, les conseils régionaux et les COPAREF.

Il restait une vitalité forte des branches professionnelles, avec la négociation d’accords de branche par lesquels les acteurs collectifs s’appropriaient les accords interprofessionnels et les lois qui suivaient, ainsi qu’à travers l’action de leurs instances dédiées comme les CPNEFP [commissions nationales de l’emploi et de la formation professionnelle], les observatoires de l’emploi et des compétences, et les OPCA. Cela leur permettait de se fixer des priorités spécifiques et d’élaborer des certifications. Même si la loi du 5 septembre 2018 leur conserve un rôle important, notamment en matière d’apprentissage, on peut se demander comment ces systèmes localisés, aujourd’hui placés sous une forte injonction gouvernementale pour se regrouper, vont résister ou s’adapter aux transformations inscrites dans cette loi, qui vise tout à la fois la recentralisation du système de formation entre les mains de France Compétences et une individualisation de l’accès à la formation continue.

Au total, le CNEFP a vécu et sa disparition n’est pas en soi à déplorer si son action peut être reprise par une ou plusieurs autres instances s’inspirant des mêmes principes et des mêmes méthodes. Ce qui serait regrettable en revanche serait que ses travaux tombent avec lui dans l’oubli, et pire, que les dernières évaluations qu’il a menées dorment dans des placards faute d’être portées par les institutions qui prennent aujourd’hui le relais. C’était, de façon un peu prémonitoire, le sens de la conclusion du dernier rapport d’activité de Conseil [couvrant l’exercice 2017], que je voudrais citer pour finir :

« Au cours de ses sept années d’existence, l’activité du CNEFP s’est donc inscrite à la confluence des mondes de l’action paritaire, de la décision publique et de la recherche. Les travaux qu’il a commandités témoignent de la fécondité de ces ancrages. Ils manifestent aussi combien l’évaluation peut s’inscrire comme pratique collective, sans rien perdre des principes et des méthodes dans lesquels elle puise sa crédibilité. Ils montrent enfin que la pluralité des expertises dont est détentrice la société civile [représentants syndicaux et patronaux, chercheurs, consultants, praticiens…] produit, lorsqu’elles sont librement associées, des résultats rigoureux utiles à la conduite de l’action publique. »