Eexiste x ESSEC
Synthèse de l’entretien du 14 avril 2021
Entretien mené dans le cadre du Panorama de l’Evaluation d’Impact Social, lancé afin de développer la connaissance des pratiques et tendances en matière d’évaluation d’impact social pour les opérateurs sociaux, les financeurs à impact et les structures évaluatrices.
- Pouvez-vous vous présenter ? Quelle est votre fonction ? Depuis quand ? Que faisiez-vous auparavant ?
Christelle Van Ham : depuis novembre 2009, j’interviens auprès de structures d’entrepreneuriat social, d’associations et de fondations pour les aider à mieux mesurer leur impact sur la société. Je suis plus ponctuellement intervenue auprès d’entreprises et d’acteurs publics ou institutionnels. Au travers de l’évaluation d’impact, mon objectif est d’accompagner ces acteurs dans la mise en place des stratégies innovantes et collaboratives pour renforcer leur impact positif, réduire leurs impacts négatifs et identifier de nouvelles opportunités d’impact. J’ai acquis une expertise autour de diverses méthodes d’évaluation de l’impact social notamment développées aux Etats Unis et en Angleterre. Je me suis aussi formée à la facilitation de groupe et à la conduite du changement. Je veux permettre aux organisations d’identifier leurs leviers d’impact, de se fixer des objectifs et de construire des plans d’actions réalistes pour mesurer leur impact et intégrer cette mesure à leur pratique quotidienne. Avant de travailler comme consultante, j’ai notamment travaillé pour l’association Ashoka aux Etats-Unis et en France. Je suis diplômée d’HEC et de l’Université du Michigan.
Géraldine Guilluy : j’ai fait l’EM Lyon, en parcours développement durable/mécénat/RSE. J’ai reçu des formations assez classiques sur l’évaluation de projet mais pas sur l’évaluation d’impact,. Je me suis formée sur le tas à l’évaluation d’impact par des MOOC et des ressources existantes sur le sujet. On est encore à un stade assez exploratoire sur le sujet. Après une première expérience au service mécénat d’IBM, j’ai rejoint le service Mécénat & Solidarité d’IMS-Entreprendre pour la Cité en 2006, et suis devenue responsable du service en 2012. En Septembre 2014, j’ai rejoint Christelle pour accompagner ensemble entreprises, associations et territoires dans leurs projets d’innovation sociale.
- Comment votre structure a-t-elle commencé votre activité dans le domaine de l’EIS ?
CVH : L’aventure d’Eexiste a commencé par une phase d’exploration que j’ai menée à titre personnel, avec l’envie de travailler sur la question de la valeur de l’action sociale. J’ai toujours été marquée par la contradiction entre le coût perçu du social et la valeur qu’il crée. J’avais l’intuition qu’il serait utile et nécessaire de démontrer que le social coûte de l’argent mais produit encore plus de valeur que ce qu’il ne coûte. J’ai commencé à travailler sur ces questions-là en ayant la chance de rencontrer des acteurs qui s’intéressaient à ces questions en mode exploratoire. A partir de 2012, j’ai noté une émergence de la demande autour de l’évaluation d’impact, notamment tirée par quelques fondations privées et structures de l’ESS qui ont commencé à utiliser la mesure d’impact comme élément différenciant. Pour être honnête, c’est à partir de 2012 que j’ai commencé à en vivre à peu près correctement. Quelques temps plus tard, j’ai souhaité travailler avec d’autres, m’associer. J’ai rencontré Géraldine (Guilluy) par le biais de connaissances communes. On a commencé par clarifier ce qu’on voulait faire, on a choisi un nom pour notre structure, et en répondant ensemble à des demandes d’associations, de fondations, nous avons structuré notre approche. A partir de 2015, nous avons commencé à travailler avec d’autres personnes, pour réaliser des missions demandant des expertises complémentaires aux nôtres ou exigeant beaucoup de temps sur le terrain (la première mission où nous avons eu recours à une autre intervenante a été l’évaluation du projet Banque Solidaire de l’équipement pour Emmaüs Défi).
Nous avons un positionnement généraliste et travailler avec d’autres personnes nous permet de bénéficier d’expertises plus pointues. Travailler avec ces experts nous permet d’affiner les analyses, de faire un travail de qualité, sans pour autant nous inscrire dans une structure de cabinet pyramidale. Il y a un an et demi, nous avons décidé pour aller au bout de la logique de convertir Eexiste en un réseau d’experts indépendants qui pourraient intervenir autour des questions d’impact social et territorial. C’est un cheminement qui est en cours depuis : nous structurons Eexiste comme un réseau et nous travaillons au quotidien avec 6-7 consultantes. Nous nous associons parfois à d’autres cabinets, comme l’agence les Beaux Jours par exemple, ou à des experts thématiques. Aujourd’hui, nos temps se partagent entre des missions pour des acteurs de terrains (associations essentiellement, qui travaillent auprès des publics précaires et avec des besoins d’accompagnement) et des mécènes. Nous travaillons sur une quinzaine de projets par an. Depuis le début d’EEXISTE, nous avons accompagné une petite centaine de projets
- Sur quelles thématiques intervenez-vous ?
Nous nous définissons plutôt comme des généralistes du « social », même si des sujets reviennent de manière fréquente : l’insertion professionnelle, la grande exclusion, les questions de santé, d’éducation, de numérique, la ruralité, et la jeunesse (lutte contre le décrochage scolaire…).
- Quelles sont les modalités d’accompagnement de votre structure sur l’EIS
Nous avons deux grands types d’accompagnement pour les opérateurs sociaux :
- L’évaluation externe d’un programme ou d’un projet ;
- L’appui à la mise en place ou au renforcement de l’auto-évaluation au sein des structures accompagnées : nous les aidons en partant de leurs pratiques existantes à construire un système d’évaluation pérenne.
Eexiste intervient également auprès de mécènes, telles que des fondations qui sont à des moments clés de leur existence, par exemple le renouvellement de programmes pluriannuels, et qui ont besoin de faire un bilan sur les projets qu’elles ont soutenus. Ce sont le plus souvent des évaluations d’impact à visée partenariale sur les porteurs de projets. Il y a aussi certains financeurs qui souhaitent aider les porteurs de projets dans la professionnalisation de leur mesure d’impact, ou avoir des retours sur l’action soutenue. Dans ce cas, nous intervenons sur des missions d’évaluation d’impact externe de projets financés par des mécènes.
Chaque mission, chaque besoin est unique, et Eexiste construit donc à chaque fois une approche sur mesure. Nous nous positionnons aussi sur des projets ayant une visée plus large de diffusion de l’évaluation d’impact, pour accompagner les acteurs de certains secteurs à monter en compétences, comme avec un projet visant à créer un guide d’évaluation à destination des espaces de vie sociale en milieu rural. Nous trouvons riche d’intervenir dans une logique de capitalisation, de partage d’expérience.
- Quelles sont les approches méthodologiques que vous mettez en oeuvre ?
Les approches sont toujours sur-mesure, au plus près des besoins. Nous construisons la méthodologie en fonction du projet accompagné, en combinant des approches, et en intervenant dans la mesure du possible dans une logique de co-construction avec la structure accompagnée. Ces approches mêlent en général de l’évaluation quantitative et qualitative pour les évaluations externes. Quand c’est possible, nous adoptons des logiques d’évaluation participantes, en participant à l’action avec les bénéficiaires pour comprendre ce qu’ils vivent et avoir un retour sur leur expérience plus profond que lors d’un entretien semi-directif bilatéral. On a par exemple fait pour Emmaüs France des travaux de maraîchage avec des détenus en fin de peine : nous sommes allés nous immerger dans la ferme, ramasser des poireaux au petit matin avec les détenus… les publics accompagnés se livrent différemment ensuite. On le fait quand c’est possible, ce qui n’est pas toujours le cas. Nous n’avons pas forcément recours à des outils méthodologiques clé en main comme le SROI. Nous l’avons testé au début de notre pratique et nous avons trouvé cela réducteur et pas toujours très pertinent pour les structures. Le plus pertinent selon nous reste de construire l’approche avec la structure qu’on accompagne.
Il y a des outils que l’on connaît moins bien mais qui semblent intéressants, comme les étoiles de progression, que l’on n’utilise pas stricto sensu mais dont on s’inspire.
Sur ce qui est accompagnement à la construction d’outils, nous privilégions des démarches participatives de co-construction avec les acteurs de terrain.
Le SROI et les analyses coût-bénéfices sont intellectuellement séduisants mais peu satisfaisants d’un point de vue pratique, car basés sur trop d’hypothèses qui ne semblent pas toujours convaincantes. Ces approches sont finalement peu utiles aux structures accompagnées. La monétarisation a aussi ses limites dans le secteur social, car ce qui n’est pas quantifiable est souvent le plus important dans ces projets. On préfère aider les structures à construire des argumentaires pour démontrer la valeur de ce qu’elles font.
- Quels autres outils utilisez-vous ?
Nous utilisons des méthodes d’évaluation comme les entretiens individuels et collectifs, les observations, immersions, des enquêtes en ligne et des questionnaires… Ces outils sont à chaque fois construits spécifiquement pour répondre aux besoins de la mission.
- Comment impliquez vous vos parties prenantes ?
Nous impliquons les parties prenantes de manière adaptée selon ce qui peut se faire de manière participative dans les évaluations externes ; et nous les impliquons de manière systématique dans les démarches de co-construction d’outils ou de l’approche d’évaluation d’une structure.
Pour la co-construction, nous pouvons prendre l’exemple du guide méthodologique à destination des espaces de vie sociale : nous sommes parties de l’expérience de réalité du terrain, de ce qu’est un espace de vie sociale, de ses ressources et de ses missions. Nous avons construit un cycle d’ateliers, avec des espaces de vie sociale volontaires, qui ont permis des échanges de pratiques, d’outils… Ces ateliers ont fait émerger les champs de progression, les stratégies à mettre en avant, les zones de complexité. Nous sommes la plume de ce guide mais il sera en réalité une production des acteurs de terrain.
- Quel est le Périmètre géographique de vos missions ? Y a-t-il des missions à l’international ?
Jusque’à aujourd’hui, les missions conduites l’ont été seulement en France. Quand on a démarré on était toutes les deux jeunes mamans ce qui créait des freins à se déplacer. Aujourd’hui on échange avec des cabinets à l’international, mais nous n’avons pas franchi le pas de missions à l’étranger. Outre les contraintes logistiques, nous nous interrogeons sur notre capacité à comprendre les besoins et les projets locaux et à construire une méthodologie culturellement adaptée. Le contexte local est clé pour entreprendre une évaluation d’impact. Cela demande beaucoup d’expérience de comprendre les politiques éducatives, sociales, carcérales, d’un autre Etat par exemple. Le plus légitime semble d’avoir recours à des évaluateurs spécialisés par zone géographique.
- A l’échelle de la France, quels sont les territoires d’intervention de votre structure sur l’EIS ?
En France, nous couvrons différentes régions. Jusque très récemment 80% de nos missions étaient en Ile de France et dans quelques grandes villes de France, telles que Lyon ou Lille. Aujourd’hui, notre champ d’intervention est plus large : Rhône-Alpes, PACA, le Nord, le Grand Ouest. Le travail sur les questions de ruralité a permis d’élargir le champ des missions au-delà des grandes métropoles et nous aconduit en Corrèze, dans les Landes, les Ardennes, en Ardèche…. Nous allons là où les projets sont : nos donneurs d’ordre sont souvent des têtes de réseaux nationales mais les intervention ont lieu sur les territoires. Nous intervenons par contre très rarement directement auprès de structures ultra locales. .
Par exemple, Eexiste accompagne en ce moment 5 projets de l’AMI « TremplinAsso » de l’ANCT au déploiement de 44 projets dans des QPV un peu partout en France (en région PACA, Bretagne, dans les Pays de la Loire ou encore les Hauts de France …).
- Quelle est la typologie des structures que vous accompagnez ?
Les besoins en évaluation d’impact ont évolué au fur et à mesure du temps d’un marché de petites structures entrepreneuriales qui voyaient déjà l’intérêt de la mesure d’impact social, des entrepreneurs sociaux, à un marché où les grands financeurs, notamment publics ont commencé à s’intéresser au sujet et à conditionner certains financements à cette évaluation. Depuis peu, nous travaillons avec des acteurs historiques de la solidarité comme Emmaüs, le Secours Populaire. Pour ces acteurs, au début des années 2010, l’évaluation était un non-sujet, l’action primait sur l’évaluation. Les choses ont vraiment changé.
Nous étudions toutes les demandes qui nous sont adressées, il nous arrive d’intervenir auprès de petites structures car elles vont plus facilement s’approprier ce qui ressort de l’évaluation ; mais nous travaillons de plus en plus sur de gros projets, c’est là où les demandes sont les plus nombreuses et cela contribue à stabiliser notre activité. Quelque part, il nous semble que l’évaluation d’impact a plus d’impact dans les petites structures, pour certaines il y a un vrai enjeu stratégique. Ce n’est pas simple pour elles, car le marché est de plus en plus polarisé par des grands acteurs et les petites structures vont être à la peine pour trouver des évaluateurs.
Du côté des fondations, nous travaillons beaucoup avec des fondations d’entreprises, quelques fondations de PME, et ponctuellement avec des fondations de philanthropie familiale. Avec les fondations d’entreprises, nous travaillons notamment avec eux sur l’évaluation de programmes d’implication des collaborateurs et la création de valeur de ces programmes en interne.
Nous travaillons en revanche rarement en direct avec des acteurs publics ou institutionnels. Cela arrive de manière indirecte, comme avec l’ANCT dans le cadre de Tremplin Assos. L’évaluation de politique publiques est un vrai métier et d’autres cabinets le font très bien. Aujourd’hui il y a de plus en plus de questionnements des acteurs publics sur l’évaluation de projets sociaux, les interactions sont amenées à se développer.
Il y a une accélération de la demande, nous ne faisons pas de prospection, nous ne faisons que gérer les nombreuses demandes entrantes. La demande s’emballe, poussée notamment par de nouveaux critères de financement public. Les degrés de maturité des structures sur l’évaluation varient. Il y a plus de conscience de l’importance du sujet, c’est souvent subi au démarrage, parfois choisi et il y a alors plus d’intérêt de la part des équipes.
Nous avons le luxe aujourd’hui de pouvoir refuser une partie des sollicitations que nous recevons, en particulier celles pour lesquelles nous sentons que les motivations ne sont pas les bonnes.
Sur les critères de sélection des sollicitations sur lesquelles nous nous positionnons, notre premier critère est l’agenda, car nos plans de charge sont lourds. Nous recevons beaucoup de sollicitations de la veille pour le lendemain, que nous devons décliner. Et puis nous fonctionnons au coup de cœur, si le projet nous parle, si ce sont des structures que nous connaissons déjà, etc. Parfois nous nous positionnons sur des projets pour nous challenger, tester de nouvelles choses. Mais nous n’avons pas de grille formelle de critère pour choisir une mission.
Les difficultés, manques et insatisfactions :
- Quels problèmes ou difficultés avez-vous principalement rencontré dans vos missions d’EIS?
Des difficultés il y en a. Un premier niveau est le facteur humain. On a parfois des problèmes de compréhension avec les partenaires, on a parfois besoin d’un peu de temps pour se comprendre et s’ajuster.
Au-delà de l’interlocuteur direct, ça peut être un manque de préparation des équipes dans les structures, qui ne comprennent pas toujours le rôle de l’évaluateur, qui ont l’impression qu’on vient surveiller ou controler leur travail, et qui peuvent à juste titre assez mal le vivre. D’où l’importance de bien communiquer aux équipes les objectifs de l’évaluation.
Sur les démarches d’auto-évaluation, nous pouvons rencontrer des difficultés dans la durée à autonomiser l’association au-delà des ateliers de conception de l’approche. Ça peut être dur de trouver la bonne personne en interne qui va continuer à porter cette mission.
Un frein peut apparaître lorsque l’évaluation conduit à des constats qui ne vont pas dans le sens de ce qu’attendait l’association. Cela n’arrive pas souvent, il arrive que l’association ne communique que de manière partielle sur les résultats de l’évaluation ou de manière disproportionnée sur ce qui est positif.
Dans le cadre du COVID, au-delà des missions à l’arrêt, il y a un côté dégradé de l’action sociale qui dégrade aussi l’évaluation. Mener des projets sociaux avec la distanciation, les masques, le distanciel, ça ne produit pas le même impact Nous sommes missionnées pour évaluer des dispositifs dans un monde normal. Il y a des structures qui ne peuvent pas accepter la présence de personnes extérieures dans des conditions sanitaires satisfaisantes, des structures qui ne peuvent pas fonctionner. C’est difficile de faire ce travail en assumant une intégrité professionnelle.
- Quelles sont les conditions de succès de vos missions d’EIS ?
Un portage en interne de cette démarche d’évaluation, une bonne compréhension en amont de ce qu’est l’évaluation, des contraintes qu’elle implique ; une vulgarisation sur la terminologie, nous essayons d’ajuster nos propos aux interlocuteurs que nous avons en face.
En termes d’appropriation, essayer d’anticiper au maximum ce qui peut se passer, de prévenir les structures qu’il faut de la disponibilité pour que la démarche fonctionne.
- Quels sont les critères de qualité de vos évaluations ?
On se définit comme des praticiennes et non des théoriciennes de l’évaluation d’impact. Dans le secteur, nous utilisons la terminologie générique d’évaluation d’impact tout en sachant que le terme est parfois abusif. Parfois ce sont des études de perception, parfois de valorisation des effets de certaines actions. Nous assumons cette terminologie et son imperfection, c’est aussi pour cela que nous ne parlons pas de « mesure » d’impact. Nous cherchons au maximum de l’objectivité dans les regards que nous portons sur les objets de l’évaluation, pour cela nous croisons une diversité perceptions, en portant une attention particulière à la représentativité des échantillons. La qualité méthodologique de l’évaluation doit être proportionnelle aux enjeux (l’approche n’a pas à être la même s’il s’agit d’une preuve de concept ou d’un déploiement à l’échelle nationale d’un dispositif).
Pour en savoir plus : eexiste.fr