Association TZCLD x ESSEC
Synthèse de l’entretien du 21 mai 2021
Entretien mené dans le cadre du Panorama, lancé afin de développer la connaissance des pratiques et tendances en matière d’évaluation d’impact social pour les opérateurs sociaux, les financeurs à impact et les structures évaluatrices.
Bonjour à vous, pourriez-vous vous présenter et nous parler également de la démarche d’évaluation de l’association TZCLD ?
[A. Gregorio] Je m’appelle Antonin Gregorio et suis le directeur général de l’association. Je vais vous fournir une première présentation globale de la démarche d’évaluation au sein de TZCLD, et je laisserai Victoria Bazurto approfondir ou compléter durant l’échange.
La réelle question que nous nous posons aujourd’hui porte sur les effets de l’expérimentation sur les dynamiques territoriales et l’impact social général : pour la personne, son entourage et le territoire dans sa globalité.
Ainsi suite à la publication du rapport final d’évaluation de la première expérimentation de TZCLD par la DARES en avril dernier, nous avons décidé d’adopter une nouvelle démarche d’évaluation Notre objectif est de rendre compte des effets externes du projet TZCL sur les territoires, en dehors du retour à l’emploi des personnes. Cette démarche se structure avec :
- un comité de pilotage qui reçoit par l’intermédiaire du Conseil d’administration de TZCLD l’ensemble des directives politiques, et qui fait des propositions de thématiques de recherche ;
- Un conseil scientifique indépendant qui sera installé au deuxième semestre de l’année 2021.
Nous avons un horizon clair : la fin de la deuxième phase de l’expérimentation soit 2024, année à laquelle nous devrons réussir à prouver aux décideurs politiques l’efficience du projet. Pour cela nous souhaitons coordonner des travaux avec des chercheurs autour d’un certain nombre de thématiques permettant de faire remonter des résultats basés sur des analyses scientifiques incontestables.
Aujourd’hui nous recherchons des chercheurs mais nous ne sommes pas en capacité financière de faire des appels à projet massifs. Nous réalisons des appels à manifestation d’intérêt auprès de différentes structures de recherche. Nous essayons de capter toutes les personnes avec qui nous pourrions travailler, avec lesquelles des synergies et convergences existent autour de l’impact.
En termes de démarche d’évaluation d’impact, qu’aviez-vous réalisé jusqu’à présent ? En quoi ces démarches ont-elles consisté ?
[V. Bazurto] je suis la responsable Recherche et Évaluation au sein de l’association TZCLD.
Je souhaiterais préciser que les territoires mènent chacun leur propre démarche d’évaluation interne, ce qui suit la logique même du projet TZCLD qui est territoriale, la démarche d’évaluation est une des missions des comités locaux pour l’emploi (CLE). Nous ne coordonnons pas de démarche évaluative territoriale au niveau national.
Chacun des 10 territoires habilités a sa démarche d’évaluation, centrée sur l’impact direct du projet et la fait remonter au Fonds d’expérimentation (ETCLD). Parfois il y a eu également des interventions ponctuelles, souvent à travers des recherches universitaires réalisées sur des aspects précis du projet. Ce sont des demandes qui ont été adressées directement aux territoires. C’est pourquoi nous procédons actuellement à leur recensement.
Au niveau des territoires projets émergents, l’enjeu des évaluations est très présent et pour certains ils sont déjà en train de travailler sur les effets externes du projet avant l’habilitation. Cette année commence le passage à l’échelle de l’expérimentation. En effet nous passons de 10 territoires habilités à au moins 60 car tout territoire émergent souhaitant rejoindre la démarche pourra le faire pendant les trois années à venir à partir du moment qu’ils répondent au cahier des charges de l’expérimentation.
Par ailleurs il est important de retenir que le fonds d’expérimentation ETCLD et l’association TZCLD ont deux rôles distincts et des enjeux différents :
- pour le fonds ETCLD : prouver l’efficacité de la démarche en analysant les bilans des entreprises à but d’emploi (EBE), et en démontrant en quoi le système d’activation de dépenses passives peut être pertinent dans une logique de pérennisation potentielle du projet.
- pour l’association TZCLD : il est question de chercher les effets externes de cette activation qui n’apparaissent pas dans les bilans comptables mais sont primordiales pour comprendre l’impact global du projet.
La démarche d’évaluation côté TZCLD est en cours de construction aujourd’hui. Nous pouvons déjà faire part de premiers aspects de notre impact remontant des recherches réalisées dans certains territoires projets émergents (157 actuellement), notamment sur la santé des personnes privées durablement d’emploi.
Très bien, et est-ce que certains territoires ont fait appel à des cabinets externes pour réaliser leurs évaluations ?
[A. Gregorio] Le comité scientifique d’évaluation prévu par la loi a, afin de réaliser son rapport en avril 2021, sélectionné 4 territoires habilités (Lille, Colombelles, Prémery et Jouques) qui ont été évalués de manière différente. Le territoire de Colombelle a été évalué par le cabinet de conseil KPMG par exemple.
Par ailleurs, l’association TZCLD a conclu un partenariat avec la Fonda sur l’accompagnement à la construction d’une démarche d’évaluation territoriale. L’ambition première était d’établir un guide ou un référentiel à l’élaboration de l’évaluation du territoire afin qu’il permette aux porteurs de projet de faire évoluer le territoire de projet émergent vers territoire habilité. Le chercheur de la Fonda qui nous soutient à travers un projet de recherche-action a davantage été en appui à la structuration de l’évaluation territoriale sur les territoires de Paris, Colombelles, Villeurbanne et Thiers.
[V. Bazurto] Certains territoires, qu’ils soient émergents ou habilités, se sont rapprochés d’universitaires localement pour justement pouvoir établir leur démarche d’évaluation et leur système d’indicateurs.
[A. Gregorio] Certains projets émergents aujourd’hui ont par ailleurs déjà rejoint un programme lié à l’évaluation d’impact social ou alors ont monté leur propre commission d’évaluation de leur impact territorial. Ils ont commencé à structurer des pistes d’analyse, à suivre et faire remonter les données et l’impact sur les personnes privées durablement d’emploi.
Au niveau de l’association nationale, notre enjeu est de structurer et prioriser les thématiques sur lesquelles nous souhaitons orienter les recherches. L’association n’a pas pour ambition de prendre la main ou piloter les évaluations territoriales. Nous n’avons pas l’intérêt ni les ressources nécessaires. Par ailleurs, la réalité du terrain implique des spécificités dans la démarche d’évaluation de chaque territoire.
Quelles sont les thématiques que l’association TZCLD a priorisées en vue de travaux de recherche et d’évaluation ?
[V. Bazurto] À partir de la démarche de capitalisation de l’ensemble des recherches ayant déjà été menées sur le projet, et en tenant compte également de ce qui émergeait des bilans dressés par le fonds d’expérimentation ETCLD, nous avons identifié des sujets que nous souhaiterions explorer.
À partir de la sociologie du travail, nous avons identifié des thèmes de recherche sur deux dimensions : celle qui concerne les questions sur l’ambiance du travail, les modes de gouvernance etc., et celle qui vient interroger le milieu du travail et son rapport avec l’environnement local, dans ce sens :
- La question des EBE en tant que structures, avec des enjeux de management, de reconnaissance en tant qu’acteur économique, et leurs apports au développement local de manière générale
- La question des personnes : l’enjeux du retour à l’emploi pour les salariés, la conception de l’emploi …
Certaines des thématiques suivantes ont émergé également, par exemple :
- La maturité de la coopération et de la dynamique locale : la méthode TZCLD, ses apports en matière d’identification des besoins utiles pour les territoires, les enjeux de gouvernance locale par le biais des comités locaux pour l’emploi (CLE), leur rôle dans une nouvelle gouvernance, son implication territoriale …
- L’accélération des politiques publiques locales : autour de sujets présents au sein de TZCLD comme la transition écologique, la lutte contre l’exclusion, l’insertion de personnes en situation de handicap …
Nous savons que l’ensemble des projets prend en compte ces enjeux sociétaux et vient y répondre concrètement. Nous souhaitons démontrer l’impact et la portée que cela peut avoir dans le développement local.
Comment allez-vous procéder eu égard aux thématiques de recherche identifiées ? Pensez-vous réaliser une étude sur l’ensemble des projets concernés par thématique ou sélectionner des échantillons ?
[V. Bazurto] Aujourd’hui, nous sommes conscients de nos limites en termes de déploiement et de charge de travail que cela représente, ainsi je pense que nous réaliserons des échantillons représentatifs. Nous souhaitons que cette démarche soit portée par des chercheurs et développée par des équipes de recherche. Le faire sur la totalité des projets semble compliqué à mettre en œuvre et à coordonner compte tenu de la grandeur du terrain d’expérimentation d’ici 4 ans.
[A. Gregorio] Je pense que le pragmatisme de terrain est à garder en mémoire. Un seul paramètre me semble indispensable aujourd’hui à essayer de mettre en place dans l’échantillonnage : le degré de maturité des projets. Il serait intéressant de pouvoir comparer des territoires pionniers, habilités depuis 5 ans au moins et qui ont réussi à prouver pour certains l’effectivité du droit à l’emploi, à de nouveaux territoires qui viennent d’être habilités à n+1 et n+2. Cela nous permettrait d’observer les évolutions sur des thématiques bien précises.
Par ailleurs d’autres paramètres d’échantillonnage sont envisagés : diversité des territoires, problématiques d’emploi locales, zones urbaines/rurales …
Comment pensez-vous sélectionner ou identifier ces chercheurs pour mener à bien ces évaluations ?
[V. Bazurto] Il y a plusieurs pistes. Notre avantage est que nous en sommes seulement au début et qu’il y a tout à construire.
Nous avons conclu un partenariat avec le CNRS qui nous permettra déjà d’identifier les instituts ou autres laboratoires nationaux pour couvrir l’ensemble du territoire et avoir des référents en fonction des thématiques abordées.
Certains chercheurs se sont intéressés au projet depuis un moment. Ils travaillent déjà sur les territoires.
Nous détenons aujourd’hui une liste assez étoffée de partenaires, de chercheurs et autres institutions qui pourraient être intéressés pour faire partie du futur conseil scientifique de l’association.
Souhaitez-vous monter un conseil scientifique par axe de recherche ou un seul conseil commun qui partage l’ensemble des recherches ?
[A. Gregorio] Nous souhaitons privilégier l’approche commune afin de créer un fil directeur unique. A moyen terme, il sera sans doute nécessaire de faire autrement.
Cela signifie-t-il que l’ensemble des territoires suivra un tronc commun méthodologique également ?
[V. Bazurto] Nous estimons que chaque recherche en fonction de sa discipline s’appuie sur des principes méthodologiques distincts. Vouloir imposer une unique méthodologie de travail nous semble risqué, voire inadapté.
La coordination des projets de recherche se fera davantage sur le calendrier à suivre sur 4 ans et les thèmes et thématiques à aborder. Les chercheurs seront libres de suivre leur méthodologie, en bonne intelligence avec les questions de recherche que nous aurons définies conjointement.
N’existe-t-il pas un risque d’obtenir des travaux hétérogènes dans leurs approches et leurs objets qui ne pourraient être consolidés ?
[V. Bazurto] Par l’approche transversale, nous obtiendrons une vision globale des thèmes et thématiques. Les restitutions entre les différents chercheurs seront prévues sous forme de journées d’étude ou colloques qui s’appuieront sur des productions qui rendront compte de l’évolution de chaque recherche.
Comment financez-vous votre laboratoire de recherche à ciel ouvert ?
[A. Gregorio] – À ce stade, ce sont les chercheurs qui doivent prévoir des financements sur le budget de recherche de leurs institutions.
Nous cherchons actuellement des tiers financeurs qui pourront financer certains appels à projets dans les temps à venir.
Ce sont des discussions que nous avons avec nos financeurs actuels sur la révision de leurs lignes budgétaires, ou de nouveaux financeurs qui souhaitent appuyer les évaluations.
[V. Bazurto] Par ailleurs, en suivant la logique même du projet, nous fonctionnons par partenariat avec chaque laboratoire de recherche en lien avec les territoires et les collectivités.
Quelles sont les raisons qui poussent l’association TZCLD à initier un projet de recherche de cette ampleur ?
[V. Bazurto] Nous croyons au droit à l’emploi pour tous et souhaitons prouver sa pertinence non seulement économique mais également sociale. Les impacts sont nombreux, au niveau des territoires, des familles, des personnes à différentes échelles. Nous souhaitons le montrer de manière scientifique.
Quels types d’impact pensez-vous mesurer sur les proches des bénéficiaires directs de vos EBE selon vous ?
[V. Bazurto] Plusieurs impacts ont été observés au niveau du lien social, de la confiance en soi, de la sphère familiale (garde d’enfant récupérée, manifestation à la sortie d’école), au niveau de l’accès aux offres et aux services culturels et de loisir entre autres.
[A. Gregorio] Il y a deux types d’enjeux :
- Externes à moyen terme : les effets du droit à l’emploi sur les territoires, le plaidoyer vis-à-vis des pouvoirs publics sur une nouvelle approche possible en termes de politiques publiques…
- Internes à plus long terme : sur la manière dont les collaborations naissent dans les territoires, l’évolution des rapports entre les acteurs … Nos comités locaux pour l’emploi viennent analyser les effets du projet au niveau local, et se servent des évaluations pour améliorer leur système. En tant que ‘matière vivante’, nous sommes prêts à évoluer si nécessaire en structuration, en gouvernance. Il faut voir les effets internes de notre organisation passée afin de construire notre organisation future.
Vous mentionnez la notion d’impact territorial. Auriez-vous des exemples d’impacts territoriaux identifiés à ce jour ?
[A. Gregorio] Évidemment. En prenant l’exemple du territoire habilité de Colombelles, le maire a identifié une re-dynamisation démocratique de son territoire, avec un regain d’intérêt pour les questions d’intérêt général. Un second élément à relever est le renforcement et l’intérêt nouveau pour l’ensemble du tissu associatif sur les territoires habilités.
Certains sujets, notamment le dynamisme électoral, sont encore à explorer une fois le recul nécessaire atteint.
Par rapport aux démarches qui vous ont été remontées, quels ont été, selon vous, les freins et les difficultés rencontrés par les chercheurs-évaluateurs sur le terrain ?
[A. Gregorio] Il n’y a pas eu de difficultés particulières.
La difficulté a existé lorsque des chercheurs ont voulu accompagner des projets territoriaux et que la démarche évaluative était un impensé du projet. C’est certain que c’est difficile dans le cas où la démarche n’a pas été pensée, de la poser, d’expliciter son intérêt et de répondre au manque fort d’outillage.
On nous a remonté 2-3 freins liés aux salariés et aux personnes privées durablement d’emploi qui avaient besoin d’un temps d’acceptation des évaluateurs externes et de la démarche. Ce n’est pas une difficulté qui se pose seulement au sein des projets TZCLD, Emmaüs par exemple a relevé de tels freins initiaux. Ces freins disparaissent totalement une fois la démarche ancrée et expliquée.
Enfin les démarches évaluatives nationales ont été perçues quelque peu comme des contrôles sans difficulté. Mais cela a été un peu dur avec certains cabinets de conseil. J’ai en tête l’exemple du cabinet KPMG notamment. Ce n’est pas la même culture ni le même savoir-faire face aux personnes privées d’emploi ou des salariés.
[V. Bazurto]
Les territoires du projet ont été jusqu’à présent très sollicités. Cette sur-sollicitation ne donnait plus ni l’envie ni les ressources temps pour mobiliser les salariés en interne pour répondre aux demandes des chercheurs, de la presse ou d’autres acteurs.
Les personnes privées d’emploi ont évolué en tant que salariés d’EBE. Elles ne souhaitent plus être interrogées sur leur passé de chômeur de longue durée.
[A. Gregorio] Nous sommes vigilants à l’aspect « cobayes » qui peut être ressenti par les salariés. Cela peut faire entrave au développement du projet sur les territoires. Nous devons rationaliser ces allées et venues intempestives sur les territoires.
Quels enjeux voyez-vous aujourd’hui dans la construction d’un laboratoire à ciel ouvert ? Estimez-vous ce dernier nécessaire pour la réussite de votre plaidoyer vers les politiques publiques ?
[V. Bazurto] Humainement, nous avons la ressource en interne pour mener à bien ce plaidoyer. Nous sommes également en mesure de prouver l’efficacité du droit à l’emploi et son intérêt plus global sur les territoires en générant tous les éléments dont nous avons besoin.
Pour autant, un regard extérieur est toujours nécessaire car il permet de prendre suffisamment de recul et de se remettre en question. Être acteur du projet nous a souvent été reproché comme un manque d’objectivité lorsque nous évoquons les résultats de nos propres démarches d’évaluation.
[A. Gregorio] À la différence, le Conseil scientifique formulera des conclusions et des recommandations qui seront incontestables d’un point de vue scientifique, qu’elles soient positives comme négatives pour le projet. Par exemple, l’effet négatif premier du projet que nous avons relevé est le coût qu’il enclenche en santé pour la Sécurité Sociale.
Notre objectif est de poser une démarche d’évaluation constructive et scientifique, et de réussir à terme à créer des grands rendez-vous où ce qui est dit de l’expérimentation est reconnu comme étant incontestable.
Comment allez-vous constituer votre comité scientifique ?
[A. Gregorio] Nous avons un premier comité de pilotage prochainement au sein duquel sont présents un certain nombre de personnes qualifiées et membres du CA. En tant que spécialistes de ces questions, ils seront en mesure de faire des recommandations dans la constitution de ce conseil scientifique.
Il y aura certainement une co-présidence partagée entre un chercheur renommé et une personne assurant une présence au quotidien.
Merci beaucoup d’avoir répondu à nos questions et votre temps.