Le présent article aborde l’utilisation des méthodes d’évaluation d’impact social dans le champ du handicap, qu’il soit moteur, mental, psychique ou sensoriel. Il s’appuie sur une revue documentaire de données publiques, de rapports d’évaluations d’impact social et d’articles académiques sur le handicap, portant en particulier sur le recueil de la parole de personnes en situation de handicap. Dans cet article, nous nous interrogeons sur les raisons qui peuvent pousser à évaluer l’impact social d’une intervention portant sur le handicap et nous abordons la question des approches méthodologiques et les particularités liées à leur application dans le champ du handicap. Un second article nous permettra d’approfondir davantage la question du recueil de la parole et la manière dont l’évaluation d’impact social peut devenir un outil au service de l’amélioration de la qualité de vie des personnes  handicapées.

Le handicap, de quoi parle-t-on ?

Selon l’Organisation Mondiale de la Santé (OMS), le handicap « est l’interaction entre des sujets présentant une affection médicale (par exemple, lésion cérébrale, trisomie 21 ou dépression) et des facteurs personnels et environnementaux (par exemple, attitudes négatives, moyens de transport et bâtiments publics inaccessibles, et accompagnement social limité). ». Il regroupe ainsi à la fois les déficiences, les limitations d’activités et les restrictions de participation à la vie sociale. Il concernerait 1 milliard de personnes, soit 15% de la population mondiale.

En France, selon l’approche retenue par l’Insee et la DREES, sont handicapées « toutes les personnes qui déclarent de fortes difficultés ou une impossibilité dans l’une au moins des dimensions fonctionnelles (voir, entendre, se déplacer, etc.) » Selon cette acception, la France compte 4,8 millions de personnes handicapées de 16 à 59 ans et 5,4 millions de 60 ans et plus, d’après l’enquête Handicap-Santé de 2008-2009 (hors personnes vivant en institution). 

Pourquoi évaluer l’impact social des interventions sur le champ du handicap ?

De manière générale, l’évaluation sert à produire des connaissances utiles pour aider les décideurs publics et privés, mais aussi les autres parties prenantes d’un projet, à prendre une décision éclairée, faire évoluer une intervention, justifier a posteriori son utilité, produire des changements de comportements à l’échelle individuelle, interpersonnelle ou collective (Devaux-Spatarakis et al., 2022). Autrement dit, l’évaluation doit contribuer, autant que l’intervention qu’elle suit, à l’intérêt général, au Bien de la Cité, à la participation à la démocratie de tous ses citoyens et leur bien-être. 

Appliquée au champ du handicap, l’évaluation d’impact social permet de répondre à des enjeux spécifiques et notamment :

• Contribuer au recueil et à la prise en compte de la parole des personnes handicapées, pour qu’elles puissent, à l’instar de tous les citoyens, exercer leurs droits et vivre pleinement leur vie. L’approche programmatique des Nations Unies axée sur les droits de l’homme, qui constitue un des critères d’évaluation exigés dans les évaluations d’impact de l’UNICEF (2014), le rappelle en effet : les populations ont le droit de participer à l’orientation des décisions qui les concernent directement ou indirectement. C’est un axe déterminant de la Convention relative aux droits des personnes handicapées : « les personnes handicapées devraient avoir la possibilité de participer activement aux processus de prise de décisions concernant les politiques et programmes, en particulier ceux qui les concernent directement » (Préambule). La France a encore un long chemin à parcourir pour y parvenir comme l’a noté dans son rapport en 2021 le Comité des droits des personnes handicapées. Un point central est notamment le recueil des besoins et aspirations des personnes en situation de handicap. L’évaluation d’impact social, dans la mesure où elle vérifie l’adéquation entre les besoins exprimés et la réponse à ces besoins, et où elle est un levier de prise de décisions, est une démarche primordiale dans la participation des personnes handicapées.  
• Accompagner l’innovation sociale que l’on peut définir comme une approche qui « consiste à élaborer des réponses nouvelles à des besoins sociaux nouveaux ou mal satisfaits » (CSESS, 2011). Il s’agit de mesurer les effets des expérimentations en cours et la manière dont celles-ci répondent à des besoins dans le champ du handicap en France, dans un contexte de désinstitutionalisation et de volonté politique affichée d’inclusion en milieu ordinaire et de valorisation de l’autodétermination. Ainsi des dispositifs comme la pair-aidance (ClubHouse), l’Assistance au Parcours de Vie (Association Trisomie 21), la facilitation de parcours (LADAPT Normandie), l’emploi accompagné (CFEA) font ou ont fait l’objet d’évaluations ces dernières années (figure 6).
• Rendre des comptes à ses partenaires. Dans le champ du handicap, l’évaluation de la qualité des activités et prestations délivrées des établissements et services médico-sociaux est d’ores et déjà une obligation légale depuis la loi 2002-2. Elle s’appuie sur le référentiel d’évaluation de la qualité des ESSMS et sur le manuel d’évaluation de la qualité des ESSMS. Plus spécifiquement, l’évaluation d’impact social à proprement parler se développe notamment sur les axes du handicap qui ne sont pas couverts par des financements publics fléchés. Il s’agit alors de faire la preuve de l’impact pour pérenniser ou développer des financements. C’est par exemple le cas de l’évaluation d’impact social du Programme d’égalité des chances PHARES conduit par l’ESSEC.
• Communiquer auprès de ses parties prenantes ou du grand public. Les projets sur le handicap peuvent porter des projets qui ont un enjeu stratégique de notoriété. C’est par exemple le cas de la mesure d’impact social de l’association Mon Copilote qui a communiqué sur les résultats de son étude d’impact auprès d’un public large, ayant vocation à faire connaître son activité auprès du grand public.

L’évaluation d’impact social appliquée au champ du handicap constitue donc, comme dans tous les domaines, un moyen de mieux comprendre les effets des interventions et d’en accroître les bénéfices pour ses parties prenantes, mais aussi, dans le cas particulier du handicap, une approche qui permet d’intégrer le retour des usagers directement concernés, ainsi que des aidants et des professionnels qui les accompagnent, pour concevoir ou revoir des interventions adaptées aux besoins des personnes handicapées.

Comment évaluer des interventions dans le champ du handicap ?

Adapter la démarche d’évaluation d’impact social au champ du handicap

Nous proposons ici de regarder à partir des différentes étapes qui composent une démarche d’évaluation d’impact la manière dont celle-ci peut s’adapter à la thématique particulière du handicap. Pour ce faire, nous retenons la décomposition en cinq étapes proposée dans le Petit Précis de l’évaluation d’impact social # 2 (2021) (figure 1). 

Figure 1 : Étapes de l’évaluation d’impact social. Adapté de ESSEC, Avise, Mouvement Impact France. (2021). Petit Précis de l’Évaluation d’impact social #2

Impliquer les usagers dès le cadrage et tout au long de l’étude

Le cadre de référence Arc-en-ciel (2014) produit par BetterEvaluation permet de se poser les questions qui vont structurer la démarche d’évaluation. Il aborde notamment la question de l’identification et l’implication des parties prenantes. Cette question s’avère centrale dans les évaluations d’impact social d’interventions liées au handicap.

Cette implication peut passer par des approches dites « participatives », qui consistent «à impliquer les parties prenantes, particulièrement les participants d’un programme ou les individus concernés par une politique, dans certains aspects du processus d’évaluation » selon Irène Guijt (2014). Les avantages identifiés sont notamment de :

• « Contribuer au caractère exact et précis des impacts identifiés, notamment par l’écoute de témoignages des parties prenantes ;
• Déterminer des chaînes de causalité, en croisant différents points de vue sur le sujet ;
• Permettre aux décideurs de mieux comprendre l’intervention ;
• Améliorer l’efficacité de l’intervention en faisant travailler les participants à l’élaboration de recommandations concrètes, en affinant les constats sur les changements obtenus, en validant la théorie du changement auprès des parties prenantes et en renforçant la réflexion critique des décideurs et des équipes projets » (ibid).

Ceci étant dit, il convient de réfléchir à la manière dont les parties prenantes et en particulier les personnes handicapées peuvent être impliquées dans une démarche d’évaluation d’impact social.

Schématiquement, quatre niveaux d’implication des parties prenantes, qui peuvent s’adapter aux personnes handicapées, peuvent être distinguées (Guijt, 2014 ; Cornwall, 2008,  White, 1996) :

• « Participation nominale » (pour les personnes handicapées) : il s’agit de « montrer que la contribution des participants à l’évaluation d’impact est possible et comment elle peut être obtenue » (ex : collecter des données auprès d’un échantillon de personnes handicapées) ;
• « Participation instrumentale » (pour (et avec) les personnes handicapées) : il s’agit d’augmenter l’efficacité et la pertinence des actions mises en œuvre pour les participants en misant sur la participation des bénéficiaires de l’action dans le processus d’évaluation.
• « Participation représentative » (avec (et par) les personnes handicapées) : il s’agit de permettre aux parties prenantes de faire entendre leur voix sur ce qu’elles souhaitent pour elles-mêmes ;
• « Participation transformative » (par les personnes handicapées) : il s’agit d’aller vers l’autonomisation des publics accompagnés en leur permettant de prendre leurs propres décisions, de choisir les mesures qui leur paraissent pertinentes et de les mettre en œuvre. 

Ces modalités ne sont pas toujours toutes adaptées. Elles doivent être utilisées en fonction des objectifs poursuivis mais aussi des contraintes financières, humaines, matérielles et temporelles de l’étude.

Ces questions de participation doivent être analysées pour déterminer à quel niveau il convient d’impliquer des personnes handicapées. Il sera également nécessaire de réfléchir à l’implication des éventuelles autres parties prenantes et notamment, comme c’est souvent le cas dans ce type d’évaluation, à l’implication des familles et proches mais aussi des professionnels du handicap qui accompagnent les bénéficiaires.

Caractériser les parties prenantes et comprendre leurs besoins 

Une fois le cadre de l’évaluation posé, il convient de bien identifier les parties prenantes de l’intervention évaluée, de les catégoriser et d’identifier les liens qui les unissent entre eux. Dans la plupart des cas, il s’agira des personnes handicapées elles-mêmes, de leurs proches, des professionnels / bénévoles qui travaillent auprès d’elles, dans les champs du médical, du paramédical, du médico-social et de l’éducation et des partenaires (publics, financeurs, prescripteurs, employeurs, etc.).

A titre d’exemple, dans le cadre d’une évaluation d’impact social en lien avec l’emploi accompagné, le Laboratoire E&MISE ESSEC a construit cette cartographie des parties prenantes (figure 2).

Figure 2 : Exemple de carte des parties prenantes dans le cadre d’une étude sur l’Emploi Accompagné – Source : Labo E&MISE ESSEC

Lorsque les parties prenantes ont été identifiées, il peut s’avérer pertinent de faire des distinctions entre différents profils et d’affiner leurs caractéristiques en fonction de quelques critères comme par exemple l’âge, le sexe, le type de handicap, la situation par rapport à l’emploi,  le milieu ordinaire ou protégé, le type de prise en charge. L’évaluation d’impact social du dispositif de facilitateur de parcours de LADAPT Normandie menée par le Labo E&MISE ESSEC repose par exemple sur la distinction entre mineurs et majeurs, la situation familiale, la nature du handicap, le type d’établissement ou de dispositif de prise en charge et les difficultés rencontrées (Figure 3).

Une autre action consiste à identifier les besoins sociaux des bénéficiaires. En effet, une partie du travail d’évaluation consiste à vérifier la pertinence d’une intervention par rapport à des besoins non ou mal satisfaits pour un groupe d’individus. Dans le champ du handicap, sont souvent identifiés des besoins liés à :

• L’autonomie : agir par soi-même dans le quotidien, par rapport à la mobilité, à l’emploi, au logement, aux démarches administratives, à l’usage du numérique, s’affirmer, etc.
• L’autodétermination : choisir par soi-même, prendre ses propres décisions, etc.
• L’ordre social : se sentir accepté, apprécié, appartenir un groupe, etc.
• L’intégrité : s’estimer, se sentir respecté, trouver sa place, savoir dans quelle direction aller, etc.
• Le bien-être : se sentir bien, en forme, en bonne santé physique et psychologique.

Ce travail sur les parties prenantes, leur caractérisation et leurs besoins peut par exemple s’appuyer sur des personae, utilisateurs ou bénéficiaires type de la solution évaluée, comme le Labo E&MISE a pu le faire dans l’évaluation d’impact sur le rôle du facilitateur de parcours pour LADAPT Normandie (figure 3).

Figure 3 : Personae en situation de handicap accompagnés par un facilitateur de parcours – Source : Labo E&MISE ESSEC, d’après une étude réalisée pour LADAPT Normandie

Construire une théorie du changement adaptée à une intervention dans le champ du handicap

« Une théorie du changement (ToC) est une vision explicitement documentée (et donc évaluable) de la façon dont on pense que le changement doit se produire » selon Rick Davies (2008).

Adapté au champ du handicap, il s’agit donc de modéliser comment une intervention peut ou a pu contribuer à des changements pour des personnes handicapées, pour leurs proches ou pour les professionnels qui les accompagnent. Ainsi, pour le programme PHARES déployé par l’Essec, cette vision du changement pour des jeunes personnes handicapées peut se présenter sous la forme d’un tableau liant les besoins non couverts aux résultats et impacts envisagés  (figure 4).

Figure 4 : Exemple de théorie du changement, Programme PHARES de l’ESSEC – Source Labo E&MISE

S’appuyer sur un référentiel d’indicateurs adapté

Une fois la théorie du changement conçue, le choix des indicateurs mesurés revêt une importance particulière. S’ils peuvent faire l’objet d’une création ad hoc, un certain nombre de ressources peuvent servir d’inspiration pour identifier des indicateurs d’ores et déjà validés par l’expérience ou la recherche.

Un certain nombre de standards et de référentiels généralistes peuvent être mobilisés dans la mesure où ils intègrent des dimensions pouvant s’appliquer au champ du handicap.

Il s’agit notamment :

• Des Objectifs de Développement Durable (ODD) adoptés par l’Organisation des Nations Unies et notamment des indicateurs reliés aux ODD n°4 (éducation de qualité) ODD 8 (travail décent et croissance économique), ODD n°10 (inégalités réduites), ODD n°11 (villes et communautés durables) et l’ODD n°17 (partenariats pour la réalisation des objectifs) (Conseil Français des personnes handicapées pour les questions européennes, 2021). Il pourra notamment être intéressant de s’appuyer sur la matrice montrant les liens entre ODD et la Convention relative aux droits des personnes handicapées (2018). 
• De la base IRIS développée par le Global Impact Investing Network (GIIN) et notamment des indicateurs reliés aux dimensions portant sur la diversité et l’inclusion, la santé, l’éducation et l’emploi (Par exemple : « Nombre d’employés à temps plein rémunérés ayant un handicap à la fin de la période de référence »).
• De l’outil Valor’ESS développé par l’UDES, avec le support d’Improve, et notamment des indicateurs reliés aux dimensions « Maintien de l’autonomie » (ex : « % des individus dont l’autonomie est maintenue  / développée grâce à l’intervention »), « Santé », « Insertion professionnelle », « Réduction des inégalités ».

Pour aller plus loin dans la mesure de dimensions liées au handicap, il est également possible de s’appuyer sur des outils, questionnaires et échelles développés par des acteurs du monde de la recherche (figure 5). Ces instruments permettent une mesure précise d’une ou plusieurs dimensions clés dans la prise en charge du handicap. Ils sont cependant coûteux et complexes à mettre en œuvre. Leur utilisation est à privilégier pour des études longitudinales, nécessitant des données précises sur la situation des bénéficiaires et lorsqu’il est possible de mobiliser des ressources pour interroger en face-à-face ou observer des bénéficiaires.

Figure 5 : Ressources utiles sur l’évaluation de dimensions propres au handicap – Source Labo E&MISE ESSEC

S’appuyer sur des données de comparaison étayées

Afin de pouvoir comparer les données collectées, il peut également être utile, dans le cadre d’évaluations d’impact social sur le handicap de s’appuyer sur des données existantes :

• Des enquêtes statistiques nationales liées au handicap menées notamment par l’INSEE et la DREES et notamment :
  • L’enquête « Handicaps, Incapacités, Dépendance » [HID] de 1998-2001
  • L’enquête « Handicap-Santé » [HS] de 2007-2009,
  • L’enquête PHEDRE de l’Irdes et de la DREES de 2020 – 2021,
  • L’enquête auprès des bénéficiaires de minima sociaux réalisée par la DREES en 2018, auprès, entre autres, des bénéficiaires de l’allocation adulte handicapé (AAH), 
  • Les enquêtes quadriennales de la DREES auprès des établissements d’hébergement pour personnes handicapées ou pour personnes âgées,
  • Les enquêtes annuelles de la DEPP auprès des établissements scolaires et auprès des établissements médicosociaux scolarisant des enfants,
  • Les enquêtes généralistes menées chaque année par l’Insee telles que l’enquête Emploi ou l’enquête statistique sur les ressources et conditions de vie (SRCV).
• Des bases statistiques nationales sur :
  • Les bénéficiaires de l’APA (RI-APA),
  • Les bénéficiaires de la PCH (RI-PCH), 
  • Les bénéficiaires de l’AAH dans le cadre du panel ENIACRAMS, 
  • Les bénéficiaires d’une pension d’invalidité dans le cadre de l’EIR,
  • Les personnes accueillies dans les structures médico-sociales (Base BADIANE en construction, ).
• D’autres données nationales sur le handicap sont disponibles au sein des caisses de sécurité sociale et de prestations sociales  (CNSA, CNAF, CNAM, caisses de retraite), des opérateurs de l’État (Agefiph, FIPHFP…), des organismes de recherche (enquêtes de l’Ined, de l’Irdes, de l’Université Paris-Dauphine…)
• Dans certains cas, d’autres évaluations d’impact social menées sur des projets spécifiques au handicap. Nous en dressons ci-dessous une liste non exhaustive d’évaluations finalisées (figure 6).

Figure 6 : Liste non exhaustive d’études d’impact social ou d’utilité sociale réalisées en France

Dispositif évalué	Structure porteuse	Catégories de publics visés	Types de handicap visé	Structure évaluatrice
L’Arche en France	L’Arche	Adultes	Handicap mental	GREUS
Simon de Cyrène	Simon de Cyrène	Adultes	Handicap acquis	GREUS
Communication Alternative Améliorée	Croix-Rouge française	Enfants et adultes	Tout type de handicap altérant la communication	Croix-Rouge Française
Plateforme d’aide à la mobilité de personnes en situation de handicap ou de perte d’autonomie	Mon Copilote	Enfants et adultes	Tout type de handicap	Labo E&MISE ESSEC
Programme « Autisme et numérique ».	Fondation Orange	Enfants et adultes	Troubles du spectre autistique	Kimso
Projet personnalisé	Comme Les Autres	Adultes	Lésions médullaires traumatiques Maladies dégénératives	Improve
Up Emploi	Up for Humaness	Adultes	NC	Improve
Prise en charge des troubles psychiques	ClubHouse France	Adultes	Troubles psychiques	Université de Paris Ouest Nanterre
UNAPEI Régionales	UNAPEI	Enfants et adultes	Tout type de handicap	Ellyx
Protection juridique de majeurs par les mandataires professionnels	IFPJM FNAT UNAF UNAPEI	Adultes	Tout type de handicap	Citizing

Ainsi, l’application de l’évaluation de l’impact social au champ du handicap présente des enjeux spécifiques : recueil et usage de la parole des personnes bénéficiaires de l’évaluation, évaluation de l’innovation sociale, valorisation des démarches. Evaluer des interventions liées au handicap implique également une attention particulière à des éléments spécifiques : implication des parties prenantes, travail de caractérisation et d’analyse des besoins, choix des indicateurs. 

Dans un second article, nous verrons comment passer des indicateurs à la mesure concrète, au travers de la collecte de données et ce qu’elle implique pour un public en situation de handicap. Nous verrons aussi comment l’usage des résultats de ces études peut contribuer à l’amélioration concrète des interventions dans le champ du handicap.

Retrouvez tous les mois notre veille internationale sur l’évaluation d’impact social sur la page LinkedIn du Labo. Des questions ? Des propositions de contributions ou des solutions pour l’évaluation d’impact social ? Contactez-nous via louis.raynauddelage@essec.edu ou  leclerc@essec.edu  

Note de Veille rédigée par Louis Raynaud de Lage sous la direction de Thierry Sibieude et Elise Leclerc