Le dispositif d’évaluation est en effet la clé de voûte d’une construction juridique et financière à trois voix (opérateur social, puissance publique, financeurs privés), du contrat à impact social. D’une part la logique financière du contrat repose sur les résultats objectivés par l’évaluateur, d’autre part l’évaluation doit pouvoir contribuer à une logique d’expérimentation sociale1 . Comment dès lors répondre à ce double enjeu tout en restant au service de la dynamique du projet ?
Le contrat à impact social (CIS) est la version française du social impact bond (SIB) britannique, dont la première expérimentation date de 2010, sur un programme de diminution de récidive des personnes condamnées à de courtes peines dans la prison de la ville de Peterborough (Royaume-Uni). Les SIB se sont ensuite timidement développés ; on en dénombre environ une centaine sur une vingtaine de pays2, 3 . Deux études de cas4 publiées par l’Avise et l’Impact Invest Lab5 en collaboration avec KPMG ainsi qu’une monographie publiée par la Fonda permettent d’aller plus loin sur le sujet.
Le principe général du CIS est le suivant : un investisseur privé assume un risque financier dans l’espoir d’un gain en cas d’atteinte d’objectifs d’impact social par le programme financé. Le cas échéant, l’autorité publique rembourse ou verse des intérêts à cet investisseur si les objectifs sont atteints ou dépassés. En cas d’échec l’investisseur n’est pas remboursé ; il est alors nécessaire de disposer d’un dispositif d’évaluation solide et indépendant (universités, cabinet de conseil…) pour établir de façon objective et opposable l’atteinte des objectifs du programme.
Dans l’exemple de la ville de Peterborough (cf. schéma ci-dessous), le remboursement des investisseurs se faisait à l’aune d’un indicateur : la fréquence de nouvelles condamnations résultant d’infractions commises dans les douze mois succédant la sortie de prison. Une baisse moyenne de 10% de récidive constatée entre un groupe de bénéficiaires et de non bénéficiaires du programme conditionnait le remboursement.
En France, les premiers CIS ont vu le jour à travers le lancement d’un appel à projets par le ministère de l’Économie et des finances en 2016. La construction des éléments juridiques, financiers et évaluatifs de ces contrats ayant généré des délais importants, la plupart des CIS français ont démarré à la rentrée 2018, limitant à ce jour les retours d’expérience, hormis pour le CIS de l’Adie portant sur l’insertion de personnes éloignées de l’emploi en milieu rural.
Choisir et suivre des indicateurs de performance sociale : quels enjeux pour le projet ?
L’évaluation dans le cadre d’un CIS vise en premier lieu à vérifier l’atteinte des objectifs du programme pour pouvoir enclencher les remboursements financiers. En amont même de l’évaluation, c’est le choix du ou des indicateurs permettant de vérifier cette atteinte qui est déterminant.
Ce choix doit concilier un objectif de performance sociale et un risque financier que les investisseurs sont prêts à consentir. La définition des indicateurs – sectoriels ou propres au contrat – nécessite donc un accord entre les parties prenantes, accord qui peut influencer l’ambition portée par le projet. Par exemple, un objectif de retour à l’emploi pourra présenter un degré d’ambition très variable selon la définition que l’on donne du « retour à l’emploi » (signature d’un contrat d’intérim ? D’un CDD de plus de 6 mois ? D’un CDI ? ...).
L’étude de cas du SIB portant sur la réinsertion par le logement de personnes sans-abri dans la ville de Denver illustre ainsi la nécessité de définir précisément les indicateurs du programme : pour évaluer le programme, le choix des parties prenantes s’est porté sur un indicateur de résultat sur la stabilité dans le logement (les individus passent la nuit dans leur logement pendant au moins douze mois) et un indicateur d’impact de diminution de nuitées en prison par rapport à un groupe témoin.
De la même manière, le choix du type d’indicateur d’impact, de résultats ou de moyens, induit un niveau de performance assigné au projet plus ou moins important. Le SIB de la ville de Peterborough se basait sur un seul indicateur d’impact : la diminution de 10% de la récidive pour les bénéficiaires du programme. Le choix d’un indicateur de résultat (par exemple un taux de récidive pour les bénéficiaires sans comparaison avec une situation existante) ou un indicateur de moyens (par exemple le nombre d’accompagnements réalisé auprès des prisonniers) n’aurait pas présenté le même niveau d’exigence pour le projet.
Les indicateurs doivent d’autre part éviter de susciter des incitations dites « négatives ». En effet, les résultats de l’évaluation étant étroitement liés au financement du programme, il peut être tentant d’écarter certains bénéficiaires afin d’assurer l’atteinte des objectifs. Un dispositif de sélection positive peut pallier ce risque ; l’Adie s’assure ainsi via un questionnaire administré à l’entrée du programme que les caractéristiques des bénéficiaires répondent bien au public visé dans le cadre du CIS.
« Le suivi d'indicateurs de performance peut constituer un vrai changement de culture pour la structure.»
Enfin, l’évaluation permet d’attester l’atteinte des résultats et les rendre opposables. Tout au long du CIS seront vérifiés les conditions de collecte des données et le respect des étapes d’accompagnement des bénéficiaires prévues en amont. Or il y a un enjeu à concilier cette logique de conformité aux termes du CIS avec la logique d’évolutivité inhérente à tout projet d’expérimentation sociale. Il faut donc trouver le juste équilibre entre respect du dispositif contractuel et souplesse de l’expérimentation sociale. Par ailleurs, le suivi d’indicateurs de performance peut, pour la structure porteuse, constituer un vrai changement d’approche et de culture.
Des approches contrefactuelles et qualitatives au service de l’expérimentation sociale
En complément des indicateurs de paiement, le dispositif d’évaluation s’appuie également sur des approches contrefactuelles, pour apporter la preuve de l’impact en comparant un groupe de personnes bénéficiaires du programme avec un groupe non bénéficiaire.
Quelques exemples :
- SIB de la ville de Denver : les bénéficiaires et non bénéficiaires du programme sont tirés au sort pour constituer des groupes de comparaison.
- SIB Duo for a job en Belgique, portant sur un service d’accompagnement intergénérationnel à destination de jeunes personnes issues de l’immigration : comparaison simple entre bénéficiaires et non bénéficiaires.
- CIS de l’Adie : comparaison des résultats des bénéficiaires avec les données publiques.
Si elle fournit des éléments d’opposabilité pour la partie financière du contrat, l’approche contrefactuelle permet également d’apporter la preuve plus ou moins scientifique du bien-fondé du projet expérimenté. Néanmoins, elle peut être lourde, coûteuse et, lorsqu’un groupe de comparaison réel doit être mis en place, représenter un dilemme éthique pour l’opérateur, l’obligeant à écarter des bénéficiaires potentiels du programme.
Les indicateurs de résultats ainsi que les éléments contrefactuels ne permettent donc pas de répondre entièrement à une logique d’expérimentation sociale, qui passe par l’analyse des conditions de réussite d’un programme et des éléments à intensifier ou corriger dans ce dernier. Le dispositif d’évaluation doit ainsi être complété par une approche qualitative.
Dans le cadre du SIB de la ville de Denver, la partie financière de l’évaluation a par exemple été complétée de deux évaluations, l’une permettant de mesurer les effets plus larges du dispositif d’insertion de personnes sans abri (comparutions devant la justice, temps passé en hébergement d’urgence…), l’autre de comprendre et approfondir les mécanismes conduisant à une insertion réussie attribuables au programme.
Le dispositif d’évaluation dans un CIS doit, en conclusion, varier les approches : indicateurs permettant le remboursement des investisseurs, présence d’un contrefactuel et dimension qualitative, en veillant à éviter toute externalité négative pour le projet et ses bénéficiaires. Ce dispositif demeure néanmoins complexe à mettre en œuvre, et pose la question de savoir si le CIS peut être un outil financier au service de l’innovation sociale, réplicable à l’avenir et adaptable à différentes échelles. Les retours d’expérience des premiers contrats à impact social français apporteront des éléments de réponse.
- 1On peut définir l’expérimentation sociale comme « une méthode qui permet l’évaluation d’innovations sociales déployées à petite échelle avant d’en envisager leur généralisation » (l’expérimentation sociale à l’épreuve du terrain, Agence Nouvelle des Solidarités Actives, 2014)
- 2,L’émergence des social bonds en Europe. Hans Deblieck, Pour la solidarité, 2017 http://www.pourlasolidarite.eu/fr/publication/lemergence-des-social-impact-bonds-en-europe
- 3Quel avenir pour les contrats à impact social ?, E. Stievenart, H. L’Huillier, Cabinet KIMSO, 2017 https://www.kimso.fr/publications
- 4 Evaluation d’un programme de lutte contre la récidive de sortants de prison, Etude de cas, Avise, 2016 https://www.avise.org/ressources/evaluation-du-premier-social-impact-bond-sib; Evaluation d’un programme de réinsertion de personnes sans-abri, étude de cas, Impact Invest Lab, 2017 https://www.avise.org/ressources/evaluation-du-social-impact-bond-supportive-housing-for-denver
- 5 L’Impact Invest Lab est une plateforme d’expérimentation et de développement de l’investissement à impact social, portée par un collectif dont les ambitions sont de contribuer au débat, à l’expérimentation, à l’accélération du développement de l’investissement à impact social en France. Pour plus d’informations : https://iilab.fr/
