De la solidarité au contrat : la mesure d’impact social en ESS

L’intérêt pour la mesure d’impact social en économie sociale et solidaire (ESS) se confirme année après année. Chaque organisation, à un moment ou un autre de son développement, en vient à s’interroger sur les effets qu’elle génère, dans le but d’améliorer son efficience et les retombées de son action, mais aussi d’accroître la reconnaissance dont elle jouit auprès de parties prenantes externes. Les bailleurs de fonds expriment aujourd’hui leur volonté de mieux connaître les effets de leur apport financier. On passe d’une culture de la redistribution à celle de l’investissement social. Ce nouvel intérêt se manifeste par des exigences de démonstration pour lesquelles les organisations se sentent souvent peu ou mal équipées. 
 

Ancienne pratique, nouveau courant ?

Dans les faits, les organisations de l’ESS ont l’habitude de l’évaluation. Les pratiques varient beaucoup, allant de la reddition de compte axée sur des objectifs de résultats déterminés a priori (comme c’est le cas de programmes gouvernementaux), à la divulgation volontaire axée sur des pratiques responsables sur le plan social ou environnemental (bilan coopératif, bilan sociétal, audit social). Or, la montée du courant de l’investissement social au cours de la dernière décennie est venue bousculer ces habitudes.

Au cœur du modèle est la volonté des bailleurs de fonds, qu’ils soient publics ou caritatifs, de « voir » les effets de leur action. Le courant de la finance sociale va plus loin en souhaitant mobiliser le capital de risque pour générer un rendement à la fois social et financier. Ce modèle présume d’une meilleure efficacité des services sociaux par l’injection de capitaux privés et par l’obligation de démonstration des résultats, comme on le voit avec les contrats d’obligations d’impact social (social impact bonds). 

Et qui dit rendement dans une logique financière dit capacité à mesurer et éventuellement comparer les effets générés par les organisations financées. Ce type d’attente conduit à diverses pratiques, allant de la joute orale entre les entrepreneurs sociaux qui sollicitent le financement à l’obligation d’établir des protocoles de recherche coûteux visant à démontrer l’impact net du financement obtenu.

L’évaluation et la mesure d’impacts se fondent sur des méthodologies plus ou moins qualitatives (études de cas, narrations, etc.) ou quantitatives (essai aléatoire contrôlé, suivi populationnel, etc.) ; le plus souvent un mélange des deux. Les choix méthodologiques sont déterminés par les caractéristiques de l’activité ou de l’intervention qui sera évaluée. Ainsi, plus les conditions sont contrôlées, plus les sujets sont sélectionnés sur la base de critères homogènes, plus l’efficacité de la mesure sera élevée. 

Inversement, l’efficacité des mesures d’impact diminue quand on introduit de la variabilité dans les caractéristiques individuelles des sujets, les modes de pratiques des professionnels, ou encore l’accessibilité de l’intervention ou de l’activité.

On pressent d’emblée la difficulté d’appliquer ce type d’approche – fortement inspirée de l’épidémiologie clinique – à une grande partie des organisations de l’ESS qui, par leur nature, adaptent leurs activités, leurs interventions et leurs processus aux caractéristiques des territoires et des personnes qu’elles desservent, et ajustent avec agilité leur offre à l’évolution du contexte. 

On voit néanmoins apparaître une nouvelle génération d’initiatives et d’indicateurs de mesures d’impact axés sur les besoins du monde financier1  : Impact Reporting and Investments Standards (IRIS), Retour social sur l’investissement (SROI), Global Impact Investing Ratings System (GIIRS) portés par le B-Lab, Mesure et suivi de l’impact social (MESIS) des investissements en France.

Cette soupe à l’alphabet d’initiatives nous aurait donc permis d’entrer, du moins dans les discours, dans une ère de mesure d’impact des initiatives à visée sociale. Y aurait-il là-dedans des indicateurs appropriés pour l’ESS ? Prenons le temps de clarifier ce que cela implique.
 

L’impact social comme discours

La notion même d’impact social, quand on s’y penche, est contestée et imprécise. Disposons tout de suite du qualificatif social qui, d’une organisation à l’autre, prend tellement de sens différents qu’il en vient à désigner les effets observés chez les individus, leur communauté et leur environnement, et ce, à court, moyen et long termes. Les aspects économiques et environnementaux faisant également partie de cette définition – prenons par exemple la répartition plus équitable de la richesse ou le marché du carbone –, les impacts sociaux désignent au final tous les impacts. On parle d’ailleurs d’impacts « sociétaux » pour traduire cette réalité.

Concernant l’impact, la littérature sur le sujet (principalement anglophone) recourt à cette notion pour désigner la portion des résultats qui découle de l’activité, au delà de ce qui serait arrivé de toute manière.  En français, on dit généralement que l’impact est la somme des effets visés et des autres effets, favorables et défavorables, anticipés et non anticipés, qui découlent d’une activité ou d’une intervention2 .

 
L’impact serait donc l’effet causé par une activité. C’est dire qu’il lui est attribuable. Or, cette notion d’attribution est lourde de sens. En effet, pour attribuer un lien de cause à effet, trois conditions classiques sont à rencontrer : 

1. la cause doit précéder l’effet (dimension temporelle),
    
2. les deux variables doivent être reliées empiriquement (présence de variations concomitantes),
    
3. la relation entre les deux variables ne peut être expliquée par une troisième variable. Il est généralement nécessaire d’établir un « contrefactuel », c’est-à-dire la situation ou condition dans laquelle se trouveraient les personnes, organisations ou groupes concernés si l’intervention n’avait pas eu lieu. Puisqu’on n’observe jamais ce contrefactuel, plusieurs suggèrent de le simuler en recourant à l’essai aléatoire contrôlé (randomized controled trial). Les défis pratiques, éthiques et méthodologiques que pose cette approche sont cependant nombreux. Si cette méthode peut être appropriée dans une logique de faire progresser les connaissances et de trouver « ce qui marche », ce n’est pas vrai de tous les contextes. 

La complexité des interactions au sein d’une société fait en sorte qu’il est souvent bien difficile d’attribuer, c’est-à-dire de confirmer une relation causale entre les changements observés (ou que l’on s’attend à observer) et une action spécifique. Pour cette raison, on recourt souvent à diverses méthodes qui permettent plus modestement d’établir une relation de contribution, soit de dire qu’à la lumière des multiples facteurs ayant une influence sur le résultat, l’intervention a eu un effet perceptible. 

Divers degrés d’efficacité peuvent être mesurés, entraînant des choix méthodologiques plus ou moins lourds et coûteux. Si l’on parle d’effets «apparents», il s’agira de procéder à une collecte systématique et suivie dans le temps de données auprès des participants. Des effets « démontrés » appelleront à une collecte de données auprès de participants et non particpants par un évaluateur externe. Les effets « prouvés » sont ceux qui exigeront une étude expérimentale de type essai aléatoire contrôlé3 .

Ceci dit, bien qu’il y ait une très grande demande pour la mesure d’impact social, notamment sous l’impulsion de la finance sociale, les systèmes reconnus de mesure comme les indicateurs IRIS et le modèle du B Lab portent davantage sur les activités et les extrants que sur les impacts comme tels.

Ainsi, la théorie cède le pas à la pratique, la prescription à la description, et c’est un impact galvaudé que nous servent la plupart des discours. Or, si l’impact n’est pas une mesure, c’est tout de même un cri de ralliement dans le monde de la finance et de l’entrepreneuriat social. Les investisseurs d’impact sous-estiment sans doute le poids qu’ils font porter aux organismes qu’ils financent en exigeant de leur part des mesures d’impact standardisées. 

Indicateurs d’impacts sociaux de l’ESS – le cas d’une institution financière solidaire au Québec 

Au delà de cette analyse, il est tout de même utile de s’intéresser aux effets produits par les organisations de l’ESS et ceux qui les financent, que ce soit pour les améliorer ou les mettre en valeur. 

C’est ce que fait une étude portant sur une institution de la finance solidaire (IFS) au Québec : le Réseau d’investissement social du Québec (RISQ)4 . Partant de l’idée que les impacts de l’ESS sont en partie liés aux rôles socio-économiques que jouent ces entreprises5 , l’analyse de 435 dossiers d’entreprises d’ESS financées sur seize années établit que celles-ci : 

• produisent des biens ou services générant des retombées collectives pour leurs membres et pour la société (ex. services sociaux, formation, développement territorial) ou pour lesquels le consommateur souhaite une relation de confiance avec leurs producteurs ou vendeurs (ex. produits de l’agriculture agrobiologique, commerce équitable) ; 
• exercent un contre-pouvoir de marché (coopératives de producteurs, de travailleurs ou de consommateurs) ; 
• offrent de la formation ou des emplois à des personnes généralement exclues du marché du travail (décrocheurs, handicapés, jeunes sans expérience) ;
• opèrent en zones fragiles sur le plan de l’économie ou de l’emploi et fortement dépendantes des transferts publics. 

Ces rôles n’étant pas tous mutuellement exclusifs, plusieurs entreprises en combinent plus d’un.
 

En fait, le RISQ, tout comme les autres prêteurs de la finance solidaire qui recourent au Guide d’analyse des entreprises d’économie sociale6 , n’utilise pas l’impact comme critère d’investissement et c’est là une différence cruciale.

Tous observent plutôt les caractéristiques qui font que l’organisation d’ESS a des chances de succès, notamment celles qui sont spécifiquement liées à sa nature sociale et collective : sa finalité sociale, son ancrage dans la communauté, la qualité de sa gouvernance, la pertinence de sa solution pour les besoins du milieu, etc.

L’étude a notamment démontré que cette grille d’évaluation et la rigueur de son application par les analystes de l’IFS conduisent à financer des projets dont la viabilité économique et sociale se confirme et se maintient sur le long terme. 

Concluons avec les quelques suggestions suivantes :

— La démocratie comme méthode. Plutôt que de voir des financeurs d’impact imposer des mesures de contrôle externe afin d’évaluer la pertinence d’une organisation à l’aune de l’impact qu’elle parvient à démontrer, pourquoi ne pas favoriser la participation des principaux intéressés (membres, employés, communauté, etc.) dans des processus d’évaluation négociés et délibératifs ?

— Approfondir l’analyse. Cessons d’entretenir la confusion en parlant de mesure d’impact à tout vent. Chaque organisation d’ESS génère plusieurs résultats désirables à différentes étapes de vie, autant par sa manière de procéder que par les objectifs sociaux qu’elle vise. De plus, ces organisations s’inscrivent dans un écosystème et forment, ensemble, un tissu à l’échelle locale ou régionale. Elles sont donc responsables de la production d’un impact collectif. Il importe de raffiner notre analyse pour apprécier pleinement cette contribution. 

— Développer une culture de l’évaluation. Les organisations de l’ESS ne devraient pas attendre passivement qu’on leur impose des mesures d’impact qui ne leur conviendraient pas. Elles doivent s’approprier l’évaluation. Il importe de se doter de compétences internes, d’avoir une vision claire des effets visés dans sa planification stratégique et de se munir d’instruments de collecte d’information permettant de suivre le progrès avant, pendant et après une intervention ou une activité. Les organisations produisent pléthore d’informations ; il manque souvent un système pour les organiser afin de les rendre lisibles et disponibles en temps voulu. 

— Demeurer vigilant. Il faut aussi conserver une vigilance quant à l’effet du courant pour la mesure d’impacts. Le but est de veiller à ce que celui-ci n’agisse comme un filtre implicite pour ne retenir que les causes sociales qui sont visibles, délaissant les problèmes persistants de faible intensité, ceux-là mêmes que le système a de plus en plus de mal à endiguer sans l’aide d’organismes spécialisés implantés localement7 . Il faut accepter que parfois, ce qui compte le plus ne se quantifie pas bien.

• 1Voir les fiches synthèses concernant la mesure d’impacts sur le site de Territoires innovants en économie sociale et solidaire : http://www.tiess.ca/evaluation-et-mesure-dimpact-en-economie-sociale/
• 2Martine Leblanc-Constant et Claire Bard 2013. Glossaire des termes usuels en mesure de performance et en évaluation : pour une gestion saine et performante, Québec, Secrétariat du Conseil du trésor, 2013.
• 3Marc J. Epstein et Adriana Rejc Buhovac, Mesure de la performance des organismes sans but lucratif, Société des comptables en management du Canada et American Insitute of Certified Public Accountants, 2014.
• 4 Marie J. Bouchard (dir), Léa Leduc-Berryman, Maude Léonard, Jean Matuszewski, Damien Rousselière, Sonia Tello-Rozas, Analyse du rôle du réseau d’investissement social du Québec (RISQ) dans l’écosystème d’économie sociale et estimation des retombées économiques et fiscales de ses investissements - 1998-2014, Montréal, université du Québec à Montréal / E&B Data, 2017. En ligne : https://passerelles.quebec/system/files/upload/documents/posts/bouchard_et_al_2017_risq.pdf
• 5Voir entre autres : Avner Ben Ner et Theresa Van Hoomissen (1991), “Non-profit Organizations in a Mixed Economy”, Annals of Public and Cooperative Economics, 62, 4, 1991: 519-550 ; Henry Hansmann, “The Role of Nonprofit Enterprise”, Yale Law Journal, 89, 5, 1980: 835-901 ; Burton Weisbrod, The Economics of Nonprofit Institutions, New York, NY, Oxford University Press, 1975.
• 6https://fonds-risq.qc.ca/guide-et-formation/guide/. Ce guide a été traduit en 6 langues et des formations sont offertes en Amérique, en Europe et en Asie.
• 7Taïeb Hafsi et Saouré Kouamé, La Solidarité en crise. Centraide et la nouvelle philanthropie, Montréal, Éditions JFD, 2018.