Evaluer l’utilité collective des dynamiques associatives

par Henri Faure, paru dans La Tribune fonda n°180-181 août-octobre 2006
PDF - 53.3 ko

La notion d’évaluation ne cesse de prendre de l’importance tandis que de nouveaux experts se réclament de cette compétence. Lorsqu’elle n’a pas été une procédure de contrôle déguisée, l’évaluation s’est notamment développée dans le domaine des politiques publiques pour que soient appréciés leurs résultats et les modalités d’action qui permettent de les atteindre. L’évaluation intervient alors en référence aux objectifs visés par ces politiques, aux programmes établis par elles a priori et aux moyens employés pour l’exécution « normale » de ces programmes.
Il arrive que la mise en œuvre de certaines politiques publiques soit assurée ou accompagnée par l’intervention et les prestations d’associations subventionnées pour pallier l’insuffisance ou l’absence de services publics.
L’utilité publique, octroyée et reconnue dans ce cas aux associations ainsi impliquées, ne constitue cependant pas la seule contribution de celles-ci à l’élaboration du bien commun. Dans de très nombreuses situations, les dynamiques associatives sont productrices d’une utilité collective dont elles rendent, dans le cadre de leur propre projet et par leur seule initiative, l’émergence possible et visible. Il s’agit souvent d’actions engagées par des associations « associées » sur un territoire donné ou pour un domaine d’intervention choisi.
L’évaluation de cette utilité collective ne pourra pas trouver ses critères de référence dans des objectifs ou des moyens préalablement mis au service d’une fin clairement identifiée. Il s’agira plutôt d’évaluer « l’innovation ordinaire » qu’auront produite ces associations, seules ou en réseau. Il faudra savoir mettre en œuvre une autoévaluation de leurs interventions, et en « inventer » les critères de référence.
C’est l’ambition de la démarche d’autoévaluation des associations et de leur utilité collective, proposée par la fonda Rhône-Alpes, que nous présentons sommairement ici.

Utilité collective et dynamiques associatives

Plusieurs spécificités méritoires identifient clairement l’utilité collective des associations : primauté de la personne, exigence de non-lucrativité et de solidarité, dynamisation du tissu social et formation citoyenne, fonction d’avant-garde, de veille et d’innovation sociale. De nombreuses valeurs sont aujourd’hui largement reconnues aux associations pour définir leur utilité collective potentielle : primauté du projet et finalité de l’action associative, fonctionnement démocratique, capacité à mobiliser bénévolats et engagements, ouverture à tous et accueil de toutes les populations. Enfin, de nombreux critères évaluatifs et indicateurs quantitatifs caractérisent aussi l’utilité collective des dynamiques associatives : prise en charge de secteurs d’intervention peu ou mal couverts par les agents politiques, économiques ou administratifs, existence en contre partie de financements publics ou parapublics, gestion désintéressée, capacité à recueillir des dons, existence d’un agrément ministériel ou d’une habilitation, etc…

« La notion d’utilité collective permet de dépasser la connotation limitée de social dans un contexte qui impose de sortir des ‘‘compartiments ‘‘ pour saisir toute la complexité de phénomènes où le culturel prend de plus en plus de place. L’utilité collective présente en outre l’intérêt de mettre en avant une légitimité fondée sur l’action et construite dans l’action, c’est-à-dire avec et par les acteurs eux-mêmes. »

L’autoévaluation doit donc référer ses outils et méthodes à ce principe d’utilité collective pour être en mesure de montrer précisément comment actions et acteurs « associés », en coopération, se réassemblent dans une finalité d’intérêt général.

Dans cette perspective, l’évaluation doit savoir privilégier les dynamiques associatives. Au-delà de l’évaluation de leurs structures et de leurs fonctionnements, les associations doivent apprendre à autoévaluer leurs réseaux et les dynamiques de connexions sociales qu’ils produisent.

En contestant les représentations admises et en critiquant les pratiques acquises, l’autoévaluation contribue à modifier les regards traditionnellement portés sur les richesses, sur la valeur des choses, des personnes et de leurs associations ainsi que sur les habitudes d’action.
En se réalisant de manière collective et partagée, l’autoévaluation conjugue l’apprentissage des acteurs et le développement des réseaux de transformation sociale.

En mettant en évidence, en termes d’utilité collective, les effets des projets et des actions du secteur associatif, l’autoévaluation positionne celui-ci dans le champ politique pour un développement plus solidaire.

Les critères d’évaluation : quelques exemples

Deux modes de regroupement, à la fois des situations qui donnent naissance à des critères spécifiques et de ces critères eux-mêmes, peuvent être retenus dans une perspective pédagogique pour les acteurs et projective pour les actions : un regroupement par types de situations, un regroupement par grands ensembles de problématiques.

Par type de situations, on peut avoir un classement découlant du fait que celles-ci mettent plus particulièrement en évidence : soit les représentations et faits caractéristiques des relations internes ou des relations extérieures, soit les conditions et qualités de l’information ou de la communication, soit l’état actuel du (des) projet(s) et les processus de sa (leur) mise à jour.

Par grands ensembles de problématiques, on peut distinguer celles qui concernent plutôt les organisations (associations, réseaux, collectifs, etc…) et celles qui décrivent davantage les préoccupations des projets et de leurs évolutions souhaitables ou nécessaires.

Pour illustrer ce qui nous paraît caractériser le plus fortement les dynamiques associatives et les projets sociétaux sur lesquels elles inter-viennent ou desquels elles tirent leur raison d’être, nous retenons quelques exemples de critères spécifiques et nous écartons ici a priori les critères traditionnels portant sur les fonctionnements standards de toutes les formes d’organisation et qui s’apparentent davantage des procédures de contrôle ou d’audit que des processus d’évaluation.

Nous nous bornons à une liste, non exhaustive évidemment, et sans commentaires, de quelques exemples de critères et indicateurs (renvoyant à notre « guide » pour plus d’informations) :

– critères d’efficience et indicateurs de réalisation du fonctionnement démocratique : capacité d’expression et possibilité de participation à des instances de débat formelles ou informelles, capacité à construire un intérêt général, représentativité, formation citoyenne… ;

– critères d’efficience et indicateurs de réalisation des partenariats : nombre et types de partenaires constants, apports des partenariats en terme de relations, d’organisations conjointes, de réflexions thématiques, de participations auprès des pouvoirs publics… ;

– critères d’utilité et indicateurs d’impact sur l’orientation et la fonctionnalité des réseaux : plutôt tournés vers l’intérieur ou au contraire vers l’extérieur, réseaux fondés sur des affinités et appartenances ou relevant d’identités sociales et culturelles différentes ;

– critères d’utilité et indicateurs d’impact sur la forme des réseaux : réseaux rapprochés et caractérisés par des liens forts, réseaux diffus et fonctionnant avec des liens faibles, qualité et réciprocité des échanges dans ces réseaux… ;

– critères d’utilité et indicateurs d’impact sur la densité des réseaux : réseaux recoupés ou renforcés par l’association ou la situation évaluées, situations multipliant les échanges avec les personnes ou les groupes positionnés aux nœuds de plusieurs réseaux ;

– critères d’utilité et indicateurs d’impact sur les réseaux « passerelles » : établissant des liens entre les associations évaluées et les pouvoirs publics ou les appareils institutionnels avec lesquels elles sont en relation, qualité des échanges, des réunions, des comptes rendus, des décisions prises… ;

– critères d’utilité et indicateurs d’impact sur un « mieux vivre ensemble » : capacité à aller vers différents groupes d’âge ou de socialité, qualité des actions favorisant le croisement entre populations différentes, partenariats établis avec les acteurs de différents quartiers …

– critères d’utilité et indicateurs d’impact sur la réduction des inégalités : politiques tarifaires, accessibilité aux informations, aux activités, aux espaces de participation, capacité à relayer les informations des autres, modes de promotion sociale et culturelle proposés… ;

– critères d’utilité et indicateurs d’impact sur le désenclavement des quartiers : mode de connaissance des sous-ensembles de population, taux de fréquentation des structures en fonction de la provenance territoriale des adhérents et des populations, évolutions observées dans les relations entre ces populations diverses…

– critères d’utilité et indicateurs d’impact sur le développement de la citoyenneté : qualité des débats internes, organisation de délibérations dans l’espace public, capacité d’initiative des adhérents et des populations, actions intégrées à la démocratie locale…

– critères d’utilité et indicateurs d’impact sur l’identité du territoire ou du secteur : en quoi l’activité associative participe-t-elle de la reconnaissance d’une identité territoriale ? banalisation du langage…

L’évaluation, étant définie par le fait qu’elle porte sur les actions qui ont conduit de telle étape à telle autre, n’est ainsi accessible qu’aux acteurs eux-mêmes et est nécessairement une autoévaluation.

La démarche d’autoévaluation et ses étapes

Les critères que nous venons de décrire sommairement ont, pour la plupart, été conçus et utilisés dans une expérimentation de la fonda Rhône-Alpes, réalisée à la demande de la ville de Grenoble, et qui s’est déroulée de juin 2002 à mai 2003. De juin 2002 à novembre 2002, ont été concernés : 21 structures, 5 secteurs associatifs et quelques autres organisations, 3 groupes d’élus, 2 services de la municipalité. Pendant cette période ont été réalisés : 22 entretiens, 7 réunions, 1 observation participante. De décembre 2002 à mai 2003 avec les mêmes structures, services et secteurs, ont été assurés 18 entretiens, ont été tenues 17 réunions. Deux rapports ont été rédigés, l’un en cours d’expérimentation, l’autre suite à l’intervention de la fonda.

Une attente forte de la ville consistait à redynamiser le secteur associatif concerné dans sa dimension politique : redonner du sens à son action, au service d’un territoire et avec la population, en la situant dans les enjeux sociétaux et locaux, contemporains.

Ces enjeux étaient nombreux, il s’agissait de : redynamiser le secteur associatif dans sa vocation citoyenne ; valoriser l’utilité sociale des associations, en particulier celles du secteur socioculturel et éducatif ; reconstruire un projet associatif à moyen terme et donc redonner du sens aux actions et modes d’intervention ; favoriser des dynamiques inter associatives au service d’un territoire et d’une population ; trouver des compromis entre les contraintes associatives et les contraintes municipales (politiques et techniques) ; apporter un soutien aux équipements en difficultés (dégradations, essoufflement…) ; favoriser l’élargissement des missions de la Maison des associations et son articulation avec celles du secteur socioculturel et éducatif ; redonner du sens à la place des fédérations.

Tel qu’il résulte de cette expérimentation et que nous le présentons ici le processus d’autoévaluation n’a rien d’une procédure de contrôle confié à un expert technique. C’est une démarche participative, avec l’aide souhaitable d’un tiers extérieur, démarche impliquant directement tous les acteurs concernés, qu’ils appartiennent aux structures évaluées, qu’ils soient bénéficiaires ou usagers de ces organisations, qu’ils soient partenaires ou financeurs, qu’ils soient porteurs de projets thématiques particuliers ou habitants des territoires considérés. Nous ne préciserons pas ici les nombreux outils de gestion (et leur usage) qui bien évidemment sont nécessaires et doivent être mis au service de l’évaluation.

L’organisation d’une démarche d’autoévaluation ainsi définie peut prendre différentes formes suggérées par le contexte dans lequel on se trouve : associations, collectifs, réseaux, territoires...

Cette organisation, seulement « possible », ne s’impose pas nécessaire-ment a priori de cette manière. Souplesse d’organisation et rigueur de méthode doivent en effet être combinées et conciliées pour préserver, préparer et accompagner l’autonomie des acteurs dans leur action réfléchie d’autoévaluation.

Cinq grandes phases s’inscrivent cependant dans une chronologie faite de passages obligés : 1) une phase de présentation et de préparation de la démarche pour préciser à qui et à quoi doit servir l’évaluation, pour clarifier aussi les notions essentielles ; 2) une phase d’organisation et de choix stratégique pour la collecte des données quantitatives et des informations utiles ; 3) une phase de choix de situations pour la mise en place, la constitution puis le suivi (comité de pilotage) d’ateliers d’évaluation ; 4) une phase d’élaboration en vue de la conception des critères d’évaluation et des indicateurs ; 5) une phase de conclusions et de propositions (assem-blées plénières) pour la mise à jour du projet associatif.

- Présentation et préparation de la démarche. Les principales étapes-objectifs de cette première phase visent à la fois la clarification des enjeux et celle des notions majeures.

Dans une première étape, une assemblée plénière des acteurs concernés permet, la présentation de l’autoévaluation et l’organisation d’ensemble de sa mise en œuvre. Il s’agit d’expliciter clairement à qui elle va servir et à quoi.

L’autoévaluation va servir aux acteurs engagés mais aussi à ceux qui (partenaires, populations, secteurs, thèmes…) en seront bénéficiaires. L’autoévaluation va servir à l’élaboration ou à la conception renouvelée des projets associatifs visant l’utilité collective sur un territoire donné, liant ainsi vie associative et politiques publiques : apports de la première en termes d’innovations sociales, d’interpellations politiques, de « productions » économiques. Un débat doit s’ouvrir à propos de ces finalités.

Dans une deuxième étape, les acteurs engagés devront s’accorder sur la temporalité de la démarche et sur le langage.
La temporalité de l’autoévaluation est définie par les situations évaluées et vécues par les acteurs. Un calendrier est défini, l’articulation des différents intervenants est précisée dans ce calendrier. Il convient alors de préciser le point de départ du projet et de l’engagement des personnes impliquées. L’autoévaluation implique en effet une délimitation et une définition précise de son champ d’intervention, de son étendue dans le temps et du collectif des partenaires sollicités.

Un langage commun doit être adopté par tous les acteurs de l’autoévaluation, même si ce langage n’a pas de « label » partout reconnu. Il faut que chacun comprenne et admette qu’en matière d’évaluation, ni le concept lui-même, ni la finalité, ni le vocabulaire employé ne sont stabilisés. Il peut être utile de définir d’abord l’autoévaluation par ce qu’elle n’est pas (audit, contrôle, inspection, etc…) tout en soulignant que l’autoévaluation emprunte cependant aux méthodes qui lui sont proches et en rappelant qu’évaluer n’est pourtant ni valoriser, ni valider.

- Organisation et choix stratégique de l’autoévaluation. Après avoir donné des objectifs à l’autoévaluation – trois objectifs au moins sont à rappeler permettant aux structures elles-mêmes de : se connaître, rendre visibles et communicables leurs spécificités, argumenter la revendication des espaces de liberté nécessaires à leurs activités – la démarche d’autoévaluation peut s’engager à partir d’un travail d’explicitation du fonctionnement démocratique de la (ou des) structure(s) concernée(s). Des exemples de problématiques majeures en fonction desquelles des situations doivent être recherchées et utilisées doivent ensuite être proposés.

Il convient, dans un deuxième temps, de donner des « objets » à l’évaluation et de décider du choix des parts de la démarche qui seront confiées au tiers extérieur et de celles qui seront demandées aux acteurs de l’intervention évaluative eux-mêmes. Dans cette perspective, on décidera si la collecte et le traitement des données quantitatives et des informations utiles seront confiés à un tiers extérieur intervenant ou aux acteurs eux-mêmes. On procédera ensuite à la sélection des situations de l’action les mieux à même de croiser les différents acteurs, les différentes structures, les différents territoires, les différents projets que porte l’action retenue.

- Choix de situations et constitution d’ateliers d’évaluation. La réflexion conjointe des acteurs et du tiers extérieur ayant abouti au repérage d’un certains nombre de situations « exemplaires » capables de porter efficacement le travail de l’autoévaluation, un choix, parmi ces situations, doit être fait pour retenir celles qui donneront lieu à la création d’ateliers d’évaluation. Un comité de pilotage de l’ensemble de la démarche est mis en place à ce moment qui aura pour mission majeure de suivre et de coordonner le travail de ces ateliers. Le travail méthodologique des ateliers ne peut être décrit dans le cadre de cette contribution.

- Conception des critères d’évaluation nécessités par l’analyse des situations. Outre l’utilisation des critères standards d’évaluation, il appartient aux différents ateliers d’évaluation de concevoir, d’appliquer et de mettre en évidence des critères et indicateurs appropriés et en quelque sorte imposés par l’évaluation des situations choisies.

- Conclusions et propositions pour la mise à jour du projet associatif. Au cours d’assemblées plénières de restitution des travaux des ateliers, commenceront à s’élaborer des conclusions plus générales et à se formuler des propositions concertées d’évaluation qui viseront la mise à jour du projet et les conséquences à en tirer pour continuer, réorienter, modifier, compléter les organisations et les actions de l’association ou des associations concernées par l’autoévaluation engagée. L’articulation entre actions associatives et projets sociétaux sera à ce stade à nouveau explicitée en termes d’utilité collective produite par la vie associative relativement à telle problématique, tel secteur, tel territoire.

Trois « détournements d’attention » pour le succès d’une action d’autoévaluation

Détournements d’attention en ce sens que, pour assurer une autoévaluation satisfaisante, il convient de : substituer à la « matière sociale » une dynamique associative, substituer à une procédure globale un processus par situations, substituer au dire d’expert une expérience d’acteur.

D’abord saisir les dynamiques associatives
Les procédures traditionnelles de contrôle, d’audit, d’inspection, etc… s’attachent avant tout à l’examen de ce qui tient ensemble dans les organisations et leurs fonctionnements. Dans les associations comme dans les réseaux qu’elles animent, il s’agit de ce que l’on a coutume d’appeler le « social » et qui renvoie autant aux structures qu’aux pratiques. Sans négliger cette première dimension, l’autoévaluation des associations doit s’efforcer aussi d’évaluer ce qui sans cesse se transforme. C’est-à-dire demander au travail de l’autoévaluation : d’une part de mettre en évidence, pour tous, « cet ensemble de démarches et de méthodes qui aménage en réseaux d’acteurs les modalités de l’éducation volontaire et les conditions de l’émancipation citoyenne » … ; d’autre part, de démêler « cet écheveau de complexités qui accompagne les formes de l’être-soi associées à celles de l’être-ensemble… »6 .
Dans ce travail, et pour l’illustrer simplement, il est possible de ramener à deux grands ensembles les très nombreuses dynamiques de l’action : d’une part celles qui illustrent davantage le fonctionnement des associations et des réseaux, d’autre part celles qui permettent d’apprécier plutôt les composantes des projets et les connexions sociales nécessaires pour répondre aux enjeux de ces projets. Nous avons présenté ci-dessus quelques exemples de critères capables de montrer comment peut s’exprimer le travail de l’autoévaluation.

Ensuite procéder par situations
L’évaluation des politiques publiques ou celle des programmes d’une entreprise offrent à l’évaluateur, le plus souvent expert du domaine, un cadre précis, ainsi que des critères et des indicateurs auxquels il devra se référer et à partir desquels il devra rendre des comptes. On peut parler dans ce cas, d’évaluation globale (au moins dans l’intention et l’ambition) s’exerçant dans une logique compartimentée et descendante de programmation.

Pour partie, une association qui est aussi une structure dotée de finalités, de programmes et de moyens, pourrait s’évaluer de la même manière. Cependant, dans cette approche, l’action proprement dite et le chemine-ment des acteurs échappent pour l’essentiel à l’évaluateur. Plus grave encore, c’est l’illusion de pouvoir conduire, hors de la présence des acteurs, une évaluation de l’ensemble de l’organisation, de ses programmes et de ses résultats qui est mise en cause. En fait, l’évaluation est alors inscrite dans un organigramme et soumise aux traits de son « dessin forme ».

L’ensemble d’une organisation et de son fonctionnement – d’autant plus complexe quand il s’agit d’un réseau ou d’un territoire – n’est réellement accessible qu’aux acteurs et dans le cadre « particulier » des situations de l’action. Il importe donc, pour engager une autoévaluation, de choisir et de sélectionner les situations qui permettront d’atteindre les singularités de l’action et qui sauront ainsi mettre en évidence les éléments transversaux qui échappent aux opportunités et contraintes des programmes, des services, des publics destinataires, des partenaires et des financeurs éventuels. C’est donc faire le choix ici d’une logique transversale et ascendante d’autoévaluation des situations les plus exemplaires des dynamiques associatives en jeu.

Le travail collectif d’autoévaluation par les acteurs n’est ni une recherche de convivialité facile, ni une expérience simpliste de communication améliorée. La sociabilité qui doit résulter de ce travail de coopération est une condition nécessaire de l’exercice même d’un jugement partagé, collectif, une condition indispensable pour aller du particulier vers le général. Ce qui est le propre de la faculté de juger.

Enfin s’appuyer sur l’expérience des acteurs
Deux évolutions président à une telle nécessité et à la prise en compte de ce premier objectif.

D’une part, l’élévation du niveau d’action et de réflexion des individus et des groupes les a conduit à reconsidérer et à remettre en question des habitudes acquises, des notions admises, des valeurs acceptées. Il en est résulté un autre regard, intégrant des visées éthiques, sur les richesses, sur les politiques publiques, sur les échanges, sur les conditions de la vie quotidienne. Les acteurs7, désireux de participer directement à la construction de leur société, ont ainsi pu développer leur faculté de juger pour remettre en cause certains « modèles » qui leur étaient imposés par les dirigeants ou par les experts.

D’autre part, la vie associative - qui avait depuis longtemps mis en œuvre des actions précédant ou accompagnant cette évolution - a voulu manifester plus clairement ses préoccupations. Le projet associatif s’est précisé et exprimé. Dans un environnement politique, économique et social difficile, il est devenu particulièrement essentiel. Cette nécessité s’est faite d’autant plus pressante qu’intervenaient des changements politiques et institutionnels majeurs8 . Il fallait que les associations disent pour et par elles-mêmes ce qui faisait leur spécificité et leur utilité.

Les associations comme dynamiques de connexion sociale entre acteurs capables de jugement.

Par certains de leurs modes d’organisation, de gestion ou de fonctionnement, les associations semblent des entreprises comme les autres. Pourtant elles diffèrent essentiellement de celles-ci par leur finalité. Groupements libres de personnes physiques ou morales, elles ne visent ni profits financiers, ni produits marchands. Leur vocation n’est pas d’assurer une production de biens ou de services (mêmes si elles sont appelées à le faire) mais de réussir une production de connexions sociales nouvelles entre des personnes, des groupes, d’autres associations, des réseaux, etc… en vue d’une utilité collective définie dans un projet.

L’élaboration du projet associatif et sa mise à jour sont indissociables du processus d’autoévaluation des associations. L’autoévaluation met en évidence la nécessité d’un projet et permet sa mise à jour. Dans le même temps, le projet, capitalisant les éléments de la spécificité associative, facilite, en retour, par son élaboration et son évolution, la construction des outils de l’autoévaluation.

Cette construction des outils d’une évaluation coopérative9 , repose non seulement sur l’existence d’un projet pour un secteur donné, mais aussi sur la prise en compte des spécificités de ce secteur. Projets sociétaux et actions associatives sont « connectés » et interdépendants.

Lieux de sociabilité active, forces de proposition de la société civile, opérateurs de vigilance sociétale, les associations sont capables de connexions sociales innovantes sur leurs territoires d’intervention. En ce sens, leur principe d’action est bien d’abord un principe d’association.

Dans ce que nous faisons et pour ce qui nous arrive, lorsque nous agissons, notamment avec d’autres, nous avons à dire la réalité10 et à porter sur elle des jugements de valeur. Ces jugements sont le plus souvent implicites et individuels. Ils résultent de nos convictions et intentions, de nos relations et représentations, de nos connaissances et expériences personnelles. Ces jugements de valeur sont aussi influencés par les situations de nos actions et les projets auxquels nous adhérons.

Dans un contexte associatif donné : association, réseau, territoire, etc…, l’évaluation consiste d’abord à rendre explicites ces jugements de valeur personnels, avant de les confronter les uns aux autres. La mise en évidence de critères évaluatifs et d’indicateurs quantitatifs pertinents permet de maîtriser cette confrontation. L’évaluation doit ensuite – à partir de situations choisies, analysées et comparées – donner un « sens commun » aux jugements des acteurs concernés en les transformant en jugements partagés par le plus grand nombre. Elle doit enfin rendre les porteurs de ces nouveaux jugements capables d’élaborer et de mettre à jour les projets de l’action associative qui les concerne. Ainsi conçue, l’évaluation ne peut être assurée que par les acteurs eux-mêmes et pour les situations de l’action qu’ils vivent. Elle est nécessairement une autoévaluation.

Partager cet article

Un message, un commentaire ?
Forum sur abonnement

Pour participer à ce forum, vous devez vous enregistrer au préalable. Merci d’indiquer ci-dessous l’identifiant personnel qui vous a été fourni. Si vous n’êtes pas enregistré, vous devez vous inscrire.

Connexions’inscriremot de passe oublié ?