Expérimenter et évaluer
Deux leviers pour assurer pertinence et pérennité aux projets de mobilité solidaire. Comme tout projet, un projet de mobilité solidaire s’inscrit dans une durée plus ou moins longue selon ses objectifs et ses spécificités. Quelle que soit sa durée, deux dimensions sont essentielles : l’expérimentation et l’évaluation. Elles permettent de tester à petite échelle sans mobiliser de budgets trop conséquents, de mesurer rapidement les premiers effets, et d’ajuster, si nécessaire, le dispositif.
L’expérimentation, clé de réussite
Avant de lancer un projet à grande échelle, l’expérimentation est fortement recommandée :
- Elle permet de tester à petite échelle, assez rapidement et à moindre coût. L’objectif est d’observer si la solution proposée correspond aux besoins des publics cibles, si elle amorce des changements de pratiques et crée de l’appétence. Elle ne nécessite pas nécessairement de disposer d’une solution complètement aboutie, et favorise l’itération.
- Elle est un format utile qui permet d’apporter un soin particulier à l’échange et au dialogue réguliers avec les publics concernés.
- Elle permet un pilotage fin et resserré, avec une évaluation au plus près dès le début de l’expérimentation. Elle offre la possibilité de pivoter et réajuster avant de déployer – et financer – à plus grande échelle.
Côté financement, de nombreux leviers peuvent être activés : la rubrique « financer » récapitule les dispositifs existants. L’expérimentation reposant souvent sur la collaboration de plusieurs partenaires, son financement peut également endosser une dimension partenariale.
Autres points clés, le calendrier et la durée. Toute expérimentation a un début et une fin, et doit s’inscrire dans un échéancier suffisant pour laisser au dispositif le temps d’être connu, d’être utilisé et de montrer ses effets. Cette durée dépend bien entendu du type de dispositif testé, mais, en moyenne, il faut compter 6 mois a minima pour obtenir des résultats pertinents.
La clarification des objectifs et la communication sont deux autres points d’attention. Les objectifs doivent être précis et partagés dès le démarrage de l’expérimentation avec l’ensemble de l’équipe projet et des partenaires. Le public doit aussi être informé qu’il s’agit d’une expérimentation, inscrite dans un temps limité, servant des objectifs clairs, et dont le déploiement dépendra des résultats du test.
L’évaluation pour rythmer les projets
Pour apprécier l’efficacité du projet, son impact, et déterminer les éventuels ajustements à opérer, l’évaluation est centrale, et doit faire l’objet d’une intégration dès le début de la démarche.
Le protocole mobilisé pour procéder à cette évaluation doit être partagé avec les parties prenantes, et peut combiner des critères quantitatifs (combien de personnes connaissent la solution proposée, nombre et profil des usagers, nombre d’utilisations, etc.) et qualitatifs (niveau d’appréciation de la solution par les publics cibles, niveau de connaissance par les publics relais, suggestions d’améliorations recueillies, etc.). Il peut aussi être intéressant d’ajouter des indicateurs portant sur les externalités positives, les effets induits découlant du projet : impact sur l’insertion professionnelle des bénéficiaires, progression de leur autonomie, de leur qualité de vie, etc.
Pour procéder à cette évaluation, les porteurs de l’expérimentation peuvent agir de manière autonome – sur la base d’une auto-évaluation – ou bien recourir à des bureaux d’études spécialisés, pour objectiver et approfondir davantage les résultats.
Même avec de petits moyens, il est possible de se lancer dans une démarche d’évaluation qui vous sera utile.
Hélène Duclos
Consultante-expert Evaluation de l’utilité sociale et impact social
Lire
L’évaluation des projets de mobilité solidaire peut sembler difficile à mettre en œuvre. Quels conseils avez-vous à partager pour aborder sereinement ce point ?
Évaluer un projet de mobilité solidaire peut en effet paraître complexe. La solution consiste à bien en définir le cadre. Trois questions peuvent vous aider : pourquoi évaluer ? Qui définit les critères d’évaluation ? Quelles méthodes choisir ?
La première chose est de clarifier les enjeux de l’évaluation. Les raisons pour lesquelles l’évaluation est menée orientent en grande partie le choix de la méthode. Être clair sur les enjeux de l’évaluation permet d’éviter des déconvenues, mais également de concevoir un dispositif d’évaluation pertinent et efficient au regard de ce qu’on en attend.
Il faut ensuite définir ce qui va constituer le référentiel de l’évaluation : sur quels critères va-t-on évaluer le projet ? Est-ce par exemple les objectifs du projet ou est-ce plus largement son utilité sociale ? Une erreur commune est de se précipiter sur un choix d’indicateurs avant d’avoir défini les critères.
Le choix de la méthode d’évaluation dépendra des enjeux et des moyens disponibles. Il n’existe pas de bonne ou mauvaise méthode. Elles sont juste plus ou moins adaptées aux enjeux de l’évaluation. Même avec de petits moyens, il est possible de se lancer dans une démarche d’évaluation qui vous sera utile.
Y a-t-il des critères incontournables à évaluer, dans tout projet de mobilité solidaire ?
Le choix des critères est stratégique. Si un critère est présent, il sera évalué donc visible. L’évaluation donne de la valeur. Retenir, ou pas, la confiance en soi, le retour à l’emploi ou encore la montée en compétence permettra, ou pas, de suivre et de valoriser les apports de la mobilité solidaire sur ces différents aspects. Le choix des critères est donc fondamental dans une évaluation. Je suggère de le faire avec l’ensemble des parties prenantes : bénéficiaires-usagers, partenaires, salariés… Cela permet de prendre en considération la richesse des apports de la mobilité solidaire. Il est possible ensuite de les prioriser. Généralement, les critères d’évaluation des projets de mobilité solidaire intègrent les objectifs des politiques qui les financent telle que l’emploi ou l’égalité des territoires. Mais il est intéressant de prendre en considération des critères complémentaires qui révèlent d’autres externalités ou effets positifs chez les bénéficiaires, comme l’estime de soi ou le lien social.
Comment décider de la méthode à employer pour évaluer, d’aller plutôt vers du qualitatif, du quantitatif ?
Les méthodes d’évaluation sont très nombreuses. On oppose souvent une évaluation qualitative ou quantitative. Dans la pratique, les deux approches sont souvent nécessaires : le qualitatif permet de comprendre et d’illustrer les changements observés, le quantitatif permet de mesurer et pondérer les analyses réalisées. Au-delà d’une dominante qualitative ou quantitative, d’autres choix sont à faire quant à la méthode : évaluation externe ou auto-évaluation, accompagnée ou pas ? Évaluation a posteriori ou suivi-évaluation ? Analyse multicritères, coût-bénéfices, monétarisation… ? Le choix est vaste ! Il sera à faire au regard de deux aspects : les enjeux de l’évaluation et les moyens disponibles. À titre d’exemple, si l’enjeu est d’améliorer l’action, mieux vaut concevoir un dispositif de suivi-évaluation dans une logique d’auto-évaluation, qu’elle soit accompagnée ou pas. Si l’enjeu est de rendre compte à un partenaire un peu réticent, il sera préférable de faire appel à un évaluateur, dans le cadre d’une évaluation externe a posteriori. Enfin, le choix des méthodes va aussi dépendre plus prosaïquement des moyens disponibles : le budget, le temps disponible, la compétence au sein de la structure, l’envie d’y travailler, vont aussi affecter les choix méthodologiques.
L’évaluation de l’impact social de la mobilité vise à comprendre les changements générés par un projet de mobilité sur ses parties prenantes.
Elise LECLERC,
Directrice du Laboratoire E&MIS de l’ESSEC
Thierry SIBIEUDE
Professeur titulaire de la Chaire Innovation et Entrepreneuriat Social de l’ESSEC
Lire
Qu’est-ce que l’évaluation de l’impact social de la mobilité?
L’évaluation de l’impact social* de la mobilité (ou des mobilités) vise à comprendre les changements générés par un projet de mobilité sur ses parties prenantes, qu’elles soient les personnes touchées directement par le projet ou plus largement le territoire concerné. L’évaluation de l’impact social de la mobilité reste un champ de recherche encore peu étudié en comparaison avec les nombreuses évaluations d’impact environnemental existantes. L’originalité de l’évaluation d’impact social de la mobilité est aussi de placer la partie prenante ‘utilisateur’ de la solution de mobilité (niveau micro) au cœur de l’évaluation plutôt que la partie prenante territoire et ses habitants (niveau macro).
Dans ce travail de l’ESSEC la mobilité caractérise à la fois l’aptitude à se déplacer et « l’ensemble des pratiques de déplacements d’une population dans son cadre habituel » (Segaud, Brun et al. 2001). En France, ce cadre habituel correspond aux déplacements quotidiens locaux, c’est-à-dire dans un rayon de moins de 80 kilomètres du domicile. Par conséquent, la ‘mobilité inversée’ est incluse dans cette définition, c’est-à-dire l’apport de services ou dispositifs aux personnes qui ne peuvent pas se déplacer, mais les migrations et le tourisme, ainsi que la mobilité sociale, sont exclus du champ de ce benchmark.
Quel est l’objectif de ce « benchmark « ?
L’objectif de ce benchmark est de répertorier et cartographier les travaux réalisés en France et à l’international évaluant l’impact social de la mobilité, afin de rassembler les méthodes et indicateurs construits et validés par des démarches dont la rigueur méthodologique est avérée.
L’objectif de la publication de ce travail de cartographie, qui avait été initialement réalisé dans le cadre d’un projet de recherche interne commandité par la Fondation MACIF, est de soutenir les acteurs de la mobilité.
Cette cartographie aidera ces acteurs à mieux connaître et comprendre les enjeux et indicateurs pertinents pour leur projet, et de pouvoir prendre de la hauteur sur leurs pratiques dans une démarche de professionnalisation.
Ce travail permettra aussi d’outiller les acteurs qui envisagent une démarche d’évaluation d’impact social de leurs projets, en mettant à leur disposition des indicateurs validés par des études rigoureuses et classés en fonction des types de projets de mobilité.
Comment s’articule votre démarche méthodologique ?
La démarche méthodologique de l’ESSEC pour ce travail de benchmark international a été de répertorier les travaux d’évaluation d’impact social conduits ces dernières années (depuis 2000) autour de la mobilité, travail qui constitue la première étape d’un projet de recherche autour de la création d’un référentiel d’évaluation d’impact social de la mobilité réalisé en partenariat avec la Fondation MACIF.
Cette première étape a permis de répertorier les démarches et indicateurs déjà identifiés et validés par d’autres institutions de référence en France et à l’étranger, ainsi que par les parties prenantes qui ont été retenues et considérées dans ces travaux.
Inscrit dans le contexte de la recherche sur un référentiel commanditée par la Fondation MACIF, ce benchmark Mobilités met en perspective les travaux existants d’une part, et le portefeuille de projets mobilités de la Fondation Macif en 2019-2020 (63 projets) d’autre part.
Il a ainsi permis à l’ESSEC de répertorier les indicateurs d’impact les plus utilisés dans le champ de la mobilité et de les cartographier par niveau de pertinence pour les projets du portefeuille de la Fondation Macif.
C’est en se basant sur cette cartographie et en la combinant à un certain nombre de critères propres aux projets de la Fondation Macif que l’ESSEC a pu identifier 6 périmètres qui font l’objet d’une recherche approfondie pour une expérimentation d’évaluation d’impact social en 2021-2022.
« *L’impact social consiste en l’ensemble des conséquences (évolutions, inflexions, changements, ruptures) des actions d’une organisation tant sur ses parties prenantes externes (bénéficiaires, usagers, clients) directes ou indirectes de son territoire et internes (salariés,bénévoles, volontaires), que sur la société en général.» Conseil supérieur de l’ESS, 2011
