Expérimenter et évaluer

Deux leviers pour assurer pertinence et pérennité aux projets de mobilité solidaire. Comme tout projet, un projet de mobilité solidaire s’inscrit dans une durée plus ou moins longue selon ses objectifs et ses spécificités. Quelle que soit sa durée, deux dimensions sont essentielles : l’expérimentation et l’évaluation. Elles permettent de tester à petite échelle sans mobiliser de budgets trop conséquents, de mesurer rapidement les premiers effets, et d’ajuster, si nécessaire, le dispositif.

L’expérimentation, clé de réussite

Avant de lancer un projet à grande échelle, l’expérimentation est fortement recommandée :

  • Elle permet de tester à petite échelle, assez rapidement et à moindre coût. L’objectif est d’observer si la solution proposée correspond aux besoins des publics cibles, si elle amorce des changements de pratiques et crée de l’appétence. Elle ne nécessite pas nécessairement de disposer d’une solution complètement aboutie, et favorise l’itération.
  • Elle est un format utile qui permet d’apporter un soin particulier à l’échange et au dialogue réguliers avec les publics concernés.
  • Elle permet un pilotage fin et resserré, avec une évaluation au plus près dès le début de l’expérimentation. Elle offre la possibilité de pivoter et réajuster avant de déployer – et financer – à plus grande échelle.

Côté financement, de nombreux leviers peuvent être activés : la rubrique « financer » récapitule les dispositifs existants. L’expérimentation reposant souvent sur la collaboration de plusieurs partenaires, son financement peut également endosser une dimension partenariale.
Autres points clés, le calendrier et la durée. Toute expérimentation a un début et une fin, et doit s’inscrire dans un échéancier suffisant pour laisser au dispositif le temps d’être connu, d’être utilisé et de montrer ses effets. Cette durée dépend bien entendu du type de dispositif testé, mais, en moyenne, il faut compter 6 mois a minima pour obtenir des résultats pertinents.
La clarification des objectifs et la communication sont deux autres points d’attention. Les objectifs doivent être précis et partagés dès le démarrage de l’expérimentation avec l’ensemble de l’équipe projet et des partenaires. Le public doit aussi être informé qu’il s’agit d’une expérimentation, inscrite dans un temps limité, servant des objectifs clairs, et dont le déploiement dépendra des résultats du test.

L’évaluation pour rythmer les projets

Pour apprécier l’efficacité du projet, son impact, et déterminer les éventuels ajustements à opérer, l’évaluation est centrale, et doit faire l’objet d’une intégration dès le début de la démarche.
Le protocole mobilisé pour procéder à cette évaluation doit être partagé avec les parties prenantes, et peut combiner des critères quantitatifs (combien de personnes connaissent la solution proposée, nombre et profil des usagers, nombre d’utilisations, etc.) et qualitatifs (niveau d’appréciation de la solution par les publics cibles, niveau de connaissance par les publics relais, suggestions d’améliorations recueillies, etc.). Il peut aussi être intéressant d’ajouter des indicateurs portant sur les externalités positives, les effets induits découlant du projet : impact sur l’insertion professionnelle des bénéficiaires, progression de leur autonomie, de leur qualité de vie, etc.
Pour procéder à cette évaluation, les porteurs de l’expérimentation peuvent agir de manière autonome – sur la base d’une auto-évaluation – ou bien recourir à des bureaux d’études spécialisés, pour objectiver et approfondir davantage les résultats.

Même avec de petits moyens, il est possible de se lancer dans une démarche d’évaluation qui vous sera utile.

Hélène Duclos
Consultante-expert Evaluation de l’utilité sociale et impact social
Lire

L’évaluation des projets de mobilité solidaire peut sembler difficile à mettre en œuvre. Quels conseils avez-vous à partager pour aborder sereinement ce point ?

Évaluer un projet de mobilité solidaire peut en effet paraître complexe. La solution consiste à bien en définir le cadre. Trois questions peuvent vous aider : pourquoi évaluer ? Qui définit les critères d’évaluation ? Quelles méthodes choisir ?

La première chose est de clarifier les enjeux de l’évaluation. Les raisons pour lesquelles l’évaluation est menée orientent en grande partie le choix de la méthode. Être clair sur les enjeux de l’évaluation permet d’éviter des déconvenues, mais également de concevoir un dispositif d’évaluation pertinent et efficient au regard de ce qu’on en attend.

Il faut ensuite définir ce qui va constituer le référentiel de l’évaluation : sur quels critères va-t-on évaluer le projet ? Est-ce par exemple les objectifs du projet ou est-ce plus largement son utilité sociale ? Une erreur commune est de se précipiter sur un choix d’indicateurs avant d’avoir défini les critères.

Le choix de la méthode d’évaluation dépendra des enjeux et des moyens disponibles. Il n’existe pas de bonne ou mauvaise méthode. Elles sont juste plus ou moins adaptées aux enjeux de l’évaluation. Même avec de petits moyens, il est possible de se lancer dans une démarche d’évaluation qui vous sera utile.

Y a-t-il des critères incontournables à évaluer, dans tout projet de mobilité solidaire ?

Le choix des critères est stratégique. Si un critère est présent, il sera évalué donc visible. L’évaluation donne de la valeur. Retenir, ou pas, la confiance en soi, le retour à l’emploi ou encore la montée en compétence permettra, ou pas, de suivre et de valoriser les apports de la mobilité solidaire sur ces différents aspects. Le choix des critères est donc fondamental dans une évaluation. Je suggère de le faire avec l’ensemble des parties prenantes : bénéficiaires-usagers, partenaires, salariés… Cela permet de prendre en considération la richesse des apports de la mobilité solidaire. Il est possible ensuite de les prioriser. Généralement, les critères d’évaluation des projets de mobilité solidaire intègrent les objectifs des politiques qui les financent telle que l’emploi ou l’égalité des territoires. Mais il est intéressant de prendre en considération des critères complémentaires qui révèlent d’autres externalités ou effets positifs chez les bénéficiaires, comme l’estime de soi ou le lien social.

Comment décider de la méthode à employer pour évaluer, d’aller plutôt vers du qualitatif, du quantitatif ?

Les méthodes d’évaluation sont très nombreuses. On oppose souvent une évaluation qualitative ou quantitative. Dans la pratique, les deux approches sont souvent nécessaires : le qualitatif permet de comprendre et d’illustrer les changements observés, le quantitatif permet de mesurer et pondérer les analyses réalisées. Au-delà d’une dominante qualitative ou quantitative, d’autres choix sont à faire quant à la méthode : évaluation externe ou auto-évaluation, accompagnée ou pas ? Évaluation a posteriori ou suivi-évaluation ? Analyse multicritères, coût-bénéfices, monétarisation… ? Le choix est vaste ! Il sera à faire au regard de deux aspects : les enjeux de l’évaluation et les moyens disponibles. À titre d’exemple, si l’enjeu est d’améliorer l’action, mieux vaut concevoir un dispositif de suivi-évaluation dans une logique d’auto-évaluation, qu’elle soit accompagnée ou pas. Si l’enjeu est de rendre compte à un partenaire un peu réticent, il sera préférable de faire appel à un évaluateur, dans le cadre d’une évaluation externe a posteriori. Enfin, le choix des méthodes va aussi dépendre plus prosaïquement des moyens disponibles : le budget, le temps disponible, la compétence au sein de la structure, l’envie d’y travailler, vont aussi affecter les choix méthodologiques.