L’évaluation est l’appréciation systématique et objective d’un projet, d’un programme ou d’une politique, en cours ou terminé, de sa conception, de sa mise en œuvre et de ses résultats. Elle se distingue du suivi en ce qu’elle implique un jugement de la valeur de l’activité et de ses résultats. Des évaluations doivent être effectuées pour la plupart des programmes de réintégration ; le type, la portée, le calendrier et l’approche de ces évaluations dépendent de leur utilisation prévue.
Les principales fonctions des évaluations sont les suivantes :
- Favoriser la responsabilisation et l’apprentissage ;
- Informer les parties prenantes ;
- Fournir des données empiriques sur ce qui a fonctionné, ce qui n’a pas fonctionné et les raisons pour cela ;
- Éclairer la prise de décisions.
Les critères d’évaluation sont des normes permettant d’évaluer une intervention :
- Pertinence : Le degré de validité et d’utilité de l’objectif et des résultats escomptés d’une intervention tels qu’initialement prévus ou ultérieurement modifiés.
- Efficience : Aide à analyser la façon dont des ressources humaines, matérielles et financières sont utilisées pour entreprendre des activités, et comment elles sont converties en produits.
- Efficacité : La mesure dans laquelle un projet ou un programme obtient les résultats escomptés.
- Impact : Critère servant à évaluer les effets à long terme, positifs et négatifs, primaires et secondaires, prévus ou imprévus, produits directement ou indirectement par une intervention.
- Viabilité : Se réfère à la pérennité des résultats du projet ou la poursuite de ses avantages après la cessation de l’aide extérieure.
Il n’est pas nécessaire que toutes les évaluations portent sur tous ces critères. Selon la portée de l’évaluation, il se peut qu’elle n’en examine que quelques-uns.
Les mécanismes d’évaluation doivent être intégrés, dès le début d’une intervention, au plan de travail et au budget de l’initiative.
➔ Examiner la façon dont une évaluation sera utilisée
Pour comprendre comment une évaluation doit être mise en place, il est nécessaire de savoir comment ses résultats seront finalement utilisés. Pour cela, il faut se poser les trois questions suivantes :
1. De quelles informations a-t-on besoin ? Exemples :
- Des informations sur la pertinence des produits ou des effets directs, ainsi que sur la validité du cadre de résultats et de la carte des résultats ;
- Des informations sur le statut d’un effet direct et les facteurs qui l’affectent ;
- Des informations sur l’efficacité de la stratégie de partenariat pour la réintégration ;
- Des informations sur l’état d’avancement de la mise en œuvre du projet ;
- Des informations sur le coût d’une initiative par rapport aux avantages observés ;
- Des informations sur les enseignements tirés de l’expérience.
2. Qui utilisera les informations ? Les utilisateurs de l’évaluation sont variés, mais appartiennent généralement aux catégories suivantes : instances dirigeantes, administrateurs et responsables de programmes ou de projets. D’autres acteurs participent à la conception et à la mise en œuvre :
- Les homologues des gouvernements nationaux, les responsables politiques, les personnes chargées de la planification stratégique
- Les donateurs et autres bailleurs de fonds
- Le public et les bénéficiaires• Le milieu universitaire
3. Comment les informations seront-elles utilisées ? Exemples :
- Pour concevoir ou valider une stratégie de réintégration
- Pour effectuer des corrections à mi-parcours
- Pour améliorer la conception et la mise en œuvre de l’intervention
- Pour promouvoir la responsabilisation
- Pour prendre des décisions en matière de financement
- Pour améliorer la connaissance et la compréhension des avantages et difficultés de l’intervention
➔ Les types d’évaluation sont définis en fonction du moment de l’évaluation, de son objectif, de la personne chargée de la mener et de la méthode appliquée. En fonction de son calendrier et de son utilisation prévue, une évaluation peut être réalisée avant le début d’un projet (ex ante), au début d’une intervention (en temps réel), au cours de l’intervention (à mi-parcours), à la fin de l’intervention (finale) et après la cessation des activités de l’intervention (ex post).
Les évaluations peuvent être menées en interne ou en externe, individuellement ou conjointement ; le choix dans ce dernier cas dépend également des ressources disponibles et du degré de participation nécessaire. Il est fortement recommandé que l’organisation chargée de mettre en œuvre les interventions de réintégration participe à l’évaluation.
-
Une évaluation interne est réalisée par les responsables du projet. Cette évaluation est indépendante si elle est menée par une personne qui n’a pas directement participé à la conceptualisation ou à la mise en œuvre de l’intervention. Si elle est effectuée par ceux qui sont chargés de l’exécution du projet ou du programme, il s’agit d’une auto-évaluation.
-
Une évaluation externe est menée par une entité recrutée à l’extérieur, généralement le donateur ou l’organisation chargée de la mise en œuvre. Les évaluations externes peuvent être plus coûteuses que les évaluations internes, car elles nécessitent le recrutement de consultants. Elles sont considérées comme indépendantes.
L’on trouvera ci-après quelques considérations générales concernant la planification et la réalisation d’une évaluation. Les questions posées constituent des exemples, elles ne sont donc pas exhaustives. Des questions spécifiques doivent être définies pour chaque intervention.
Tableau 5.5 : Considérations relatives à la planification et à la réalisation d’une évaluation
| Question | Orientations |
|---|---|
| Comment procéder aux évaluations ? |
|
| Quelles questions fautil poser dans le cadre des évaluations ? |
En fonction de l’objectif de l’évaluation, il faudrait poser, par exemple, quelques Relevance :
Efficience :
|
|
Efficacité :
Impact :
Viabilité :
|
|
| Comment définir les pratiques exemplaires ? |
Les évaluations favorisent les pratiques exemplaires et l’apprentissage par la réalisation d’études de cas mettant en évidence ces pratiques, la validation et, idéalement, des ateliers d’apprentissage avec les parties concernées. Dans le domaine de la réintégration, il est recommandé de faire participer les migrants de retour et les communautés à la phase de collecte des données ainsi qu’aux ateliers pour mettre en commun les pratiques exemplaires. |
| Comment réagir aux résultats de l’évaluation et les utiliser ? |
Les résultats de l’évaluation doivent être discutés et faire l’objet :
|
| Comment communiquer les résultats des évaluations ? |
|
Un modèle de mandat pour une évaluation est inclus à l’annexe 4.C.
L’approche dite du changement le plus significatif ou MSC (« most significant change ») est une méthode d’évaluation qui permet de mieux comprendre les effets voulus et non voulus des programmes de réintégration. Le MSC consiste à obtenir et analyser des comptes rendus personnels des changements et à décider lequel de ces comptes rendus est le plus significatif – et pourquoi.
Cette méthode se divise en trois étapes fondamentales :
- Décider des types de récits à collecter (en fonction de leur objet : par exemple, sur un changement de pratique, sur les résultats en matière de santé ou sur l’autonomisation) ;
- Recueillir les récits et déterminer ceux qui sont les plus significatifs ;
- Communiquer les récits aux parties prenantes et collaborateurs et en discuter avec eux afin de tirer des enseignements de ce qui a été valorisé.
Le MSC ne se contente pas de collecter et de communiquer des récits : il met en place des processus permettant d’en tirer des enseignements – et notamment de comprendre les similitudes et différences entre les valeurs des différents groupes et individus.