Guider la production de rapports de qualité
L’évaluation, par définition, répond à des questions évaluatives, c’est-à-dire des questions concernant la « qualité » (à quel point quelque chose est bon) et la « valeur » (en tenant compte de la situation particulière, comme les ressources utilisées pour produire les résultats et les besoins qui devaient être comblés). Un raisonnement évaluatif est nécessaire pour synthétiser les dimensions de qualité et de valeur afin de formuler des réponses justifiables (c.-à-d. bien raisonnées et bien étayées) aux questions d’évaluation.
La structure d’un rapport d’évaluation peut contribuer grandement à encourager la communication succincte
des réponses directes aux questions d’évaluation, avec suffisamment de détails sur le raisonnement évaluatif et la méthodologie pour permettre au lecteur de suivre la logique et de voir clairement les données probantes.
Les recommandations suivantes aideront à établir des attentes claires pour des rapports d’évaluation qui sont fortement axés sur le raisonnement évaluatif.
- Le résumé doit comprendre des réponses évaluatives directes et explicites aux principales questions d’évaluation utilisées pour guider l’ensemble de l’évaluation.
- Un langage explicitement évaluatif doit être utilisé pour présenter les constatations (plutôt qu’un langage dépourvu de jugement de valeur qui se contente de décrire les constatations). Des exemples doivent être fournis.
- Utiliser une visualisation claire et simple des données pour présenter des « aperçus » faciles à comprendre sur le rendement de l’intervention en ce qui concerne les différentes dimensions du mérite.
- Structurer la section des constatations en utilisant les principales questions d’évaluation comme sous-titres (plutôt que de la structurer par types et sources de preuves, comme cela se fait souvent).
- Le raisonnement évaluatif utilisé doit être clair et transparent, et les explications doivent être facilement compréhensibles pour les non-évaluateurs et les lecteurs qui ne possèdent pas une expertise approfondie en la matière. Ces explications doivent être générales et brèves dans le corps du rapport et être approfondies dans les annexes.
- Si les rubriques d’évaluation sont relativement petites, elles devraient être incluses dans le corps du rapport. Si elles sont importantes, un résumé d’au moins une ou deux d’entre elles doit être inclus dans le corps du rapport, et toutes les rubriques doivent figurer au complet dans une annexe.
Un excellent raisonnement évaluatif est caractérisé par la façon dont les points clés sont présentés de façon succincte et claire sans omettre de détails importants.
[Source : Davidson J. Evaluative reasoning. UNICEF Methodological Brief 4 on Impact Evaluation. Florence: UNICEF]
Produits
- Rapport d’évaluation
- Produits adaptés à différents publics : résumé d’évaluation, document de politique, présentation lors d’une conférence, etc.
IDRC-specific information
Le gestionnaire de l’évaluation du CDRI assume les responsabilités suivantes :
- Déterminer les rapports qui seront nécessaires, et le format qui sera convenu. Cela doit être fait au début du processus d’évaluation.
- Formuler des commentaires sur les rapports d’évaluation provisoires afin de veiller à ce que ceux-ci soient conformes à la ligne directrice du CRDI. Seuls les rapports approuvés à la suite d’une évaluation de la qualité sont acceptés en tant que produits livrables finaux et sont publiés aux fins d’utilisation.
Les membres du personnel du CRDI, ses partenaires, ses stagiaires ou ses conseillers réalisant des évaluations pour son compte doivent utiliser la ligne directrice Présentation des rapports d’évaluation au CRDI lors de l’organisation du rapport d’évaluation principal.
Modèle de rapport d’évaluation au CRDI :
- Page couverture
- Titre
- Nom des évaluateurs et organismes de rattachement
- Date
- Nom de l’équipe, de la direction générale, de la section ou de la personne du CRDI qui commande l’évaluation
- Numéro de tous les projets ou projets de soutien à la recherche du CRDI faisant l’objet de l’évaluation (le cas échéant)
- Résumé
Brève description (une à deux pages) des principales constatations, de la méthodologie et des recommandations ou conclusions de l’évaluation.
- Corps du rapport d’évaluation
- Contexte de l’étude :
Il faut indiquer les utilisateurs et utilisations visés par le processus ou le produit de l’évaluation, ce qui a motivé l’évaluation (besoin, but, etc.), les questions ou sujets précis traités dans l’évaluation, les valeurs et principes guidant le processus d’évaluation et, s’il y a lieu, les intentions en matière de renforcement des capacités.
- Description de la méthodologie employée :
Il faut analyser les points forts et les points faibles de la conception de la recherche et indiquer les outils et méthodes utilisés, le processus suivi, les sources d’information et les personnes interrogées. Il faut préciser comment les parties prenantes au projet ou au programme et les utilisateurs visés par l’évaluation ont participé au processus. Il faut aussi commenter la validité des données et faire état de toute considération d’ordre éthique.
- Conclusions de l’évaluation :
La formulation de cette section doit être conforme au plan d’évaluation et au mandat de l’évaluation.
- Annexes
- Liste d’acronymes.
- Liste des personnes interrogées (ainsi que leurs coordonnées, le cas échéant, sans divulgation de renseignements confidentiels).
- Une bibliographie énumérant tous les documents examinés.
- Le mandat d’évaluation ou celui de l’évaluateur.
La biographie de l’évaluateur. Cela doit comprendre le nom, le sexe, l’organisme de rattachement et les coordonnées de l’évaluateur.
La ligne directrice du CRDI sur la visualisation des données (PDF, 774KB) offre des conseils utiles visant à faciliter la compréhension et l’utilisation des données.
La qualité du rapport d’évaluation est déterminée par la Section de l’évaluation du CRDI en fonction des quatre normes suivantes reconnues à l’échelle internationale : l’utilité, la faisabilité, la précision et la convenance. L’évaluateur devra recevoir une copie de l’Appréciation de la qualité des rapports d’évaluation du CRDI afin de comprendre la manière dont le rapport d’évaluation sera évalué.