Examiner les aspects importants de l’évaluation

Les évaluations sont conçues pour répondre aux questions principales d’évaluation. Différentes méthodes et conceptions sont nécessaires pour répondre aux différents types de questions. Les évaluations comptent quatre principaux types de questions :

Les questions descriptives portent sur ce qui s’est produit ou sur la situation présente. Voici des exemples :

  • Quelles sont les ressources qui ont été utilisées directement ou indirectement par le programme ?
  • Quelles activités ont été organisées ?
  • Quels sont les changements qui ont été observés dans les conditions ou chez les participants ?

Les questions causales portent sur ce qui a contribué aux changements qui ont été observés. Voici des exemples :

  • Qu’est-ce qui a produit les résultats et les effets ?
  • De quelle manière le programme a-t-il contribué à produire les changements observés ?
  • Quels sont les autres facteurs ou programmes qui ont contribué aux changements observés ?

Les questions évaluatives visent à déterminer si une intervention peut être considérée comme une réussite, une amélioration ou la meilleure option. Elles exigent une combinaison de valeurs explicites et de données probantes. Voici des exemples :

  • De quelles façons et pour qui le programme s’est-il avéré une réussite ?
  • La programme a-t-il optimisé ses ressources, si l’on prend en considération tous les coûts engagés (pas seulement le financement direct) ainsi que tous les résultats négatifs.

Les questions relatives aux mesures  portent sur ce qui devrait être effectué pour donner suite aux constatations de l’évaluation. Voici des exemples :

  • Quels changements devraient-ils être apportés afin de régler les problèmes cernés ?
  • Que devrait-on conserver ou ajouter pour renforcer les points forts existants ?
  • Le programme devrait-il être financé de nouveau ?

Les questions principales d’évaluation comptent souvent plusieurs types de questions. Par exemple, pour répondre à la principale question d’évaluation « Dans quelle mesure le programme a-t-il été efficace ? », il est nécessaire de répondre également aux questions suivantes :

Questions descriptives – Quels changements se sont-ils produits ?

Questions causales – De quelle manière l’intervention a-t-elle contribué aux changements ?

Questions évaluatives – Dans quelle mesure les changements ont-ils été utiles en ce qui a trait aux objectifs énoncés – en tenant compte des types, des niveaux et de la répartition des changements.

Il est important de vérifier la pertinence de la conception en subdivisant chaque question principale d’évaluation en différents types de questions, puis en les contrôlant au regard des points présentés ci-dessous.

(i) Vérifier la pertinence de la conception des questions descriptives

La conception devrait indiquer clairement la manière de répondre aux questions descriptives. Ces questions peuvent concerner les sujets suivants :

  • Intrants – le matériel et le personnel
  • Processus – la mise en oeuvre et les projets de recherche
  • Extrants – p. ex., des publications de recherche
  • Résultats – p. ex., des changements dans les politiques fondés sur des recherches
  • Effets – p. ex., des améliorations en matière de production agricole

Il pourrait être utile de présenter les résultats dans un tableau indiquant la manière dont les données seront recueillies et analysées pour répondre à ces questions descriptives.

Question descriptive

Les données existantes pouvant être utilisées

Collecte ou extraction de données supplémentaires

Échantillonnage

Analyse

Quelles ressources ont été utilisées dans le cadre du programme ?

 

 

 

 

Qui a participé au programme ?

 

 

 

 

Quels changements se sont produits en ce qui a trait à [comportement précis] ?

 

 

 

 

Le texte devrait expliquer les choix qui ont été faits et aborder les points suivants :

  • Utilisation optimale des données existantes, y compris un examen de leur qualité et de leur pertinence.
  • Échantillonnage approprié – des personnes, des sites, des organisations ou des périodes – le type d’échantillonnage choisi et les raisons pour lesquelles celui-ci est approprié pour le type de généralisation qui sera effectuée.
  • Méthodes de collecte de données appropriées – les raisons pour lesquelles ces méthodes ont été choisies.
  • Méthodes de collecte de données appropriées – les raisons pour lesquelles ces méthodes ont été choisies.

(ii) Vérifier la pertinence de la conception des questions évaluatives

Bon nombre d’évaluations ne précisent pas clairement la manière de répondre aux questions évaluatives – quels seront les critères (les domaines de rendement), quels seront les normes (le niveau de rendement qui sera considéré comme adéquat ou bon), et la manière dont les différents critères seront pondérés. Un examen de la conception pourrait permettre de répondre à chacune des questions suivantes :

  • Y a-t-il des critères clairs pour cette question évaluative ?
  • Y a-t-il des normes claires permettant d’évaluer la qualité du rendement par rapport à chaque critère ?
  • La manière d’effectuer la synthèse des données probantes pour l’ensemble des critères est-elle claire ? Par exemple, est-ce mieux d’obtenir de modestes améliorations pour tout le monde ou de grandes améliorations pour certaines personnes ?
  • Les critères, les normes et les approches appliqués à la synthèse des données probantes sont-ils appropriés ? Quelle a été leur source ? Un examen plus poussé de ceux-ci est-il requis ? Qui devrait être mobilisé ?

Idéalement, une conception de l’évaluation précise clairement les critères et les normes, y compris leur source, qui peuvent être présentés dans un tableau comme le suivant :

Tableau 1: Exemple d’un tableau présentant les critères, les normes, le processus de synthèse des données, ainsi que les sources.

Aspect évaluatif

Processus visant à élaborer, d’une manière concertée, les critères, les normes et la synthèse des données

Critères

Normes

Synthèse des données/Pondération

La pertinence des ressources pour le programme

Appliquer des normes nationales à la prestation des services 

Le nombre de [services] par 100 000 personnes

[x] par 100 000 personnes

La moyenne dans l’ensemble des régions, pondérée selon la population

La qualité des services fournis

Les normes de service nationales

L’accessibilité financière

Tous peuvent avoir accès aux services, peu importe leur capacité de payer

 

La propreté

Les surfaces servant à la manipulation des aliments sont aseptisées

 

Consultation communautaire

Pertinence culturelle

Les gens de toutes les origines ethniques se sentent les bienvenus dans le service

 

(iii) Vérifier la pertinence de la conception des questions causales

Bon nombre d’évaluations ne précisent pas clairement la manière de répondre aux questions causales. De nombreuses conceptions et méthodes peuvent être utilisées, mais elles comprennent une ou plusieurs des stratégies suivantes :

(i) Comparer les résultats à une estimation de ce qui se serait produit si le programme n’avait pas existé (il s’agit d’un raisonnement hypothético-déductif).

Cela peut comprendre la création d’un groupe de contrôle (dans lequel on détermine aléatoirement si les personnes ou les sites vont participer ou non) ou d’un groupe de comparaison (dans lequel les participants sont comparés à d’autres qui sont appariés de différentes manières). Les techniques comprennent :

  • Les essais comparatifs sur échantillons aléatoires – un groupe de contrôle est comparé à un ou plusieurs groupes de traitement.
  • Les comparaisons appariées – chaque participant est apparié à un non-participant en fonction des variables qui sont jugées pertinentes. Il peut être difficile d’apparier adéquatement les personnes en fonction de tous les critères pertinents.
  • L’appariement des coefficients de propension  – crée un groupe de comparaison selon une analyse des facteurs qui ont influé sur la propension des personnes à participer au programme.
  • La discontinuité de la régression – compare les résultats des personnes qui sont juste au-dessous du seuil avec ceux des personnes qui sont juste au-dessus du seuil. 

(ii) Vérifier si les données probantes sont conformes à la théorie sur la manière dont l’intervention devait contribuer aux résultats observés.

Cette technique peut consister notamment à vérifier si les résultats intermédiaires ont été obtenus, à utiliser la reconstitution du processus pour vérifier chaque lien causal dans la théorie du changement, à cerner et à surveiller les anomalies qui ne s’harmonisent pas aux tendances, et à demander aux participants d’expliquer les changements. Les techniques comprennent : 

  • L’analyse des contributions – établit la théorie du changement qui est censé produire les effets et les résultats observés, et recherche de manière itérative des données probantes qui appuieront ou réfuteront cette théorie.
  • L’attribution causale réalisée par les informateurs clés – consiste à demander aux participants et à d’autres personnes informées d’indiquer quelles sont, à leur avis, les causes des effets, et à recueillir des détails au sujet des processus causaux.
  • L’analyse comparative qualitative – compare différents cas afin de déterminer les différentes combinaisons de facteurs qui produisent certains résultats.
  • La reconstitution du processus – il s’agit d’une méthode d’inférence causale fondée sur des études de cas qui consiste à utiliser des indices associés à un cas (observations par processus causal) pour trancher entre les différentes explications possibles. Cette technique comprend la vérification de chaque étape de la chaîne causale pour voir si les données probantes appuient, n’appuient pas ou réfutent la théorie selon laquelle le programme ou le projet a produit les effets observés.
  • Le protocole d’évaluation qualitative des effets – combine l’attribution causale réalisée par les informateurs clés, la reconstitution du processus et l’analyse des contributions, et utilise les entrevues menées afin de réduire les évaluations partiales.

(iii) Cerner et exclure les autres explications. 

Ce travail consiste à utiliser un processus pour cerner les autres explications possibles (éventuellement en s’appuyant sur des entrevues menées avec des personnes qui sont sceptiques ou critiques à l’égard du programme, sur des évaluations et des recherches antérieures, ainsi que sur des entrevues menées avec les participants), et à rechercher ensuite des données probantes qui permettraient d’exclure ces autres explications. 

Même si une expertise technique est requise afin de choisir l’option appropriée pour répondre aux questions causales, en tant que gestionnaire, vous devriez pouvoir vérifier si une méthode explicite est actuellement utilisée, et solliciter un examen technique afin d’assurer sa pertinence.

Lien de causalité (entre une variable et une autre – une étape de la chaîne causale)

Quelles sont les stratégies, les méthodes et les conceptions qui sont utilisées aux fins de l’inférence causale ?

Par exemple, la participation à un programme et l’amélioration de la santé et du bien-être de la population.

Raisonnement hypothético-déductif – des groupes de comparaison comprenant des participants et des non-participants appariés.

Par exemple, l’acquisition de compétences et un comportement modifié.

Cohérence entre les données probantes et exclusion des autres possibilités – reconstitution du processus et attribution causale réalisée par les informateurs clés.

(iv) Vérifier si la conception et le processus répondent aux composantes relatives aux mesures des questions principales d’évaluation

Les réponses aux questions relatives aux mesures sont souvent formulées sous forme de recommandations. Celles-ci ne proviennent pas nécessairement des constatations. En fait, il est souvent nécessaire d’effectuer une étape supplémentaire visant à déterminer les mesures possibles, puis à choisir la plus appropriée selon les valeurs particulières et la disponibilité des ressources.

En tant que gestionnaire, vous devriez vous assurer qu’il existe un processus explicite servant à élaborer et à examiner les recommandations, et que le niveau de participation des intervenants clés est suffisant.

You are currently here:
Voir toutes les étapes du processus d’évaluation

Comments

There are currently no comments. Be the first to comment on this page!

Add new comment

Login Login and comment as BetterEvaluation member or simply fill out the fields below.