Análise de contribuição
Análise de contribuição (contribution analysis) é uma abordagem para avaliar questões causais e inferir causalidade em avaliações de programas reais.
Nota: Esta página não contém a versão mais recente do conteúdo. Por favor, consulte a versão em inglês para o conteúdo mais recente.
Este recurso oferece uma abordagem passo-a-passo projetado para ajudar gerentes, pesquisadores e formuladores de políticas a chegar a conclusões sobre a contribuição que seu programa fez (ou está fazendo) para resultados específicos. O valor essencial da análise de contribuição é que ele oferece uma abordagem destinada a reduzir a incerteza sobre a contribuição que a intervenção faz, a partir dos resultados observados, através de uma maior compreensão do porquê os resultados observados ocorreram (ou não!) e os papéis desempenhados pela intervenção e outros fatores internos e externos.
Análise de contribuição é particularmente útil em situações em que o programa não é experimental, ou seja, não são projetos experimentais, mas em situações em que o programa foi financiado com base em uma teoria de mudança (theory of change) articulada, e onde há pouca ou nenhuma variação em como o programa é implementado. Análise de contribuição ajuda a confirmar ou rever uma teoria da mudança; não se destina a ser usado superficialmente, ou para encobrir e exibir uma teoria de mudança até aqui implícita ou inexplícita. O relatório a partir de uma análise de contribuição não é uma prova definitiva, mas sim fornece evidências e uma linha de raciocínio a partir do qual podemos tirar uma conclusão plausível que, com um certo nível de confiança, o programa fez uma importante contribuição para os resultados documentados.
Passos
Seis passos são necessários para produzir uma estória de contribuição credível:
1. Definir o problema de atribuição a ser abordado
Determine as questões específicas a serem abordadas. Nem todas as perguntas de causa-efeito são úteis para levar adiante. Análise de contribuição é menos adequado para questões tradicionais de causalidade, tais como: Será que o programa causou o efeito? Até que ponto, em termos quantitativos, o programa causou o resultado? Perguntas como estas muitas vezes não são tão úteis porque elas tratam o programa como uma caixa preta, e não abrangem o fato de que geralmente há muitas causas envolvidas em um resultado. Análise de contribuição é mais apropriado para perguntas de contribuição: o programa influenciou o resultado observado? Será que o programa fez uma importante contribuição para o resultado observado? Por que ocorreu o resultado? Qual o papel que a intervenção desempenhou? E em questões de gestão: É razoável concluir que o programa tem causado alguma diferença? O que a hegemonia de provas diz sobre o quão bem o programa está fazendo a diferença? Que condições são necessárias para tornar este tipo de programa bem-sucedido?
2. Desenvolver uma teoria da mudança e os riscos associados a ela
Desenvolver a lógica/cadeia de resultados do programa descrevendo como o programa deve funcionar. Identifique também os principais fatores externos em questão que podem explicar os resultados observados. Com base na cadeia de resultados, desenvolva a teoria de mudança sobre a qual se baseia o programa. Esta teoria da mudança deve levar a uma associação plausível entre as atividades do programa e os resultados esperados. A teoria da mudança deve incluir as suposições feitas na cadeia de resultados e os riscos inerentes, bem como influências externas, tais como a pressão dos doadores, influências de colegas e níveis de recursos. Alguns links na teoria da mudança será bastante bem compreendido ou aceito. Outros serão menos compreendidos, contestados ou sujeitos à influência significativa além do programa. Desta forma, você reconhece que a atribuição é de fato um problema.
3. Reunir os dados existentes sobre a teoria da mudança
É útil inicialmente usar as evidências existentes, como a partir de avaliações passadas ou pesquisa relacionada, e de monitoramento prévio, para testar a teoria da mudança. Com isso se estabelece os resultados pretendidos (produtos, resultados intermediários e finais). Que provas (informações a partir de medidas de desempenho e avaliações) está atualmente disponível sobre a ocorrência destes resultados? Os links na teoria da mudança também precisam ser avaliados. Que evidência existe atualmente sobre os pressupostos e os riscos por trás desses links? Quais são fortes (boas evidências disponíveis, a lógica forte, ou a aceitação extensa) e quais são fracos (pouca evidência disponível, lógica fraca, ou pouco acordo entre as partes interessadas)? Que evidência existe sobre os outros fatores identificados que influenciam e a contribuição que podem estar fazendo?
4. Montar e avaliar a estória de contribuição, ou a estória de desempenho, e seus desafios
Com esta informação, você será capaz de montar sua estória de contribuição que explica por que é razoável supor que as ações do programa têm contribuído (de alguma forma, no qual você pode querer experimentar e caracterizar) para os resultados observados. Agora você tem que avaliar isso. Qual a credibilidade da estória? Será que pessoas razoáveis concordam com a estória? Será que o padrão de resultados observados autenticam a cadeia de resultados? Onde estão os principais pontos fracos da estória? Sempre haverá fraquezas. Deficiências no ponto da estória aonde é necessário dados ou informações adicionais.
5. Procurar evidência adicionais
Depois de identificar onde a estória de contribuição é menos credível, evidência adicional é agora reunida para aumentar as evidências em termos de que resultados ocorreram, o quanto sensato são as suposições importantes, e qual tem sido o papel das influências externas e outros fatores que contribuem. Aumentando as provas podem incluir a coleta de dados adicionais, tais como a partir de pesquisas, visitas de campo, dados administrativos, grupos focais, os dados estatísticos nacionais, etc., bem como a síntese de evidências de outras pesquisas e avaliações.
6. Revisar e, quando evidências adicionais permitem, fortalecer a estória de contribuição
Com as novas provas, você deve ser capaz de construir uma estória mais substantiva e assim mais credível, que uma pessoa sensata vai ser mais propensa a concordar. Ela provavelmente não vai ser infalível, mas a evidência adicional terá efeito mais forte e mais plausível.
Usando uma perspectiva gerativa sobre causalidade, para inferir que um programa fez uma contribuição importante para um resultado esperado, a análise de contribuição argumenta que uma reivindicação razoável da contribuição causal pode ser feita se:
- Há uma teoria fundamentada de mudança para a intervenção: as suposições por trás do porquê se espera que a intervenção funcione faz sentido, são plausíveis, podem ser apoiadas por provas e / ou pela pesquisa existente, e são acordadas por, pelo menos, algumas das pessoas chave.
- As atividades da intervenção foram implementadas, tal como estabelecido na teoria da mudança.
- A teoria de mudança - ou elementos chave- é apoiada e confirmada por evidências nos resultados observados e os pressupostos subjacentes - a cadeia de resultados esperados ocorreu. A teoria da mudança não foi rejeitada.
- Outros fatores que influenciam foram avaliados e mostrado não terem feito uma contribuição significativa, ou seu papel para contribuir para o resultado desejado foi reconhecido
Problemas
Alguns problemas podem surgir quando se usa esta abordagem em relação a:
- Reduzir a incerteza sobre a contribuição que a intervenção está fazendo sobre os resultados observados.
- Deduzir causalidade em avaliações de programas reais.
- Confirmar ou revisar a teoria de um programa de mudança - incluindo o seu modelo lógico.
Riscos e suposições são rotulados como [O] sobre a qual a intervenção não tem ou tem muito pouca influência, ou [I], onde a intervenção pode (ou deve) ter uma influência direta ou indireta, ou [C] em que a intervenção deve ser capaz de controlar directamente.
This brief from the Institutional Learning and Change Initiative (ILAC), written by John Mayne, explores contribution analysis and how it can be used to provide credible assessments of cause and effect.
This briefing note, written by Marina Apgar, Kevin Hernandez and Giel Ton in 2020 as part of GLAM (Global Learning on Adaptive Management), shares practical learning on the use of contribution analysis for adaptive management CA4AM)
This 2019 practice paper, by Giel Ton, John Mayne, Thomas Delahais, Jonny Morell, Barbara Befani, Marina Apgar and Peter O’Flynn, explores how contribution analysis can be stretched so that it can give some sense of the importance of an intervention’s causal contribution to particular outcomes in a quantitative manner.
Examples
This example discusses how contribution analysis and process tracing were used for an impact evaluation of a pro-poor market system development programme, ‘Making Markets Work for the Poor’.
This example discusses how contribution analysis was used in the theory-based and participatory evaluation design of the Child Labour: Action-Research- Innovation in South and South-Eastern Asia (CLARISSA) programme.
This article presents an example of a rigorous non-counterfactual causal analysis that describes how different evidence and methods were used together for causal inference without a control group or comparison group.
Robin Kane, Carlisle Levine, Carlyn Orians, and Claire Reinelt, 2017.
Those involved in policy change struggle to determine whether or in what ways their advocacy efforts influence policy outcomes. Contribution analysis is a theory-based approach for assessing causal linkages that is well suited for addressing this kind of challenge. In this brief, the co-authors draw on their experience using contribution analysis to evaluate the impact of advocacy efforts to offer guidance to advocacy evaluators who would like to use a similar approach.
Discussion papers about methods
This article, written by Barbara Befani and John Mayne for the IDS Bulletin (Volume 45 Number 6), outlines how the combined use of contribution analysis (CA) with process tracing (PT) can shift the focus of impact evaluation from ‘assessing impact’ to ‘assessing confidence’ (about impact).