Análise de contribuição

Available languages

Este recurso oferece uma abordagem passo-a-passo projetado para ajudar gerentes, pesquisadores e formuladores de políticas a chegar a conclusões sobre a contribuição que seu programa fez (ou está fazendo) para resultados específicos. O valor essencial da análise de contribuição é que ele oferece uma abordagem destinada a reduzir a incerteza sobre a contribuição que a intervenção faz, a partir dos resultados observados, através de uma maior compreensão do porquê os resultados observados ocorreram (ou não!) e os papéis desempenhados pela intervenção e outros fatores internos e externos.

Análise de contribuição é particularmente útil em situações em que o programa não é experimental, ou seja, não são projetos experimentais, mas em situações em que o programa foi financiado com base em uma teoria de mudança (theory of change) articulada, e onde há pouca ou nenhuma variação em como o programa é implementado. Análise de contribuição ajuda a confirmar ou rever uma teoria da mudança; não se destina a ser usado superficialmente, ou para encobrir e exibir uma teoria de mudança até aqui implícita ou inexplícita. O relatório a partir de uma análise de contribuição não é uma prova definitiva, mas sim fornece evidências e uma linha de raciocínio a partir do qual podemos tirar uma conclusão plausível que, com um certo nível de confiança, o programa fez uma importante contribuição para os resultados documentados.

Passos​

Seis passos são necessários para produzir uma estória de contribuição credível:

1. Definir o problema de atribuição a ser abordado

Determine as questões específicas a serem abordadas. Nem todas as perguntas de causa-efeito são úteis para levar adiante. Análise de contribuição é menos adequado para questões tradicionais de causalidade, tais como: Será que o programa causou o efeito? Até que ponto, em termos quantitativos, o programa causou o resultado? Perguntas como estas muitas vezes não são tão úteis porque elas tratam o programa como uma caixa preta, e não abrangem o fato de que geralmente há muitas causas envolvidas em um resultado. Análise de contribuição é mais apropriado para perguntas de contribuição: o programa influenciou o resultado observado? Será que o programa fez uma importante contribuição para o resultado observado? Por que ocorreu o resultado? Qual o papel que a intervenção desempenhou? E em questões de gestão: É razoável concluir que o programa tem causado alguma diferença? O que a hegemonia de provas diz sobre o quão bem o programa está fazendo a diferença? Que condições são necessárias para tornar este tipo de programa bem-sucedido?

2. Desenvolver uma teoria da mudança e os riscos associados a ela

Desenvolver a lógica/cadeia de resultados do programa descrevendo como o programa deve funcionar. Identifique também os principais fatores externos em questão que podem explicar os resultados observados. Com base na cadeia de resultados, desenvolva a teoria de mudança sobre a qual se baseia o programa. Esta teoria da mudança deve levar a uma associação plausível entre as atividades do programa e os resultados esperados. A teoria da mudança deve incluir as suposições feitas na cadeia de resultados e os riscos inerentes, bem como influências externas, tais como a pressão dos doadores, influências de colegas e níveis de recursos. Alguns links na teoria da mudança será bastante bem compreendido ou aceito. Outros serão menos compreendidos, contestados ou sujeitos à influência significativa além do programa. Desta forma, você reconhece que a atribuição é de fato um problema.

3. Reunir os dados existentes sobre a teoria da mudança

É útil inicialmente usar as evidências existentes, como a partir de avaliações passadas ou pesquisa relacionada, e de monitoramento prévio, para testar a teoria da mudança. Com isso se estabelece os resultados pretendidos (produtos, resultados intermediários e finais). Que provas (informações a partir de medidas de desempenho e avaliações) está atualmente disponível sobre a ocorrência destes resultados? Os links na teoria da mudança também precisam ser avaliados. Que evidência existe atualmente sobre os pressupostos e os riscos por trás desses links? Quais são fortes (boas evidências disponíveis, a lógica forte, ou a aceitação extensa) e quais são fracos (pouca evidência disponível, lógica fraca, ou pouco acordo entre as partes interessadas)? Que evidência existe sobre os outros fatores identificados que influenciam e a contribuição que podem estar fazendo?

4. Montar e avaliar a estória de contribuição, ou a estória de desempenho, e seus desafios

Com esta informação, você será capaz de montar sua estória de contribuição que explica por que é razoável supor que as ações do programa têm contribuído (de alguma forma, no qual você pode querer experimentar e caracterizar) para os resultados observados. Agora você tem que avaliar isso. Qual a credibilidade da estória? Será que pessoas razoáveis concordam com a estória? Será que o padrão de resultados observados autenticam a cadeia de resultados? Onde estão os principais pontos fracos da estória? Sempre haverá fraquezas. Deficiências no ponto da estória aonde é necessário dados ou informações adicionais.

5.  Procurar evidência adicionais

Depois de identificar onde a estória de contribuição é menos credível, evidência adicional é agora reunida para aumentar as evidências em termos de que resultados ocorreram, o quanto sensato são as suposições importantes, e qual tem sido o papel das influências externas e outros fatores que contribuem. Aumentando as provas podem incluir a coleta de dados adicionais, tais como a partir de pesquisas, visitas de campo, dados administrativos, grupos focais, os dados estatísticos nacionais, etc., bem como a síntese de evidências de outras pesquisas e avaliações.

6. Revisar e, quando evidências adicionais permitem, fortalecer a estória de contribuição

Com as novas provas, você deve ser capaz de construir uma estória mais substantiva e assim mais credível, que uma pessoa sensata vai ser mais propensa a concordar. Ela provavelmente não vai ser infalível, mas a evidência adicional terá efeito mais forte e mais plausível.

Usando uma perspectiva gerativa sobre causalidade, para inferir que um programa fez uma contribuição importante para um resultado esperado, a análise de contribuição argumenta que uma reivindicação razoável da contribuição causal pode ser feita se:

  • Há uma teoria fundamentada de mudança para a intervenção: as suposições por trás do porquê se espera que a intervenção funcione faz sentido, são plausíveis, podem ser apoiadas por provas e / ou pela pesquisa existente, e são acordadas por, pelo menos, algumas das pessoas chave.
  • As atividades da intervenção foram implementadas, tal como estabelecido na teoria da mudança.
  • A teoria de mudança - ou elementos chave- é apoiada e confirmada por evidências nos resultados observados e os pressupostos subjacentes - a cadeia de resultados esperados ocorreu. A teoria da mudança não foi rejeitada.
  • Outros fatores que influenciam foram avaliados e mostrado não terem feito uma contribuição significativa, ou seu papel para contribuir para o resultado desejado foi reconhecido

Problemas

Alguns problemas podem surgir quando se usa esta abordagem em relação a:

  • Reduzir a incerteza sobre a contribuição que a intervenção está fazendo sobre os resultados observados.
  • Deduzir causalidade em avaliações de programas reais.
  • Confirmar ou revisar a teoria de um programa de mudança - incluindo o seu modelo lógico.

Riscos e suposições são rotulados como [O] sobre a qual a intervenção não tem ou tem muito pouca influência, ou [I], onde a intervenção pode (ou deve) ter uma influência direta ou indireta, ou [C] em que a intervenção deve ser capaz de controlar directamente.

Resources

Guides

  • Mayne, J. (2011). Addressing Cause and Effect in Simple and Complex Settings through Contribution Analysis. In Evaluating the Complex, R. Schwartz, K. Forss, and M. Marra (Eds.), Transaction Publishers.
  • Mayne, J. (2011) Contribution Analysis: Addressing Cause and Effect in Evaluating the Complex, K. Forss, M. Marra and R. Schwartz (Eds.), Transaction Publishers; Piscataway, New Jersey.
Mayne, J. (2008) Contribution Analysis: An approach to exploring cause and effect, ILAC methodological brief, available at https://web.archive.org/web/20150226022328/http://www.cgiar-ilac.org/files/ILAC_Brief16_Contribution_Analysis_0.pdf (archived link)
Última atualização: