Análise de contribuição

Also Available In: English

Análise de Contribuição (Contribution Analysis) é uma abordagem para avaliar questões causais e inferir causalidade em avaliações de programas reais. Este recurso oferece uma abordagem passo-a-passo projetado para ajudar gerentes, pesquisadores e formuladores de políticas a chegar a conclusões sobre a contribuição que seu programa fez (ou está fazendo) para resultados específicos. O valor essencial da análise de contribuição é que ele oferece uma abordagem destinada a reduzir a incerteza sobre a contribuição que a intervenção faz, a partir dos resultados observados, através de uma maior compreensão do porquê os resultados observados ocorreram (ou não!) e os papéis desempenhados pela intervenção e outros fatores internos e externos.

Análise de contribuição é particularmente útil em situações em que o programa não é experimental, ou seja, não são projetos experimentais, mas em situações em que o programa foi financiado com base em uma teoria de mudança (theory of change) articulada, e onde há pouca ou nenhuma variação em como o programa é implementado. Análise de contribuição ajuda a confirmar ou rever uma teoria da mudança; não se destina a ser usado superficialmente, ou para encobrir e exibir uma teoria de mudança até aqui implícita ou inexplícita. O relatório a partir de uma análise de contribuição não é uma prova definitiva, mas sim fornece evidências e uma linha de raciocínio a partir do qual podemos tirar uma conclusão plausível que, com um certo nível de confiança, o programa fez uma importante contribuição para os resultados documentados.

Passos​

Seis passos são necessários para produzir uma estória de contribuição credível:

1: Definir o problema de atribuição a ser abordado

Determine as questões específicas a serem abordadas. Nem todas as perguntas de causa-efeito são úteis para levar adiante. Análise de contribuição é menos adequado para questões tradicionais de causalidade, tais como: Será que o programa causou o efeito? Até que ponto, em termos quantitativos, o programa causou o resultado? Perguntas como estas muitas vezes não são tão úteis porque elas tratam o programa como uma caixa preta, e não abrangem o fato de que geralmente há muitas causas envolvidas em um resultado. Análise de contribuição é mais apropriado para perguntas de contribuição: o programa influenciou o resultado observado? Será que o programa fez uma importante contribuição para o resultado observado? Por que ocorreu o resultado? Qual o papel que a intervenção desempenhou? E em questões de gestão: É razoável concluir que o programa tem causado alguma diferença? O que a hegemonia de provas diz sobre o quão bem o programa está fazendo a diferença? Que condições são necessárias para tornar este tipo de programa bem-sucedido?

2: Desenvolver uma teoria da mudança e os riscos associados a ela

Desenvolver a lógica/cadeia de resultados do programa descrevendo como o programa deve funcionar. Identifique também os principais fatores externos em questão que podem explicar os resultados observados. Com base na cadeia de resultados, desenvolva a teoria de mudança sobre a qual se baseia o programa. Esta teoria da mudança deve levar a uma associação plausível entre as atividades do programa e os resultados esperados. A teoria da mudança deve incluir as suposições feitas na cadeia de resultados e os riscos inerentes, bem como influências externas, tais como a pressão dos doadores, influências de colegas e níveis de recursos. Alguns links na teoria da mudança será bastante bem compreendido ou aceito. Outros serão menos compreendidos, contestados ou sujeitos à influência significativa além do programa. Desta forma, você reconhece que a atribuição é de fato um problema.

3: Reunir os dados existentes sobre a teoria da mudança

É útil inicialmente usar as evidências existentes, como a partir de avaliações passadas ou pesquisa relacionada, e de monitoramento prévio, para testar a teoria da mudança. Com isso se estabelece os resultados pretendidos (produtos, resultados intermediários e finais). Que provas (informações a partir de medidas de desempenho e avaliações) está atualmente disponível sobre a ocorrência destes resultados? Os links na teoria da mudança também precisam ser avaliados. Que evidência existe atualmente sobre os pressupostos e os riscos por trás desses links? Quais são fortes (boas evidências disponíveis, a lógica forte, ou a aceitação extensa) e quais são fracos (pouca evidência disponível, lógica fraca, ou pouco acordo entre as partes interessadas)? Que evidência existe sobre os outros fatores identificados que influenciam e a contribuição que podem estar fazendo?

4: Montar e avaliar a estória de contribuição, ou a estória de desempenho, e seus desafios

Com esta informação, você será capaz de montar sua estória de contribuição que explica por que é razoável supor que as ações do programa têm contribuído (de alguma forma, no qual você pode querer experimentar e caracterizar) para os resultados observados. Agora você tem que avaliar isso. Qual a credibilidade da estória? Será que pessoas razoáveis concordam com a estória? Será que o padrão de resultados observados autenticam a cadeia de resultados? Onde estão os principais pontos fracos da estória? Sempre haverá fraquezas. Deficiências no ponto da estória aonde é necessário dados ou informações adicionais.

5: Procurar evidência adicionais

Depois de identificar onde a estória de contribuição é menos credível, evidência adicional é agora reunida para aumentar as evidências em termos de que resultados ocorreram, o quanto sensato são as suposições importantes, e qual tem sido o papel das influências externas e outros fatores que contribuem. Aumentando as provas podem incluir a coleta de dados adicionais, tais como a partir de pesquisas, visitas de campo, dados administrativos, grupos focais, os dados estatísticos nacionais, etc., bem como a síntese de evidências de outras pesquisas e avaliações.

6: Revisar e, quando evidências adicionais permitem, fortalecer a estória de contribuição

Com as novas provas, você deve ser capaz de construir uma estória mais substantiva e assim mais credível, que uma pessoa sensata vai ser mais propensa a concordar. Ela provavelmente não vai ser infalível, mas a evidência adicional terá efeito mais forte e mais plausível.

Usando uma perspectiva gerativa sobre causalidade, para inferir que um programa fez uma contribuição importante para um resultado esperado, a análise de contribuição argumenta que uma reivindicação razoável da contribuição causal pode ser feita se:

  • Há uma teoria fundamentada de mudança para a intervenção: as suposições por trás do porquê se espera que a intervenção funcione faz sentido, são plausíveis, podem ser apoiadas por provas e / ou pela pesquisa existente, e são acordadas por, pelo menos, algumas das pessoas chave.
  • As atividades da intervenção foram implementadas, tal como estabelecido na teoria da mudança.
  • A teoria de mudança - ou elementos chave- é apoiada e confirmada por evidências nos resultados observados e os pressupostos subjacentes - a cadeia de resultados esperados ocorreu. A teoria da mudança não foi rejeitada.
  • Outros fatores que influenciam foram avaliados e mostrado não terem feito uma contribuição significativa, ou seu papel para contribuir para o resultado desejado foi reconhecido

Problemas

Alguns problemas podem surgir quando se usa esta abordagem em relação a:

  • Reduzir a incerteza sobre a contribuição que a intervenção está fazendo sobre os resultados observados.
  • Deduzir causalidade em avaliações de programas reais.
  • Confirmar ou revisar a teoria de um programa de mudança - incluindo o seu modelo lógico.

Riscos e suposições são rotulados como [O] sobre a qual a intervenção não tem ou tem muito pouca influência, ou [I], onde a intervenção pode (ou deve) ter uma influência direta ou indireta, ou [C] em que a intervenção deve ser capaz de controlar directamente.

Recursos

Guias

Fonte

Comments

There are currently no comments. Be the first to comment on this page!

Add new comment

Login Login and comment as BetterEvaluation member or simply fill out the fields below.