Análisis de contribución

Ofrece un enfoque detallado, diseñado para ayudar a los directores de programas, investigadores y diseñadores de políticas a llegar a conclusiones acerca de la contribución que ha efectuado (o está efectuando) su programa a determinados resultados. El valor principal del análisis de contribución es que ofrece un enfoque diseñado para reducir la incertidumbre respecto de la contribución que la intervención está haciendo a los resultados observados, a través de una comprensión mejorada de las causas por las cuales los resultados observados han tenido lugar (¡o no!) y los roles desempeñados por la intervención y otros factores internos y externos.

El análisis de contribución es especialmente útil en situaciones en las que un programa no es experimental; es decir, no es apto para proyectos de prueba sino para situaciones en las que el programa ha sido financiado sobre la base de una teoría de cambio más bien claramente definida y donde hay poco o ningún margen para variar la forma en que el programa es implementado. El análisis de contribución ayuda a confirmar o revisar una teoría de cambio; su propósito no es que sea utilizado para sacar a la superficie o descubrir una teoría de cambio que se ha mantenido implícita o inexplícita hasta ahora. El informe de un análisis de contribución no constituye una prueba definitiva, sino que proporciona evidencia y una línea de razonamiento de las cuales podemos extraer una conclusión plausible en el sentido que, dentro de cierto nivel de confianza, el programa ha realizado una contribución importante a los resultados documentados.

Etapas

Se requieren seis pasos para producir una narrativa verosímil respecto de la contribución:

1. Definir el problema de​ atribución que debe ser abordado

Determine las preguntas específicas que deben ser respondidas. No todas las preguntas causa-efecto son útiles de responder. El análisis de contribución es menos adecuado para preguntas tradicionales sobre la causalidad tales como: ¿El programa ha dado origen al efecto? ¿Hasta qué punto, cuantitativamente hablando, el programa ha generado el efecto? Estas preguntas muchas veces no son tan útiles porque tratan al programa como una caja negra y no toman en cuenta que normalmente son muchas las causas involucradas. El análisis de contribución es más apropiado para preguntas sobre la contribución: ¿El programa ha influido en el resultado observado? ¿Ha hecho el programa una contribución importante al resultado observado? ¿Por qué se ha producido el resultado? ¿Qué papel jugó la intervención? Igualmente, es apropiado para preguntas relativas a la gestión: ¿Es razonable concluir que el programa ha marcado una diferencia? ¿Qué nos dice la preponderancia de evidencia acerca de cuán bien el programa está marcando una diferencia? ¿Qué condiciones se requieren para que este tipo de programa tenga éxito?

2. Desarrollar una teoría de cambio y los riesgos que conlleva

Desarrollar el modelo lógico y/o la cadena de resultados del programa, describiendo cómo se supone que funcione el programa. Identificar asimismo los principales factores externos que juegan un papel y que podría ser los posibles causantes de los efectos observados. Con base en la cadena de resultados, desarrollar la teoría de cambio en la cual se sustenta el programa. Dicha teoría de cambio debería llevar a una asociación plausible entre las actividades del programa y los efectos buscados. La teoría de cambio debe incluir los supuestos formulados en la cadena de resultados y los riesgos inherentes, así como influencias externas tales como: presión de las instituciones donantes, influencias de pares y niveles de recursos. Algunas relaciones o vínculos establecidos en la teoría de cambio serán bastante bien comprendidos o aceptados, mientras que otros serán menos bien comprendidos e impugnados o estarán sujetos a influencias significativas que no sean las del programa. De esta manera, estarán reconociendo que la atribución ciertamente representa un problema.

3. Reunir la evidencia existente sobre la teoría de cambio

Resulta útil recurrir primero a la evidencia existente, por ejemplo, de evaluaciones o investigaciones alusivas previas y actividades de seguimiento anteriores, para validar la teoría de cambio. Dicha información establece los resultados previstos (productos y efectos intermedios y finales). ¿Con qué evidencia (información sobre mediciones y evaluaciones de desempeño) se cuenta actualmente acerca de la ocurrencia de dichos resultados diversos? Es necesario analizar también las relaciones o vínculos enunciados en la teoría de cambio. ¿Qué evidencia existe actualmente sobre los supuestos y riesgos que subyacen a dichas relaciones? ¿Cuáles son fuertes (buena evidencia disponible, lógica robusta, o amplia aceptación) y cuáles son débiles (escasa evidencia disponible, lógica débil, o escaso consenso entre las partes interesadas)? ¿Qué evidencia existe sobre los otros factores influyentes identificados y la contribución que pueden estar haciendo?

4. Armar y evaluar una narrativa sobre la contribución, o una narrativa sobre el desempeño y los desafíos asociados

Con esta información podrán armar su narrativa sobre la contribución, expresando por qué es razonable asumir que las actividades del programa han contribuido (de alguna manera, que podrían tratar de caracterizar) a los efectos observados. Ahora deben evaluar dicha narrativa. ¿Qué tan creíble es? ¿Personas razonables están de acuerdo con la narrativa? ¿El patrón de resultados observado valida la cadena de resultados? ¿Dónde radican las principales debilidades de la narrativa? Siempre habrá debilidades. Las debilidades de la narrativa revelan dónde se requieren datos o información adicional.

5. Buscar evidencia adicional

Habiendo identificado aquellos aspectos en los que la narrativa sobre la contribución es menos creíble, es momento de reunir evidencia adicional con el fin de aumentar la evidencia en términos de qué resultados han tenido lugar, cuán razonables son los supuestos clave y cuál ha sido el papel de las influencias externas y otros factores contribuyentes. Aumentar la evidencia puede incluir recolectar datos adicionales, por ejemplo de encuestas, visitas de campo, información administrativa, grupos focales, datos estadísticos nacionales, etc., así como una síntesis de la evidencia generada por otras investigaciones y evaluaciones.

6. Revisar y, ahí donde la evidencia adicional lo permita, fortalecer la narrativa sobre la contribución

Con la nueva evidencia reunida, deberían poder construir una narrativa más sustantiva y por lo tanto más creíble, es decir, una narrativa con la que una persona razonable estará más dispuesta a estar de acuerdo. Probablemente no será infalible, pero la evidencia adicional la habrá robustecido y habrá aumentado su verosimilitud.

Utilizando una perspectiva generativa sobre la causalidad para inferir que un programa ha realizado una contribución importante a un resultado esperado que ha sido observado, el análisis de la contribución sostiene que es posible realizar una afirmación causal razonable sobre la contribución si:

• Existe una teoría de cambio fundamentada sobre la intervención: los supuestos clave que subyacen a las razones por las cuales se espera que la intervención funcione tienen sentido, son plausibles, pueden ser respaldados por evidencia y/o investigaciones existentes y gozan de consenso entre al menos algunos de los actores clave.
• Las actividades de la intervención fueron implementadas tal como estaba establecido en la teoría de cambio.
• La teoría de cambio – o elementos clave de ella — está respaldada y ratificada por evidencia respecto de los resultados observados y los supuestos subyacentes — la cadena de resultados esperados tuvo lugar. La teoría de cambio no ha sido refutada.
• Otros factores influyentes han sido evaluados y ha quedado demostrado que no han realizado una contribución significativa, o bien se ha reconocido el rol relativo que han desempeñado en términos de contribuir al resultado deseado.

Problemas

La adopción de este enfoque podría entrañar algunos problemas en relación con:

• Reducir la incertidumbre en torno a la contribución que la intervención está haciendo a los resultados observados.
• Inferir la causalidad en evaluaciones de la vida real de programas.
• Ratificar o revisar la teoría de cambio de un programa – incluyendo su modelo lógico.

Los supuestos y riesgos son etiquetados como [O] cuando la intervención tiene muy poca o ninguna influencia sobre ellos, como [I] cuando la intervención puede (y debería) tener influencia sobre ellos, ya sea directa o indirectamente, y como [C] cuando la intervención debería tener el control directo sobre ellos.