Análisis de contribución
El análisis de contribución es un enfoque de evaluación que ofrece una opción sistemática para comprender la contribución de una intervención a los alcances o impactos observados.
Resumen
El análisis de contribución ofrece una opción sistemática para comprender la contribución que ha realizado una intervención (es decir, un proyecto, programa, portafolio, política o campaña de incidencia política) a los resultados observados (alcances o impactos). Supone desarrollar o guiarse por una teoría causal razonada plausible de cómo se entiende que tiene lugar un cambio. El proceso incluye evaluar si la evidencia existente o adicional es consistente con esta teoría de cambio, revisar la teoría de cambio para incorporar mejor otros factores contribuyentes e identificar y descartar, donde proceda, explicaciones alternativas con el fin de comprender la contribución efectiva de una intervención.
El informe del análisis de contribución proporciona evidencia y una línea de razonamiento para extraer una conclusión plausible de los resultados documentados. Proporciona un nivel de confianza con relación a la naturaleza y el nivel de importancia de dicha contribución. Asimismo, proporciona una mayor comprensión de cómo, por qué y para quién tuvieron lugar (o no) los resultados observados y los roles desempeñados por la intervención y otros factores.
Pasos del proceso
El creador del enfoque, John Mayne, dispuso seis pasos para el análisis de contribución, que se entienden mejor como un conjunto de pasos iterativos (tal como se demuestra en este diagrama de Apgar et al., 2020):

Source: Apgar et al. 2017
- Paso 1 Exponer el problema de atribución
- Paso 2 Desarrollar una teoría de cambio e identificar los riesgos de hacerlo
- Paso 3 Reunir la evidencia existente sobre la teoría de cambio
- Paso 4 Reunir y evaluar la afirmación de contribución y sus cuestionamientos
- Paso 5 Buscar evidencia adicional
- Paso 6 Revisar y fortalecer el relato de contribución
1. Exponer el problema de atribución a ser abordado
Es necesario establecer el tipo de pregunta causa-efecto que está siendo planteado en la evaluación. El análisis de contribución reconoce explícitamente que el cambio a nivel de alcances e impacto se produce debido a una combinación de factores, que se conoce como un paquete causal. Una intervención podría contribuir a este paquete, pero no será el único factor responsable de producir el cambio. En vez de responder preguntas tales como: “¿Causó la intervención el cambio observado?”, el análisis de contribución es apropiado para responder preguntas como la siguiente:
- ¿Es razonable concluir que la intervención contribuyó a los cambios observados?
Es necesario establecer el nivel de confianza requerido, y este debería basarse en los tipos de decisiones que la evaluación informará y las necesidades de sus usuarios primarios.
Es necesario explorar el tipo de contribución que se espera que realice una intervención a ciertos cambios específicos en términos de naturaleza y magnitud. Esto incluye explorar:
- ¿En qué resultados se podría esperar que influya directamente la intervención (típicamente al nivel de alcances inmediatos)?
- ¿En qué resultados se podría esperar que influya indirectamente la intervención (típicamente al nivel de alcances e impactos posteriores)?
Es necesario identificar y explorar otros factores de influencia clave, incluida su probable significación.
Para completar este paso se realiza una evaluación inicial de la plausibilidad de la contribución esperada en relación con la magnitud de la intervención y la complejidad de influenciar el resultado de interés. Dada la magnitud de la intervención, la magnitud y la naturaleza del problema y los demás factores de influencia, ¿es probable que la intervención realice una contribución importante? Si no es plausible que la intervención realice una contribución significativa, completar un análisis de contribución podría no tener valor.
2. Desarrollar (o revisar de ser necesario) una teoría de cambio y los riesgos asociados con ella
Desarrollar la lógica/la cadena de resultados del programa, describiendo cómo se supone que funciona la intervención. Identificar los principales factores externos que podrían ser responsables de los alcances observados. Con base en la cadena de resultados, desarrollar la teoría de cambio en la que se basa la intervención, lo cual incluye formular los vínculos causales entre resultados, cualesquier supuestos subyacentes acerca de cómo se producirá el cambio y los riesgos involucrados en lograr las condiciones bajo las cuales se ejecutará la intervención. Esta teoría de cambio debería llevar a una asociación plausible entre las actividades de la intervención y los alcances buscados. Es importante determinar qué proporción de la teoría de cambio es impugnada, por quién y por qué, con diferentes perspectivas acerca de cómo funciona y qué vínculos de la cadena causal son razonablemente comprendidos y aceptados por todos.
3. Reunir evidencia existente sobre la teoría de cambio
Una revisión de la teoría de cambio identificará dónde existe mayor necesidad de evidencia. Esto podría incluir examinar:
- ¿Qué evidencia (por ejemplo, información sobre mediciones y evaluaciones de rendimiento) se encuentra actualmente disponible sobre actividades y resultados diversos?
- ¿Qué evidencia existe actualmente sobre los vínculos causales que conectan cada resultado con el siguiente, y sobre los supuestos sobre las condiciones bajo las cuales funcionarán dichos vínculos causales?
- ¿Qué evidencia existe sobre los demás factores de influencia que han sido identificados y la contribución que pueden estar realizando?
4. Reunir y evaluar el relato de contribución y sus desafíos
Con esta información, el equipo de evaluación y las partes interesadas pueden reunir y evaluar críticamente un relato de contribución inicial. Esto podría incluir:
- ¿Qué vínculos de la cadena causal son fuertes (evidencia sólida disponible, lógica fuerte o amplia aceptación) y cuáles son débiles (poca evidencia disponible, lógica débil o acuerdo limitado entre partes interesadas)?
- ¿En qué medida es creíble el relato de contribución en general? ¿Están de acuerdo las partes interesadas con el relato, dada la evidencia disponible?
- ¿Quién está o no está de acuerdo y por qué? ¿Están de acuerdo en que la intervención ha realizado una contribución importante (o no) a los resultados observados?
- ¿Dónde radican las principales debilidades del relato, y dónde sería más útil contar con evidencia adicional?
5. Buscar evidencia adicional
Este paso consiste en identificar qué nueva información se necesita, realizar ajustes a la teoría de cambio de ser necesario y recolectar evidencia adicional. Esto puede incluir recolectar información primaria, por ejemplo:
- Entrevistas, grupos focales, encuestas y estudios de caso;
- Análisis de variaciones en la implementación a través del tiempo y en múltiples locaciones;
- Evaluación detallada de un componente específico del programa en donde la información existente es débil;
- Y síntesis de la evidencia de investigaciones y evaluaciones.
6. Revisar y, ahí donde la evidencia adicional lo permita, fortalecer el relato de contribución
Con la nueva evidencia, deberían poder elaborar un relato más sustantivo y más verosímil, con el cual es más probable que una persona razonable esté de acuerdo. Es probable que no sea infalible, pero con la evidencia adicional será más contundente y más plausible.
A estas alturas se podría volver sobre el paso 4, revisando con una mirada crítica la fortaleza del relato de contribución revisado y reuniendo información adicional según se requiera, o se podría volver sobre el paso 2, revisando la teoría de cambio.
Podría considerarse que el relato de contribución está lo suficientemente desarrollado si:
- Se cuenta con una teoría de cambio razonada para la intervención: los supuestos clave detrás de por qué se espera que la intervención funcione tienen sentido, son plausibles, pueden estar respaldados por evidencia y/o investigaciones existentes y diversos actores clave están de acuerdo con ellos.
- Las actividades de la intervención fueron implementadas tal como se describió en la teoría de cambio.
- La teoría de cambio—o elementos clave de la misma— se encuentra respaldada y ratificada por evidencia sobre resultados observados y supuestos subyacentes—la cadena de resultados previstos tuvo lugar. La teoría de cambio no ha sido desaprobada.
- Otros factores de influencia han sido evaluados y ya sea han probado no haber realizado una contribución significativa o su papel relativo en contribuir al resultado deseado ha sido reconocido.
Personas evaluadoras posteriores (Wimbush et al., 2012) añadieron un séptimo paso – utilizar el análisis de contribución para ayudar a las organizaciones o redes a revisar sus estrategias y tácticas, extraer aprendizajes y realizar mejoras.
Características de las vías causales
Cómo se podría utilizar este enfoque para incorporar características de una perspectiva de vías causales
Una perspectiva de vías causales en la evaluación se centra en entender cómo, por qué y bajo qué condiciones se produce o se ha producido un cambio. Se utiliza para entender las cadenas interconectadas de vínculos causales que conducen a una serie de alcances e impactos. Dichas vías causales probablemente involucrarán a múltiples actores, factores contribuyentes, eventos y acciones, y no solo las actividades asociadas con el programa, proyecto o política sometido a evaluación o sus objetivos declarados.
El análisis de contribución puede usarse de formas que incorporen las siguientes características de una perspectiva de vías causales:
- Valora las narrativas de los actores: Como parte del proceso iterativo de investigar los vínculos causales, las narrativas de los actores deberían ser incluidas como parte de la evidencia utilizada para desarrollar, refinar y probar la teoría de cambio.
- Presta atención a una variedad de alcances e impactos: En el proceso de probar la teoría de cambio original, se pueden identificar otras intervenciones y vías causales que también contribuyen al alcance de interés y, relacionado con dichas vías, nuevos alcances intermedios que podrían ameritar exploración.
- Entiende la variación contextual: Identificar y describir las diferencias en la forma en que las intervenciones funcionan en diferentes contextos y para diferentes personas – Para examinar exhaustivamente una teoría de cambio y elaborar un relato de contribución robusto, una evaluación tiene que tomar en cuenta la forma en que diferentes personas en diferentes contextos experimentan la intervención de diferentes maneras. Para ello se requiere una sólida comprensión de los distintos contextos en los que se ha llevado a cabo una intervención, así como de la variedad de personas implicadas en ella. La evaluación tiene que recolectar información de cada una de estas fuentes y reproducir cada perspectiva en su análisis.
- Adopta un enfoque iterativo, de bricolaje, para el diseño de evaluación: Utilizar los datos para informar la recolección y el análisis de datos subsiguiente. El análisis de datos utiliza un diseño de evaluación iterativo, empezando por identificar y analizar los datos existentes y luego diseñando una recopilación y análisis de datos adicional para suplir las brechas.
- Se basa en una variedad de estrategias de inferencia causal: El análisis de contribución puede utilizar una amplia gama de metodologías de inferencia causal, no limitando estas a ninguna en particular. Utiliza la lógica de revisar la consistencia de la evidencia con la teoría de cambio y buscar y descartar explicaciones alternativas o realizar ajustes a la teoría de cambio para incluir otros factores contribuyentes.
- Adopta un enfoque adecuado a la complejidad para la evaluación de la calidad y el rigor: El análisis de contribución utiliza la triangulación de los resultados utilizando diferentes métodos y fuentes. Su diseño de evaluación iterativo, focalizado, maximiza el uso de la evidencia existente, guardando la recolección de información adicional para explorar vínculos causales ahí donde esto será más útil.
Fondo
Historia de este enfoque
El análisis de contribución fue desarrollado originalmente por John Mayne, un evaluador canadiense que trabajó inicialmente con el auditor federal general, como una forma de abordar la atribución implícita en los reportes de indicadores de rendimiento relacionados con las teorías de cambio. Más adelante, la metodología fue ampliada para utilizarse en la evaluación. Más recientemente, investigaciones han demostrado cómo el análisis de contribución puede ser combinado con metodologías específicas de inferencia causal, como el rastreo de procesos, (Befani y Mayne, 2014) o con estadísticas bayesianas de actualización de creencias (Punton y Barnett, 2018) para proporcionar un enfoque específico y transparente para evaluar la fuerza de la evidencia que apuntala una teoría de cambio.
Metodologías que forman parte de este enfoque
BetterEvaluation define un enfoque como un paquete sistemático de metodologías. El Enfoque Arcoíris organiza las metodologías en términos de más de 30 tareas involucradas en la planificación, manejo y ejecución de una evaluación. Algunas de las metodologías utilizadas en el análisis de contribución y las tareas de evaluación con las que están relacionadas son:
- Desarrollar el diseño para la evaluación: El análisis de contribución requiere de un diseño de evaluación iterativo, ya que las decisiones acerca de recolectar datos adicionales y cómo serán analizados se toman después, luego de que el relato de contribución inicial es elaborado y revisado. Además, requiere de la participación de partes interesadas clave e informantes clave para que revisen el relato de contribución inicial.
- Definir qué es lo que ha de ser evaluado: El análisis de contribución requiere de una teoría de cambio plausible y bien razonada. Esto se puede hacer utilizando una variedad de metodologías para elaborar y representar una teoría de cambio, pero probablemente funcione mejor con metodologías tales como jerarquías de alcances, que tienen vínculos causales explícitos.
- Recolectar/recuperar información para describir las actividades, alcances, impactos y contexto: el análisis de contribución inicialmente hace un amplio uso de la información existente, por ejemplo, de los documentos existentes. Luego, puede utilizar cualquier metodología para recolectar información adicional.
- Entender las causas: El análisis de contribución probablemente utilizará metodologías y diseños de inferencia causal no experimentales tales como: rastreo de procesos, atribución por informantes clave y múltiples líneas y niveles de evidencia.
Ejemplo
El análisis de contribución se utilizó en una evaluación de impacto que examinó la contribución de dos centros de investigación forestal (el Centre for International Forestry Research (CIFOR) y el Centre de Coopération Internationale en Recherche Agronomique pour le Développement (CIRAD) a las prácticas de gestión forestal sostenible (GFS) en los seis países de la Cuenca del Congo. Se elaboró una teoría de cambio detallada a través de entrevistas con las partes interesadas, que consistió de cinco diferentes vías de contribución, o formas en que las actividades de investigación podían plausiblemente contribuir a los impactos deseados.
La teoría de cambio reconoció asimismo la importancia de los esfuerzos de ONGs internacionales en el logro de dichos impactos.
Para validar la teoría de cambio, el equipo de evaluación reunió evidencia de 65 entrevistas con partes interesadas, revisó 130 documentos, entre ellos evaluaciones y estudios bibliográficos previos, y llevó a cabo tres estudios de caso – un estudio de caso nacional (Camerún) y dos casos de áreas de investigación (gestión forestal y productos forestales distintos a la madera).
La evaluación reveló que las contribuciones más significativas de los centros de investigación fueron las contribuciones a los estándares de gestión nacionales (que establecen cómo se implementan los marcos regulatorios) y a los criterios de certificación que rigen para las empresas madereras. La revisión de la credibilidad del relato de contribución se llevó a cabo de tres formas separadas: el Comité Directivo de evaluación revisó todos los documentos de trabajo; el primer estudio de caso fue revisado por varios investigadores, y el informe final también fue revisado; y un revisor efectuó una revisión detallada, examinando la credibilidad de hallazgos clave, identificó y analizó puntos cuestionables y finalmente revisó la base de evidencia de los hallazgos.
(Nota. Este ejemplo fue adaptado de "Making rigorous causal claims in a real-life context: Has research contributed to sustainable forest management?" por T. Delahais y J. Toulemonde. Evaluation 23(4), 370-388. Derechos de autor 2017.)
Consejos para elegir este enfoque
¿Para qué tipos de proyectos y programas sería apropiado el análisis de contribución?
El análisis de contribución es especialmente útil en situaciones en las que una intervención ha sido implementada a una escala o en situaciones de cambios complejos (como por ejemplo una campaña de incidencia política orientada a influir en un cambio de política a nivel nacional o un programa con enfoque de gestión de paisaje), en las que múltiples factores y actores han influido en un alcance deseado a través del tiempo.
¿Para qué tipos de evaluación es apropiado el análisis de contribución?
El análisis de contribución es apropiado para evaluaciones que plantean preguntas de contribución causales:
- ¿Ha influido la intervención en el resultado observado?
- ¿Ha realizado la intervención una contribución importante al resultado observado?
- ¿Por qué se ha producido el resultado?
- ¿Qué papel desempeñó la intervención dentro de un paquete causal más amplio?
- ¿Es razonable concluir que la intervención ha marcado una diferencia?
- ¿Qué dice la preponderancia de evidencia acerca de hasta qué punto la intervención está marcando una diferencia?
- ¿Qué condiciones se requieren para ayudar a este tipo de intervención a influir en el alcance de interés?
No es adecuado para responder preguntas causales como:
- ¿La intervención ha causado el alcance?
- ¿En qué medida ha causado el alcance la intervención?
¿Qué recursos se requieren?
El análisis de contribución requiere del tiempo adecuado para desarrollar e implementar un diseño de evaluación iterativo, lo cual incluye analizar la información existente y recolectar una cantidad sustancial de información adicional.
Consejos para utilizar este enfoque con eficacia
Temas fundamentales
Trabajar los pasos sistemática e iterativamente asegurará que los recursos de evaluación disponibles sean óptimamente dirigidos a centrarse en los vínculos causales de mayor importancia e incertidumbre.
Utilizar un método de inferencia causal explícito, como rastreo de procesos o múltiples líneas y niveles de evidencia, es importante para fortalecer el relato de contribución.
Recursos
Guías
Este informe de la Iniciativa para el Aprendizaje y el Cambio (ILAC), por John Mayne, explora el análisis de contribución y cómo puede usarse para realizar evaluaciones causa-efecto verosímiles.
Esta nota informativa, escrita en el 2020 por Marina Apgar, Kevin Hernandez y Giel Ton como parte de la alianza GLAM (Global Learning on Adaptive Management), difunde aprendizaje práctico sobre el uso del análisis de contribución para la gestión adaptativa (CA4AM).
Este documento de práctica del 2019, de Giel Ton, John Mayne, Thomas Delahais, Jonny Morell, Barbara Befani, Marina Apgar y Peter O’Flynn, explora la forma en que el análisis de contribución puede ser estirado para poder transmitir algún sentido de la importancia de la contribución causal de una intervención a alcances particulares a un nivel cuantitativo.
Examples
Ejemplos
Este ejemplo examina cómo se utilizaron el análisis de contribución y el rastreo de procesos en una evaluación de impacto de un programa de desarrollo del sistema de mercados a favor de los pobres, “Haciendo que los mercados funcionen para los pobres”.
Este ejemplo examina cómo se usó el análisis de contribución en el diseño de evaluación participativo basado en la teoría del programa Trabajo Infantil: Investigación Aplicada – Innovación en el Sur y Sudeste Asiático (CLARISSA).
[Realizar afirmaciones causales rigurosas en un contexto de la vida real: ¿Ha contribuido la investigación a la gestión forestal sostenible?]
Este artículo presenta un ejemplo de un análisis causal no contrafactual riguroso que describe cómo se utilizaron diferentes evidencias y distintas metodologías de manera conjunta sin un grupo de control o un grupo de comparación.
Robin Kane, Carlisle Levine, Carlyn Orians y Claire Reinelt, 2017
Los involucrados en cambios a nivel de políticas tienen problemas para determinar si sus esfuerzos de incidencia política influyen en los resultados a nivel de políticas o de qué manera. El análisis de contribución es un enfoque basado en la teoría que sirve para evaluar los vínculos causales y se presta muy bien para encarar este tipo de desafío. En este informe, los coautores/as se basan en su experiencia en el uso del análisis de contribución para evaluar el impacto de los esfuerzos de incidencia política para ofrecer orientación a personas evaluadoras que desearían utilizar un enfoque similar.
Documentos de discusión sobre metodologías
Este artículo, escrito por Barbara Befani y John Mayne para el IDS Bulletin (Volumen 45, Número 6), describe la forma en que el uso combinado del análisis de contribución y el rastreo de procesos puede desplazar el foco de la evaluación de impacto de “evaluar el impacto” a “evaluar la confianza” (respecto del impacto).
Este texto fue traducido como parte de una cooperación entre BetterEvaluation, DEval y ReLAC, con apoyo financiero del Ministerio alemán Federal de Cooperación Economica y Desarrollo.
Sources
Apgar, M., Hernandez, K., y Ton, G., 2020. Contribution analysis for adaptive management. Nota informativa.
Befani, B., y Mayne, J. (2014). Process Tracing and Contribution Analysis: A Combined Approach to Generative Causal Inference for Impact Evaluation. IDS Bulletin, Edición especial: Rethinking Impact Evaluation for Development, por Barbara Befani, Chris Barnett y Elliot Stern. Volumen 45, Número 6, pp. 17–36. Recuperado de: http://onlinelibrary.wiley.com/doi/10.1111/1759-5436.12110/extracto
Delahais, T., y Toulemonde, J. (2017). Realizar afirmaciones causales rigurosas en un contexto de la vida real: ¿Ha contribuido la investigación a la gestión forestal sostenible? Evaluation 23(4), 370-388.
Kane, R., Levine, C., Orians, C., y Reinelt, C. (2017). Contribution analysis in policy work: Assessing advocacy’s influence. Washington DC: Center for Evaluation Innovation. https://www.evaluationinnovation.org/wp-content/uploads/2017/11/Contribution-Analysis_0.pdf
Mayne, J. (2001). Addressing Attribution Through Contribution Analysis: Using Performance Measures Sensibly. Canadian Journal of Programme Evaluation, Vol. 16, 1-24.
Punton, M., y Barnett, C. (2018). Contribution analysis and Bayesian Confidence Updating. Documento informativo de Itad.
Wimbush, Erica; Montague, Steve, y Mulherin, Tamara (2012). Application of contribution analysis to outcome planning and impact evaluation. Evaluation, Vol. 18:3, 310-329.
'Análisis de contribución' is referenced in:
Enfoque