Análisis de contribución

El análisis de contribución es un enfoque de evaluación que ofrece una opción sistemática para comprender la contribución de una intervención a los alcances o impactos observados.

Resumen

El análisis de contribución ofrece una opción sistemática para comprender la contribución que ha realizado una intervención (es decir, un proyecto, programa, portafolio, política o campaña de incidencia política) a los resultados observados (alcances o impactos). Supone desarrollar o guiarse por una teoría causal razonada plausible de cómo se entiende que tiene lugar un cambio. El proceso incluye evaluar si la evidencia existente o adicional es consistente con esta teoría de cambio, revisar la teoría de cambio para incorporar mejor otros factores contribuyentes e identificar y descartar, donde proceda, explicaciones alternativas con el fin de comprender la contribución efectiva de una intervención.

El informe del análisis de contribución proporciona evidencia y una línea de razonamiento para extraer una conclusión plausible de los resultados documentados. Proporciona un nivel de confianza con relación a la naturaleza y el nivel de importancia de dicha contribución. Asimismo, proporciona una mayor comprensión de cómo, por qué y para quién tuvieron lugar (o no) los resultados observados y los roles desempeñados por la intervención y otros factores.

Pasos del proceso

El creador del enfoque, John Mayne, dispuso seis pasos para el análisis de contribución, que se entienden mejor como un conjunto de pasos iterativos (tal como se demuestra en este diagrama de Apgar et al., 2020):

• Paso 1   Exponer el problema de atribución
• Paso 2   Desarrollar una teoría de cambio e identificar los riesgos de hacerlo
• Paso 3   Reunir la evidencia existente sobre la teoría de cambio
• Paso 4   Reunir y evaluar la afirmación de contribución y sus cuestionamientos
• Paso 5   Buscar evidencia adicional
• Paso 6   Revisar y fortalecer el relato de contribución

1. Exponer el problema de atribución a ser abordado

Es necesario establecer el tipo de pregunta causa-efecto que está siendo planteado en la evaluación. El análisis de contribución reconoce explícitamente que el cambio a nivel de alcances e impacto se produce debido a una combinación de factores, que se conoce como un paquete causal. Una intervención podría contribuir a este paquete, pero no será el único factor responsable de producir el cambio. En vez de responder preguntas tales como: “¿Causó la intervención el cambio observado?”, el análisis de contribución es apropiado para responder preguntas como la siguiente:

• ¿Es razonable concluir que la intervención contribuyó a los cambios observados?

Es necesario establecer el nivel de confianza requerido, y este debería basarse en los tipos de decisiones que la evaluación informará y las necesidades de sus usuarios primarios.

Es necesario explorar el tipo de contribución que se espera que realice una intervención a ciertos cambios específicos en términos de naturaleza y magnitud. Esto incluye explorar:

• ¿En qué resultados se podría esperar que influya directamente la intervención (típicamente al nivel de alcances inmediatos)?
• ¿En qué resultados se podría esperar que influya indirectamente la intervención (típicamente al nivel de alcances e impactos posteriores)?

Es necesario identificar y explorar otros factores de influencia clave, incluida su probable significación.

Para completar este paso se realiza una evaluación inicial de la plausibilidad de la contribución esperada en relación con la magnitud de la intervención y la complejidad de influenciar el resultado de interés. Dada la magnitud de la intervención, la magnitud y la naturaleza del problema y los demás factores de influencia, ¿es probable que la intervención realice una contribución importante? Si no es plausible que la intervención realice una contribución significativa, completar un análisis de contribución podría no tener valor.

2. Desarrollar (o revisar de ser necesario) una teoría de cambio y los riesgos asociados con ella

Desarrollar la lógica/la cadena de resultados del programa, describiendo cómo se supone que funciona la intervención. Identificar los principales factores externos que podrían ser responsables de los alcances observados. Con base en la cadena de resultados, desarrollar la teoría de cambio en la que se basa la intervención, lo cual incluye formular los vínculos causales entre resultados, cualesquier supuestos subyacentes acerca de cómo se producirá el cambio y los riesgos involucrados en lograr las condiciones bajo las cuales se ejecutará la intervención. Esta teoría de cambio debería llevar a una asociación plausible entre las actividades de la intervención y los alcances buscados. Es importante determinar qué proporción de la teoría de cambio es impugnada, por quién y por qué, con diferentes perspectivas acerca de cómo funciona y qué vínculos de la cadena causal son razonablemente comprendidos y aceptados por todos.

3. Reunir evidencia existente sobre la teoría de cambio

Una revisión de la teoría de cambio identificará dónde existe mayor necesidad de evidencia. Esto podría incluir examinar:

• ¿Qué evidencia (por ejemplo, información sobre mediciones y evaluaciones de rendimiento) se encuentra actualmente disponible sobre actividades y resultados diversos?
• ¿Qué evidencia existe actualmente sobre los vínculos causales que conectan cada resultado con el siguiente, y sobre los supuestos sobre las condiciones bajo las cuales funcionarán dichos vínculos causales?
• ¿Qué evidencia existe sobre los demás factores de influencia que han sido identificados y la contribución que pueden estar realizando?

4. Reunir y evaluar el relato de contribución y sus desafíos

Con esta información, el equipo de evaluación y las partes interesadas pueden reunir y evaluar críticamente un relato de contribución inicial. Esto podría incluir:

• ¿Qué vínculos de la cadena causal son fuertes (evidencia sólida disponible, lógica fuerte o amplia aceptación) y cuáles son débiles (poca evidencia disponible, lógica débil o acuerdo limitado entre partes interesadas)?
• ¿En qué medida es creíble el relato de contribución en general? ¿Están de acuerdo las partes interesadas con el relato, dada la evidencia disponible?
• ¿Quién está o no está de acuerdo y por qué? ¿Están de acuerdo en que la intervención ha realizado una contribución importante (o no) a los resultados observados?
• ¿Dónde radican las principales debilidades del relato, y dónde sería más útil contar con evidencia adicional?

5. Buscar evidencia adicional

Este paso consiste en identificar qué nueva información se necesita, realizar ajustes a la teoría de cambio de ser necesario y recolectar evidencia adicional. Esto puede incluir recolectar información primaria, por ejemplo:

• Entrevistas, grupos focales, encuestas y estudios de caso;
• Análisis de variaciones en la implementación a través del tiempo y en múltiples locaciones;
• Evaluación detallada de un componente específico del programa en donde la información existente es débil;
• Y síntesis de la evidencia de investigaciones y evaluaciones.

6. Revisar y, ahí donde la evidencia adicional lo permita, fortalecer el relato de contribución

Con la nueva evidencia, deberían poder elaborar un relato más sustantivo y más verosímil, con el cual es más probable que una persona razonable esté de acuerdo. Es probable que no sea infalible, pero con la evidencia adicional será más contundente y más plausible.

A estas alturas se podría volver sobre el paso 4, revisando con una mirada crítica la fortaleza del relato de contribución revisado y reuniendo información adicional según se requiera, o se podría volver sobre el paso 2, revisando la teoría de cambio.

Podría considerarse que el relato de contribución está lo suficientemente desarrollado si:

• Se cuenta con una teoría de cambio razonada para la intervención: los supuestos clave detrás de por qué se espera que la intervención funcione tienen sentido, son plausibles, pueden estar respaldados por evidencia y/o investigaciones existentes y diversos actores clave están de acuerdo con ellos.
• Las actividades de la intervención fueron implementadas tal como se describió en la teoría de cambio.
• La teoría de cambio—o elementos clave de la misma— se encuentra respaldada y ratificada por evidencia sobre resultados observados y supuestos subyacentes—la cadena de resultados previstos tuvo lugar. La teoría de cambio no ha sido desaprobada.
• Otros factores de influencia han sido evaluados y ya sea han probado no haber realizado una contribución significativa o su papel relativo en contribuir al resultado deseado ha sido reconocido.

Personas evaluadoras posteriores (Wimbush et al., 2012) añadieron un séptimo paso – utilizar el análisis de contribución para ayudar a las organizaciones o redes a revisar sus estrategias y tácticas, extraer aprendizajes y realizar mejoras.

Características de las vías causales

Cómo se podría utilizar este enfoque para incorporar características de una perspectiva de vías causales

Una perspectiva de vías causales en la evaluación se centra en entender cómo, por qué y bajo qué condiciones se produce o se ha producido un cambio. Se utiliza para entender las cadenas interconectadas de vínculos causales que conducen a una serie de alcances e impactos. Dichas vías causales probablemente involucrarán a múltiples actores, factores contribuyentes, eventos y acciones, y no solo las actividades asociadas con el programa, proyecto o política sometido a evaluación o sus objetivos declarados.

El análisis de contribución puede usarse de formas que incorporen las siguientes características de una perspectiva de vías causales:

• Valora las narrativas de los actores: Como parte del proceso iterativo de investigar los vínculos causales, las narrativas de los actores deberían ser incluidas como parte de la evidencia utilizada para desarrollar, refinar y probar la teoría de cambio.
• Presta atención a una variedad de alcances e impactos: En el proceso de probar la teoría de cambio original, se pueden identificar otras intervenciones y vías causales que también contribuyen al alcance de interés y, relacionado con dichas vías, nuevos alcances intermedios que podrían ameritar exploración.
• Entiende la variación contextual: Identificar y describir las diferencias en la forma en que las intervenciones funcionan en diferentes contextos y para diferentes personas – Para examinar exhaustivamente una teoría de cambio y elaborar un relato de contribución robusto, una evaluación tiene que tomar en cuenta la forma en que diferentes personas en diferentes contextos experimentan la intervención de diferentes maneras. Para ello se requiere una sólida comprensión de los distintos contextos en los que se ha llevado a cabo una intervención, así como de la variedad de personas implicadas en ella. La evaluación tiene que recolectar información de cada una de estas fuentes y reproducir cada perspectiva en su análisis.
• Adopta un enfoque iterativo, de bricolaje, para el diseño de evaluación: Utilizar los datos para informar la recolección y el análisis de datos subsiguiente. El análisis de datos utiliza un diseño de evaluación iterativo, empezando por identificar y analizar los datos existentes y luego diseñando una recopilación y análisis de datos adicional para suplir las brechas.
• Se basa en una variedad de estrategias de inferencia causal: El análisis de contribución puede utilizar una amplia gama de metodologías de inferencia causal, no limitando estas a ninguna en particular. Utiliza la lógica de revisar la consistencia de la evidencia con la teoría de cambio y buscar y descartar explicaciones alternativas o realizar ajustes a la teoría de cambio para incluir otros factores contribuyentes.
• Adopta un enfoque adecuado a la complejidad para la evaluación de la calidad y el rigor: El análisis de contribución utiliza la triangulación de los resultados utilizando diferentes métodos y fuentes. Su diseño de evaluación iterativo, focalizado, maximiza el uso de la evidencia existente, guardando la recolección de información adicional para explorar vínculos causales ahí donde esto será más útil.

Fondo

Historia de este enfoque

El análisis de contribución fue desarrollado originalmente por John Mayne, un evaluador canadiense que trabajó inicialmente con el auditor federal general, como una forma de abordar la atribución implícita en los reportes de indicadores de rendimiento relacionados con las teorías de cambio. Más adelante, la metodología fue ampliada para utilizarse en la evaluación. Más recientemente, investigaciones han demostrado cómo el análisis de contribución puede ser combinado con metodologías específicas de inferencia causal, como el rastreo de procesos, (Befani y Mayne, 2014) o con estadísticas bayesianas de actualización de creencias (Punton y Barnett, 2018) para proporcionar un enfoque específico y transparente para evaluar la fuerza de la evidencia que apuntala una teoría de cambio.

Metodologías que forman parte de este enfoque

BetterEvaluation define un enfoque como un paquete sistemático de metodologías. El Enfoque Arcoíris organiza las metodologías en términos de más de 30 tareas involucradas en la planificación, manejo y ejecución de una evaluación. Algunas de las metodologías utilizadas en el análisis de contribución y las tareas de evaluación con las que están relacionadas son:

• Desarrollar el diseño para la evaluación: El análisis de contribución requiere de un diseño de evaluación iterativo, ya que las decisiones acerca de recolectar datos adicionales y cómo serán analizados se toman después, luego de que el relato de contribución inicial es elaborado y revisado. Además, requiere de la participación de partes interesadas clave e informantes clave para que revisen el relato de contribución inicial.
• Definir qué es lo que ha de ser evaluado: El análisis de contribución requiere de una teoría de cambio plausible y bien razonada. Esto se puede hacer utilizando una variedad de metodologías para elaborar y representar una teoría de cambio, pero probablemente funcione mejor con metodologías tales como jerarquías de alcances, que tienen vínculos causales explícitos.
• Recolectar/recuperar información para describir las actividades, alcances, impactos y contexto: el análisis de contribución inicialmente hace un amplio uso de la información existente, por ejemplo, de los documentos existentes. Luego, puede utilizar cualquier metodología para recolectar información adicional.
• Entender las causas: El análisis de contribución probablemente utilizará metodologías y diseños de inferencia causal no experimentales tales como: rastreo de procesos, atribución por informantes clave y múltiples líneas y niveles de evidencia.

Ejemplo

El análisis de contribución se utilizó en una evaluación de impacto que examinó la contribución de dos centros de investigación forestal (el Centre for International Forestry Research (CIFOR) y el Centre de Coopération Internationale en Recherche Agronomique pour le Développement (CIRAD) a las prácticas de gestión forestal sostenible (GFS) en los seis países de la Cuenca del Congo. Se elaboró una teoría de cambio detallada a través de entrevistas con las partes interesadas, que consistió de cinco diferentes vías de contribución, o formas en que las actividades de investigación podían plausiblemente contribuir a los impactos deseados.

La teoría de cambio reconoció asimismo la importancia de los esfuerzos de ONGs internacionales en el logro de dichos impactos.

Para validar la teoría de cambio, el equipo de evaluación reunió evidencia de 65 entrevistas con partes interesadas, revisó 130 documentos, entre ellos evaluaciones y estudios bibliográficos previos, y llevó a cabo tres estudios de caso – un estudio de caso nacional (Camerún) y dos casos de áreas de investigación (gestión forestal y productos forestales distintos a la madera).

La evaluación reveló que las contribuciones más significativas de los centros de investigación fueron las contribuciones a los estándares de gestión nacionales (que establecen cómo se implementan los marcos regulatorios) y a los criterios de certificación que rigen para las empresas madereras. La revisión de la credibilidad del relato de contribución se llevó a cabo de tres formas separadas: el Comité Directivo de evaluación revisó todos los documentos de trabajo; el primer estudio de caso fue revisado por varios investigadores, y el informe final también fue revisado; y un revisor efectuó una revisión detallada, examinando la credibilidad de hallazgos clave, identificó y analizó puntos cuestionables y finalmente revisó la base de evidencia de los hallazgos.

(Nota. Este ejemplo fue adaptado de "Making rigorous causal claims in a real-life context: Has research contributed to sustainable forest management?" por T. Delahais y J. Toulemonde. Evaluation 23(4), 370-388. Derechos de autor 2017.)

Consejos para elegir este enfoque

¿Para qué tipos de proyectos y programas sería apropiado el análisis de contribución?

El análisis de contribución es especialmente útil en situaciones en las que una intervención ha sido implementada a una escala o en situaciones de cambios complejos (como por ejemplo una campaña de incidencia política orientada a influir en un cambio de política a nivel nacional o un programa con enfoque de gestión de paisaje), en las que múltiples factores y actores han influido en un alcance deseado a través del tiempo.

¿Para qué tipos de evaluación es apropiado el análisis de contribución?

El análisis de contribución es apropiado para evaluaciones que plantean preguntas de contribución causales:

• ¿Ha influido la intervención en el resultado observado?
• ¿Ha realizado la intervención una contribución importante al resultado observado?
• ¿Por qué se ha producido el resultado?
• ¿Qué papel desempeñó la intervención dentro de un paquete causal más amplio?
• ¿Es razonable concluir que la intervención ha marcado una diferencia?
• ¿Qué dice la preponderancia de evidencia acerca de hasta qué punto la intervención está marcando una diferencia?
• ¿Qué condiciones se requieren para ayudar a este tipo de intervención a influir en el alcance de interés?

No es adecuado para responder preguntas causales como:

• ¿La intervención ha causado el alcance?
• ¿En qué medida ha causado el alcance la intervención?

¿Qué recursos se requieren?

El análisis de contribución requiere del tiempo adecuado para desarrollar e implementar un diseño de evaluación iterativo, lo cual incluye analizar la información existente y recolectar una cantidad sustancial de información adicional.

Consejos para utilizar este enfoque con eficacia

Temas fundamentales

Trabajar los pasos sistemática e iterativamente asegurará que los recursos de evaluación disponibles sean óptimamente dirigidos a centrarse en los vínculos causales de mayor importancia e incertidumbre.

Utilizar un método de inferencia causal explícito, como rastreo de procesos o múltiples líneas y niveles de evidencia, es importante para fortalecer el relato de contribución.