Monitoreo de vínculos causales

El monitoreo de vínculos causales (MVC) es una metodología para diseñar e implementar sistemas de monitoreo, evaluación y aprendizaje (MEyA) que priorizan la información para una gestión adaptativa en la complejidad.

El MEyA ayuda a los responsables de planificar y coordinar proyectos a decidir qué, cuándo y cómo monitorear y evaluar con el fin de gestionar el desempeño de una manera adaptativa.

Descripción general

Los procesos que producen resultados especifican los vínculos causales entre resultados en el marco de un modelo lógico o teoría de cambio (TdC)—en otras palabras, los procesos entre resultados. El MVC se centra en la forma en que personas u organizaciones individuales utilizan un resultado para lograr otro.

Figura 1. Vínculos causales entre resultados en un modelo lógico

ACTIVIDADES -à PRODUCTOS -à  RESULTADO -à IMPACTO

Ejecutores usan actividades para generar productos

Actores usan productos para lograr resultados

Actores usan resultados para lograr impacto

V Í N C U L O S   C A U S A L E S

Principios de este enfoque

El Monitoreo de Vínculos Causales toma en cuenta principios de conciencia de complejidad:

• Considera los puntos ciegos del monitoreo del desempeño.
• Considera las interrelaciones, las perspectivas y los límites.
• Sincronizar el seguimiento con el ritmo del cambio.

Pasos del proceso

En el MVC, los planificadores empiezan creando un modelo lógico para ayudar a documentar los elementos predecibles, acordados, del proyecto. Luego, refinan los vínculos causales describiendo los procesos que transformarán los resultados en un punto de la cadena causal, produciendo nuevos resultados. Los planificadores suelen estar menos seguros acerca de estos procesos que producen resultados. Finalmente, el modelo lógico de MVC es mejorado con información acerca de dos importantes fuentes de incertidumbre, factores contextuales que pueden influir en el proyecto y diversas perspectivas sobre el problema y su solución.

El proceso de MVC se divide en siete pasos: tres para diseñar el proyecto, tres para hacer seguimiento y un paso final para utilizar los datos de monitoreo para informar el rediseño:

1. Construir un modelo lógico o TdC.
2. Identificar supuestos sobre vínculos causales.
3. Mejorar el modelo lógico con diversas perspectivas y factores contextuales.
4. Priorizar áreas de observación.
5. Recopilar datos de seguimiento.
6. Interpretar y utilizar datos de monitoreo para la gestión adaptativa.
7. Revisar el modelo lógico.

Características/conceptos clave del monitoreo de vínculos causales

Seguimiento, Evaluación y Aprendizaje (SEyA) articulado

Utilizando la teoría de cambio con conciencia de complejidad del MVC, los planificadores de SEyA identifican las necesidades de datos en una representación visual de la TdC, garantizando una cobertura adecuada de los puntos estratégicos del proyecto y el potencial de influencia del contexto. Diseñan formas de monitorear y evaluar los aspectos y el contexto inciertos, impugnados, emergentes y dinámicos. Al integrar un SEyA y una gestión del rendimiento con conciencia de complejidad, los equipos pueden tomar mejores decisiones acerca de qué datos requerirán para gestionar adaptativamente y cuándo la necesitarán. Esto contrarresta las tendencias a sobrecargar el sistema de SEyA.

Diseño iterativo del proyecto

Utilizando el MVC, el plan de SEyA predice cuándo el equipo debería volver sobre puntos específicos de la TdC, qué datos estarán disponibles y qué recursos se necesitan para apoyar cada revisión del proyecto.

Gestión adaptativa

Un sistema de SEyA basado en el MVC se encuentra explícitamente diseñado para evolucionar a lo largo de la vida del proyecto. La TdC mejorada revela cuándo los datos son más relevantes durante la implementación. Y, lo que es más importante, el rediseño del proyecto pasa a ocupar el primer plano, dejando en claro que es probable que las predicciones iniciales acerca de qué datos serán útiles evolucionarán a medida que evoluciona el proyecto. Esto lleva a los planificadores del SEyA a especificar procesos y destinar recursos para ajustar el sistema de SEyA y así garantizar un alineamiento continuo con la implementación del proyecto.

Para mayores detalles sobre las características o conceptos clave del monitoreo de vínculos causales, ver el siguiente blog:

Iterative design and monitoring for adaptive management: How causal link monitoring can help

Características consistentes con una perspectiva de vías causales

Una perspectiva de vías causales en la evaluación se centra en entender cómo, por qué y bajo qué condiciones se produce o se ha producido un cambio. Se utiliza para entender las cadenas interconectadas de vínculos causales que conducen a una variedad de resultados e impactos. Es probable que dichas vías causales involucren a múltiples actores, factores contribuyentes, eventos y acciones, y no solo las actividades asociadas con el programa, proyecto o política sometido a evaluación o sus objetivos declarados. El Monitoreo de Vínculos Causales puede utilizarse de formas que incorporen las siguientes características de una perspectiva de vías causales:

• Aborda el poder y la inclusión: Las perspectivas de diferentes partes interesadas están incluidas en [las decisiones acerca de] cuándo mejorar la teoría de cambio y en la recopilación de datos; pueden ser solicitadas al revisar e interpretar los datos de monitoreo y recomendar adaptaciones a la implementación, también.
• Valora las perspectivas de los actores: El MVC especifica la inclusión de perspectivas diversas sobre la situación y la intervención (participantes, agencias ejecutoras y donantes, especialmente aquellos que son dejados de lado o se oponen a la intervención) para aportar a las mejoras a la teoría de cambio.
• Formula vías causales explícitas: Durante el diseño del programa, el MVC exhorta a los planificadores a formular supuestos acerca de cómo actores clave transformarán los resultados en cada paso de una cadena causal. El MVC actúa como un “examen de realidad” permanente de la teoría de cambio, ayudando a los gerentes a detectar y adaptar vínculos causales o factores contextuales imprevistos. Los implementadores vuelven sobre el diseño a todo lo largo de la vida del proyecto y lo actualizan.
• Presta atención a una variedad de resultados e impactos: El MVC busca información acerca de los resultados positivos y negativos, previstos e imprevistos.
• Entiende la variación contextual: La guía del MVC sobre cómo recopilar datos de seguimiento incluye orientación para explorar el efecto de factores contextuales y preguntar específicamente: “¿Qué factores contextuales están influyendo en procesos que producen resultados?”
• Utiliza un enfoque iterativo, de bricolaje, para el diseño del sistema de SEyA: El proceso de MVC de diseño del sistema de SEyA utiliza un enfoque de bricolaje que mantiene un cuidadoso balance entre las fortalezas y limitaciones de cada método. Los sistemas de SEyA del MVC combinan metodologías de seguimiento, evaluación y aprendizaje para recolectar tanto datos de rendimiento como datos con conciencia de complejidad a todo lo largo de la vida de un proyecto. En su calidad de proceso iterativo, cada ciclo de diseño-y-monitoreo genera nuevas apreciaciones sobre vías causales, las que son luego adicionalmente exploradas y probadas en iteraciones subsiguientes.
• Se basa en una variedad de estrategias de inferencia causal: El MVC exhorta a los planificadores a enriquecer sus hipótesis de desarrollo con supuestos acerca de cómo actores sociales clave transformarán resultados de una cadena causal en nuevos resultados. Un solo vínculo causal puede incluir, o incluso necesitar, múltiples procesos para lograr dicha transformación.
• Adopta una perspectiva con conciencia de complejidad con relación a las vías causales: El MVC incluye y examina explícitamente la influencia de factores contextuales y diversas perspectivas en el proyecto, sensibilizando a los implementadores respecto de lo que no puede ser previsto. El MVC integra un SEyA basado en la teoría y con conciencia de complejidad. Los enfoques basados en la teoría describen cómo el proyecto pretende influir en el contexto y contribuir a los resultados previstos, mientras que los enfoque con conciencia de complejidad inciden en las formas imprevistas en que el contexto influye en el proyecto.

Fondo

Historia de este enfoque

“Causal Link Monitoring” brief (Britt et al., 2017, p. 1) describe el monitoreo de vínculos causales como una iteración del monitoreo de procesos de impactos:

"…El Monitoreo de Procesos de Impactos abordó desafíos de monitoreo asociados con múltiples objetivos, una amplia variedad de agentes ejecutores y un gran número de proyectos asociados con programas de los Fondos Estructurales. Fue inspirado por el Mapeo de Alcances, especialmente por la focalización en el cambio de conducta deseado y su rendimiento y contribución a los resultados esperados. El MVC fue inicialmente descrito como enfoque de Monitoreo de Procesos de Impactos en Systems Concepts in Action."

El MVC fue incluido como uno de los enfoques recomendados en la Nota de Discusión de USAid 2013 USAID Discussion Note on Complexity-Aware Monitoring (PDF, 703KB). La nota informativa sobre MVC analizó detalladamente los elementos originales del enfoque de Monitoreo de Procesos de Impactos y el enfoque fue rebautizado como Monitoreo de Vínculos Causales.

¿En qué sentido difiere el MVC de los marcos de seguimiento y evaluación basados en gestión por resultados?

Los sistemas de SEyA basados en gestión por resultados no son adecuados para apoyar una gestión adaptativa porque monitorean resultados predeterminados a lo largo de vías de cambio previstas por financiadores e implementadores. Con demasiada frecuencia, la teoría de cambio, y por ende las evaluaciones y los sistemas de SEyA basados en ella, no incluyen el contexto, incluso cuando es probable que factores contextuales influyan en la implementación del proyecto y cuando la eficacia del proyecto sería mejorada por aprendizajes de y adaptaciones al contexto o la búsqueda de cambiarlo.

Los sistemas de SEyA de MVC difieren de los sistemas de SEyA de gestión por resultados de dos maneras importantes. Primero, antes que depender únicamente de indicadores de resultados, el MVC monitorea los vínculos causales que conducen a resultados, suministrando datos útiles antes que puedan medirse los resultados. Segundo, el MVC expande la teoría de cambio para incluir los aspectos impredecibles de una intervención y los resultados emergentes y luego diseña los métodos de seguimiento, evaluación y aprendizaje para rastrear aquellos. Al integrar enfoques con conciencia de complejidad con monitoreo por resultados, el MVC cuenta un relato más completo y preciso acerca de la intervención en su contexto.

Metodologías que forman parte de este enfoque

BetterEvaluation define un enfoque como un paquete sistemático de metodologías. El Enfoque Arcoíris organiza las metodologías en términos de más de 30 tareas involucradas en la planificación, gestión y ejecución de una evaluación. Algunas de las metodologías utilizadas en el MVC y las tareas de evaluación con las que están relacionadas son:

• Desarrollar una comprensión de la situación:  El Monitoreo de Vínculos Causales incluye varias metodologías, entre ellas análisis de partes interesadas, para llevar a cabo un análisis de factores contextuales tales como: economía local, normas sociales, normativas y otros proyectos.
• Desarrollar una teoría de cambio: El enfoque de MVC utiliza la metodología de articulación de modelos mentales para aprender de las diversas opiniones de las contrapartes del proyecto, los beneficiarios previstos y otras partes interesadas cómo se produce el cambio y así aportar información para refinar la teoría de cambio.
• Recopilar o recuperar datos acerca del contexto, actividades, resultados y otros factores: la selección de las metodologías es determinadas por lo que resulta más apropiado para recolectar los datos de los actores involucrados en un área de observación.
• Garantizar que se incluyan diversas perspectivas, especialmente de aquellos que no tienen voz: mejorar el modelo lógico implica identificar a aquellas personas que es probable que tengan una opinión diferente de la situación y la intervención que quienes financian, planifican e implementan el proyecto; luego, priorizar la recopilación de datos sobre sus experiencias y perspectivas e incorporar dicha información en el enfoque de implementación y el modelo lógico actualizados.
• Toma de decisiones consensuada: Las partes interesadas participan en el desarrollo o mejoramiento del modelo lógico de manera tal que este refleje dónde existe consenso y dónde existen perspectivas diferentes sobre la situación y la intervención. Las opiniones divergentes sobre las vías causales deberían estar representadas en el modelo lógico o en una teoría de cambio alternativa que pueda ser probada durante la implementación.

Ejemplo

El Causal Link Monitoring Brief incluye un ejemplo hipotético (basado en un programa real) de una intervención de desarrollo destinada a mejorar la productividad agrícola sostenible de los pequeños agricultores como parte de un programa más grande para incrementar el ingreso de los agricultores en un área rural expuesta a los efectos del cambio climático. El ejemplo ha sido adaptado para ilustrar mejor el enfoque de Monitoreo de Vínculos Causales y cómo añade valor a la gestión adaptativa tanto de manera interna como externa a la agencia ejecutora.

El ejemplo ilustra los siete pasos del proceso de Monitoreo de Vínculos Causales. Una serie de diagramas ilustran cómo un ciclo de MVC da como resultado un modelo lógico más comprehensivo y refinado. El proceso MVC es iterativo, y el recientemente refinado modelo lógico se convierte en el punto de partida para la siguiente ronda de MVC. Como se explica en el informe:

"...durante cada ciclo, el seguimiento del MVC se basa un modelo lógico crecientemente refinado y basado en evidencia y genera información más realista y actualizada para la dirección. Esto facilita las decisiones acerca de si se requieren ajustes en la forma en que se implementan las actividades o se utilizan los productos. Cuando los datos de monitoreo revelan una desviación del diseño del proyecto, la información acerca de que los procesos que producen resultados están teniendo lugar y las múltiples perspectivas acerca del diseño del proyecto ayudan a identificar las razones de la desviación."

Consejos para elegir este enfoque

Se ofrecen consejos adicionales en las preguntas frecuentes sobre el Causal Link monitoring FAQs. Esto incluye respuestas a las siguientes preguntas:

• ¿En qué se parece o se diferencia el CLM de otros métodos que utilizamos actualmente?
• ¿Necesito un gran presupuesto o mucho tiempo para implementar el CLM?
• ¿Es el CLM compatible con la colaboración, el aprendizaje y la adaptación (CLA)?
• ¿Cómo puedo convencer a mi equipo para que pruebe el CLM?

¿Para qué tipos de proyectos y programas sería apropiado este enfoque?

El MVC es apropiado para monitorear programas (o aspectos de programas) complicados o complejos, donde es probable que los cambios en el contexto afecten los resultados o cuando los procesos con cadenas de resultados no están claros o son impugnados. Es especialmente útil para intervenciones con cadenas de impacto (o vías causales) largas, donde se producen resultados a un nivel más alto al final de la implementación o algún tiempo después. 

El MVC es útil para monitorear situaciones complicadas, ya que puede servir para múltiples interrelaciones, procesos de retroalimentación, fenómenos emergentes, cambios súbitos y perspectivas divergentes. It is especially useful when information is scarce, the context is dynamic, and consensus is elusive. In those circumstances, it’s critical to make good decisions about how to use limited MEL resources. 

¿Para qué tipos de evaluación es apropiado el MVC?

El MVC puede utilizarse para evaluaciones discretas o para diseñar ya sea todo o parte de un sistema de SEyA.

El MVC está previsto para ser usado durante toda la vida de un proyecto, desde las etapas tempranas de diseño hasta la evaluación final. Una vez que un proyecto se encuentra en ejecución, existen varios puntos clave en que se puede introducir el enfoque:

• Desarrollar una teoría de cambio que revela la complejidad.
• Diseñar un plan de SyE y tomar decisiones respecto de a qué hacerle seguimiento, por qué y cómo.
• Planificar una evaluación para aportar información a la gestión adaptativa.
• Realizar un proyecto a mitad de curso o una revisión del programa con las partes interesadas.

El MVC es apropiado para fines tanto de aprendizaje como de rendición de cuenta y puede aportar información para adaptaciones requeridas durante la implementación del programa.

El blog sobre MVC proporciona mayores detalles acerca de cuándo es útil.

¿Qué nivel y tipo de recursos se requieren para este enfoque?

El tiempo y el dinero requeridos para el MVC dependen de la frecuencia de los ciclos de MVC, los recursos requeridos para involucrarse con una variedad de perspectivas y la magnitud de la recopilación de datos. Sin embargo, manejarse estratégicamente en términos de qué datos se necesitan y cuándo se necesitan puede reducir la carga del levantamiento de datos.

¿Cómo podría este enfoque formar parte de un diseño de evaluación general eficaz?

El MVC puede utilizarse para diseñar sistemas de seguimiento, evaluación y aprendizaje que integren un SEyA con conciencia de complejidad para los aspectos complicados o complejos de una intervención junto con seguimiento de rendimiento basado en indicadores para los aspectos de la intervención donde la previsibilidad sea más alta (en el marco de Cynefin, el dominio “simple” o conocido). El informe sobre MVC trata sobre cómo este enfoque complementa otros enfoques y metodologías de evaluación:

"Aunque se trata esencialmente de un enfoque de diseño y monitoreo, el MVC puede ser valioso para la evaluación. Por ejemplo, ofrece una buena base para enfoques de evaluación basados en la teoría tales como análisis de contribución y rastreo de procesos. Las personas evaluadoras pueden aprovechar un modelo lógico validado y actualizado y utilizar datos de monitoreo ya recolectados para evaluar la inferencia de las declaraciones causales expresadas en el modelo. Con su naturaleza iterativa y flexible, el MVC puede ser utilizado en evaluaciones formativas que apuntan a mejorar intervenciones, señaladamente afinando el modelo lógico y clarificando vínculos causales clave. Por último, el MVC es un complemento ideal para la evaluación evolutiva, que apunta a contribuir con información a la gestión adaptativa a través de la retroalimentación rápida y a apoyar el aprendizaje permanente. La evaluación evolutiva se basa en premisas similares al MVC y puede hacer uso efectivo de la información provista por el MVC."

El modelo lógico del Monitoreo de Vínculos Causales describe procesos que conducen a resultados previstos, así como las formas en que la complejidad puede influir en las vías causales. Los usuarios deberían aplicar metodologías apropiadas de recopilación de datos para rastrear vínculos causales no planeados y captar alcances emergentes utilizando enfoques de evaluación tales como Cosecha de Alcances, Cambio Más Significativo o QuIP, que son muy apropiados para identificar una amplia variedad de resultados, previstos o imprevistos y positivos o negativos, y para buscar explicaciones causales a dichos resultados. Porque el MVC integra enfoques con conciencia de complejidad y basados en la teoría, ayuda a garantizar una cobertura de resultados tanto previstos como emergentes.

Consejos para utilizar este enfoque con eficacia

Se ofrecen consejos adicionales en las preguntas frecuentes sobre el Causal Link monitoring FAQs.  Esto incluye respuestas a las siguientes preguntas:

• ¿Cuál es el mejor momento para iniciar el CLM?
• ¿Quién debería participar en el proceso de CLM?
• ¿Debemos utilizar el formato de la teoría del cambio consciente de la complejidad descrito en el informe de CLM?
• ¿Debemos recopilar evidencia para validar las suposiciones antes de incorporarlas a nuestra teoría del cambio?
• ¿Cómo seleccionamos qué datos monitorizar?
• ¿Es diferente la recopilación de datos consciente de la complejidad de la recopilación de datos de monitoreo del rendimiento?

Un ejemplo hipotético del uso del monitoreo de vínculos causales está incluido en el Causal link monitoring brief y ofrece consejos para cada paso del proceso (Britt et al., 2017, p. 16-30):