El cambio más significativo

El enfoque del Cambio Más Significativo (CMS) implica generar y analizar recuentos personales de cambios y decidir cuál es el más significativo – y por qué.

Descripción general

El enfoque del CMS consiste no solamente en recolectar relatos e informar sobre ellos sino en contar con procesos para aprender de ellos - en particular, sobre las similitudes y diferencias en qué es lo que valoran diferentes grupos y personas individuales.

Utilizar el CMS implica:

1. Decidir los tipos de relatos que deberían ser recolectados (relatos sobre qué – por ejemplo, sobre cambios de prácticas o resultados de salud o empoderamiento)
2. Recolectar los relatos y determinar qué relatos son los más significativos
3. Socializar los relatos y debatir sobre los valores con las partes interesadas y con quienes los aportaron, de modo tal que se genere un aprendizaje sobre lo que se valora.

Suministra alguna información acerca de los impactos (tanto previstos como imprevistos) pero es útil sobre todo para establecer los valores que albergan diferentes partes interesadas. Si bien el CMS por sí mismo es insuficiente para la evaluación de impacto, puede ser un importante componente de una evaluación de impacto en términos de identificar y comunicar tipos de experiencias que pueden ser trianguladas y validadas utilizando otros métodos.

El CMS puede ser usado para un seguimiento permanente y para fines de evaluación. El CMS suele utilizarse en ciclos que pueden variar desde trimestrales hasta anuales. Una frecuencia común es cada tres meses, para coincidir con los reportes trimestrales. En contextos de emergencia, los ciclos de seguimiento pueden ser más frecuentes. Es necesario tomar decisiones acerca del período de informes más apropiado, balanceando los costos y los beneficios involucrados, y tomando en cuenta los intervalos de no reporte de los sistemas de SyE existentes. Una mayor frecuencia en los ciclos aumenta la familiaridad con el proceso de CMS pero también eleva el costo en términos del tiempo de los participantes. Reportes frecuentes también elevarán el costo del proceso, en términos de la cantidad de tiempo de los participantes que tomará el proceso.

Pasos del proceso

Todo el proceso CMS implica 10 pasos:

1. Empezar y concitar interés: Introducir el CMS y fomentar interés y compromiso; esto puede implicar capacitación específica e identificación de abanderados del CMS.
2. Definir los dominios del cambio: Partes interesadas seleccionadas identifican dominios del cambio amplios, tales como cambios en las vidas de las personas. Un dominio como “lecciones aprendidas” puede recoger cambios negativos.
3. Definir el período de reporte: Decidir con qué frecuencia se hará seguimiento a los cambios.
4. Recoger relatos de cambios significativos: Plantear a los participantes y al personal de campo preguntas sencillas como: “Volviendo sobre el mes pasado, ¿cuál piensa que fue el cambio más significativo en [dominio de cambio en particular]?”
5. Seleccionar los relatos más significativos: Para la selección de los relatos se utiliza una estructura jerárquica. Los relatos recolectados por el personal de campo son discutidos por grupos de selección del nivel uno, que deciden cuál es el relato más significativo en cada dominio. Los relatos seleccionados son considerados luego por un número más reducido de grupos de selección del nivel dos, quienes deciden cuál es el relato más significativo. Este proceso continúa hasta que un grupo de selección final selecciona un único relato para cada dominio. El número de grupos de selección dependerá de la magnitud del programa, y suele depender del número de capas de gerencia que ya existen. Suele ser una decisión pragmática que el nivel de grupos de selección se base en las estructuras organizacionales ya existentes. Sin embargo, se pueden crear nuevas estructuras para incluir perspectivas más amplias. La selección de los relatos en cada nivel implica lo siguiente: todo el mundo tiene que leer los relatos; debate en profundidad acerca de qué relatos deberían ser elegidos; decisión grupal en torno a qué relatos se percibe que son los más significativos; y documentación de las razones de las decisiones del grupo. Existe un margen para la innovación en esta metodología. Es posible que su proyecto no tenga una estructura jerárquica, de modo tal que puede haber otras maneras de formar grupos alrededor de los cuales los relatos se puedan debatir y los valores se puedan identificar. Los criterios para seleccionar los relatos pueden emerger y ser documentados durante el debate de los cambios reportados. Alternativamente, los criterios de selección de los relatos pueden ser predeterminados; sin embargo, determinar los criterios antes de que los relatos hayan sido leídos y debatidos puede limitar la apertura a nuevas experiencias.
6. Transmitir los resultados del proceso de selección: Los criterios utilizados para seleccionar los relatos son registrados y transmitidos a los niveles más bajos.
7. Verificar los relatos: Los relatos seleccionados son verificados realizando visitas al lugar de los hechos con la finalidad de constatar la veracidad de los relatos reportados, y se recoge información más detallada acerca de eventos significativos.
8. Cuantificación: Esto puede hacerse de dos formas: incluyendo información cuantitativa en el relato inicial y cuantificando si los cambios significativos mencionados en los relatos en una locación también han sido incluidos en los relatos en otras locaciones.
9. Análisis secundario y metaseguimiento: Análisis del proceso de CMS, por ejemplo, quiénes participaron, cómo afectaron el contenido y la frecuencia de diferentes tipos de cambios reportados.
10. Revisar el sistema: Revisar el diseño del proceso de CMS para tomar en cuenta lo que ha sido aprendido de su uso y análisis.

Características de las vías causales

Cómo podría utilizarse este enfoque para incorporar características de una perspectiva de vías causales

Una perspectiva de vías causales en la evaluación se centra en entender cómo, por qué y en qué condiciones tiene o ha tenido lugar un cambio. Se utiliza para entender las cadenas interconectadas de vínculos causales que llevan a una variedad de alcances e impactos. Dichas vías causales probablemente involucrarán a múltiples actores, factores contribuyentes, eventos y acciones, y no solo las actividades asociadas con el programa, proyecto o política sometido a evaluación o sus objetivos declarados.

El enfoque del CMS puede usarse de formas que incorporen las siguientes características de una perspectiva de vías causales:

• Valora las narrativas de los actores: Cuando se añade un lente de vías causales al enfoque del CMS, los relatos de cambio buscan explícitamente información acerca de cómo las personas que están directamente afectadas por un programa entienden la forma en que se han producido los cambios (o no) y cómo valoran dichos cambios.
• Incide en el poder y la inclusión: El CMS habilita más que dirige a los participantes, que son motivados a utilizar su propio criterio para identificar y seleccionar los relatos. El CMS puede ser adaptado para incluir a los participantes en todas las fases de selección de los relatos. Las personas que están más cerca de los eventos que están siendo monitoreados (participantes y personal de campo) identifican los relatos que son relevantes para ellas.
• Formula vías causales explícitas: Cuando se añade un lente de vías causales al enfoque del CMS, esto puede ayudar a desentrañar cómo se ha producido el cambio desde las perspectivas de quienes narran los relatos.
• Entiende la variación contextual: El CMS utiliza descripciones pormenorizadas de los eventos dentro de su contexto local y por qué son significativos.
• Presta atención a una variedad de alcances e impactos: El CMS implica dar sentido a los eventos después de que estos han tenido lugar, incluyendo resultados imprevistos e indirectos.
• Utiliza un enfoque iterativo, de bricolaje, para el diseño de evaluación: El paso de análisis secundario del proceso del CMS utiliza los datos y el aprendizaje para informar las rondas subsiguientes de recolección de datos y selección de relatos.
• Adopta un enfoque adecuado a la complejidad para la evaluación de la calidad y el rigor: El enfoque del CMS incluye un paso de verificación que garantiza la veracidad de los relatos seleccionados. Existe transparencia en torno a por qué se seleccionan ciertos relatos en particular como los más significativos.

Fondo

Historia de este enfoque

El enfoque del CMS fue desarrollado inicialmente por Rick Davies en 1996 para hacer seguimiento de los cambios en un proyecto de desarrollo complejo y de gran tamaño, de implementación y alcances diversos, como parte de su doctorado en aprendizaje organizacional en organizaciones no gubernamentales. Jess Dart terminó su doctorado sobre CMS en el 2000 y promovió su uso en Australia. El CMS ha sido usado y adaptado por una amplia variedad de organizaciones en múltiples países y escenarios diversos.

Metodologías que forman parte del Cambio Más Significativo

BetterEvaluation define un enfoque como un paquete sistemático de metodologías. El Marco Arcoíris organiza las metodologías en términos de más de 30 tareas involucradas en la planificación, gestión y ejecución de una evaluación. Algunas de las metodologías utilizadas en el CMS y las tareas de evaluación con las que están relacionadas son:

• Desarrollar el diseño de evaluación
  • Diseño de evaluación conjunto: involucrar a las partes interesadas en la toma de decisiones acerca de la evaluación, entre ellas sobre qué recolectar información y cómo interpretarla.
• Establecer procesos de toma de decisiones: decidir los relatos más significativos puede comportar una variedad de procesos de toma de decisiones.
  • Toma de decisiones mayoritarias: implica tomar decisiones basadas en el consenso de la mayoría de los tomadores de decisiones.
  • Votación iterativa: después de una primera votación, las personas debaten por qué votaron como lo hicieron; a ello le sigue una segunda y posiblemente una tercera votación, idealmente acercándose a un consenso. Si no se llega a un consenso, se puede documentar una opinión minoritaria, o puede haber un voto dividido o la misma cantidad de votos para dos relatos.
  • Asignación de puntajes: cada persona asigna un puntaje a cada relato, y el relato con la mayor puntuación agregada es el elegido.
  • Votación secreta: cada persona emite un voto anónimo, seguido de un debate de las razones para el voto.
• Recolectar y/o recuperar información
  • Relatos personales: Narrativas de personas individuales acerca de sus experiencias personales
  • Muestreo intencional: buscar relatos sobre temas específicos o de grupos o personas específicos

Ejemplo

“En 1994, Rick Davies se enfrentó a la tarea de evaluar el impacto de un proyecto de ayuda a 16.500 personas en la zona de Rajshahi en el oeste de Bangladesh (6). La idea de lograr que todos estuvieran de acuerdo en una serie de indicadores se descartó rápidamente, ya que había demasiada diversidad y puntos de vista contradictorios. En cambio, Rick ideó un método de evaluación que se basaba en que las personas volvieran a contar sus historias de los cambios significativos que habían presenciado como resultado del proyecto. Además, los narradores explicaron por qué pensaban que sus historias eran significativas.

Si Rick lo hubiera dejado allí, el proyecto habría tenido una buena colección de historias, pero la apreciación de los principales actores involucrados por el impacto del proyecto habría sido mínima. Rick necesitaba involucrar a los actores, principalmente a los tomadores de decisiones de la región y a los financiadores finales del proyecto, en un proceso que los ayudaría a ver (y tal vez incluso sentir) el cambio. Su solución fue lograr que grupos de personas en diferentes niveles de la jerarquía del proyecto seleccionaran las historias que consideraban más significativas y explicaran por qué hicieron esa selección.

Cada una de las 4 oficinas del proyecto recopiló una serie de historias y se les pidió que presentaran una historia en cada una de las cuatro áreas de interés para la oficina central en Dhaka. El personal de la oficina central de Dhaka seleccionó una historia de las 16 enviadas. Las historias seleccionadas y las razones para su selección se comunicaron al nivel inferior y a los narradores originales. Con el tiempo, los actores comenzaron a comprender el impacto que estaban teniendo y los beneficiarios del proyecto empezaron a comprender lo que los actores consideraban importante. Las personas aprendían unas de otras. El enfoque, denominado Cambio Más Significativo, desarrolló sistemáticamente una comprensión intuitiva del impacto del proyecto que podría comunicarse junto con los hechos concretos.

El método de Rick fue altamente exitoso: la participación en el proyecto aumentó; las asunciones y las visiones del mundo surgieron, ayudando en un caso a resolver un conflicto intrafamiliar sobre el uso de anticonceptivos; las historias fueron ampliamente utilizadas en publicaciones, material educativo y videos; y, los cambios positivos fueron identificados y reforzados”.

Ejemplo tomado de Anecdote.com: Evaluando la parte sencilla

Consejos para elegir el CMS

¿Para qué tipos de proyectos y programas sería apropiado este enfoque?

‘Técnica del “Cambio Más Significante – Guía para su uso señala que es probable que el enfoque del CMS sea útil para programas:

• Complejos y que producen alcances diversos y emergentes,
• De grandes proporciones, con numerosas capas organizacionales,
• Enfocados en un cambio social,
• Participativos por naturaleza,
• Diseñados con contacto frecuente entre el personal de campo y los participantes,
• Que no se condicen con sistemas de seguimiento convencionales,
• Que ofrecen servicios altamente adaptados a un número reducido de beneficiarios (por ejemplo, de consejería familiar).

¿Para qué tipos de evaluación es apropiado el enfoque del CMS?

El enfoque del CMS es especialmente útil cuando se necesitan diferentes partes interesadas para comprender los diferentes valores que otras partes interesadas albergan con respecto a "cómo luce el éxito" – los criterios y estándares que rigen los alcances, los procesos y la distribución de los costos y los beneficios.

El CMS puede ser sumamente útil para explicar CÓMO se produce un cambio (procesos y mecanismos causales) y CUÁNDO se produce (en qué situaciones y contextos). Por lo tanto, puede ser útil para apoyar la elaboración de la teoría del programa (teoría de cambio, modelos lógicos).

¿Qué nivel y tipo de recursos se requieren para este enfoque?

El enfoque del CMS requiere de mucho tiempo; el personal de campo tiene que ocuparse de recolectar relatos, y el personal de cada nivel de la organización o programa se dedica a seleccionar qué relatos son considerados más significativos y por qué.

Si bien no se requiere capacitación especial, las buenas habilidades de facilitación y la capacidad de identificar prioridades son importantes. La publicación ‘Técnica del “Cambio Más Significante” – Guía para su uso contiene una lista de algunos de los factores habilitadores más importantes del CMS:

• Una cultura organizacional en la que sea aceptable analizar las cosas que no salen bien, así como el éxito;
• Abanderados (es decir, personas que puedan promover el uso del CMS) con buenas habilidades de facilitación;
• La voluntad de probar algo diferente;
• El tiempo para ejecutar varios ciclos del enfoque;
• Una infraestructura que permita retroalimentar regularmente los resultados a las partes interesadas;
• El compromiso de la alta dirección.

¿Cómo podría este enfoque formar parte de un diseño de evaluación general eficaz?

El enfoque del CMS funciona mejor en combinación con otras metodologías para recolectar, analizar y reportar información. No genera información exhaustiva acerca de los impactos suscitados por una intervención. Proporciona cierta información sobre el impacto y el impacto imprevisto, pero su objetivo principal es determinar los valores que albergan diferentes partes interesadas. No es suficiente por sí mismo para una evaluación de impacto, ya que no genera información acerca de la experiencia habitual sino acerca de los extremos. “Técnica del Cambio Más Significante” – Guía para su uso sugiere que el CMS podría ser complementado por enfoques de evaluación que suministren:

• Evidencia cuantitativa de la propagación de alcances emergentes;
• Evidencia del logro de alcances predeterminados (si estos han sido formulados);
• Evidencia de la experiencia “promedio” de los participantes (o de subgrupos de participantes), así como alcances excepcionales;
• Información sobre las opiniones de no participantes y otras “víctimas” del programa;
• Conocimiento mejorado de la lógica de la intervención programática;
• Evidencia de si los alcances deseados han sido alcanzados, en qué situaciones y cómo.

Consejos para utilizar el enfoque del CMS

El CMS no es una metodología rápida. Requiere de tiempo y una infraestructura apropiada a nivel de proyectos para generar una comprensión y valorar la clarificación (identificar lo que las personas piensan que es importante). El proceso del CMS completo supone analizar los relatos y compartir tanto con quienes los producen como con las partes interesadas, para lo cual se requiere un programa con varias estructuras (por ejemplo, estructuras de proyectos locales, regionales y nacionales) y un proceso que tiene que ser repetido a lo largo de varios ciclos.

Si se imagina una distribución normal de los alcances para personas individuales, entonces los relatos suelen provenir del extremo de un cambio positivo. Puede ser útil añadir explícitamente un proceso para generar y recolectar relatos desde el extremo de un cambio apenas perceptible o negativo.

Desafíos y posibles dificultades

Puede ser un desafío lograr que los diferentes grupos involucrados en el proceso se comprometan y mantener su interés. No contemple demasiados ciclos de revisión. Los ciclos de reporte muy frecuentes pueden llevarlos a focalizarse en los cambios significativos a más corto plazo que pueden ser identificados una vez agotados los casos conocidos de cambios significativos a más largo plazo.