Evaluación realista

La evaluación realista tiene por objetivo identificar los mecanismos causales generativos subyacentes que explican cómo se causaron los resultados y cómo influye el contexto sobre ellos.

Descripción general

La evaluación realista se centra en responder la pregunta: “¿Qué funciona, para quién, en qué sentidos, en qué medida, en qué contextos, y cómo?”.

Pawson y Tilley (1997), quienes desarrollaron inicialmente el enfoque de evaluación realista, sostuvieron que, para ser útiles para los responsables de tomar decisiones, las evaluaciones tienen que identificar “¿qué funciona en qué circunstancias y para quién?”, antes que limitarse a preguntar: “¿funciona esta intervención?” Pawson y Tilley propusieron que una evaluación realista debía producir afirmaciones “contexto-mecanismo-resultado” (CMR) de acuerdo con la siguiente tónica: “En este contexto, ese mecanismo específico se disparó para estos actores, generando aquellos resultados. En aquel contexto, este otro mecanismo se disparó, generando estos otros resultados.” Otras personas evaluadoras que utilizan la evaluación realista han incorporado características de la intervención como un elemento adicional a las configuraciones CMR, dando como resultado la fórmula C+I+M=R (Punton y Vogel, 2020), o ICAMR - Intervención-Contexto-Actor-Mecanismo-Resultado (Mukumbank et al., 2018).

La comprensión realista de cómo funcionan los programas

La filosofía realista (Pawson y Tilley usan el término "realismo científico") considera que una intervención funciona (o no) porque los actores toman decisiones particulares en respuesta a la intervención (o no). El "razonamiento" de los actores en respuesta a los recursos u oportunidades proporcionados por la intervención es lo que causa los resultados.

Estrictamente hablando, el término "mecanismo generativo" se refiere a los impulsores sociales o psicológicos subyacentes que "causan" el razonamiento de los actores. Por ejemplo, un programa de habilidades para padres puede haber logrado diferentes resultados para los padres y las madres. El mecanismo que genera diferentes "razonamientos" por parte de las madres y los padres puede relacionarse con las normas sociales dominantes sobre los roles y responsabilidades de las madres y los padres. Mecanismos adicionales pueden estar situados en esferas psicológicas, sociales u otras.

El contexto importa: en primer lugar, influye en el "razonamiento" y, en segundo lugar, los mecanismos generativos solo pueden funcionar si las circunstancias son correctas. Volviendo a nuestro ejemplo, puede haber diferentes creencias sociales acerca de los roles y responsabilidades de las madres y los padres en diferentes culturas, lo que puede afectar la forma en que los padres responden al programa de crianza. Si los padres pueden poner en práctica su nuevo aprendizaje dependerá de una serie de factores, tal vez el tiempo que tengan disponible, sus propias creencias sobre la crianza de los hijos o su salud mental. Finalmente, el contexto puede proporcionar explicaciones alternativas de los resultados observados, y estos deben tenerse en cuenta durante el análisis.

Emprendiendo una evaluación realista

Desarrollando la teoría inicial del programa

La evaluación realista comienza con la teoría y termina con la teoría. En otras palabras, el propósito de una evaluación realista es tanto probar y perfeccionar la teoría del programa como determinar si el programa funcionó en un entorno particular y cómo lo hizo.

La teoría del programa describe cómo se espera que la intervención conduzca a sus efectos y en qué condiciones debe hacerlo. La teoría inicial del programa puede basarse en investigaciones, conocimientos, experiencias y suposiciones previas de los diseñadores de la intervención sobre cómo funcionará la intervención. La diferencia entre los enfoques de evaluación realista y otros tipos de evaluación, basada en la teoría, de los programas es que una teoría de programas realista especifica qué mecanismos generarán los resultados y qué características del contexto afectarán si esos mecanismos funcionan o no. Idealmente, estos elementos (mecanismos, resultados, contexto) se explicitan en la etapa de diseño de la evaluación, ya que permite diseñar la recopilación de datos para enfocarse en probar los diferentes elementos de la teoría del programa.

Eligiendo los métodos de evaluación

La evaluación realista es método-neutral (es decir, no impone el uso de métodos particulares).

Al igual que con cualquier evaluación, la elección de la recolección de datos y los métodos y herramientas de análisis deben guiarse por los tipos de datos necesarios para responder a las preguntas de la evaluación o, más específicamente, para probar la teoría inicial del programa en todas sus dimensiones.

Por lo general, los datos cuantitativos y cualitativos se recopilan en una evaluación realista, a menudo con datos cuantitativos centrados en el contexto y los resultados, y datos cualitativos centrados en mecanismos generativos. Debido a que el análisis realista utiliza principalmente comparaciones intra-programa (es decir, comparaciones entre diferentes grupos involucrados en el mismo programa) para probar la teoría inicial, un diseño de evaluación realista no necesita construir grupos de comparación. Más bien, la teoría refinada del programa se probará posteriormente en un contexto diferente en un próximo estudio. A menudo se utiliza el diseño del estudio de caso, por lo que la selección de casos es generalmente intencional, ya que los casos deberían permitir la "prueba" de la teoría inicial del programa en todas sus dimensiones.

Utilizando un enfoque realista de análisis de datos

El análisis realista de datos está impulsado por los principios del realismo: la evaluación realista explica el cambio provocado por una intervención al referirse a los actores que actúan y cambian (o no) una situación en condiciones específicas y bajo la influencia de eventos externos (incluida la intervención misma). Se considera que los actores y las intervenciones están integrados en una realidad social que influye en cómo se implementa la intervención y cómo los actores responden a ella (o no). La configuración de contexto-mecanismo-resultado (CMO, por sus siglas en inglés) se utiliza como la estructura principal para el análisis realista.

En la primera fase del análisis, los datos se organizan en relación con la teoría inicial del programa, es decir, si los datos se relacionan con lo que se hizo (las actividades de intervención) o con el contexto, el mecanismo, el resultado y (grupos de) actores. Los datos cualitativos están codificados y se aplican métodos apropiados para analizar datos cuantitativos. Los datos sobre los resultados se desglosan por subgrupos (que se seleccionaron sobre la base de la teoría del programa).

Una vez que se identifican los patrones de resultados, se pueden analizar los mecanismos que generan esos resultados, siempre que se disponga de los tipos de datos correctos. Los contextos en los que los mecanismos particulares "activaron", o no, se pueden determinar. Los contextos pueden relacionarse con los subgrupos para los cuales se generaron resultados y/o con otros actores, procesos de implementación, condiciones organizativas, socioeconómicas, culturales y políticas.

El proceso analítico no es necesariamente secuencial, pero debería dar lugar a un conjunto de declaraciones de "contexto-mecanismo-resultado" (CMO): "En este contexto, ese mecanismo en particular se activó para estos actores, generando esos resultados. En ese contexto, este otro mecanismo se activó, generando estos resultados diferentes".

La última fase del análisis consiste en determinar qué configuración(es) de CMO ofrece la explicación más sólida y plausible del patrón observado de los resultados. Esta configuración de CMO resultante se compara con la teoría inicial del programa, que se modifica (o no) según los hallazgos de la evaluación.

Utilizando los hallazgos de la evaluación realista

Tanto los mecanismos generativos como las teorías de programas pueden considerarse a diferentes niveles de abstracción, desde muy específicos (individuos particulares dentro de programas particulares) hasta bastante abstractos (a través de diferentes tipos de programas). Pawson y Tilley argumentaron que las "teorías de rango medio"* (MRT, por sus siglas en inglés) son las más útiles. Las MRT son lo suficientemente específicas para generar proposiciones particulares para probar y lo suficientemente generales para aplicar en diferentes situaciones. Normalmente, las MRT se desarrollan a lo largo del tiempo en base a acumulación de conocimientos adquiridos a través de una serie de estudios que permiten una especificación gradual de los hallazgos realistas. Todos los tipos de teoría en la evaluación realista (teoría de programas, teorías sobre mecanismos particulares, CMO y teoría formal) son más útiles si se desarrollan en un nivel medio de abstracción.

Debido a que la evaluación realista utiliza la idea de causalidad generativa (es decir, los mecanismos solo se activan cuando el contexto es propicio), los realistas son modestos en sus afirmaciones, indicando que una evaluación no puede producir resultados universalmente aplicables. En el mejor de los casos, la evaluación puede dar sentido a los procesos complejos que subyacen a los programas al formular explicaciones plausibles ex post. Puede indicar las condiciones en las que la intervención funciona (o no) y cómo lo hacen. Esta especificación realista permite a los tomadores de decisiones evaluar si las intervenciones que tuvieron éxito en un entorno pueden tener éxito en otro, y ayuda a los planificadores de programas a adaptar las intervenciones a los contextos específicos.

*Una teoría de rango medio se entiende como "la teoría que se encuentra entre las hipótesis de trabajo menores pero necesarias... y los esfuerzos sistemáticos integrales para desarrollar una teoría unificada que explique todas las uniformidades observadas de comportamiento social, organización social y cambio social" [Merton, RK. (1968). Teoría social y estructura social. Nueva York: The Free Press, p39]. En esencia, "rango medio" se refiere al grado de abstracción y puede referirse a la teoría de programas, mecanismos generativos, CMOs, teorías formales, etc.

Características consistentes con una perspectiva de vías causales

Una perspectiva de vías causales en la evaluación se centra en comprender cómo, por qué y en qué condiciones se produce o se ha producido un cambio. Se utiliza para entender las cadenas interconectadas de vínculos causales que conducen a una variedad de resultados e impactos. Es probable que dichas vías causales involucren a múltiples actores, factores contribuyentes, eventos y acciones, y no solo las actividades asociadas con el programa, proyecto o política sometido a evaluación o sus objetivos declarados.

La Evaluación Realista puede usarse de formas que incorporen las siguientes características de una perspectiva de vías causales:

Una perspectiva de vías causales en la evaluación se centra en comprender cómo, por qué y en qué condiciones se produce o se ha producido un cambio. Se utiliza para entender las cadenas interconectadas de vínculos causales que conducen a una variedad de resultados e impactos. Es probable que dichas vías causales involucren a múltiples actores, factores contribuyentes, eventos y acciones, y no solo las actividades asociadas con el programa, proyecto o política sometido a evaluación o sus objetivos declarados.

La Evaluación Realista puede utilizarse de formas que incorporen las siguientes características de una perspectiva de vías causales:

• Valora las narrativas de los actores: La evaluación realista prueba explícitamente teorías de cambio hipotetizadas recopilando información de los encuestados acerca de los contextos, mecanismos y/o resultados y la teoría del programa.
• Incide en el poder y la inclusión: La evaluación realista tiene el potencial para incidir en el poder y la inclusión, garantizando que la estrategia de muestreo sea diseñada para involucrar comunidades privadas de sus derechos y buscar información sobre el contexto y mecanismos conducentes al cambio.
• Formula vías detalladas y con matices: La evaluación realista genera un análisis detallado de los resultados que se producen a partir de los cambios en el razonamiento de los actores en respuesta a una intervención, así como los mecanismos generativos subyacentes (impulsores psicológicos o sociales) que influyen en los cambios en el razonamiento.
• Presta atención a una variedad de resultados e impactos: La evaluación realista busca explicar resultados previstos e imprevistos, así como positivos y negativos.
• Utiliza un enfoque iterativo, de bricolaje, para el diseño de evaluación: El análisis de la información es iterativo, las teorías iniciales del programa son probadas y se utilizan etapas más tempranas del análisis para refinar el diseño de evaluación para etapas posteriores y/o la teoría del programa.
• Ayuda a comprender la variación contextual: Comprender el contexto es fundamental para la evaluación realista, que pregunta: “¿Qué funciona, para quién, en qué sentidos, en qué medida, en qué contextos y cómo?”. El contexto influye en los mecanismos causales, y por lo tanto los resultados solo pueden ser alcanzados si las circunstancias son correctas.
• Se basa en una variedad de estrategias de inferencia causal: Las evaluaciones realistas pueden utilizar metodologías de inferencia causal, desde rastreo de procesos, coincidencia de patrones y comparación hasta modelos predictivos.
• Adopta un enfoque adecuado a la complejidad para la evaluación de la calidad y el rigor: Las descripciones y justificaciones claras de cómo el análisis ha utilizado datos para desarrollar, confirmar, refutar o refinar una o más teorías del programa contribuyen a la credibilidad y el rigor. Los hallazgos de evaluaciones realistas acerca de las razones por las cuales las intervenciones funcionan (o no) en contextos específicos respaldan las decisiones en torno a la transferencia de un programa a una ubicación diferente.

Ejemplo

Evaluación realista del programa Desarrollo de la Capacidad para Usar Evidencia de Investigaciones (BCURE)

El programa

El programa Desarrollo de la Capacidad para Usar Evidencia de Investigaciones (BCURE, por sus siglas en inglés) fue una iniciativa de 15.7 millones de libras esterlinas financiada por el Departamento de Desarrollo Internacional del Reino Unido (DFID) durante el período 2013-2017. Seis contrapartes ejecutoras trabajaron con los gobiernos de 12 países de ingreso bajo y medio en África y Asia en el fortalecimiento de capacidades de funcionarios públicos y parlamentarios para utilizar evidencia de investigaciones en la toma de decisiones. Para ello se desarrollaron habilidades, incentivos y los sistemas requeridos para acceder, evaluar y aplicar evidencia.

BCURE utilizó una variedad de intervenciones diseñadas y combinadas de distintas formas – entre ellas capacitación, mentoring, diálogos sobre políticas y asistencia técnica para desarrollar herramientas y lineamientos en materia de evidencia. Los proyectos fueron de alcance y escala diferente, algunos trabajando con ministerios individuales y otros abarcando todo el sistema de gobierno.

La evaluación

El DFID encargó una evaluación que debía ser ejecutada por un equipo independiente de Itad paralelamente al programa durante el período 2014-2017. El objetivo de la evaluación era entender si BCURE funcionaba, y cómo y por qué el desarrollo de capacidades puede contribuir a un mayor uso de evidencia en el desarrollo de políticas en los muy diferentes contextos en los que operaba el programa, informando las decisiones programáticas dentro del DFID y más allá de este.

Este énfasis en el “cómo” y el “por qué” funcionaba BCURE entrañaba la necesidad de un enfoque de evaluación que hiciera uso de la teoría. Se selecciónó el enfoque de evaluación realista por encima de otros enfoques basados en la teoría porque resulta especialmente útil en programas piloto donde no está claro cómo y por qué funcionará la intervención, donde los programas se implementan en múltiples escenarios y es probable que conduzcan a diferentes resultados para diferentes grupos en diferentes contextos, y donde los comisionados están interesados en extraer lecciones acerca de cómo ampliar o implementar una intervención.

Cómo aplicamos un enfoque realista

La evaluación del programa BCURE fue conceptualizada en términos de tres etapas amplias: desarrollar la teoría, probar la teoría y refinar la teoría. Dichas etapas fueron iterativas antes que lineales; es decir, la teoría se desarrollaba, probaba, refinaba y probaba, refinaba y probaba nuevamente a medida que el conocimiento se acumulaba.

Desarrollar la teoría

Se desarrolló una teoría preliminar del programa al inicio de la evaluación, basada en el conocimiento existente del equipo y corazonadas profesionales acerca de la naturaleza del desarrollo de capacidades y de qué forma puede contribuir al uso de evidencia en el desarrollo de políticas. Estos criterios dieron forma a las preguntas de investigación para una revisión bibliográfica realista, que identificó teorías adicionales y mecanismos posibles en la literatura más amplia. Estas se utilizaron para desarrollar una teoría del programa más detallada y la primera iteración de configuraciones CMR. Se incorporaron características de la intervención como un elemento adicional a las configuraciones CMR para dar como resultado la formulación C+I+M=R. Esto ayudó a separar los factores de la intervención que BCURE controlaba (tales como diseño o duración de la capacitación) de los factores contextuales que no controlaba (tales como actitudes de los capacitandos).

Probar la teoría

Se recopilaron datos en seis de los 12 países del programa BCURE – Bangladesh, Kenia, Pakistán, Sierra Leona, Sudáfrica y Zimbabue. La evaluación se basó principalmente en datos cualitativos en forma de entrevistas semiestructuradas con 567 partes interesadas por espacio de tres años, utilizando guías tópicas para probar el conjunto más reciente de CIMRs. La evaluación se basó asimismo en datos de seguimiento, documentación del programa y, ahí donde fue posible, documentos gubernamentales tales como herramientas y políticas desarrolladas en colaboración con las contrapartes de BCURE.

Refinar la teoría

Las configuraciones CIMR se revisaron mediante un proceso iterativo. Se usó una base de datos Microsoft Excel hecha a medida para analizar los datos a nivel de países, en que las filas representaban los resultados referenciados por los encuestados de las entrevistas y las columnas contenían las descripciones de las partes interesadas acerca de cómo y por qué se produjo o no se produjo el resultado, como factores de intervención, contexto y mecanismo. Cada año, la evidencia a nivel país era sintetizada para explorar cómo y por qué diferentes intervenciones contribuían a diferentes patrones de resultados en diferentes contextos. El proceso de síntesis involucraba a todo el equipo de evaluación en forma de talleres de análisis para identificar patrones, conceptos y metáforas que aplicaran en todos los casos e inquirir por las diferencias. Este proceso producía un conjunto basado en evidencia de CIMRs refinados.

A todo lo largo de la evaluación, las configuraciones CIMR evolucionaron significativamente a lo largo de múltiples rondas de prueba y refinamiento. La revisión bibliográfica identificó 19 CIMRs, refinadas a 15 luego del primer año de levantamiento de datos. En el segundo año, algunas fueron canceladas, otras fueron fusionadas y otras fueron añadidas, probándose en total 14 CIMRs. En el tercer año, el equipo advirtió la necesidad de enfocarse en una cantidad menor de CIMRs para impulsar una investigación más en profundidad. Se priorizó un subconjunto conforme a los intereses del DFID, y se presentó un conjunto definitivo de cinco CIMRs probadas en el informe final. Ver el ejemplo más abajo:

Exponer la utilidad

Ahí donde se proporciona asistencia técnica para incorporar evidencia dentro de un proceso de política o para desarrollar una herramienta con el fin de mejorar el acceso, la evaluación o el uso de evidencia (I), esto puede generar políticas o productos de alta calidad (R) que expongan el valor de la evidencia en términos de calidad, rendimiento y entrega (M) y conduzcan a la adopción (R) y difusión (R) del procedimiento o de la herramienta. Esto es más probable cuando actores externos “acompañan” a socios gubernamentales en la coproducción de políticas o herramientas de manera flexible, receptiva y colaborativa (I), donde las políticas son altamente prioritarias o las herramientas sirven para encarar un problema reconocido (C), y donde las herramientas son intuitivas e interactivas (I) y genuinamente facilitan el que los funcionarios tomen decisiones y desempeñen su trabajo de mejor manera y con mayor eficiencia (M).

Uso y utilidad de la evaluación

La evaluación realista de BCURE impactó la política y la práctica con y más allá del DFID. El enfoque añadió valor de dos maneras principales:

• Ofreció una forma robusta de analizar la causalidad. Desarrollar y probar configuraciones CIMR realistas agregó una precisión sustancial y profundidad analítica a los hallazgos. Desarrollar, probar y refinar iterativamente estas teorías ayudó a garantizar que estuvieran arraigadas en la experiencia de las contrapartes ejecutoras y criterios más amplios de la literatura más vasta, lo cual enriqueció la relevancia, el peso empírico y la portabilidad hacia otros escenarios.
• Ayudó a generar hallazgos útiles, relevantes para las políticas, que sirvieron para informar programas de seguimiento. Esto se debió en parte a que las teorías fueron iterativamente refinadas a lo largo de tres años, informadas por las perspectivas de las partes interesadas y consideraciones pragmáticas acerca de cómo enmarcar las teorías de la manera más operativa. Al señalar los contextos y factores de intervención necesarios para que los mecanismos “se disparen”, la evaluación también pudo generar lecciones intuitivas y accesibles para futuros proyectos. Contribuyó a ello el enmarcar los mecanismos con etiquetas cotidianas y considerar cuidadosamente cómo comunicar las CIMRs en el informe final para minimizar la jerga realista (más adelante ahondamos en este tema).

Todos los informes de evaluación y otros productos se encuentran disponibles en el sitio web de Itad.

Consejo para ELEGIR este enfoque (recomendaciones y trampas)

Un diseño de evaluación realista es adecuado para evaluar cómo funcionan las intervenciones en situaciones complejas porque le permite al evaluador desarmar la red causal de las condiciones subyacentes a dichas intervenciones.

Una evaluación realista proporciona información que indica cómo funciona la intervención (es decir, mecanismo generativo) y las condiciones que se necesitan para que un mecanismo en particular funcione (es decir, especificación de contextos) y, por lo tanto, es probable que sea más útil para los responsables de la formulación de políticas que otros tipos de evaluación.

Al igual que con cualquier evaluación, el alcance de la evaluación realista debe establecerse dentro de los límites de tiempo y recursos disponibles. El uso de un enfoque realista para la evaluación no es necesariamente más intensivo en recursos o tiempo que otras evaluaciones basadas en la teoría, pero puede ser más costoso que un simple diseño de evaluación inicial y final.

En general no es posible explorar cada aspecto de una intervención, especialmente si esta es compleja y de grandes dimensiones, utilizando un enfoque realista. Deberán tomarse decisiones respecto de en qué partes de la teoría de una intervención o programa focalizarse. Las necesidades e intereses del comisionado de la evaluación deberán guiar dichas decisiones.

Consejo para UTILIZAR este enfoque (recomendaciones y trampas)

Evaluaciones realistas de gran escala o más complicadas son idealmente llevadas a cabo por equipos interdisciplinarios, ya que esto normalmente permite una consideración más amplia de mecanismos probables. Sin embargo, es posible realizar una evaluación realista con profesionales individuales y en evaluaciones a pequeña escala.

Si la teoría del programa/MRT se hace explícita junto con los actores principales, puede llevar a una mejor comprensión compartida de la intervención. Esto, a su vez, podría mejorar la apropiación y conducir a intervenciones más adecuadas al contexto.

Desarrollar la teoría causal también puede contribuir a una mejor definición de lo que se necesita evaluar y, por lo tanto, cuáles son las preguntas clave de la evaluación.

Permitir suficiente tiempo para evaluar las interacciones entre la intervención, los actores y el contexto.

Este texto fue traducido como parte de una cooperación entre BetterEvaluation, DEval y ReLAC, con apoyo financiero del Ministerio alemán Federal de Cooperación Economica y Desarrollo.