Evaluación Realista

Also Available In: English
Synonyms: 

La evaluación realista es una forma de evaluación dirigida por la teoría, pero se distingue por sus fundamentos filosóficos explícitos.

Pawson y Tilley (1997) desarrollaron el primer enfoque de evaluación realista, aunque desde entonces se han desarrollado otras interpretaciones. Pawson y Tilley argumentaron que, para ser útiles para los tomadores de decisiones, las evaluaciones deben identificar ‘¿qué funciona en qué circunstancias y para quién?’, en lugar de simplemente ‘¿funciona?’.

La pregunta realista completa es: "¿Qué funciona, para quién, en qué aspectos, en qué medida, en qué contextos y cómo?". Para responder a esta pregunta, los evaluadores realistas buscan identificar los mecanismos generativos subyacentes que explican "cómo" se causaron los resultados y la influencia del contexto.

La comprensión realista de cómo funcionan los programas

La filosofía realista (Pawson y Tilley usan el término "realismo científico") considera que una intervención funciona (o no) porque los actores toman decisiones particulares en respuesta a la intervención (o no). El "razonamiento" de los actores en respuesta a los recursos u oportunidades proporcionados por la intervención es lo que causa los resultados.

Estrictamente hablando, el término "mecanismo generativo" se refiere a los impulsores sociales o psicológicos subyacentes que "causan" el razonamiento de los actores. Por ejemplo, un programa de habilidades para padres puede haber logrado diferentes resultados para los padres y las madres. El mecanismo que genera diferentes "razonamientos" por parte de las madres y los padres puede relacionarse con las normas sociales dominantes sobre los roles y responsabilidades de las madres y los padres. Mecanismos adicionales pueden estar situados en esferas psicológicas, sociales u otras.

El contexto importa: en primer lugar, influye en el "razonamiento" y, en segundo lugar, los mecanismos generativos solo pueden funcionar si las circunstancias son correctas. Volviendo a nuestro ejemplo, puede haber diferentes creencias sociales acerca de los roles y responsabilidades de las madres y los padres en diferentes culturas, lo que puede afectar la forma en que los padres responden al programa de crianza. Si los padres pueden poner en práctica su nuevo aprendizaje dependerá de una serie de factores, tal vez el tiempo que tengan disponible, sus propias creencias sobre la crianza de los hijos o su salud mental. Finalmente, el contexto puede proporcionar explicaciones alternativas de los resultados observados, y estos deben tenerse en cuenta durante el análisis.

Emprendiendo una evaluación realista

Desarrollando la teoría inicial del programa

La evaluación realista comienza con la teoría y termina con la teoría. En otras palabras, el propósito de una evaluación realista es tanto probar y perfeccionar la teoría del programa como determinar si el programa funcionó en un entorno particular y cómo lo hizo.

La teoría del programa describe cómo se espera que la intervención conduzca a sus efectos y en qué condiciones debe hacerlo. La teoría inicial del programa puede basarse en investigaciones, conocimientos, experiencias y suposiciones previas de los diseñadores de la intervención sobre cómo funcionará la intervención. La diferencia entre los enfoques de evaluación realista y otros tipos de evaluación, basada en la teoría, de los programas es que una teoría de programas realista especifica qué mecanismos generarán los resultados y qué características del contexto afectarán si esos mecanismos funcionan o no. Idealmente, estos elementos (mecanismos, resultados, contexto) se explicitan en la etapa de diseño de la evaluación, ya que permite diseñar la recopilación de datos para enfocarse en probar los diferentes elementos de la teoría del programa.

Eligiendo los métodos de evaluación

La evaluación realista es método-neutral (es decir, no impone el uso de métodos particulares).

Al igual que con cualquier evaluación, la elección de la recolección de datos y los métodos y herramientas de análisis deben guiarse por los tipos de datos necesarios para responder a las preguntas de la evaluación o, más específicamente, para probar la teoría inicial del programa en todas sus dimensiones.

Por lo general, los datos cuantitativos y cualitativos se recopilan en una evaluación realista, a menudo con datos cuantitativos centrados en el contexto y los resultados, y datos cualitativos centrados en mecanismos generativos. Debido a que el análisis realista utiliza principalmente comparaciones intra-programa (es decir, comparaciones entre diferentes grupos involucrados en el mismo programa) para probar la teoría inicial, un diseño de evaluación realista no necesita construir grupos de comparación. Más bien, la teoría refinada del programa se probará posteriormente en un contexto diferente en un próximo estudio. A menudo se utiliza el diseño del estudio de caso, por lo que la selección de casos es generalmente intencional, ya que los casos deberían permitir la "prueba" de la teoría inicial del programa en todas sus dimensiones.

Utilizando un enfoque realista de análisis de datos

El análisis realista de datos está impulsado por los principios del realismo: la evaluación realista explica el cambio provocado por una intervención al referirse a los actores que actúan y cambian (o no) una situación en condiciones específicas y bajo la influencia de eventos externos (incluida la intervención misma). Se considera que los actores y las intervenciones están integrados en una realidad social que influye en cómo se implementa la intervención y cómo los actores responden a ella (o no). La configuración de contexto-mecanismo-resultado (CMO, por sus siglas en inglés) se utiliza como la estructura principal para el análisis realista.

En la primera fase del análisis, los datos se organizan en relación con la teoría inicial del programa, es decir, si los datos se relacionan con lo que se hizo (las actividades de intervención) o con el contexto, el mecanismo, el resultado y (grupos de) actores. Los datos cualitativos están codificados y se aplican métodos apropiados para analizar datos cuantitativos. Los datos sobre los resultados se desglosan por subgrupos (que se seleccionaron sobre la base de la teoría del programa).

Una vez que se identifican los patrones de resultados, se pueden analizar los mecanismos que generan esos resultados, siempre que se disponga de los tipos de datos correctos. Los contextos en los que los mecanismos particulares "activaron", o no, se pueden determinar. Los contextos pueden relacionarse con los subgrupos para los cuales se generaron resultados y/o con otros actores, procesos de implementación, condiciones organizativas, socioeconómicas, culturales y políticas.

El proceso analítico no es necesariamente secuencial, pero debería dar lugar a un conjunto de declaraciones de "contexto-mecanismo-resultado" (CMO): "En este contexto, ese mecanismo en particular se activó para estos actores, generando esos resultados. En ese contexto, este otro mecanismo se activó, generando estos resultados diferentes".

La última fase del análisis consiste en determinar qué configuración(es) de CMO ofrece la explicación más sólida y plausible del patrón observado de los resultados. Esta configuración de CMO resultante se compara con la teoría inicial del programa, que se modifica (o no) según los hallazgos de la evaluación.

Utilizando los hallazgos de la evaluación realista

Tanto los mecanismos generativos como las teorías de programas pueden considerarse a diferentes niveles de abstracción, desde muy específicos (individuos particulares dentro de programas particulares) hasta bastante abstractos (a través de diferentes tipos de programas). Pawson y Tilley argumentaron que las "teorías de rango medio"* (MRT, por sus siglas en inglés) son las más útiles. Las MRT son lo suficientemente específicas para generar proposiciones particulares para probar y lo suficientemente generales para aplicar en diferentes situaciones. Normalmente, las MRT se desarrollan a lo largo del tiempo en base a acumulación de conocimientos adquiridos a través de una serie de estudios que permiten una especificación gradual de los hallazgos realistas. Todos los tipos de teoría en la evaluación realista (teoría de programas, teorías sobre mecanismos particulares, CMO y teoría formal) son más útiles si se desarrollan en un nivel medio de abstracción.

Debido a que la evaluación realista utiliza la idea de causalidad generativa (es decir, los mecanismos solo se activan cuando el contexto es propicio), los realistas son modestos en sus afirmaciones, indicando que una evaluación no puede producir resultados universalmente aplicables. En el mejor de los casos, la evaluación puede dar sentido a los procesos complejos que subyacen a los programas al formular explicaciones plausibles ex post. Puede indicar las condiciones en las que la intervención funciona (o no) y cómo lo hacen. Esta especificación realista permite a los tomadores de decisiones evaluar si las intervenciones que tuvieron éxito en un entorno pueden tener éxito en otro, y ayuda a los planificadores de programas a adaptar las intervenciones a los contextos específicos.

*Una teoría de rango medio se entiende como "la teoría que se encuentra entre las hipótesis de trabajo menores pero necesarias... y los esfuerzos sistemáticos integrales para desarrollar una teoría unificada que explique todas las uniformidades observadas de comportamiento social, organización social y cambio social" [Merton, RK. (1968). Teoría social y estructura social. Nueva York: The Free Press, p39]. En esencia, "rango medio" se refiere al grado de abstracción y puede referirse a la teoría de programas, mecanismos generativos, CMOs, teorías formales, etc.

Ejemplo

Prácticas de gestión hospitalaria en Ghana

Presentamos un ejemplo de un estudio realista de las prácticas existentes dentro del sistema de atención médica en Ghana; no es una evaluación de una intervención per se. Por lo tanto, nos referimos a la teoría de rango medio (MRT, por sus siglas en inglés) en lugar de a la teoría de programas.

Existe un considerable debate sobre los resultados de la gestión de recursos humanos (HRM, por sus siglas en inglés) y aún más sobre los métodos para demostrarlos. En general, los resultados proximales se pueden describir en tres categorías: (1) mejor disponibilidad del personal; (2) mejores actitudes y afectos del personal (compromiso, satisfacción en el trabajo) y (3) mejor comportamiento del personal (mayor desempeño de tareas y comportamiento de ciudadanía organizacional, menor ausentismo).

En una serie de estudios de caso de hospitales regionales y distritales en Ghana, evaluamos el papel de las prácticas de gestión hospitalaria en el desempeño organizacional. La MRT se desarrolló a través de: una visita exploratoria del hospital regional central durante la cual se entrevistó al personal; una revisión bibliográfica sobre la gestión de recursos humanos y el rendimiento hospitalario que condujo al concepto de "gestión de alto compromiso"; y, repasando investigaciones previas sobre cultura organizacional.

Hemos formulado la MRT de la siguiente manera:

 “Los administradores de hospitales de buen desempeño despliegan estructuras organizativas que permiten la descentralización y equipos auto-gestionados y estimulan la delegación de toma de decisiones, buenos flujos de información y transparencia. Sus paquetes de HRM combinan seguridad en el empleo, compensación adecuada y capacitación. Esto resulta en un fuerte compromiso y confianza organizacional. Las condiciones incluyen líderes competentes con una visión explícita, espacios relativamente grandes para la toma de decisiones y recursos adecuados”.

Inicialmente seleccionamos "compromiso organizativo" y "confianza" como resultados inmediatos de la gestión de recursos humanos, porque nuestra revisión inicial de la literatura indicó que a menudo se encuentra que estos resultados explican el efecto de una gestión de alto compromiso. Las revisiones posteriores de la literatura señalaron la noción de respaldo organizativo percibido (POS, por sus siglas en inglés) como un factor determinante importante del compromiso organizacional e indicaron que la gestión de un alto compromiso induce al POS. POS se refiere a la percepción del personal operativo de que la organización los respalda y reconoce efectivamente. Esto proporcionó una explicación potencial en forma de una ruta causal entre las prácticas de gestión y el compromiso organizacional.

El estudio comenzó con un estudio de caso de un hospital con buen desempeño, en el que el estilo de administración y sus efectos se evaluaron sobre la base de la teoría inicial de rango medio. Las entrevistas con los miembros del equipo de administración y el personal operativo combinados con el análisis de datos cuantitativos nos permitieron identificar dos conjuntos distintos de prácticas según su mecanismo clave:

La primera CMO se puede resumir de la siguiente manera: un equipo de administración del hospital puede lograr un mayor compromiso organizacional si sus prácticas de gestión actúan sobre el intercambio económico y el intercambio social. Cuando el personal percibe altos niveles de apoyo de gestión o respaldo organizativo percibido (intervención), desarrollará comportamientos de rol adicionales, como trabajar hasta más tarde, los comportamientos de ciudadanía organizacional, etc. (resultados) sobre la base de reciprocidad (mecanismo), incluso en hospitales con márgenes limitados de libertad de contratación, escalas salariales, ascensos y despidos (contexto).

La segunda configuración de CMO se puede resumir como "mantener los estándares de excelencia a través de la cultura organizacional". Construyendo sobre la base del 'capital humano' dentro de su personal y en un contexto organizativo de disponibilidad de recursos relativamente buena y profesionales bien capacitados (contexto), los gerentes desarrollaron un conjunto integral de prácticas de gestión tanto 'duras' como 'blandas' que respondieron a las necesidades del personal y les permitió mantener sus estándares profesionales (intervención). Esto contribuyó a una fuerte cultura organizativa positiva (resultado inmediato) que contribuyó y mantuvo los estándares de desempeño en un nivel alto (resultado intermedio) y al desempeño organizacional (resultado distal).

En una próxima ronda de estudios de casos, probamos la teoría del programa refinado en otros hospitales. Estos estudios de caso confirmaron la importancia del respaldo organizativo percibido (POS), pero también indicaron que el respaldo supervisado percibido (PSS, por sus siglas en inglés) es un determinante importante que podría actuar como un sustituto del POS y que también está activando el comportamiento recíproco. Se encontró que PSS estaba operando en el caso de perfiles no profesionales como personal de mantenimiento y administrativo. Para más detalles, nos referimos a Marchal et al. (2010a) y a Marchal et al.  (2010b).

Consejo

Consejo para ELEGIR este enfoque (recomendaciones y trampas)

Un diseño de evaluación realista es adecuado para evaluar cómo funcionan las intervenciones en situaciones complejas porque le permite al evaluador desarmar la red causal de las condiciones subyacentes a dichas intervenciones.

Una evaluación realista proporciona información que indica cómo funciona la intervención (es decir, mecanismo generativo) y las condiciones que se necesitan para que un mecanismo en particular funcione (es decir, especificación de contextos) y, por lo tanto, es probable que sea más útil para los responsables de la formulación de políticas que otros tipos de evaluación.

Al igual que con cualquier evaluación, el alcance de la evaluación realista debe establecerse dentro de los límites de tiempo y recursos disponibles. El uso de un enfoque realista para la evaluación no es necesariamente más intensivo en recursos o tiempo que otras evaluaciones basadas en la teoría, pero puede ser más costoso que un simple diseño de evaluación inicial y final.

Consejo para UTILIZAR este enfoque (recomendaciones y trampas)

Evaluaciones realistas de gran escala o más complicadas son idealmente llevadas a cabo por equipos interdisciplinarios, ya que esto normalmente permite una consideración más amplia de mecanismos probables. Sin embargo, es posible realizar una evaluación realista con profesionales individuales y en evaluaciones a pequeña escala.

Si la teoría del programa/MRT se hace explícita junto con los actores principales, puede llevar a una mejor comprensión compartida de la intervención. Esto, a su vez, podría mejorar la apropiación y conducir a intervenciones más adecuadas al contexto.

Desarrollar la teoría causal también puede contribuir a una mejor definición de lo que se necesita evaluar y, por lo tanto, cuáles son las preguntas clave de la evaluación.

Permitir suficiente tiempo para evaluar las interacciones entre la intervención, los actores y el contexto.

Recursos

Evaluación de Impacto Realista: Una Introducción

Co-producida por BetterEvaluation, DFAT y ODI como parte del proyecto Methods Lab, esta publicación explica cuándo una evaluación de impacto realista puede ser más apropiada o factible para evaluar un programa o política en particular, y describe cómo diseñar y realizar una evaluación de impacto basada en un enfoque realista.

Guías:

Lectura recomendada sobre los antecedentes filosóficos y el desarrollo general de este enfoque:

Pawson, R. & Tilley, N. (1997). Evaluación Realista. Londres: Sage.

Pawson, R. & Tilley, N. (2001). Linaje de la Evaluación Realista. Revista Americana de Evaluación 22: 317-324. http://aje.sagepub.com/content/22/3/317.full.pdf+html

Pawson, R. (2013). La ciencia de la evaluación: un manifiesto realista, Londres, SAGE Publications.

Otras lecturas recomendadas

Una introducción a la evaluación realista incluyendo un capítulo descargable de Pawson y Tilley (1997) (reproducido con permiso de los autores) www.communitymatters.com.au/gpage1.html

Pawson, R. & Manzano-Santaella, A. (2012). Un taller de diagnóstico realista. Evaluación 18:176-191. http://dx.doi.org/10.1177/1356389012440912

Marchal, B., Van Belle, S., Van Olmen, J., Hoerée, T. & Kegels, G. 2012. ¿La evaluación realista cumple su promesa? Una revisión bibliográfica de práctica metodológica en la investigación de sistemas de salud. Evaluation, 18, 192-212.

Astbury, B. & Leeuw, F. (2010). Desempacando Cajas Negras: Mecanismos y Desarrollo de la Teoría en la Evaluación. Revista Americana de Evaluación 31(3):363-381. http://www.itg.be/internet/ds/tde/doc/Astbury%20%26%20Leeuw%20.pdf

Algunos trabajos sobre el realismo crítico

Connelly, J. (2007). Evaluación de intervenciones complejas de salud pública: teoría, métodos y alcance de la indagación realista. Revista de Evaluación en la Práctica Clínica 13(6):935-941. http://onlinelibrary.wiley.com/doi/10.1111/j.1365-2753.2006.00790.x/pdf

Dickinson, H. (2006). La evaluación de las asociaciones de salud y asistencia social: un análisis de enfoques y síntesis para el futuro. Health Soc Care Community14:375-383. http://onlinelibrary.wiley.com/doi/10.1111/j.1365-2524.2006.00650.x/pdf

Sitios web

El Instituto de Medicina Tropical de Amberes (Bélgica) aloja el sitio web de investigación impulsada por la teoría que incluye una descripción metodológica de la evaluación realista, la síntesis realista y la evaluación dirigida por la teoría, así como enlaces a publicaciones relevantes. http://www.itg.be/tdi

El proyecto RAMESES (Síntesis de evidencias realistas y meta-narrativas: estándares en evolución) que incluye orientación metodológica, estándares de publicación y recursos de capacitación. http://www.ramesesproject.org

Ejemplos de estudios realistas en salud:

Byng et al. (2005) y Byng et al. (2008) aplicaron principios de evaluación realista para evaluar un programa de salud mental en el NHS. Byng, R., Norman, I. y Redfern, S. (2005). Utilizando una evaluación realista para evaluar una intervención a nivel de práctica para mejorar la atención médica primaria para pacientes con enfermedades mentales a largo plazo. Evaluation , 11, 69-93 y Byng, R., Norman, I., Redfern, S. y Jones, R. (2008). Exponiendo las funciones clave de una intervención compleja para la atención compartida en salud mental: estudio de caso de una evaluación de proceso. BMC Health Serv Res 8: 274.

Evans y Killoran presentan la evaluación de un Programa de Compras Integradas de la Autoridad de Educación para la Salud y, específicamente, de proyectos de demostración que prueban asociaciones para abordar las desigualdades en la salud. Evans, D. y Killoran, A. (2000). Combatiendo las desigualdades en salud a través del trabajo en asociación: aprendiendo de una evaluación realista. Salud Pública Crítica 10:125-140.

Leone (2008) presenta una descripción general de cómo se puede derivar una teoría de rango medio (MRT, por sus siglas en inglés) para una intervención a partir de un análisis del programa, cómo esta MRT se traduce en preguntas de investigación y cómo se realiza el análisis. Leone, L. (2008). Evaluación realista de un programa de disuasión de drogas ilícitas. Evaluación 14: 19-28. L

Manzano-Santaella aplicó una evaluación realista a una política del NHS inglés que impuso multas por altas hospitalarias. Manzano-Santaella, A. (2011). Una evaluación realista de multas por altas hospitalarias: incorporando el historial de evaluaciones del programa en el análisis. Evaluation 17: 21-36.

Marchal et al. (2010) presenta un estudio de caso realista de la gestión de recursos humanos en Ghana y discute los principales desafíos metodológicos de la evaluación realista.

Marchal et al. (2010) analiza cómo un equipo de administración de un hospital logró revivir un hospital de distrito descompuesto en Ghana utilizando el enfoque de evaluación realista

Fuente de la imagen

 

Este texto fue traducido como parte de una cooperación entre BetterEvaluation, DEval y ReLAC, con apoyo financiero del Ministerio alemán Federal de Cooperación Economica y Desarrollo.

 

 

A special thanks to this page's contributors
Author
Post-doctoral Researcher, Department of Public Health, Institute of Tropical Medicine, Antwerp (Belgium) and Visiting Researcher, School of Public Health, University of the Western Cape, Cape Town (South Africa).
Belgium.
Author
Post-doctoral Researcher, Department of Public Health, Institute of Tropical Medicine, Antwerp (Belgium) and Consultant.
Belgium.
Author
Dr, Community Matters Pty Ltd.
Adelaide, Australia.
Reviewer
Deputy Director/BetterEvaluation Project & Associate Professor/ANZSOG, The Australia and New Zealand School of Government (ANZSOG).
Melbourne, Australia.

Comments

There are currently no comments. Be the first to comment on this page!

Add new comment

Login Login and comment as BetterEvaluation member or simply fill out the fields below.