Protocolo de impacto cualitativo

El Protocolo de Evaluación de Impacto Cualitativa (QuIP, por sus siglas en inglés) es un enfoque de evaluación de impacto que recoge y documenta declaraciones causales narrativas directamente de los afectados por una intervención.

Descripción general

En la medida de lo posible, los datos se recogen en entrevistas “doble ciego”, lo que quiere decir que ni el entrevistador ni el entrevistado conocen los detalles de la intervención específica que está siendo sometida a evaluación. La información narrativa que esto produce puede generar ricas revelaciones sobre factores relacionados con la intervención y otros factores contextuales que afectan una amplia gama de resultados previstos e imprevistos. Esto es especialmente útil para entender los impulsores del cambio en situaciones complejas y las variaciones en la forma en que diferentes actores los perciben.

Una segunda característica distintiva del QuIP es su enfoque de codificación de la información narrativa. En contraste con la codificación temática genérica de los conceptos, el QuIP codifica directamente afirmaciones causales que establecen una conexión entre las causas/los impulsores y los efectos/alcances. Esto facilita la visualización de los hallazgos a través de mapas causales y análisis de todas las vías causales en los datos, incluyendo evidencia de cómo una intervención contribuye a los alcances previstos e imprevistos conjuntamente con otros factores contribuyentes.

El QuIP puede usarse como un enfoque aislado en una evaluación o para generar evidencia conjuntamente con otros enfoques y métodos, entre ellos ECAs (ensayos controlados aleatorizados) y rastreo de procesos. Las evaluaciones que utilizan el protocolo QuIP también pueden generar un examen de realidad independiente de una teoría de cambio predeterminada, ayudando a los actores a evaluar y aprender a partir del impacto social de su trabajo y demostrárselo a otros. El QuIP coloca las percepciones de actores que suelen estar marginados de una intervención en el centro de la evaluación, permitiéndoles socializar y proporcionar retroalimentación sobre sus experiencias de un modo abierto, verosímil y respetuoso.

Procesos clave en el QuIP

1. Determinar juntos el alcance: El alcance de un estudio es conjuntamente determinado por un evaluador y el responsable de comisionar el estudio (el comisionado del estudio); el propósito común es generar un útil “examen de realidad” de la percepción previa del comisionado del impacto de una actividad específica o de un conjunto de actividades.
2. Recolectar los datos: Un útil referente (que emergió durante la fase de diseño y validación) es que “un solo QuIP” comprende 24 entrevistas semiestructuradas y cuatro grupos focales. Esto es habitualmente suficiente para entender las principales vías causales que están siendo experimentadas por un grupo de encuestados que comparten características en líneas generales similares y recibieron una intervención en líneas generales similar. Estudios específicos pueden basarse en múltiplos o variantes de lo anterior, dependiendo de la heterogeneidad de la muestra.
3. Seleccionar las fuentes mediante muestreo intencional: Los entrevistados se seleccionan intencionalmente de una población conocida, basándose en información disponible acerca de la variación en su exposición a la intervención, evidencia de los cambios que están experimentando y otros efectos con probabilidades de afectar lo anterior. La selección de las fuentes con mayores probabilidades de añadir a la percepción previa depende parcialmente de si la focalización recae en explorar nuevas vías causales abiertamente o en confirmar teorías de cambio existentes.
4. Utilizar entrevistas doble ciego durante la recolección de datos: Donde sea posible, investigadores de campo independientes con conocimiento restringido de la actividad que está siendo sometida a evaluación realizan entrevistas iniciales y grupos focales. Quiere decir que los entrevistados tampoco saben qué intervención está siendo evaluada, una característica que se conoce como doble ciego (no ciego, porque la ceguera es voluntaria y puede suprimirse en cualquier momento). La ceguera ayuda a evitar que los datos sean estrechamente delimitados por referencia a la intervención y a reducir la posibilidad de sesgo de confirmación.
5. Transcribir los datos: Las transcripciones de las entrevistas y grupos focales se anotan en hojas de cálculo preformateadas con el fin de facilitar la codificación y el análisis temático. Esto también implica traducir la narrativa a otro idioma de ser necesario. Siempre que los entrevistados den su aprobación, las entrevistas y los debates con grupos focales también se graban para facilitar la producción y exámenes de realidad de las narrativas transcritas.
6. Analizar los datos: Un/a analista (no uno/a de los investigadores de campo) codifica los datos utilizando un análisis causal de datos cualitativos. Esto puede hacerse de manera exploratoria y/o confirmatoria. La codificación exploratoria identifica todas las relaciones causales declaradas (esto es, las parejas de impulsores y resultados). La codificación confirmatoria también clasifica aseveraciones causales en función de si explícitamente relacionan resultados con actividades especificadas y lo hacen de formas que son implícitamente consistentes con la teoría de cambio del comisionado o si son incidentales a esta.
7. Preparar tablas y visualizaciones de resúmenes: Esto puede hacerse de varias formas – las herramientas hechas a medida pueden producir una generación semiautomatizada de tablas de resúmenes (tales como Mapas Causales), acelerando la interpretación de la evidencia.
8. Asegurar la transparencia de los resúmenes: El software debería permitir volver fácilmente de la evidencia codificada en las vías causales a la información narrativa en las transcripciones para facilitar el aseguramiento de la calidad, la auditoría, la revisión de pares, la profundización del aprendizaje y la extracción de texto importante o ilustrativo de las transcripciones.
9. Generar y revisar informes resumidos: Los informes resumidos de la evidencia constituyen un punto de partida para el diálogo y para dar sentido a la información entre investigadores, comisionados y otros actores, influyendo con ello en las actividades que siguen.

Adaptado de “Attributing development impact”, Recuadro 1.2, Breve descripción del QuIP, p. 7.

Características / conceptos clave del QuIP

Importancia de las narrativas causales de los beneficiarios previstos

El QuIP recoge evidencia del impacto de una intervención a través de entrevistas cuidadosamente coreografiadas y el análisis sistemático de las declaraciones causales en las respuestas narrativas. Ha sido utilizado especialmente en entrevistas a los beneficiarios previstos de los proyectos, incluso cuando están en sitios remotos y tienen habilidades de lectoescritura limitadas. Se solicita a los encuestados hablar sobre los principales cambios en sus vidas durante un período de recuerdo correspondiente al período de la intervención sometida a evaluación. Las preguntas siempre empiezan inquiriendo sobre los alcances y luego haciendo preguntas hacia atrás (‘encadenamiento hacia atrás’) con el fin de identificar lo que los encuestados perciben como los principales impulsores de dichos cambios.

Recolección de datos doble ciego

El equipo de investigación que lleva a cabo las entrevistas es independiente y, siempre que sea posible, ‘doble ciego’, lo que quiere decir que no conoce quién ha comisionado el estudio o qué proyecto está siendo evaluado. Esto ayuda a mitigar y reducir el sesgo proproyecto y el sesgo de confirmación y propicia un intercambio más abierto y holístico con los entrevistados acerca de los alcances en diferentes áreas de sus vidas y de los impulsores de dichos cambios. Algunos estudios QuIP combinan entrevistas con grupos focales si se estima conveniente reproducir las perspectivas de un grupo en especial; esto puede hacerse utilizando el mismo enfoque que las entrevistas individuales (preguntas abiertas que suscitan vías causales) o bien como un grupo focal tradicional. El QuIP puede utilizarse para inquirir sobre los cambios experimentados por personas, hogares, comunidades y organizaciones.

Muestreo intencional

El enfoque de muestreo QuIP consiste en seleccionar los casos – y las fuentes de información acerca de dichos casos – mediante un riguroso muestreo intencional, antes que buscar una muestra estadísticamente representativa. El enfoque es “bayesiano”, en el sentido que enfatiza la selección de fuentes que es muy probable que enriquezcan la comprensión previa. Ahí donde existe una gran cantidad de información disponible acerca de los grupos de actores, la selección de las personas a ser entrevistadas se basa en lo que ya se conoce sobre la variación en su exposición a la intervención, así como cualquier evidencia de cambios en los indicadores de alcances. El muestreo confirmatorio también se basa en la teoría. Por ejemplo, la selección es estratificada para incluir casos que, según se observa, están yendo mejor o peor de lo esperado o son anómalos de alguna otra manera. Ahí donde existe escasa información disponible acerca de los potenciales encuestados, en ese caso la selección de la muestra apunta a explorar tanta diversidad de contexto y de experiencia de actores como sea posible con los recursos disponibles, incluso si no puede garantizar una “saturación” total. Estos principios reflejan el énfasis de QuIP en obtener una comprensión holística de “lo que funciona bien para quién y por qué”, antes que en estimar el impacto promedio exacto o el efecto del tratamiento de una variable sobre otra.

Recolección de datos abierta

Un cuestionario QuIP incluye una secuencia de preguntas abiertas que inciden en diferentes dominios de alcances posibles, con preguntas de sondeo complementarias, así como preguntas cerradas para confirmar la percepción del encuestado del cambio general en ese dominio de alcance durante el período especificado. Las entrevistas típicas con personas individuales inciden en dominios tales como fuentes de ingreso, consumo de alimentos, salud, relaciones intrafamiliares y bienestar. Estos suelen reflejar las áreas donde se esperan cambios en las vidas de los entrevistados de acuerdo a la teoría de cambio de un proyecto, pero la entrevista está estructurada en torno a dominios de alcances antes que actividades o insumos específicos con el fin de recolectar información más amplia acerca de los cambios que se han generado y captar alcances previstos e imprevistos.

Análisis temático de narrativas causales

Una vez recolectados los datos, el QuIP utiliza una metodología de codificación temática robusta, utilizándola sistemáticamente para los impulsores, los alcances y la atribución. Un desafío inherente a la investigación cualitativa es cómo manejar la gran cantidad de datos recolectados: el QuIP le hace frente enfocándose en codificar solamente los relatos de cambio y acelera el proceso utilizando un enfoque de codificación sistemático y replicable. Los resultados permiten analizar relatos de cambio clave e identificar tendencias y patrones entre diferentes tipos de encuestados.

Informes de narrativas utilizando visualizaciones y extractos

Los hallazgos se presentan en paneles interactivos e informes resumidos que se valen de la generación de mapas causales y la selección de extractos de textos para ilustrar y enriquecer la comprensión de los procesos causales más saltantes identificados. El QuIP produce datos comprehensivos y auditables de procesos causales de cambio pero no cuantifica el impacto, de modo tal que no proporciona efectos promedio del tratamiento o conteos de frecuencia estadísticamente representativos. Más bien, ofrece relatos de cambio ricos y detallados de una manera digerible, permitiendo a los encuestados individuales tener una voz en los resultados.

Elementos de vías causales

Características consistentes con una perspectiva de vías causales

Una perspectiva de vías causales en la evaluación se enfoca en entender cómo, por qué y en qué condiciones se produce o se ha producido un cambio. Se utiliza para entender las cadenas de vínculos causales que llevan a una serie de resultados e impactos. Dichas vías causales tienden a involucrar a múltiples actores, factores contribuyentes, eventos y acciones, y no solo las actividades asociadas con el programa, proyecto o política sometido a evaluación o sus objetivos declarados.

El QuIP presta atención a las siguientes características de una perspectiva de vías causales:

• Valora las narrativas de los actores: El QuIP recoge de manera intencional las narrativas de todos los actores, y especialmente de los beneficiarios previstos, acerca de lo que ha cambiado y lo que en su percepción son los principales impulsores de los cambios.
• Aborda el poder y la inclusión: El QuIP puede ayudar a recolectar información de una variedad más amplia de actores, incluyendo aquellos que son más difíciles de acceder y suelen encontrarse marginados en una actividad de evaluación. Los hallazgos también pueden ser compartidos con ellos para facilitar el aprendizaje conjunto y la acción colectiva.
• Formula vías causales explícitas: Los mapas causales informados por el QuIP identifican los pasos en las vías causales y múltiples vías hacia el cambio. Ofrecen un enfoque empírico para el desarrollo o análisis de una teoría de cambio, en relación ya sea con proyectos específicos o con la estrategia más amplia de una organización.
• Presta atención a una serie de alcances e impactos: Las entrevistas, según el protocolo de evaluación QuIP, empiezan con un conjunto de dominios de alcances generales para dar pie a reflexiones holísticas sobre impulsores y alcances causales – ya sea previstos o imprevistos, positivos o negativos.
• Entiende la variación contextual: Los mapas causales generados por el QuIP pueden ser filtrados y presentados por diferentes subgrupos de entrevistados, o incluso personas individuales, para ilustrar la forma en que los alcances son afectados por las circunstancias particulares de los encuestados.
• Utiliza un enfoque iterativo, de bricolaje, para el diseño de evaluación: Varias rondas de estudios QuIP con límite de tiempo pueden ser apropiadas y/o contribuir al diseño iterativo de otras actividades de evaluación.
• Se basa en diversas estrategias de inferencia causal: El QuIP implica pedir a los encuestados que expliquen las razones detrás de diferentes alcances. Esto implícitamente significa invitar a los entrevistados a imaginar lo que hubiera podido pasar de no haber existido la intervención, haciendo que afloren escenarios del tipo “qué hubiera ocurrido si” o contrafactuales latentes. Este enfoque, conocido como “atribución autoinformada”, genera información sin necesidad de contar con un grupo de comparación o control. Esto contrasta con los diseños de evaluación basados en la atribución por estadística inferencial en múltiples casos.
• Adopta un enfoque adecuado a la complejidad para la evaluación de la calidad y el rigor: La credibilidad de un estudio QuIP inevitablemente depende de lo bien que se lleven a cabo las entrevistas con las fuentes y los grupos focales y de la lógica detrás de la selección de los mismos. Si se hace correctamente, el enfoque de interrogación abierto y doble ciego, trabajando a partir de los alcances hacia atrás, puede generar información causal más completa y con mayores matices que las entrevistas con más capas superpuestas. La codificación y el análisis QuIP contribuyen a la credibilidad y al rigor al ser sistemáticos y transparentes, permitiendo que otros examinen el proceso de construir mapas causales a partir de la información subyacente.

Fondo

Historia del QuIP

El enfoque de evaluación QuIP fue desarrollado por investigadores del Centro de Estudios de Desarrollo (CDS, por sus siglas en inglés) de la Universidad de Bath. Después de desarrollar la metodología en el marco de un proyecto de investigación de tres años financiado por el DFID/ESRC, personal del CDS creó Bath Social Development Research (Bath SDR Ltd) como una empresa social dedicada a contribuir a la innovación en evaluación, con énfasis en el perfeccionamiento y la difusión del enfoque QuIP. Desde entonces, Bath SDR ha utilizado la metodología QuIP en más de 80 estudios en más de 20 países (feb. 2024). Los proyectos evaluados han sido de muy diversa índole: desde intervenciones de medios de vida rurales a nivel de hogares hasta iniciativas de desarrollo de capacidades con organizaciones comunitarias que trabajan en derechos de salud reproductiva y sexual.

Metodologías que forman parte del enfoque QuIP

La definición de enfoque de BetterEvaluation es la de un paquete sistemático de metodologías. El Marco Arcoíris organiza las metodologías en términos de más de 30 tareas utilizadas en la planificación, gestión y ejecución de una evaluación. Algunas de las metodologías utilizadas en el enfoque QuIP y las tareas de evaluación con las que están relacionadas son:

• Decidir quién llevará a cabo la evaluación
  • Consultores/as externos: Los estudios QuIP suelen emplear consultores/as externos para movilizar entrevistadores/as experimentados con las habilidades lingüísticas y de trabajo de campo requeridas.
• Determinar qué es una evaluación de alta calidad
  • Reducción de sesgos a través de la contratación de un equipo independiente, doble ciego, para que lleve a cabo las entrevistas donde sea posible y apropiado. Entrevistadores/as y entrevistados/as no saben quién ha comisionado la investigación o qué proyecto está siendo evaluado. Esto ayuda a mitigar y reducir los sesgos proproyecto y los sesgos de confirmación, al mismo tiempo que permite una conversación más amplia y abierta con los encuestados/as acerca de todos los alcances e impulsores del cambio.
  • Transparencia: Los hallazgos de la metodología QuIP pueden rastrearse hasta los datos de las entrevistas codificadas y los grupos focales, generando vínculos transparentes y rastreables entre el análisis y la evidencia.
  • Triangulación: El enfoque QuIP utiliza la triangulación de la evidencia para validar los datos mediante la verificación cruzada de más de dos fuentes.
• Evaluar la evaluación
  • Talleres de sensemaking/verificación: Las evaluaciones que siguen el método QuIP pueden incluir talleres de sensemaking o verificación con participación del equipo de evaluación, el personal del proyecto, los encuestados/as y otras partes interesadas. En adición, los talleres estimulan la socialización y el debate de los hallazgos que respaldan el uso.
• Desarrollar el diseño de evaluación
  • Utilizando un diseño de evaluación conjunto, el equipo de evaluación y la agencia que comisiona la evaluación elaboran de común acuerdo el diseño del estudio QuIP, lo cual incluye acordar el tamaño de la muestra, la estrategia de selección, la combinación de herramientas de recolección de datos y la especificación de los dominios de alcances a través de los cuales diseñar los itinerarios de las entrevistas y los grupos focales.
• Desarrollar la teoría de cambio/la teoría del programa
  • Formular modelos mentales: A través de cuestionarios y entrevistas abiertas, el equipo de evaluación averigua los modelos mentales de los participantes del programa.
  • Mapeo causal: Se utiliza para representar modelos mentales que revelan cómo se entiende que impulsores y alcances están conectados.
• Muestrear
  • Muestreo intencional – El enfoque de muestreo QuIP consiste en seleccionar los casos mediante un riguroso muestreo intencional, antes que buscar una muestra representativa de grandes proporciones. Cuando se cuenta con buenos datos de monitoreo disponibles, estos pueden utilizarse para decidir el número, la ubicación y la variación de los encuestados/as seleccionados, sobre la base de diferencias de contexto, geografía, tratamiento y/o resultados positivos y negativos de los datos de monitoreo existentes.
• Recolectar o recuperar información
  • Grupos focales
  • Entrevistas
  • Cuestionarios utilizando una combinación de preguntas exploratorias abiertas y preguntas cerradas
  • Relatos personales que proveen una narrativa de las experiencias de los y las participantes.
• Analizar los datos
  • Los datos se analizan codificando mapas causales que se enfocan en preguntas causales acerca de las percepciones de los beneficiarios respecto de qué cambios han experimentado y en su opinión qué contribuyó a ellos.
• Entender las causas
  • El enfoque QuIP utiliza la atribución de informantes clave, que consiste en obtener las percepciones de los beneficiarios sobre qué cambios se han producido y qué piensan que ha contribuido a ellos.
  • Esto puede ser triangulado utilizando entrevistas similares con otros actores del sistema para entender diferentes percepciones acerca de las vías causales reales (no previstas) relacionadas con los dominios clave. Los datos del QuIP pueden contribuir a la recolección y el análisis de datos adicionales utilizando el rastreo de procesos.
• Desarrollar medios de información
  • Los autores del QuIP comunican los hallazgos de las entrevistas causales utilizando visualizaciones en forma de mapas causales. Estos pueden ser elaborados y compartidos utilizando un panel interactivo en el software hecho a medida Mapa Causal, que está diseñado para permitir una revisión de pares transparente de la codificación cualitativa y estimular la interacción con las vías causales representadas permitiendo a los usuarios crear y explorar sus propios mapas causales utilizando diferentes filtros.
  • El QuIP permite reportar extractos de estudios de caso, o estudios de caso enteros, basados en algunos de los relatos personales que se hayan recolectado.

Ejemplos

Tearfund ha realizado tres estudios QuIP independientes entre el 2016 y el 2018 para evaluar su proyecto de Movilización de la Iglesia y la Comunidad (MIC) en Uganda, Sierra Leona y Bolivia. El proyecto MIC gira en torno a una teoría de desarrollo centrada en el autoempoderamiento y la mejora social basada en la comunidad, promovida a través de recursos teológicos y espacios religiosos. MIC no es un programa con entregables o marcos cronológicos claramente definidos. Antes bien, busca, a través de estudios bíblicos, herramientas de discusión y actividades grupales, “despertar” a las cabezas de la Iglesia locales, congregaciones y comunidades rurales pobres e incentivarlas para que sean artífices de su propio desarrollo.

El objetivo superior de las evaluaciones era ahondar en el estudio del programa con la finalidad de promover el aprendizaje y la mejora a nivel interno y compartir lo aprendido con las contrapartes y participantes de la comunidad. Se trata de un proyecto donde no hay una línea de base real, los beneficiarios son fluidos y los impactos no pueden ser fácilmente medidos en términos cuantitativos. El QuIP representó una oportunidad para entender más bien cómo habían cambiado las vidas, las creencias y las actitudes de las personas, y qué había influido en los cambios que pudieran haberse producido.

En entrevistas individuales y con grupos focales en Uganda, los entrevistados/as reportaron cambios positivos tales como un mayor empoderamiento y mejores relaciones comunitarias, así como cambios negativos tales como reducción de bienes materiales y menor productividad. Un análisis de la información permitió vislumbrar un panorama general de los impulsores del cambio, incluyendo el impacto del proyecto MIC, entre otros. Más de la mitad de los entrevistados/as mencionó al MIC, sin haber sido preguntado específicamente sobre este, como un impulsor de un cambio positivo en sus vidas. Tearfund luego validó el análisis con un grupo más amplio de entrevistados/as, con el fin de dilucidar lo que esto significaba para el futuro trabajo comunitario. Esto ayudó a cerrar la brecha de retroalimentación y a conectar a los entrevistados/as con los datos recolectados a través de las entrevistas.

Para leer estudios de caso que ahondan más en el tema, ver el libro de consulta sobre el enfoque de evaluación QuIP “Attributing Development Impact: QuIP Casebook” (Atribución del impacto del desarrollo: Libro de consulta QuIP), 2019 (disponible en línea libre de costo), que contiene detalles sobre la teoría y lineamientos prácticos.

Consejos para elegir el enfoque QuIP

Razones para elegir QuIP

El QuIP casebook identificó tres razones para elegir el enfoque QuIP sobre la base de 10 estudios de caso:

1. Congruencia o coincidencia con valores medulares, por ejemplo, el énfasis del enfoque QuIP en la atribución autorreportada – haciendo un fuerte énfasis en las percepciones de los beneficiarios previstos.
2. El enfoque QuIP tiene potencial no solo exploratorio sino también confirmatorio. Puede detectar resultados imprevistos y previstos pero difíciles de medir y producir evidencia de los mecanismos causales detrás de estos. La importancia de la dimensión exploratoria incluye ver la metodología QuIP como una opción para evaluar los posibles riesgos asociados con una intervención, y para recolectar evidencia del impacto social positivo.
3. Verlo como una opción más económica y flexible que la evaluación de impacto cuantitativa.

¿Para qué tipos de proyectos y programas sería apropiado el enfoque de evaluación QuIP?

El enfoque QuIP se desarrolló para evaluar el impacto de programas sociales y de desarrollo para responder preguntas de atribución causal en entornos complejos donde muchos factores pueden interactuar para contribuir a los resultados de un programa y puede haber muchos alcances y vías causales diferentes. Ha sido usado en una variedad de contextos programáticos, incluyendo medios de vida rurales, microfinanciamiento y ahorro, condiciones laborales, desarrollo de capacidad organizacional, educación, salud, nutrición, agua y saneamiento, salud reproductiva y sexual y movilización de la comunidad.

¿Para qué tipos de evaluaciones es apropiado el enfoque QuIP?

El enfoque de evaluación QuIP es especialmente útil para evaluaciones que están tratando de entender toda la gama de efectos y cómo han sido logrados, incluyendo la contribución de otros factores y las vías causales mediante las cuales han sido obtenidos. Debido a que no hay preguntas directas acerca de la intervención, no es apropiado en contextos en los que los entrevistados/as posiblemente no puedan retransmitir una vía causal hacia el cambio, ya sea porque el resultado previsto les es relativamente marginal o porque no tienen una idea clara de por qué el cambio ha tenido lugar. Si se requiere retroalimentación específica acerca de una intervención, en ese caso deberá usarse un enfoque diferente, aunque puede combinarse con entrevistas QuIP (por ejemplo, grupos focales enfocados en procesos combinado con entrevistas QuIP individuales enfocadas en resultados).

¿Qué nivel y tipo de recursos se requieren para el enfoque QuIP?

El diseño de una evaluación QuIP empieza con una teoría de cambio. Si el programa no tiene una teoría de cambio explícita, percepciones implícitas sobre cómo se produce el cambio pueden ser convertidas en una teoría de cambio en colaboración con la agencia que comisiona la evaluación.

Para el enfoque de evaluación QuIP se requiere la capacidad de contratar investigadores de campo locales, que no sepan qué programa está siendo evaluado y que dominen el idioma local.

El levantamiento de datos generalmente requiere de un período de dos semanas (24 entrevistas y 4 grupos focales); todo el proceso QuIP suele requerir de unos tres meses de principio a fin.

¿Cómo podría el enfoque QuIP formar parte de un diseño general de evaluación efectivo/combinado con otros enfoques y metodologías?

El documento "From narrative text to causal maps: QuIP analysis and visualization" examina la forma en que un análisis QuIP se relaciona con otras formas de investigación y sugiere seis formas en que los datos de un estudio QuIP pueden complementar la evidencia de otros enfoques.

1. "Estudios piloto. La evidencia generada utilizando la metodología QuIP puede ayudar a aclarar conceptos, seleccionar factores (variables) y priorizar las vías causales a ser investigadas posteriormente en mayor profundidad o a mayor escala, incluso mediante el uso de encuestas.
2. Rastreo de procesos basado en la teoría. Un estudio QuIP puede ser un componente valioso del rastreo de procesos y el análisis de contribución que aspira a identificar paquetes de las condiciones necesarias y suficientes para el logro de alcances especificados. Dicha investigación supone pensar en una serie de posibles explicaciones teóricas o mecanismos para un alcance especificado, seguido por exámenes empíricos para ayudar a decidir qué explicaciones tienen mayores probabilidades de responder a diferentes situaciones. Los estudios QuIP pueden generar este tipo de evidencia empírica. Los conteos de citas también pueden informar el proceso de actualización bayesiana: aumentar o reducir la confianza en explicaciones previas de lo que está sucediendo.
3. Las metodologías mixtas impactan en la evaluación. El diseño clásico consiste en entrevistas abiertas y grupos focales (la investigación cualitativa de pocos casos o ‘small n’), junto con una encuesta a gran escala (el componente cuantitativo de muchos casos o ‘large n’), que podría ser un ensayo controlado aleatorio, por ejemplo. El elemento cuantitativo apunta a generar estimados precisos y válidos de la asociación estadística promedio o típica entre variables o “tratamientos” de insumos clave (X) y alcances clave (Y) a todos los niveles de una población definida. Si está bien diseñada, la causalidad también puede ser inferida de estas asociaciones. El componente cualitativo, que podría consistir de uno o más estudios QuIP, ayuda a echar luces sobre los posibles mecanismos causales que impulsan los cambios observados, y contribuye a entender la variación en el impacto a todos los niveles de la población.
4. Evaluación de proceso. Estas típicamente combinan una revisión exhaustiva de la documentación de un proyecto específico con entrevistas con informantes clave para identificar y explicar la razón del avance (o la falta de este) en la implementación de un proyecto de acuerdo a lo programado. Son realizadas por un especialista en la materia o un equipo de ellos, con frecuencia en un período de tiempo relativamente corto. Las evaluaciones de proceso suelen tener dificultades para recolectar y analizar retroalimentación significativa de los clientes, usuarios finales y beneficiarios previstos. Esta carencia puede ser subsanada incluyendo un estudio QuIP como un componente de la evaluación de proceso.
5. Estudios de seguimiento en profundidad. Además de llevar a cabo un estudio QuIP paralelamente a otros estudios, una posibilidad adicional es utilizarlo como una forma de hacer seguimiento a una pregunta o un problema en particular generado por un estudio anterior. Este podría surgir, por ejemplo, cuando la interpretación de una encuesta a gran escala estuviera resultando difícil o contenciosa; o podría ayudar a entender las razones de la variación en la experiencia de diferentes participantes de un proyecto. Una ventaja de dicho enfoque es que la información generada por una línea de base anterior o una encuesta repetida genera una fuerte base para la selección intencional de los encuestados para el QuIP. Esto se ajusta bien a la tradición de la “evaluación realista”, donde el rol del QuIP es asistir con la identificación de las configuraciones “contexto, mecanismo, alcance” experimentadas por los diferentes entrevistados.
6. Sensemaking participativo. La evidencia generada por los estudios QuIP suele estar destinada principalmente para ser compartida con quienes gestionan y comisionan los proyectos, programas y organizaciones, especialmente ahí donde existen grandes brechas (geográficas y culturales) a lo largo de la cadena de financiamiento. Estas pueden ser asociadas a lo que algunos economistas llaman “asimetrías de información entre principales y agentes”. Sin embargo, la interpretación y el uso de la evidencia de los estudios QuIP no tienen que alimentar solamente a los niveles “superiores” de la cadena de financiamiento. Apropiadamente visualizados, existe un amplio margen para compartirlos también con otros actores, lo cual incluye retroalimentación a los entrevistados. Una alternativa a esta opción es el mapeo causal participativo. Aquí se reúne a los actores para ponerse de acuerdo en torno a un mapa, lo que puede contribuir a promover la colaboración y la construcción de una comprensión común de un sistema o tema. El enfoque QuIP, por el contrario, permite un análisis más detallado de cómo los mapas causales cognitivos varían entre partes interesadas." (BSDR, 2021)

Consejos para utilizar el enfoque QuIP con eficacia

El QuIP casebook sugiere trabajar con instituciones o consultoras académicas locales establecidas para gestionar o contratar investigadores de campo con las calificaciones personales, habilidades lingüísticas y entusiasmo para facilitar la construcción de una buena relación con los entrevistados.

Los estudios QuIP son implementados por una persona evaluadora principal en estrecha consulta con la persona responsable de comisionar la evaluación. Estas dos personas, a su vez, identifican a un investigador/a independiente para movilizar entrevistadores/as capacitados con las destrezas lingüísticas y de trabajo de campo requeridas. En la medida de lo posible, los entrevistadores/as no son informados de qué programa está siendo evaluado. Los entrevistadores/as organizan y llevan a cabo el levantamiento de datos (entrevistas y grupos focales) para garantizar un enfoque completamente independiente en las entrevistas. Es de importancia vital mantener una estrecha consulta en torno a cuestiones éticas, entre ellas cómo los investigadores/as acceden a los entrevistados/as y se presentan, ya que no suelen hacerlo a través de la agencia que ejecuta la actividad bajo evaluación. Del mismo modo, la calidad dependerá de poner un gran cuidado en el uso piloto de los instrumentos de recopilación de datos, en especial en lo que se refiere a aspectos culturales y de traducción de idiomas.

Una importante responsabilidad de la agencia que comisiona la evaluación es proporcionar listas de los actores afectados por una intervención, de entre las cuales se seleccionará a las personas a ser entrevistadas.

Siempre que sea posible, el equipo entrevistador debe ser independiente y doble ciego ahí donde proceda, lo cual quiere decir que ni entrevistadores/as ni entrevistados/as deben saber quién ha comisionado la investigación o qué proyecto está siendo evaluado. Esto ayuda a mitigar y reducir el sesgo proproyecto y el sesgo de confirmación y facilita un debate más amplio y abierto con los entrevistados/as acerca de todos los alcances e impulsores del cambio.

Inclusión

Es importante identificar e incluir perspectivas diversas y diferentes tipos de diversidad (ligado a un muestreo intencional).

Desafíos y posibles dificultades

Para el equipo de evaluación domiciliado en el campo puede representar un desafío contratar participantes para las entrevistas y cuestionarios cuando estos no están formalmente alineados con un programa en particular.