Protocolo de evaluación del impacto cualitativo

Available languages
Synonyms:
QUIP
Contributing author
Fiona RemnantRebekah Avard

Los estudios de QuIP sirven para proporcionar una verificación independiente de la realidad de una teoría de cambio predeterminada que ayuda a las partes interesadas a evaluar, aprender de y demostrar el impacto social de su trabajo. El enfoque de QuIP coloca las voces de los beneficiarios del proyecto en el centro de la evaluación, permitiéndoles compartir y retroalimentar sus experiencias de una manera abierta, creíble y respetuosa.

El QuIP reúne evidencia del impacto de un proyecto a través de declaraciones narrativas causales recopiladas directamente de los beneficiarios previstos del proyecto. Se pide a los encuestados que hablen sobre los principales cambios en sus vidas durante un período de recuerdo predefinido y se les pide que compartan lo que perciben como los principales impulsores de estos cambios, y a quién o a qué atribuyen cualquier cambio, que bien puede ser de múltiples fuentes.

No se requiere un grupo de control, ya que se busca evidencia de atribución a través de los reportes propios de los mecanismos causales de los encuestados que vinculan X a Y junto con Z (atribución de informante clave) en lugar de depender de la inferencia estadística basada en la exposición variable a X. Estos datos narrativos están destinados a ser triangulados con otros datos y a complementar la evidencia cuantitativa sobre los cambios en X, Y y Z obtenidos a través del monitoreo rutinario del proyecto u otros métodos.

Por lo general, un estudio QuIP involucra 24 entrevistas semi-estructuradas y cuatro grupos focales, realizados en el idioma nativo por investigadores locales altamente calificados. Sin embargo, este número no es fijo y dependerá del enfoque de muestreo utilizado. El equipo de investigación que realiza las entrevistas es independiente y está a ciegas cuando corresponde; no saben quién ha encargado la investigación o qué proyecto se está evaluando. Esto ayuda a mitigar y reducir el sesgo pro-proyecto y de confirmación, así como también permite una discusión más amplia y abierta con los encuestados sobre todos los resultados y los impulsores del cambio.

El enfoque QuIP para el muestreo consiste en seleccionar casos mediante un riguroso muestreo intencional, en lugar de buscar una muestra representativa grande. Esto significa intentar probar la "saturación", donde cada nueva historia agrega poco al conjunto de información existente. Donde haya buenos datos de monitoreo disponibles, se pueden usar para decidir el número, la ubicación y la variación de los encuestados seleccionados, en función de las diferencias de contexto, geografía, tratamiento y/o resultados positivos y negativos de los datos de monitoreo existentes.

Un cuestionario QuIP incluye preguntas abiertas, con indicaciones complementarias, así como preguntas cerradas. El cuestionario cubre varias áreas de la vida de los encuestados, incluyendo dominios como la salud y el saneamiento, el consumo de alimentos, las relaciones dentro del hogar y el bienestar. Los cuestionarios QuIP están diseñados para reflejar las áreas de la vida de las personas que se supone que se ven afectadas por la teoría del cambio del proyecto, pero las preguntas se enmarcan en torno a los resultados en lugar de inputs para recopilar información de manera más amplia sobre lo que ha cambiado y para capturar resultados inesperados e involuntarios.

Una vez que se han recopilado los datos, el QuIP utiliza un método robusto de codificación temática, que codifica sistemáticamente los impulsores, los resultados y la atribución. Una crítica común de la investigación cualitativa es la gran cantidad de datos a tratar; QuIP aborda esto en parte solo codificando historias de cambio en lugar de todos los datos, pero también adoptando un enfoque de codificación muy sistemático y replicable que acelera el proceso. Los resultados permiten el análisis de historias clave de cambio, buscando tendencias y patrones emergentes entre los diferentes tipos de encuestados. Los resultados se presentan en paneles interactivos e informes resumidos que utilizan visualizaciones y extractos codificados. El objetivo de QuIP es reunir evidencia sobre los procesos causales de cambio, no cuantificar el impacto, por lo que no puede proporcionar efectos de tratamiento promedio o recuentos estadísticamente representativos. Presenta historias de cambio ricas y detalladas de una manera digerible, permitiendo que cada historia individual tenga una voz en los resultados.

Ejemplo

El QuIP fue desarrollado por investigadores del Centro de Estudios de Desarrollo (CDS, por sus siglas en inglés) de la Universidad de Bath. Después de desarrollar el método a través de un proyecto de investigación de tres años financiado por el DFID/ESRC, el personal de CDS estableció la Investigación de Desarrollo Social de Bath (BSDR, por sus siglas en inglés) para continuar el desarrollo y la difusión del QuIP. Desde entonces, BSDR ha utilizado QuIP en más de 30 estudios en 16 países (abril de 2019). Los proyectos evaluados van desde intervenciones de medios de vida rurales hasta iniciativas de micro-finanzas.

Por ejemplo, Tearfund realizó tres estudios QuIP por separado entre 2016-18 para evaluar su proyecto de Movilización de la Iglesia y la Comunidad (MCP, por sus siglas en inglés) en Uganda, Sierra Leona y Bolivia. Este es un proyecto donde no existe una línea de base real, los beneficiarios son fluidos y los impactos no pueden medirse fácilmente de manera cuantitativa. El QuIP ofreció la oportunidad de comprender más acerca de cómo las vidas, las creencias y las actitudes de las personas habían cambiado y qué había influido en los cambios.

En entrevistas individuales y de grupos focales en Uganda, los encuestados reportaron cambios positivos, como un mayor empoderamiento y mejores relaciones con la comunidad, así como cambios negativos, como la disminución de los activos materiales y la reducción de la productividad. El análisis de los datos proporcionó una imagen amplia de los impulsores del cambio, incluido el impacto del proyecto CCM, entre otros. Más de la mitad de los encuestados citaron CCM, sin previo aviso, como un impulsor de cambio positivo en sus vidas. Tearfund luego validó el análisis con un grupo más amplio de encuestados para comprender lo que esto significaba para el futuro trabajo comunitario. Esto ayudó a cerrar el ciclo de retroalimentación e involucrar a los encuestados con los datos recopilados a través de entrevistas.

Para conocer otros socios del proyecto con los que BSDR ha trabajado, clic aquí. También puede leer estudios de caso más detallados en el libro QuIP Atribución del Impacto del Desarrollo: Registro de QuIP (2019, disponible de forma gratuita en línea), que también contiene antecedentes teóricos detallados y guías prácticas.

Pasos:

1. Co-diseño

El cuestionario y la estrategia de muestreo se desarrollan con el comisionado de la investigación.

2. Selección de caso

Se utiliza una combinación de muestreo intencional y aleatorio para seleccionar casos de la lista de beneficiarios previstos.

3. Recolección de datos

Las entrevistas individuales semi-estructuradas y las discusiones de grupos focales son conducidas por un equipo de campo local que trabaja con “los ojos vendados” a la naturaleza del proyecto que se está evaluando.

4. Análisis

El análisis puede ser tanto exploratorio como confirmatorio. La codificación temática se utiliza para analizar los impulsores, los resultados y la atribución.

5. Informe

Los informes de QuIP presentan y discuten los resultados de datos cualitativos codificados (declaraciones casuales narrativas). Los datos también se presentan en gráficos y visualizaciones útiles en una plataforma de tablero interactiva diseñada para involucrar a los equipos de proyecto en el análisis de las percepciones de cambio reportadas.

6. Retroalimentación flexible

Se alienta a la organización encargada de compartir y discutir los resultados con el equipo del proyecto y los beneficiarios.

Temas y consideraciones

Por qué a ciegas?

Al “vendarle los ojos” de ambas partes (manteniendo a los investigadores y a los encuestados sin saber quién ha encargado la investigación o qué proyecto se está evaluando), el método QuIP reduce el sesgo de confirmación y permite a los participantes ser más honestos y abiertos sobre sus experiencias. “Vendar los ojos” se considera éticamente aceptable según la filosofía utilitaria de trabajar por el bien común. La justificación de la venda en los ojos se explica a todas las partes antes de obtener el consentimiento y todos los involucrados en el estudio reciben un informe completo una vez que el proyecto de investigación ha finalizado. El término "con los ojos vendados" se utiliza para reflejar que este estado no es permanente y que se le quita la venda al final del estudio. En las sesiones de retroalimentación/cierre, los investigadores y los encuestados han reconocido la necesidad y la utilidad de vendar los ojos siempre que sea posible, pero no es necesario ni práctico para todos los estudios de QuIP.

Resources

Overview

Discussion Papers

Examples

Guides

Websites

La imagen característica de esta página fue creada por Chris Lysy en FreshSpectrum.com. Puede suscribirse a los dibujos animados de Chris Lysy a través de Patreon.

Última actualización: