Análisis comparativo cualitativo

El Análisis Comparativo Cualitativo (QCA, por sus siglas en inglés) es un enfoque de evaluación que impulsa el razonamiento causal examinando la forma en que diferentes condiciones contribuyen a un alcance. Explora si un alcance de interés se encuentra presente en varias configuraciones de condiciones.

Descripción general

El QCA es un enfoque basado en la teoría, lo cual quiere decir que la selección de las condiciones a examinar tiene que guiarse por una teoría de cambio inicial sobre qué aspectos de la intervención y del contexto son importantes. La lista de condiciones puede ser revisada durante el proceso de QCA si el análisis revela que ciertas configuraciones están asociadas con una mezcla de alcances.

Al determinar si una condición está presente o ausente, es importante contar con una definición clara y precisa de dicha condición, lo cual incluye especificar las circunstancias en las que se puede considerar que esta condición está presente, es decir, cuándo y dónde. Esto permite codificar de manera coherente y exacta la presencia o ausencia de la condición en diferentes casos.

Codificación de datos y expresión de resultados

Los datos para un QCA se reúnen en un formato de matriz (en ocasiones denominado ‘matriz QCA’ o ‘matriz de verdad’), en que las filas representan los casos, las columnas representan las condiciones, y la columna más a la derecha indica la presencia o ausencia del alcance para cada caso.

Para cada caso, la presencia o ausencia de una condición es registrada numéricamente. Hay diferentes maneras de codificar estos datos. La forma más sencilla utiliza un código binario para indicar la presencia o ausencia de una condición, utilizando (1) o (0), respectivamente. Esto se usa en el caso de datos claros y definidos del tipo sí o no, tales como la presencia o ausencia de una política o financiamiento. Algunas modalidades de QCA pueden utilizar conjuntos difusos para revelar la presencia o ausencia parcial de una condición, presentándola como valores entre 0 y 1, tales como (0.2) o (0.6), para indicar el grado en que una condición existe, como por ejemplo el nivel de compromiso de una parte interesada. En casos en que la condición puede estar presente en más de una forma, esto puede ser representado por valores de (0), (1), (2) o más – referidos como "multivalor". Esto se puede usar en situaciones en las que una condición tiene múltiples estados distintivos, por ejemplo, diferentes campos de estudio, como Economía, Arte, Derecho, etc.

Los resultados de un QCA suelen expresarse en un lenguaje común, por ejemplo: “Una combinación de la condición A y la condición B, o una combinación de la condición C y la condición D, dará como resultado E.” Para mayor brevedad, los resultados también pueden ser expresados en álgebra de Boole – por ejemplo, la afirmación anterior puede escribirse en notación booleana de la siguiente manera: “A*B + C*D→E”.

Las cuatro fases de un QCA

1. Identificar casos relevantes y condiciones causales
2. Construir la tabla de verdad y resolver contradicciones
3. Analizar la tabla de verdad
4. Evaluar los resultados

Los paquetes de software como fsQCA (conjunto difuso/QCA) pueden ayudar con este tipo de análisis.

El QCA empieza documentando diferentes configuraciones de condiciones, o aspectos de una intervención y contexto, que están asociados con cada caso de un resultado observado, incorporando conocimientos contextual sustantivo e hipótesis.

Estas configuraciones se simplifican luego mediante un procedimiento de minimización que identifica el conjunto más simple de condiciones que explican todos los casos de resultados observados y su ausencia, lo que ayuda a determinar los factores contribuyentes clave.

El QCA permite utilizar conjuntos de datos relativamente pequeños y sencillos. No se requiere tener suficientes casos para alcanzar la significancia estadística, aunque idealmente debería haber suficientes casos para exhibir potencialmente todas las configuraciones posibles. Esto último depende del número de condiciones presentes. En una encuesta sobre el uso del QCA (Mello, 2012), la mediana del número de casos fue de 22, y la mediana del número de condiciones, de 6.

Características y conceptos clave del QCA

Los resultados del QCA permiten distinguir varias formas complejas de causalidad, entre ellas:

• Configuraciones de condiciones causales, y no simplemente casos individuales. Las tablas de verdad en QCA permiten mostrar cómo las diferentes configuraciones causales se componen de diferentes condiciones.
• Equifinalidad (“mismo estado final”) se refiere a una situación en la que el mismo resultado puede lograrse mediante diferentes condiciones iniciales y de diferentes maneras. En otras palabras, existen diferentes vías causales que pueden conducir al mismo resultado. El enfoque QCA permite explorar estas diferentes vías mediante el análisis de diferentes combinaciones de condiciones en las que se presenta el resultado de interés.
• Multifinalidad (“múltiples estados finales”): cuando la misma causa puede llevar a diferentes resultados en diferentes contextos. El enfoque QCA permite una exploración de estas diferentes vías a través del análisis de diferentes resultados que surgen de una condición de partida particular.
• Condiciones causales necesarias y/o suficientes (o ambas o ninguna). Una condición es necesaria si tiene que estar presente para que se produzca un resultado. Una condición es suficiente si su presencia garantiza el resultado. Una condición puede ser tanto necesaria como suficiente si se requiere y garantiza el resultado, o puede no ser ni necesaria ni suficiente.
• Las condiciones INUS son partes insuficientes pero necesarias de una configuración innecesaria pero suficiente. En otras palabras, la condición debe combinarse con otras condiciones para producir el resultado, y puede haber otras combinaciones de condiciones que también lo produzcan.
• Causas asimétricas son aquellas donde las causas del fracaso pueden no ser simplemente la ausencia de la causa del éxito.
• La influencia relativa de diferentes condiciones individuales y configuraciones causales en un conjunto de casos examinados. Las configuraciones pueden evaluarse en términos de cobertura (el porcentaje de casos que explican) y consistencia (el grado en que una configuración siempre se asocia con un resultado dado).

Características de un enfoque de vías causales

Cómo se podría utilizar este enfoque para incorporar características de una perspectiva de vías causales

Una perspectiva de vías causales en la evaluación se centra en entender cómo, por qué y en qué condiciones tiene o ha tenido lugar el cambio. Se utiliza para entender las cadenas interconectadas de vínculos causales que conducen a una serie de resultados e impactos. Es probable que dichas vías causales involucren a múltiples actores, factores contribuyentes, eventos y acciones, y no solo las actividades asociadas con el programa, proyecto o política sometido a evaluación o sus objetivos declarados.

El QCA puede usarse de formas que incorporen las siguientes características de una perspectiva de vías causales:

• Incide en el poder y la inclusión: El QCA puede involucrar a diversas partes interesadas en la fase de calibración, que consiste en asignar valores numéricos a condiciones en los casos antes de construir la tabla de verdad. Este paso exhorta a los equipos de evaluación y a las partes interesadas a debatir y definir explícitamente el éxito, el grado de éxito o la falta de éxito. Este paso puede implicar el desarrollo de rúbricas y puede estar fuertemente basado en valores.
• Formula vías causales explícitas: El QCA traduce información cualitativa, incluyendo posibles factores causales, en un formato numérico que permite el análisis sistemático de patrones causales, incluyendo diversas vías de cambio. Se requieren conocimientos teóricos sustanciales o datos de evaluación adicionales para identificar los mecanismos subyacentes, incluyendo la conversión de combinaciones de condiciones en vías de cambio.
• Presta atención una variedad de resultados e impactos: El QCA presta atención a resultados que ocurrieron o no, incluidos los no previstos.
• Entiende la variación contextual: Se trata de una característica clave del QCA, ya que la influencia relativa de diferentes condiciones es el foco del análisis.
• Adopta un enfoque adecuado a la complejidad para la evaluación de la calidad y el rigor: Los procesos de QCA son transparentes y replicables. El QCA implica razonamiento causal para evaluar el significado de la regularidad empíricamente observada entre casos. El QCA facilita la transferibilidad mediante el desarrollo de teorías de rango medio sobre la causalidad compleja de los fenómenos sociales.

Fondo

Historia de este enfoque

Aunque el QCA fue originalmente desarrollado por Charles Ragin a fines de la década de 1980 y ha sido usado en la investigación en ciencias políticas comparadas desde entonces, su uso recién se ha extendido entre las personas evaluadoras en las últimas dos décadas. Artículos sobre su uso han sido publicados en las revistas especializadas Evaluation y el American Journal of Evaluation.

Ejemplo

Para un ejemplo práctico, ver What is Qualitative Comparative Analysis (QCA)? de Charles Ragin, diapositivas 6 a 15, sobre los elementos básicos del QCA nítido.

[Ver un resumen del ejemplo aquí.]

En su presentación, Ragin ofrece datos de 65 países y sus reacciones a las medidas de austeridad impuestas por el FMI. Esto ha sido condensado en una Tabla de Verdad (mostrada más abajo), que revela todas las configuraciones posibles de cuatro condiciones diferentes que se pensaba podían afectar las respuestas de los países: la presencia o ausencia de austeridad severa, movilización previa, gobierno corrupto, aumento rápido de precios. Por ejemplo, la primera fila se refiere a una situación en la que no hubo movilización previa, no hubo austeridad severa, no hubo corrupción gubernamental y no hubo un aumento rápido de los precios.  

Junto a cada configuración encontramos información sobre el resultado relacionado con esa configuración – los números de países que experimentaron protestas masivas o no. En la primera fila, no se encontraron casos que coincidieran con esa configuración.

Hay 16 configuraciones en total, una por fila. La columna más a la derecha describe la consistencia de cada configuración: si todos los casos con esa configuración tienen un tipo de resultado o un resultado mixto (es decir, algunos con protestas y otros sin protestas). Observe que también hay algunas configuraciones sin casos conocidos (donde la consistencia se muestra como ??).

El siguiente paso de Ragin es mejorar la consistencia de las configuraciones con consistencia mixta. Esto se logra rechazando los casos dentro de una configuración inconsistente por ser atípicos (con circunstancias excepcionales que es improbable que se repitan en otros lados) o introduciendo una condición adicional (columna) que distingue entre las configuraciones que sí provocaron protestas de las que no. En este ejemplo se introdujo una nueva condición que eliminó la inconsistencia, descrita como “no tener un régimen represivo”.

El siguiente paso consiste en reducir el número de configuraciones requeridas para explicar todos los resultados, lo que se conoce como minimización. Por tratarse de un proceso que requiere mucho tiempo, se realiza mediante un algoritmo automatizado (es decir, un programa informático). Dicho algoritmo toma dos configuraciones a la vez y examina si tienen el mismo resultado. De ser así, y si sus configuraciones solo difieren en una condición, se considera que esto no es un factor causal importante y las dos configuraciones se combinan en una sola. Este proceso de comparaciones continúa, examinando todas las configuraciones, incluidas las recientemente combinadas, hasta que no sea posible realizar más reducciones.

[Saltando algunos pasos más específicos] El resultado final de la minimización de la tabla de verdad anterior es la siguiente configuración:

SA*(PR + PM*GC*NR)

La expresión indica que la protesta contra al FMI estalla cuando la austeridad severa (SA, por sus siglas en inglés) se combina con (1) aumentos rápidos de precios (PR) o (2) la combinación de movilización previa (PM), corrupción gubernamental (GC) y régimen no represivo (NR).

Consejos para elegir este enfoque de QCA

¿Para qué tipos de proyectos y programas sería apropiado este enfoque?

El QCA es útil para diseños de investigación pequeños e intermedios, con entre 5 y 50 casos. En este rango, suele haber demasiados casos para que los investigadores puedan mantener todo el conocimiento de los casos en su memoria, pero muy pocos para la mayoría de las técnicas estadísticas convencionales. Sin embargo, el QCA también puede utilizarse en evaluaciones con un mayor número de casos. (Hanckel et al., 2021)

El ACQ es particularmente útil para comprender las intervenciones implementadas en sistemas complejos, donde existen múltiples factores que contribuyen a variaciones en los resultados e impactos. También puede utilizarse para comparar sistemáticamente los resultados de diferentes combinaciones de componentes del sistema y elementos del contexto («condiciones») en una serie de casos. (Hanckel et al., 2021)

¿Para qué tipos de evaluación es apropiado el QCA?

Barbara Befani (2016), en Caminos hacia el cambio: evaluación de intervenciones de desarrollo con análisis comparativo cualitativo (QCA), analizó las preguntas de evaluación en las que incide el QCA. La pregunta amplia y general que responde el QCA es: “¿qué conjuntos de factores es probable que influyan en un resultado”?

Dentro del QCA se utilizan diferentes procedimientos para responder tres preguntas de evaluación relacionadas:

1. ¿Qué factores causales son necesarios para que se produzca el resultado?
2. ¿Qué factores causales son más efectivos (solos o en combinación) para el resultado?
3. ¿Qué factores causales influyen en el resultado, bajo qué circunstancias?

El QCA puede usarse como parte de un diseño de evaluación más amplio y de la recopilación y el análisis de datos adicionales para probar, refinar o desarrollar teorías de cambio, incluyendo teorías de cambio anidadas a partir de datos de casos empíricos. El QCA tiene el potencial de utilizarse para metaevaluaciones, síntesis y revisiones sistemáticas.

¿Qué nivel y tipo de recursos se requieren para este enfoque?

El análisis cualitativo de calidad (QCA) requiere experiencia técnica en análisis de datos cualitativos y el uso de programas de software de QCA. Es difícil predecir exactamente cuánto tiempo tomará el análisis, ya que es posible que se requieran iteraciones adicionales para comprender los datos.

¿Cómo podría este enfoque formar parte de un diseño de evaluación general eficaz?

Rick Davies explicó cómo las personas evaluadoras pueden utilizar el QCA con el rastreo de procesos para navegar entre evitar generalizaciones y generalizaciones que son demasiado inclusivas:

"Los dos métodos [rastreo de procesos y QCA] son más valiosos cuando se utilizan conjuntamente. El análisis de casos individuales puede generar ideas iniciales sobre las condiciones que se deben examinar en todos los casos al buscar configuraciones causales comunes. Cuando son encontradas, su validez como explicaciones causales puede comprobarse mediante diversos métodos de rastreo de procesos (por ejemplo, pruebas de aro y pruebas de prueba irrefutable), que utilizan los mismos conceptos de configuraciones causales y causas necesarias y/o suficientes. Cuando estas pruebas fallan, puede ser necesario un análisis más profundo de casos individuales para generar nuevas condiciones que posteriormente deban incluirse en un nuevo análisis de las configuraciones causales.

La perspectiva del QCA nos proporciona un punto intermedio útil … entre las generalizaciones excesivamente inclusivas y la evitación total de las generalizaciones. Al garantizar un diálogo continuo entre el análisis intracaso y el análisis entrecaso, también podemos evitar generalizaciones sin evidencia y asegurar que las generalizaciones intramuestrales sean lo más sólidas posible." (Davies, 2013)

Consejos para utilizar QCA de forma eficaz

En An Introduction to Applied Data Analysis with Qualitative Comparative Analysis (QCA), Nicolas Legewie (2013) apuntó que:

“Siempre se recomienda utilizar uno de los paquetes de software disponibles para realizar un QCA. Entre los paquetes de software para QCA de conjuntos difusos, fs/QCA (RAGIN y DAVEY, 2009) es la opción más utilizada. Es un software gratuito que permite realizar análisis en conjuntos nítidos y difusos, proporciona una función para generar una solución intermedia, y visualizaciones como gráficos XY. Además, no requiere comandos de cálculo, sino que se ejecuta con una interfaz gráfica de usuario."

Desafíos y posibles dificultades

En Pathways to Change: Evaluating development interventions with Qualitative Comparative Analysis (QCA) [Caminos hacia el cambio: evaluación de intervenciones de desarrollo con análisis comparativo cualitativo (QCA)], Barbara Befani (2016) llamó la atención sobre varias dificultades, desafíos y limitaciones:

"… la necesidad de contar con datos consistentemente disponibles en casos comparables; la necesidad de habilidades técnicas en el equipo de evaluación; la relativa imprevisibilidad del número de iteraciones necesarias para lograr hallazgos significativos; y, finalmente, la necesidad de comprender el resultado de la síntesis, lo cual puede lograrse de diversas maneras, incluyendo el uso de otros enfoques de evaluación como el análisis de contribuciones, la evaluación realista y el seguimiento de procesos."

Algunas personas evaluadoras se preguntan si el QCA por sí solo puede justificar un salto de datos puramente configuracionales (la coocurrencia de diferentes factores) a información causal (la configuración de algunos factores causa otra), argumentando que esto no es más que la conocida falacia de que se puede inferir causalidad a partir de la correlación. Existe mayor acuerdo en que el QCA puede ser muy útil para refinar y probar conocimiento e hipótesis subyacentes, aunque quizás incompletos, que ya son, al menos parcialmente, causales.