Informe de Resultados Colaborativos
El Informe de Resultados Colaborativos (IRC) es un enfoque participativo a la evaluación de impacto basado en una historia de desempeño que presenta evidencias de cómo un programa ha contribuido a resultados e impactos, que es luego revisado tanto por expertos técnicos como por los actores involucrados en el programa, que puede incluir a miembros de la comunidad.
Desarrollado por Jess Dart, el IRC combina análisis de contribución y Múltiples Líneas y Niveles de Evidencia (MLNE), mapeando datos existentes y datos adicionales contra la lógica del programa para producir una historia de desempeño. Los informes de las historias de desempeño son esencialmente un informe breve sobre cómo un programa contribuyó a resultados. Aunque puedan variar en contenido y formato, la mayoría son breves, mencionan el contexto del programa y los objetivos, se relacionan con una cadena de resultados plausible, y están respaldados por evidencia empírica (Dart y Mayne, 2005). El objetivo es contar la ‘historia’ del desempeño de un programa usando múltiples líneas de evidencia.
El IRC agrega procesos de revisión por parte de un panel de expertos y actores involucrados, a veces incluyendo miembros de la comunidad, para verificar la credibilidad de la evidencia sobre los impactos que se han producido y la medida en que estos pueden atribuirse de manera creíble a la intervención. Son estos componentes de la revisión del panel de expertos (panel de resultados) y un enfoque colaborativo para el desarrollo de resultados (a través de talleres cumbre) que diferencian al IRC de otros enfoques de evaluación de impacto y resultados.
Etapas
El IRC utiliza un enfoque de método mixto que implica la participación de actores involucrados clave, generalmente en un proceso de 6 etapas. La participación puede ocurrir en todas las etapas de este proceso:
- Alcance: se lleva a cabo un taller de iniciación/planificación. En este taller se clarifica la lógica del programa, se identifican los datos existentes y se desarrollan las preguntas de evaluación.
- Recopilación de datos. Puede incluir fuentes de datos primarias y secundarias. Generalmente, se lleva a cabo una recopilación de datos de la evidencia existente. El personal del programa puede ser reclutado para ayudar con la compilación de datos.
- Investigación social. La investigación social puede incluir cualquier forma de recolección de datos –cualitativa o cuantitativa. Si es cualitativa, los voluntarios que reciben una breve sesión de capacitación en entrevistas y una guía de entrevistas pueden llevar a cabo entrevistas. Esta es una manera muy efectiva de involucrar al personal en los datos en donde hay suficiente entusiasmo en todo el proceso. De lo contrario, los consultores o los gerentes de evaluación llevan a cabo todas o una parte de las entrevistas. En varios ejemplos de IRC, la técnica del Cambio Más Significativo (CMS) es utilizada en algún punto del proceso de la investigación social como una forma de capturar historias de cambio, tanto esperadas como inesperadas.
- Análisis & Integración de datos. Los datos cualitativos y cuantitativos pueden ser analizados juntos de acuerdo a los resultados en la lógica del programa. Una ‘tabla de resultados’ es utilizada a menudo para integrar diferentes grupos y tipos de datos.
- Panel de resultados: Las personas con conocimiento científico, técnico o sectorial relevante son reunidas y se les presenta una serie de evidencias compiladas en la etapa 4. Luego se les pide que evalúen la contribución de la intervención hacia los objetivos, teniendo en cuenta el conocimiento disponible y que exploren hipótesis rivales que podrían explicar los datos. Puede ser sustituido por un jurado ciudadano.
- Taller cumbre. En un taller grande se sintetizan los hallazgos y recomendaciones claves, y los ejemplos de cambios son identificados y agregados (utilizando material de CMS, si está disponible, y los procesos de CMS para seleccionar las historias más importantes). La cumbre debe involucrar una amplia participación de actores involucrados clave, tales como el personal del programa y miembros de la comunidad.
Estructura del Informe de Resultados Colaborativo: el informe tiene como objetivo explorar e informar en qué medida un programa ha contribuido a los resultados. Bajo el IRC, los informes son breves y generalmente estructurados en términos de las siguientes secciones:
- Una sección narrativa que explica el contexto y la lógica del programa.
- Una ‘tabla de resultados’ (Ver Preguntas Frecuentes) que resume los logros de un programa contra un modelo de lógica de programa.
- Una sección narrativa que describe las implicancias de los resultados, por ejemplo, los logros (esperados e inesperados), los problemas y las recomendaciones.
- Una sección que proporciona una serie de ‘viñetas’ que brindan ejemplos de cambios significativos, por lo general narraciones en primera persona.
- Un índice que proporciona más detalles sobre las fuentes de evidencia.
El IRC puede aplicarse en múltiples sectores o escalas de evaluación. El enfoque puede ser particularmente útil cuando la evaluación no tiene resultados bien definidos al inicio, o si los resultados son emergentes, complicados o complejos. Se ha utilizado en una amplia gama de sectores de desarrollo en el extranjero, salud comunitaria y educación indígena, pero la mayor parte del trabajo se ha realizado en el Sector de Manejo de Recursos Naturales, con el gobierno de Australia financiando 20 estudios piloto en 2001-9.
Mapeo del enfoque en términos de tareas y opciones
La asignación de nuestro marco del arcoíris a este enfoque muestra cómo los informes de resultados colaborativos se cruzan con otros procesos de evaluación.
GESTIONAR
Desarrollar la capacidad de evaluación: Involucrar a los equipos de proyecto y al personal en la investigación social y la recopilación de datos.
El IRC puede ayudar a desarrollar la capacidad de evaluación porque tiene un mandato específico para involucrar a los equipos del proyecto y al personal en la etapa de investigación social o recolección de datos.
DEFINIR
Desarrollar el modelo teórico/lógico del programa: Un elemento clave en el enfoque IRC es el desarrollo de una lógica de programa. Esto es utilizado para el mapeo de los datos y resultados y para contar la “historia de desempeño” de la evaluación. En general, se ha utilizado una jerarquía de resultados en los ejemplos a continuación.
DESCRIBIR
Combinar datos cualitativos y cuantitativos: el IRC es adecuado para combinar múltiples tipos de datos, tales como cualitativos y cuantitativos. Esto es parcialmente debido a las bases del IRC en MLNE, pero también porque el IRC utiliza Expert Review y el proceso de Cumbre para juntar esos tipos de datos de manera coherente y significativa, mapeados contra una lógica de programa.
(Recolección de datos: Recopilación de datos.)
La etapa de recopilación de datos se basa en los registros del proyecto y cualquier otro dato de monitoreo existente para informar la investigación social.
SINTETIZAR
Sintetizar datos de una sola evaluación: Panel de resultados, Taller Cumbre
El panel de resultados (una forma de panel de expertos) y el taller cumbre actúan para sintetizar los datos dentro del proceso de evaluación.
Consejos para ELEGIR esta opción (recomendaciones y trampas)
- Cuando se necesitan informes que proporcionen mensajes breves y claros y un seguimiento fácil de las pruebas que corroboren estas afirmaciones. Las organizaciones a menudo dan un gran valor a los informes porque logran un buen equilibrio entre la profundidad de la información y la brevedad y son fáciles de entender para el personal y los actores involucrados. Ayudan a construir un caso creíble de que se ha hecho una contribución.
- Cuando hay un deseo de incluir al personal del programa y a otros actores involucrados en el proceso y desarrollar su capacidad de evaluación. El proceso participativo mediante el cual se desarrollan los informes ofrece muchas oportunidades para el desarrollo de la capacidad del personal y los actores involucrados. Son una excelente manera de iniciar un nuevo sistema de monitoreo y evaluación, ya que implica sintetizar y reflexionar sobre todos los datos existentes y los datos faltantes (¡una excelente plataforma para pensar qué datos son realmente necesarios!). Un proceso de IRC puede ser de gran valor para obtener la aceptación y la propiedad para un programa o proceso de evaluación.
- Utilizado para responder preguntas sobre el grado en que una inversión contribuye a resultados, el IRC se enfoca principalmente en responder este tipo de preguntas de evaluación, y por ende no debe considerarse como la única herramienta de informe. Se necesitan otros métodos y enfoques para responder preguntas claves de evaluación sobre la idoneidad de la inversión o la intervención o su rentabilidad. El IRC no está diseñado para abordar estas preguntas. Se pueden agregar a esta metodología en el futuro, pero no están cubiertas por este enfoque en su estado actual.
- Los valores de los actores involucrados serán utilizados como criterios de evaluación: el IRC está basado en la premisa de que los valores de los actores involucrados, del personal del programa y de los actores involucrados clave son de la mayor importancia en una evaluación. Los evaluadores intentan “separar” sus opiniones y, en cambio, presentan una serie de resúmenes de datos a los participantes de la cumbre y del panel para que lo analicen e interpreten. Los valores salen a luz y son debatidos a lo largo del proceso. Los participantes debaten el valor y la importancia de las fuentes de datos y llegan a un acuerdo sobre los hallazgos principales de la evaluación.
- Cuando un programa tiene resultados emergentes o complejos que no son completamente definidos al inicio del programa. Por esta razón, una lógica del programa es actualizada al inicio del proceso de evaluación. Además, la investigación cualitativa es utilizada para capturar resultados inesperados y los procesos deliberativos son utilizados para dar sentido a los hallazgos.
Consejo para UTILIZAR esta opción (recomendaciones y trampas)
- Incluir a los actores involucrados requiere una gestión delicada y una facilitación cuidadosa: Traer a los actores involucrados en el momento equivocado puede generar problemas a la evaluación, particularmente en la etapa de la cumbre. Es importante que se incluyan en la etapa de recopilación de datos las voces de todos los actores involucrados que participarán en el taller cumbre o que participarán en la revisión del informe. Esto puede ser a través de la investigación social o el rastreo de datos y la revisión de documentos. Si no se incluyen, el taller cumbre puede enfocarse más en la recolección de datos, en lugar de su propósito real: dar a conocer la verdad y formular recomendaciones.
- Enfocarse cuidadosamente en las evaluaciones claves. Como ninguna evaluación puede responder a todas las preguntas que los actores involucrados en el programa puedan realizar, es muy importante priorizar las preguntas en la etapa de la evaluación del alcance. Todos los participantes deben tener muy en claro qué se está evaluando y en qué se centrará la evaluación.
- La gestión del panel de resultados necesita tener en cuenta los conflictos de intereses: la reunión de los expertos en el panel de resultados también requiere de una consideración cuidadosa, para evitar conflictos de interés. Si bien los expertos, inevitablemente debido a la naturaleza del evaluando, pueden estar conectados al programa de alguna manera, es importante que ellos mismos no hayan diseñado el programa o hayan sido parte del mismo, para mantener la neutralidad. Además, en los evaluadores altamente políticos, puede ser difícil llegar a un acuerdo sobre los resultados de un panel de expertos. En este caso, una evaluación experta puede ser más apropiada que el IRC.
- Asegurarse que la historia de desempeño y la recolección de datos no solo se enfoquen en los aspectos positivos del rendimiento: los IRCs han sido criticados por ser demasiado apreciativos, o por ser incapaces de contar una mala historia. Si bien esto es ciertamente un riesgo, la técnica intenta abordar esto de varias maneras. En primer lugar, a todos los informantes se les pide que describan las fortalezas y debilidades del programa. Estas debilidades o problemas están documentados en el informe. En segundo lugar, se alienta al panel de resultados a informar sobre tendencias tanto positivas como negativas en cuanto a los resultados. Así que los “negativos” no son evitados en este proceso. Sin embargo, la elección del tema para un informe de resultados es a menudo intencional en lugar de ser seleccionada al azar.
- El IRC se puede realizar con un presupuesto limitado: Es posible reducir los costos realizando los siguientes cambios en el proceso: Realizar la reunión inicial con la reunión de planificación; Menos entrevistas; Limitar el tiempo de recopilación de datos; Combinar los paneles de resultados con la cumbre; Utilizar solamente datos secundarios; o que la organización comisionada sea la responsable de producir el informe final. Sin embargo, la única cosa que es absolutamente fundamental es el Taller cumbre. La cumbre es el espacio para unir la evaluación y unir las perspectivas. Si se maneja de forma efectiva, la cumbre fundamenta los hallazgos y el grupo elabora las recomendaciones. Este es un elemento central que diferencia al IRC de los otros enfoques para las evaluaciones de resultados e impacto.
- Si el programa ya cuenta con un marco y proceso sólido de monitoreo, evaluación, informe y mejoras: puede que no necesite todos los elementos del IRC. Si existe una lógica clara del programa y un sistema de monitoreo integral, es posible que solo se necesite agregar algunos componentes del proceso del IRC, tales como el panel de resultados y el taller cumbre. Un proceso de IRC en su totalidad es muy adecuado en situaciones en donde ha habido recolección de datos de monitoreo ad-hoc o en donde no se ha desarrollado ni probado ninguna lógica inicial de programa.
¿De dónde viene el IRC?
El IRC se inspiró en el trabajo de John Mayne sobre el Análisis de Contribución. Mayne expresó la necesidad de informar sobre la lógica del programa y llamó a esto un informe de historia de desempeño (Dart y Mayne, 2005). El IRC tomó este concepto y lo extendió en un proceso escalonado y un producto de informe específico. Parte de esto fue intencionalmente participativo y utilizó MLNE
¿Qué es una tabla de resultados?
Una tabla de resultados puede contar la historia de cambio de un programa a través de líneas de evidencia generadas desde el proceso de recopilación de datos y la investigación social. Es una tabla que marca las actividades, productos y resultados junto a la evidencia recopilada.