Evaluación centrada en el uso
Por lo tanto, las evaluaciones deben planearse y llevarse a cabo de manera que se mejore el posible uso tanto de los hallazgos como del proceso en sí para informar las decisiones y mejorar el desempeño.
La UFE tiene dos elementos esenciales. En primer lugar, los principales usuarios previstos de la evaluación deben estar claramente identificados y comprometidos personalmente al comienzo del proceso de evaluación para garantizar que puedan identificarse sus principales usos previstos. En segundo lugar, los evaluadores deben asegurarse de que estos usos previstos de la evaluación, por parte de los principales usuarios previstos, guíen todas las demás decisiones que se tomen sobre el proceso de evaluación.
En lugar de centrarse en usuarios y usos generales y abstractos, UFE se centra en usuarios y usos reales y específicos. El trabajo del evaluador no es tomar decisiones independientemente de los usuarios previstos, sino facilitar la toma de decisiones entre las personas que utilizarán los resultados de la evaluación.
Patton argumenta que la investigación sobre la evaluación demuestra que: "Es más probable que los usuarios previstos utilicen las evaluaciones si entienden y tienen sentido de propiedad del proceso y los hallazgos de la evaluación [y que] es más probable que entiendan y se sientan adueñados si han participado activamente. Al involucrar activamente a los principales usuarios previstos, el evaluador está preparando las bases para su uso”. (Patton, 2008, Capítulo 3).
UFE se puede utilizar para diferentes tipos de evaluación (formativa, sumativa, de proceso, de impacto) y puede usar diferentes diseños de investigación y tipos de datos.
El marco UFE se puede utilizar de varias maneras según el contexto y las necesidades de la situación. El marco original de Patton consistió en un proceso de 5 pasos que se puede ver en el siguiente ejemplo. Sin embargo, también hay un marco de 12 pasos (consultar la Lista de Verificación de la Evaluación Centrada en el Uso (U-FE) en los recursos más abajo) y la última actualización, que consta de 17 pasos, se describe a continuación.
El marco UFE de 17 Pasos
- Evaluar y desarrollar el programa y la preparación organizacional para la evaluación centrada en el uso
- Evaluar y mejorar la preparación y competencia del evaluador para emprender una evaluación centrada en el uso
- Identificar, organizar e involucrar a los principales usuarios previstos: el factor personal
- Analizar la situación conjuntamente con los principales usuarios previstos
- Identificar y priorizar los principales usos previstos al determinar los propósitos prioritarios
- Considerar y construir usos del proceso si corresponde y según corresponda
- Enfocar preguntas prioritarias de evaluación
- Comprobar que las áreas fundamentales para la investigación de la evaluación se están abordando adecuadamente: implementación, resultados y preguntas de atribución
- Determinar qué modelo de intervención o teoría de cambio se está evaluando
- Negociar métodos apropiados para generar hallazgos creíbles que respalden el uso previsto por los usuarios previstos
- Asegurar de que los usuarios previstos entiendan las controversias de los posibles métodos y sus implicaciones
- Simular el uso de los hallazgos: el equivalente de la evaluación de un ensayo general
- Recopilar datos con atención continua para su uso
- Organizar y presentar los datos para interpretación y uso por parte de los principales usuarios previstos: análisis, interpretación, juicio y recomendaciones
- Preparar un informe de evaluación para facilitar el uso y difundir los hallazgos significativos para expandir la influencia
- Seguimiento con los principales usuarios previstos para facilitar y mejorar el uso
- Meta-evaluación de uso: ser responsable, aprender y mejorar.
Ejemplo
Este ejemplo utiliza el marco UFE de 5 pasos.
Red Internacional de Bambú y Ratán (INBAR, por sus siglas en inglés)
A fines del 2006, la Red Internacional de Bambú y Ratán contrató a uno de los autores (Horton) para evaluar sus programas. Con sede en Beijing, la misión de INBAR es mejorar el bienestar de los productores y usuarios de bambú y ratán, y al mismo tiempo garantizar la sostenibilidad de la base de recursos de bambú y ratán. El gobierno holandés había solicitado y financiado inicialmente la evaluación como un requisito del fin de la subvención.
Paso 1. Identificar los principales usuarios previstos. La primera tarea fue determinar los propósitos "reales" y los usuarios potenciales de la evaluación. Este proceso comenzó con una reunión cara a cara con el Director de INBAR y una llamada a un funcionario del Ministerio de Asuntos Exteriores de Países Bajos, que reveló que la intención de ambas partes era que la evaluación contribuyera al fortalecimiento de los programas y la gestión de INBAR. Durante una visita inicial a la sede de INBAR, se identificaron a los actores adicionales, incluidos los miembros de la junta directiva de INBAR y los socios locales.
Paso 2. Obtener un compromiso con la UFE y enfocar la evaluación. Desde el principio, quedó claro que los actores clave se comprometieron a utilizar la evaluación para mejorar el trabajo de INBAR. Entonces, la tarea principal fue identificar las cuestiones clave para el desarrollo organizativo de INBAR. Se utilizaron tres opciones: (1) un taller participativo de un día de duración con el personal para revisar el trabajo reciente de INBAR e identificar las principales fortalezas, debilidades y áreas de mejora; (2) entrevistas con gerentes y miembros del personal; y (3) proponer un marco para la evaluación que abarque las áreas generales de estrategia, sistemas de gestión, programas y resultados.
Paso 3. Decidir sobre las opciones de evaluación. Después de las primeras interacciones con el Ministerio de Asuntos Exteriores de Países Bajos sobre los Términos de Referencia (TdR) de la evaluación, la mayoría de las interacciones fueron con los gerentes, miembros del personal y socios de INBAR en los sitios de campo. Se decidió conjuntamente que INBAR prepararía un informe consolidado sobre sus actividades recientes (siguiendo un esquema propuesto por el evaluador) y organizaría un taller de auto-evaluación en la sede. El evaluador participaría en este taller y haría visitas de campo a China, Ghana, Etiopía e India. Los coordinadores regionales de INBAR propusieron horarios para las visitas de campo, que luego se negociaron con el evaluador.
Paso 4. Analizar e interpretar los resultados y llegar a conclusiones. Al final de cada visita de campo, se llevó a cabo una sesión informativa con los miembros del personal local de INBAR. Al final de las visitas de campo, se llevó a cabo una sesión informativa de medio día y un debate en la sede de INBAR; esto estuvo abierto a todo el personal. Después de esta reunión, el evaluador se reunió con miembros del personal que expresaron su deseo de tener una contribución más personal en el proceso de evaluación. Más tarde, los gerentes y los miembros del personal de INBAR fueron invitados a comentar y corregir un borrador de informe de evaluación.
Paso 5. Difundir los resultados de la evaluación. El evaluador se reunió personalmente con representantes de tres de los donantes de INBAR para analizar los hallazgos de la evaluación, y el informe final se puso a disposición de los donantes, miembros del personal y la Junta Directiva de INBAR. Un resumen del informe fue publicado en el sitio web de INBAR.
Utilidad de la evaluación. El proceso de evaluación ayudó a sacar a la luz una serie de problemas y a explorar opciones para fortalecer los programas de INBAR. Por ejemplo, una conclusión de la evaluación fue que INBAR debería tratar de intensificar su trabajo en África y descentralizar las responsabilidades de la gestión de proyectos en la región. Ha habido un movimiento gradual en esta dirección, a medida que se han desarrollado nuevos proyectos. INBAR ha abierto recientemente una oficina regional para África Oriental, en Addis Abeba, y está poniendo más énfasis en la colaboración con socios regionales y nacionales.
Fuente: Patton, M.Q. y Horton, D. 2009. Evaluación Centrada en el Uso para Innovación Agrícola. International Labor Accreditation Cooperation (ILAC) Brief No. 22. ILAC, Bioversity, Roma.
Consejo
Consejo para UTILIZAR este enfoque
- Si bien en principio hay una lógica simple, de un paso a la vez, para el desarrollo de una evaluación centrada en el uso, en la realidad el proceso rara vez es tan simple o tan lineal. Por ejemplo, el evaluador puede encontrar que los nuevos usuarios se vuelven importantes a medida que avanza la evaluación o que surgen nuevas preguntas en medio de las decisiones de opciones. Tampoco hay necesariamente una distinción clara entre los procesos de enfocar las preguntas de evaluación y tomar decisiones sobre las opciones; las preguntas informan las opciones y las preferencias metodológicas pueden informar las preguntas.
- La UFE requiere una guía y facilitación activa y especializada por parte de un facilitador de la evaluación.
- Los recursos de tiempo disponibles para la evaluación deben ser claramente negociados, incorporados desde el principio y establecidos en el acuerdo. La naturaleza esencialmente colaborativa de la evaluación UFE exige tiempo y participación activa, en cada paso de todo el proceso, por parte de quienes utilizarán los resultados de la evaluación. Es posible que se necesiten recursos adicionales si se agregan nuevos usos o usuarios después de que la evaluación haya comenzado.
- Los recursos financieros disponibles para la evaluación deben indicarse claramente. Deben incluir recursos financieros más allá del mero análisis y presentación de informes. Los recursos que facilitan el uso deben estar disponibles.
- Al realizar una evaluación UFE, el evaluador debe considerar cuidadosamente cómo afectará al uso todo lo que se haga, de principio a fin
Este texto fue traducido como parte de una cooperación entre BetterEvaluation, DEval y ReLAC, con apoyo financiero del Ministerio alemán Federal de Cooperación Economica y Desarrollo.
Sources
Patton, M.Q. (2008). Utilization-focused evaluation, 4th edition. Thousand Oaks, CA: Sage.
Patton, M.Q. and Horton, D. (2009). Utilization-Focused Evaluation for Agricultural Innovation. Institute of Learning and Change (ILAC) Brief No. 22. ILAC, Bioversity, Rome.
Expandir para ver todos los recursos relacionados con 'Evaluación centrada en el uso'
'Evaluación centrada en el uso' is referenced in:
Enfoque
Theme