1 La gestión por resultados en la ACDIPresentación – mi nombre, mi papel. - no soy experto (pero tengo experencia practica) - GPR no es sciencia (mas un arte); hay lineas directrices (reglas generales), pero no hay una sola manera de interpretarlo. - Sin embargo, conocer estas lineas directrices, reglas generales va ayudar mucho para evitar trampas. Presentación de los participantes – nombre , organización, papel – su experiencia con GPR de ACDI – expectativas

2 Capacitación 1. Repaso Modelo lógico y resultadosMarco (o matriz) de medición del rendimiento Gestión de los riesgos 2. Vinculación de resultados Relación entre un proyecto y sus sub-proyectos 1. Repaso de las principales herramientas que tenemos en GPR 2. Tambien, voy a tocar como el GPR en el nivel de se alinea con el GPR en el nivel de proyecto. El reto es: ¿Cómo agregar los resultados de cada sub-proyecto, para que podamos mostrar que sí, logramos los resultados globales del proyecto (o fundo)?

3 Sección 1 RePASO

4 Fuente: Política de GPR de la ACDI 2008Repaso Gestión por resultados Definir resultados previstos realistas basados en análisis adecuados. Identificar de forma clara a los beneficiarios de los programas y diseñar los programas para responder a sus necesidades. Hacer un seguimiento de los progresos realizados hacia el logro de los resultados y de los recursos consumidos, mediante indicadores adecuados. Identificar y gestionar los riesgos teniendo presente al mismo tiempo los resultados previstos y los recursos necesarios. Aumentar los conocimientos gracias a las lecciones aprendidas e integrarlos en la toma de decisiones. Informar sobre los resultados logrados y los recursos utilizados. Quien reconoce estas herramientas a la derecha? Antes del 2008, en ACDI, todo estos elementos se encontraba en una herramienta (era demasiado complicado) Realistas por que basados en análisis – género, - problematica del desarollo Contexto político y organizacional ; género, medio ambiental Situación inicial 2. Beneficiarios: Partes interesadas y actores (roles, capacidades) 3.Seguimiento con indicadores: Recopilar información sobre el rendimiento (indicadores) y medir el progreso y los resultados (interpretar los datos sobre los indicadores) 4. Análisis de riesgos y estrategias de respuesta. Lo que queremos decir por “riesgos”, son las cosas… que pueden hacer que no lleguemos nuestros resultados 5. Identificar aprendizaje y lecciones aprendidas, para implementar cambios y ajustes necesarios 6. Dar cuenta de progreso, logros, discrepancias, aprendizaje y ajustes Registro de riesgos Fuente: Política de GPR de la ACDI 2008

5 ¿Qué es la gestión por resultados?Una metodología de gestión Cómo trabajamos Cómo pensamos Un enfoque participativo No es: Un modelo lógico Un marco de medición del rendimiento Una etapa del proceso de aprobación del proyecto Procesos Participativos Es importante asegurar que programas y proyectos sean desarrollados de una manera participativa con las partes interesadas clave Quienes son las partes interesadas ? - el personal pertinente de la ACDI socios intermediarios agencias ejecutoras los sujetos de derechos y participantes (incluyendo a niñas, niños, adolescentes y jóvenes). En el diseño, asegurarse que ésta participación esté reflejada en los enunciados de resultados y en los indicadores, y validar el ML con todas estas partes. También quiere decir incluir dimensiones participativas en el Modelo Lógico, por resultados previstos que tienen que ver con la participación de las partes interesadas, particularmente niños, en procesos de toma de decisiones que afectan sus vidas. El enfoque participativo vale no sola mente para el proceso de planificación, pero también para la implementación y la evaluación de programas y proyectos.

6 1 2 3 4 5. 6 Ciclo de vida de un proyecto Iniciación PlanificaciónAprender y cambiar GPR PLANIFICAR APRENDER AJUSTAR HACER GPR Análisis estratégico Planifica-ción por resultados Implemen-tación Monitoreo Medición Evaluación Informes (resultados, aprendizajesy logros) Planificación corporativa y informes sobre el rendimiento GPR GPR GPR GPR GPR Aquí tenemos una representación visual de la gestión de un proyecto por resultados. GPR no solamente se hace en la etapa 1 y 2, si no en la implementacion del proyecto hasta el cierre. Ciclo de vida de un proyecto 1 Iniciación 2 Planificación 3 Aprobación 4 Operacionalización 5. Implementación 6 Cierre

7 Los niveles del modelo lógicoCambio de estado Cambio en comportamiento/práctica Cambio en capacidades, destreza, acceso Enfoquamos primeramente en los tres niveles por arriba que representa diferentes tipos de cambio: Ultimo: Cambio de estado / circunstancias (e.g. mejorar la bien estar socio-economico de los bolivianos) Mas larga tiempo, puede ser mas de la vida de un proyecto Intermedio: Cambio en el comportamiento, rendimiento, funcionamiento, actitud, cambio en el acceso (en nivel intermedio cuando se necesita cambiar capacidades como condición previa – e.g. acceso a mercados por parte de mujeres). Debe ser posible alcanzarlo durante la vida del proyecto Imediato: Cambio en el conocimiento, acceso (e.g. acceso a centros de salud por parte de la población del pueblo), los métodos, las competencias, las capacidades (algo más grande – un sistema) Se debe alcanzarlo en tiempo mas corto (e.g. un ano) En verde son los productos y actividades que propone implementar la agencia de ejecucion para alcanzar los resultados (en azul). Attribucion o Contribucion: Por arriba – el proyecto contribuye a los resultados (pero hay muchas otras factores externas que puedan tener incidencia en los resultados esperados) Por abajo – attribucion de los productos al proyecto (el proyecto, o agencia de ejecucion tiene control directo)

8 ¿Qué es un resultado? Un resultado es un cambio de estado, comportamiento/práctica o capacidades/destreza/acceso, que se puede describir o medir, producido por una relación de causa y efecto. Quiz - Preguntas que uno debe hacerse al formular un resultado ¿Empieza con la descripción de un cambio? ¿Describe solamente un cambio, en términos sencillos? ¿Explica la relación de causa y efecto? ¿Incluye palabras como “por” y “para”? ¿Explica el “qué”, el “quién” y el “dónde”? ¿Se puede pensar en como medirlo? Tiene que ser: realista, alcanzable y pertinente Forma sencilla, solamente una idea? una foto de su inversión; fácil de comprender. Si tiene mas de una, ¿podría ser dividida en declaraciones individuales? ¿QUÉ? ¿Describe la declaración de resultados el tipo de cambio esperado por medio de un adjetivo (derivado de un verbo que indica dirección) en tiempo pasado (aumentó, mejoró, fortaleció, redujo, enriqueció)? ¿QUIÉN? ¿Establece la declaración de resultados la población meta o beneficiario de la intervención? ¿Establece la unidad de cambio (individual, organización, grupo)? ¿DÓNDE? ¿Se encuentra identificada la ubicación o sitio en donde ocurrirá el resultado? Medibles? ¿Pueden los resultados ser medidos por más de un indicador cuantitativo o cualitativo? ¿ ¿realista y alcanzable? ¿Se encuentra el resultado dentro del ámbito del control de la inversión o esfera de influencia? ¿Existe un equilibrio adecuado entre el tiempo, los recursos adjudicados y el alcance y magnitud del cambio esperado? ¿Es el resultado relevante? ¿ ¿Refleja el resultado las necesidades y prioridades entre los beneficiarios identificados por medio de un proceso participativo? ¿El resultado toma en cuenta la cultura de la población local? ¿Se encuentra el resultado alineado con el programa de ACDI y las prioridades corporativas?

9 Lenguaje del cambio El cambio se expresa con términos del tipo:Se ha mejorado (las condiciones de salud) Se ha aumentado (los ingresos de los agricultores locales) Se ha fortalecido (las capacidades de las ONG locales) Se ha reducido (la mortalidad infantil) Se ha mejorado (la capacidad de aplicar la GPR) Mejor no utilizar frases completas Mejor empezar con el cambio que se va a medir La dificultad con frases completas: IMO - Beneficiaries have developed skills to implement their ideas and Business Plans, creating new enterprises, either individually or collectively. INTO - Employees and collaborators of the Municipality, Regional Government and Sechura Chamber of Commerce have encouraged facilities to promote and strengthen new enterprises and ongoing enterprises INTO - Familias conducen actividades agropecuarias competitivas y desarrollan iniciativas micro-empresariales rurales asociadas a las demandas de mercado y la cadena de valor de la actividad minera, con el protagonismo de jóvenes y mujeres IMO - Jóvenes y mujeres desarrollan iniciativas micro-empresariales rurales articulados/as a mercados locales, regionales y/o nacionales y a la cadena de valor de la actividad minera

10 ¿Qué son los productos en GPR?Son productos o servicios directos generados por las actividades de una organización, política, programa o iniciativa. Son los productos o servicios que debe producir o proporcionar la organización responsable (bajo su propio control). Ej.: Asistencia técnica en planificación estratégica proporcionada a los funcionarios encargados de políticas de los gobiernos regionales Quiz - Preguntas que uno debe hacerse al formular un producto ¿Nos dice qué ha sido producido/proporcionado? ¿Nos dice en qué área/especialidad? ¿Nos dice a quién han sido proporcionados los productos/servicios? ¿Específica el dónde? ¿Describe un cambio? Unica diferencia entre actividad y producto (producto es un actividad hecho – e.g. entregar talleres, talleres entegados). En ACDI, no exigimos el nivel de insumos en el GPR – e.g. contrator asesoras tecnicas, transporte (pero debe hacerlo la agencia de ejecucion) 10

11 Ejemplo de modelo lógicoNumero recomendado de resultados por nivel: Último: 1 Intermedios: 2 Inmediatos: 2 por cada resultado intermedio Productos: 1-3 por cada resultado inmediato Productos son actividades completos Para disenar un ML (despues haber terminado todo el analisis necesario), prefiero empezar definir los dos niveles mas por arriba (ultimo y intermedio), y despues bajar definir los actividades, productos y resultados imediatos en este orden. En general, si el contexto cambie durante la fase de implementacion del proyecto, se puede modificar los resultados imediatos (y los niveles mas bajo) con la aprobacion del responsable de proyecto (seccion desarollo internacional en el nuevo ministro). Se puede cambiar los resultados intermedios tambien, pero eso significara un aprobacion del nivel que aprobo el proyecto original (e.g. HoA para los sub-proyectos de ARI)

12 Marco (o matriz) de medición del rendimiento2ª herramienta principal de la GPR de la ACDI Utilizado para planificar de forma sistemática la recopilación de los datos pertinentes a fin de evaluar y demostrar los progresos realizados en el logro de los resultados previstos. Asegura que se recopile información sobre el rendimiento de forma regular. Ayuda a hacer un seguimiento del logro de los resultados previstos. Elaborado y controlado mediante consultas con los socios, otros donantes, partes interesadas locales y, en ocasiones, los beneficiarios Cuando presentamos las herramientas de la GPR, empezamos siempre con el modelo lógico porque es la parte conceptual, que permite ver cómo se articulan todas partes para lograr resultados. Después hablamos del marco de medición del rendimiento. Pero, no se debería desarrollar los dos en secuencia. ¿Por qué? Porque se puede desarrollar el modelo lógico el más lógico del mundo… no vale nada si no se lo puede medir con indicadores. Si no se puede recopilar datos sobre estos indicadores.

13 Elementos de un MMR Formulación de resultados según el Modelo LógicoIndicadores Datos de referencia Metas Fuentes de datos Métodos de recopilación de datos Frecuencia Responsabilidad Resultado final o último Resultados intermedios Resultados inmediatos Productos Resultados (desde el modelo logico directamente – cut and paste) Indicadores: Unidades de medida (%, numero) Linea de base: Normalemente finalizado en la etapa PIP (Plan de Implementacion del Proyecto). Puede ser “cero” en algunas casos p.ej. Producto: “Equipamiento entregado a la nueva escuela” Indicador: “Numero de proyectores entregados” Linea de base: “cero” Meta: La meta para el fin del proyecto, pero pueden tener metas anuales en el plan annual de trabajo Fuentes de datos: Individuos, organizaciones o publicaciones p.ej. (1) Informe anual de organizacion x (2) Los agricultores Metodos de recopilacion de datos: Como va collecionar los datos p.ej. Analisis (del informe annual) Sondeo (de los agricultores) Frecuencia: Depende el nivel y costo. En general: Ultimo: Una vez por 2-3 anos Intermedio: Una vez por 1-2 anos Imediato y mas abajo: Al menos una vez por ano

14 Indicadores de rendimientoUn indicador de rendimiento es una unidad de medición que indica lo que se debe medir junto con una escala o dimensión, pero no precisa la dirección o cambio. Los indicadores de rendimiento son un medio cualitativo o cuantitativo de medir un producto o resultado, con la intención de evaluar el rendimiento de un programa o inversión. Los indicadores de rendimiento son neutros y no indican la direccionalidad ni implican una meta. Cuantitativos: número de, frecuencia de, proporción de, varianza con, %, etc.: por ej.: número de violaciones de los derechos humanos Cualitativos: actitudes, comportamientos, competencias, percepciones, calidad, nivel de entendimiento u opinión de los beneficiarios, etc.: por ej.: percepción del personal sobre sus competencias para generar ingresos En general: Cada resultado, 2 o 3 indicadores. Idealmente, al menos un cuantitativo y un cualitativo. Cada producto, 1 o 2 indicadores

15 Tipos de indicadores (ejemplos)Cuantitativos (medidas estadísticas): número de, frecuencia de, proporción de, % de, etc. Cualitativos (valoraciones o percepciones): actitudes, percepciones de, calidad de, opinión de los beneficiarios, alcance de, congruencia con, etc. Nota: Aún los indicadores cualitativos se pueden medir, p. ex. “nivel de 3 sobre escala de 5” o “% de personas que piensan que…” Examples: Quantitative Number of women in the decision-making positions Number of women and men capable of reading basic material. Ratio of men and women in decision-making positions in the Government Number of human rights violations Qualitative Level of satisfaction of the beneficiaries (as defined by…). Quality of the service provided. Perception of men on women’s participation in the local Committee. Coherence between the management tools developed and the absorptive capacity of the beneficiaries. Perception of staff about their skills in revenue generation

16 Composición de los indicadores#/Total Unidad de medición Nivel de confianza %/Total que deben caminar 1 hora o menos para llegar a una escuela pública Contexto en la seguridad de los caminos rurales patrullados por la policía que ofrecen atención a poblaciones indígenas en su propio idioma niñas (z. urbana/rural) Unidad de análisis De agricultores / agricultoras Centros de salud (publicos / privados) Con proporcionalidad! Poder agregar unidades similares – indicador consolidato Con proporcionalidad: Es decir, cuando esta definiendo “el numero de” incluir el numero total. Por ejemplo, 200 (de 400) agricultores en la region capacitadas. 70%/25 participantes tienen un buen nivel de conocimiento.

17 Cualidades de un buen indicador del rendimientoValidez: ¿Mide el resultado el indicador? Fiabilidad: ¿Se trata de una medida uniforme con el paso del tiempo? Sensibilidad: Cuando el resultado cambie, ¿responderá el indicador a dichos cambios? Simplicidad: ¿Será relativamente fácil recopilar y analizar la información? Utilidad: ¿Será útil la información para el proceso de toma de decisiones y el aprendizaje? Asequibilidad: ¿Puede permitirse el programa/inversión recopilar la información? Validez: ¿Mide el indicador el resultado? El enunciado del resultado es “Mayor uso de agua potable limpia por parte de la población que habita en el pueblo X”. Válido : "porcentaje de hogares que usa agua potable sacada de una fuente limpia." No válido "número de pozos en el pueblo X“ Fiabilidad ¿Se trata de una medida uniforme con el paso del tiempo? El enunciado de resultados es "Mayor disponibilidad de servicios públicos para la población.“ Un indicador fiable sería “Satisfacción pública con servicios públicos". Un indicador no fiable podría ser "El número de máquinas en servicio para sacar la nieve en invierno." Sensibilidad: Cuando el resultado cambie, ¿responderá el indicador a dichos cambios? Simplicidad: Utilidad: Algunos pueden ser más útiles en la adopción de decisiones que otros. Un indicador como el “Porcentaje de hogares que usan agua potable extraída de una fuente limpia,” puede dar información que se podría usar en planificar fases posteriores de la inversión (por ej., es necesario que hayan más pozos para facilitar un mayor uso). Un indicador como el “Número de veces que se usa un pozo diariamente” mediría el resultado, pero no daría información muy útil sobre quién lo usa ni qué grado de difusión tiene el uso en el pueblo.  Asequibilidad ¿Puede permitirse el programa/inversión recopilar la información? Búsquese un equilibrio entre Rigor y Realismo. Los datos sobre los indicadores tienen que ser desegregados (por sexo, edad u otros factores importantes) para ser útiles para la toma de decisiones.

18 Proceso de gestión de riesgos1. Identificación del riesgo Análisis del entorno Colaboración con socios Selección de áreas de riesgo claves Retroacción 5. Evaluación Mejora del proceso Aprendizaje organizacional Informes sobre el rendimiento Comprensión del contexto 2. Evaluación del riesgo Impacto y probabilidad Clasificación del riesgo Tolerancia del riesgo Estrategia de comunicaciones Diferencias de género Medio ambiente Consulta con interesados Responsabilidades 4. Monitoreo Toma de decisiones Realización de ajustes Informes sobre el rendimiento This chart highlights the risk management process at CIDA. Now we only really begin to have risk management once we finish the 3rd step. Only after this is completed can we say we are effectively managing risks and managing for risks. 3. Respuesta al riesgo Determinación de las opciones Opciones de mitigación Implementación

19 Ejemplo Risk Definition Risk Response LM Result Statement Residual Risk Level – Very Low/ Low/High/Very High Date 1 Date 2 Date 3 Operational Risk Op1 That effectiveness be compromised by difficulty to hold competent staff. Define action plan for employee retention, incl. HR development and employee satisfaction/motivation tools Improved health of the population of X district I= 2 L= 3 I= L= Op2 Weak reporting on results, esp. gender Training on GE participatory monitoring and eval. (same) I= 3 L= 2 Financial Risk Fin2 Funds not properly accounted for. Annual and random financial compliance audits L= 1 Development Risk Dev1 Priority of district authorities shift away from capacity building of local clinics Expand communication efforts to ensure all actors (authorities & community) are aware of needs of local clinics and impacts of low capacity Improved capacity of local district clinics to provice basic services I= 4 Reputation Risk Rep1 ... Overall Risk Level Eso es un matrice de riesgo. No lo tengo en espanol – disculpe. Diferentes tipos de riesgo: Financiera vs. Reputacion Risk response: Es que acciones va a tomar la Agencia de Ejecucion para disminuir el nivel de riesgo LM result statement: Con que nivel del ML coresponde el riesgo (si es el proyecto en si, es el nivel utlimo). Residual risk level: Cual es el nivel de riesgo despues de haber considerado el “risk response”. Solo se necesita llenar Fecha 1, pero hay que seguir monitoreando de manera regular el riesgo.

20 Matriz de riesgos 4 1 2 3 Likelihood Impact Op1: HR Op2: Perf. MgtFin2: Fiduciary El riesgo se defina por definir la probabilidad (de que se ocura) y el impacto (si se ocura). Una vez hecho, este cuadro ayuda a determinar como cualifica el riesgo (e.g. muy bajo, alto) e.g. Terremoto por encima de 8 puntos (richter) en Lima (la probabilidad es bajo (2) pero el impacto sera muy alto (3.5) Criteria Very low Low High Very high Likelihood Very unlikely Unlikely Likely Very likely Impact Routine procedures sufficient to deal with consequences Could threaten results, and thus may require monitoring Would threaten results, and thus may require review Would prevent achievement of results, and would require close management

21 Vinculación de resultadosSección 2 Vinculación de resultados

22 Los modelos lógicos son fractalesFractal images – large image composed of many tiny versions of the whole. No matter how microscopic or huge you go, the basic shape is the same. LMs are the same - the basic shape – the types of change you expect to see at each level, are the same. What changes is the degree of granularity. Therefore, relationship between the corporate LM and a program LM, and a program LM and an investment LM, is parallel, with each level increasing in specificity and granularity. Example: Corporate Ultimate: Improved wellbeing for men, women and children in countries that receive CIDA aid Program Ultimate: Improved wellbeing for men, women and children of Tanzania Investment Ultimate: Improved maternal health for women living community X of Region Y of Tanzania. All three speak to a change in state for the ultimate beneficiary - they just address different degrees of specificity and granularity.

23 Otra imagen: un pastel ML de un programa o proyecto = el pastel completo Las capas representan los niveles de resultados del modelo lógico. Proyecto o sub-proyecto = un pedazo En cada capa del pedazo se encuentra la misma materia que en la capa correspondiente del pastel.

24 Vinculación de modelos lógicos de programas y de proyectosInversiones (proyectos) Duración: 5 años Resultado final Resultado(s) Intermedio(s) Resultados Inmediatos Productos ML de Programa Grado de influencia Contribución Atribución Resultado final Resultado(s) Intermedio(s) Resultatos Inmediatos Productos Proyecto de 3 años (tercer año) Rendición de cuentas Planificación Resultado final Resultado(s) Intermedio(s) Resultatos Inmediatos Productos Proyecto de 2 años (primer año)

25 Ejemplo de vinculaciónEjemplo de proyecto o sub-proyecto ML de Programa Grado de influencia Contribución Atribución Resultado final Se ha mejorado la salud de las madres en las comunidades rurales A, B y C de la región X del país Resultado intermedio Se ha mejorado el desempeño de las unidades de salud materno-infantil en la atención pre-, peri- y post-natal para las madres en A, B y C en la región X. Resultado inmediato Se ha mejorado el conocimiento y las destrezas de las matronas en términos de atención Productos Resultado final Se ha mejorado el bien estar de mujeres, hombres, niños y niñas del país X Rendición de cuentas Planificación Resultado intermedio Se ha mejorado la gestión y la atención en los servicios nacionales de salud del país X Resultado inmediato Se ha aumentado la capacidad de planificación y gestión de sistemas integrados de salud del Ministerio de Salud Productos