1 Evaluación de Programas PúblicosSistema de Evaluación del Desempeño SED

2 El contexto de la Gestión Para Resultados

3 Enfoque de la GPR Nueva Gerencia PúblicaEs un enfoque que otorga “poder y flexibilidad” a los gerentes públicos a cambio de una mayor responsabilidad por la obtención de resultados Gerencia de recursos públicos para el logro de objetivos y resultados

4 Nueva Gerencia PúblicaAntecedentes del GPR Nueva Gerencia Pública Las principales implicaciones son: El traslado de las funciones ejecutivas a agencias dotadas de mayor autonomía administrativa, otorgándole mayor poder a los gestores públicos (delegación ) y exigiendo la obtención de ciertos logros Ajustes en sus sistemas presupuestarios (PBR); flexibilidad, traspaso de recursos basados en desempeños (contratos) El desarrollo de sistemas administrativos y tecnológicos de control de gestión y rendición de cuentas Generar valor agregado al gasto público y con resultados de impacto para los usuarios de los servicios públicos

5 Para Recordar El PbR es una herramienta de mejora del gasto público para el logro de resultados que impacten en el bienestar de la población; Los resultados se logran mediante el diseño estricto de programas públicos; La evaluación de los programas enfatiza en los resultados por sobre los procedimientos de operación, con lo que se obtiene mejoras en la calidad de los bienes y servicios públicos; El PbR integra un proceso basado en consideraciones objetivas para la asignación de recursos en un PRESUPUESTO, con el objeto de producir con CRITERIOS de calidad, los bienes y servicios públicos de aquellos PROGRAMAS que son pertinentes y estratégicos para lograr los RESULTADOS comprometidos.

6 Marco Conceptual y Teórico de la Evaluación de Programas Públicos

7 DEFINICIONES EVALUACION DE PROGRAMAS PUBLICOS“Proceso de medición sistemática y continua de los resultados obtenidos de un programa, proyecto, política y la comparación de esos resultados con estándares u objetivos previamente definidos “ OCDE. “Un estudio en profundidad, que se realiza en un tiempo definido y en el cual se utilizan instrumentos de investigación en forma sistemática y analítica, para generar un juicio sobre el valor de una intervención.....…”Evaluación del Gasto de Programas en la Unión Europea. Comisión Europea “Conocimiento para la acción” Mejores Prácticas para la Evaluación. Public Management Public “Apreciación sistemática y objetiva de un proyecto, programa o política en curso o concluido, de su diseño, su puesta en práctica y sus resultados.” (OCDE, 2002) Fuente: Armijo Marianela. Planificación Estratégica Gubernamental, Sistemas de Seguimiento y Evaluación del Desempeño. Apoyo a la Gestión Presupuestaria en Guatemala. 16 y 17 de Noviembre (Láminas 2 a 19)

8 OBJETIVOS DE LA EVALUACION DE PROGRAMAS PUBLICOSEl objetivo es determinar la pertinencia y el logro de los objetivos, así como la eficiencia, la eficacia, el impacto y la sostenibilidad para el desarrollo. APOYAR EL PROCESO DE TOMA DE DECISIONES INFORMACION SOBRE IMPACTO DE LAS POLITICAS AYUDA A VALORAR LA CONTRIBUCION PUBLICA DE LAS ACCIONES GUBERNAMENTALES EN LA EJECUCION DE POLITICAS Y PROGRAMAS MEJORAR EL RESULTADO DE LAS INTERVENCIONES PUBLICAS

9 Algunas Carácterísticas GeneralesDeberá proporcionar información creíble y útil, que permita incorporar las enseñanzas aprendidas en el proceso de toma de decisiones. Emite juicios sobre las causas y las razones de los resultados, examina resultados no buscados, estudia el proceso que se ha seguido para obtenerlos y proporciona recomendaciones para acciones futuras. Es mediante un proceso sistemático de recolección y de análisis de información relevante, de acuerdo a una marco metodológico explícito.

10 REQUISITOS DE UNA BUENA EVALUACIÓN

11 ETAPAS DEL PROCESO DE EVALUACIONEX -ANTES Diseño de Programas y Proyectos OPERATIVA Ejecución del Programa o Proyecto, Productos, Servicios EX-POST Medición del desempeño o Impacto

12 Uso de la evaluación de programasSeguimiento de la situación de los Programas para fines de rediseño Decisiones de asignación de recursos Rendición de cuentas

13 PAPEL DE LA EVALUACIÓN EN LA TOMA DE DECISIONES

14 Plan Estratégico Institucional Plan Estratégico y Plan OperativoPlanificación y Proceso Presupuestario: Mecanismos de articulación y uso de Evaluación de Programas PRIORIDADES SECTORIALES FINES Y OBJETIVOS ESTRATEGICOS Plan Estratégico Institucional Ámbitos de Seguimiento y Evaluación NACIONALES Fuentes de Datos y Metodologías Estadísticas Nacionales Evaluaciones de Impacto Encuestas, Paneles, etc. Evaluaciones Cualitativas Evaluaciones de Programas (Marco Lógico) Sistema de Seguimiento y Evaluación de Desempeño OBJETIVOS ESTRATEGICOS, METAS DE PRODUCTOS Y PROCESOS Plan Estratégico y Plan Operativo Plan Nacional de Desarrollo: TIPOS DE INDICADORES Indicadores Macro nivel país Tasa de disminución de pobreza, marginalidad Tasa de creación de empleo Tasa de dismunución de los delitos Indice de Calidad Educativa Indicadores de Morbilidad Planes Sectoriales Indicadores de Impacto y de resultados intermedios de los Programas Sectoriales Tasas de Desnutrición Deserción escolar Disminución de déficit viviendas, etc. Planes Institucionales Indicadores de Impacto, Resultados Intermedios, Productos y Procesos (Eficacia, eficiencia, calidad) Programas Presupuestarios Indicadores de Resultados Intermedios, Productos y Procesos (Eficacia, Eficiencia, calidad), Insumos.

15 EVALUACION Y GESTION POR RESULTADOSTIPO DE ACCION GUBERNAMENTAL QUE SE EVALUA METODOLOGIAS/Fuentes de datos Estrategias Nacionales Cumplimiento de compromisos, prioridades nacionales Estadísticas Nacionales Encuestas Política Públicas Metas nacionales, sectoriales Comités Científicos de Evaluación, Paneles de Expertos EVALUACION DE PROGRAMAS (Escritorio, Impacto) Operativa-Instituciones Cumplimiento de metas de gestión y resultados finales Indicadores de Eficiencia, Eficacia, Calidad, Economía Sistema de Indicadores de Desempeño Cuadro de Mando Integral Marco Lógico Programas Públicos Resultados, gestión, impacto Inversiones Rentabilidad Social Costo-Beneficio Evaluación costo-beneficio ex-ante

16 Tipos de Evaluaciones

17 TIPOS DE EVALUACIONES DE PROGRAMASEvaluación de gabinete: describir la situación del programa en un tiempo corto, a través de la sistematización de la información disponible (Marco Lógico) Evaluación de impacto: logros finales de los efectos esperados por el Programa en el grupo de beneficiarios al cual está dirigido. Si se ha resuelto el problema que justifica la acción pública Evaluación costo – efectividad: conocer la relación entre la eficacia del programa como resultado final en los beneficiarios y los costos que se incurre para alcanzar dicho resultado.

18 TIPOS DE EVALUACIÓN Según el objeto:Evaluación de políticas públicas: resultados sobre el cumplimiento de las políticas generales, sectoriales – decisiones sobre políticas públicas. Evaluación de programas públicos: impacto o resultados de una intervención pública directa sobre una realidad social – mejorar el funcionamiento del programa y el impacto hacia la población beneficiaria. Evaluación de la gestión y resultados de entidades públicas: resultados obtenidos por las instituciones públicas y su comparación con aquellos planeados – mejorar desempeño.

19 TIPOS DE EVALUACIÓN Según la etapa de la intervención:Ex ante – previa a la implantación de una acción gubernamental. Documenta necesidades iniciales y la factibilidad de programas y políticas. (estudios de diseño de políticas y programas, estudios de pre-inversión de proyectos). Procesos – durante el ejercicio de la acción gubernamental. Se examina el uso de recursos para el cumplimiento de los objetivos, el ajuste de la programación de la generación de los productos. Ex post – una vez finalizada la intervención o acción, o la gestión de un determinado período . Involucra análisis y pronunciamiento de los resultados inmediatos, intermedios e impactos o resultados finales.

20 TIPOS DE EVALUACIÓN DE PROGRAMASEvaluación del diseño del programa (MIR) –Lógica vertical (estructura del programa) –Lógica horizontal Evaluación de la gestión Evaluación de resultados (res. Intermedios) –Eficacia - Calidad –Eficiencia – Economía Evaluación de impactos (res. Finales)

21 EVALUACIÓ DE RESULTADOS INTERMEDIOS•Evalúa los cambios en el comportamiento de los beneficiarios que se producen una vez que estos han utilizado y asimilado los componentes del programa. Son resultados de mediano plazo, que presumiblemente facilitarán la generación de los beneficios de largo plazo. •Se desarrolla, generalmente, a través del análisis de las estadísticas descriptivas de estos resultados con base en información obtenida a través de una encuesta aplicada a una muestra representativa de beneficiarios.

22 EVALUACIÓ DE RESULTADOS FINALES (IMPACTO)Son resultados a nivel de fin del programa. Implican un mejoramiento significativo y, en algunos casos, perdurable o sustentable en el tiempo, en alguna de las condiciones o características de la población beneficiaria. Son resultados de largo plazo. Para evaluar el efecto del programa sobre resultados finales se debe identificar y separar los beneficios logrados como consecuencia de la intervención del programa, de aquellos que de todas maneras hubieran ocurrido sin la ejecución de éste, por efecto de la evolución normal

23 Evaluación de Diseño y Resultados Intermedios (gabinete)Justificación del Programa Diseño. Organización y Gestión.. Resultados: Eficacia, Eficiencia, Economia, Calidad Sostenibilidad/Continuidad. Conclusiones y Recomendaciones.

24 Metodología: Marco LógicoÁmbitos de Desempeño en la Matriz del marco Lógico: Resumen Narrativo Indicadores de Evaluación del Desempeño Medios de Verificación Supuestos FIN (Objetivo Estratégico Institucional) Indicadores Estratégicos SED Propósito (Objetivo del programa) Componentes (Bienes y Servicios) Indicadores Estratégicos e Indicadores de Gestión Actividades (Tareas y acciones) Indicadores de Gestión Clasificación de los Ámbitos de Desempeño: IMPACTO O OUTCOME RESULTADOS INTERMEDIOS PRODUCTO O OUTPUT SM&CG PROCESO Recursos financieros, humanos y tecnológicos invertidos para operar las actividades del proceso. ESFUERZO. Presupuesto por Programas con base en Resultados INSUMOS O INPUTS

25 MEDICIÓN DEL DESEMPEÑO

26 ANÁLISIS DE EFICACIA •Desempeño del Programa en cuanto a la producción de COMPONENTES •Evaluar la evolución histórica en el desempeño de los componentes en cuanto a: niveles de producción, calidad técnica de los componentes, logro de metas , etc. •Análisis si la producción de los componentes es suficiente para el logro del propósito. • Comparar resultados del programa a nivel de componentes con aquellos de programas similares (en caso que existan).

27 ANÁLISIS DE EFICACIA •Desempeño del Programa a nivel de PROPOSITO •Evaluar si se ha cumplido el objetivo a nivel de propósito •Cuantificar y analizar el número de beneficiarios efectivos total y por componente. •Caracterizar y analizar los beneficiarios efectivos. •Analizar la cobertura en relación a la población total que presenta el problema (población potencial) y en relación a la población objetivo (programada), según el programa.

28 ANÁLISIS DE EFICACIA •Análisis y evaluación de los resultados de la focalización (si es que existen), ¿Se ha llegado a la población que se deseaba atender?, ¿Por qué?. •Análisis del grado de satisfacción de los usuarios / beneficiarios del programa

29 ANÁLISIS DE EFICACIA •Desempeño del Programa a nivel de FIN ¿El Programa ha contribuido al logro del fin?, ¿de qué forma?. ¿Se ha producido algún efecto no planeado del Programa o cambios en grupos de población diferentes a la población objetivo?, ¿estos efectos son positivos o negativos?.

30 CALIDAD •¿ Los bienes y servicios se entregaron oportunamente? •¿Existió continuidad en la prestación del servicio? •¿Las características del bien o el servicio entregado son las especificadas? •¿Los beneficiarios del programa están satisfechos con la oportunidad y calidad del bien o servicio recibido?

31 ANÁLISIS DE EFICIENCIA DEL PROGRAMALa eficiencia hace referencia a la manera como se realizaron las actividades para la entrega de los componentes y se entregaron los componentes para el logro del propósito . Verifica el grado en que: •Los insumos se proveyeron de manera organizada, oportuna y al mínimo costo posible. •Las actividades se ejecutaron al menor costo en los plazos establecidos. •Los bienes y servicios (Componentes) se obtuvieron al menor costo. •Los costos administrativos fueron lo mas bajo posible.

32 ANÁLISIS DE LA ECONOMÍA DEL PROGRAMALa economía se refiere a la capacidad de la gerencia del programa para administrar adecuadamente los recursos financieros. Analiza cómo: •Se utilizó el presupuesto asignado. •Se captaron recursos adicionales a los presupuestarios. •Se recuperaron recursos en caso existir créditos.

33 EVALUACIÓN DE IMPACTO EVALUACION DE IMPACTO

34 PREGUNTAS QUE SE HACE LA EVALUACION DE IMPACTOEfectos de mediano y largo plazo sobre la población beneficiaria que espera obtener el Programa ¿Cuáles serán los beneficios con que quedará la población beneficiaria una vez que concluya su participación en el programa? Incremento en el nivel de remuneraciones Reducción de la tasa de morbilidad de menores beneficiados con un programa de vacunación Aumento del rendimiento escolar de los alumnos participante en un programa de reforzamiento educativo

35 OBJETIVOS Conocer si el programa produjo los efectos deseados en los beneficiarios. Conocer si los cambios observados en los beneficiarios, pueden asociarse a los efectos del programa (causalidad). ¿Cómo debiera mejorarse el programa para maximizar sus beneficios en las variables de impacto? 

36 Diseño experimental tradicional y aleatorio METODOLOGIAS Diseño experimental tradicional y aleatorio Método de doble diferencias Métodos de comparaciones Pareadas (matching) Selección de modelos ( variables instrumentales) Evaluaciones cualitativas

37 Metodologías cualitativasEvaluación participativa: incorpora a ls beneficiarios en el diseño, la ejecución y la evaluación de un programa. Focus group Entrevistas a informantes claves

38 Consistencia y ResultadosTipos de Evaluación Estratégicas Valoración de las políticas y estrategias de desarrollo social. Consistencia y lógica interna de los programas Diseño Consistencia y Lógica Interna de los programas. Consistencia y Resultados Diagnóstico sobre la capacidad institucional, organizacional y de gestión de los programas para alcanzar resultados. Procesos Análisis de los procesos y la gestión del programa para cumplir con objetivos.

39 Específica de DesempeñoTipos de Evaluación Indicadores Revisión de la pertinencia y el alcance de los indicadores de un programa para el logro de sus resultados. Trabajo de campo. Evaluación sintética de la información contenida en el SED. Específica de Desempeño Profundiza sobre aspectos relevantes del desempeño de los programas. Realizadas por las dependencias. Complementarias Impacto Medición de los efectos netos del programa en la población que atiende.

40 Evaluación de Consistencia y Resultados Plazo aproximado de ejecuciónTipo de programas Definir los programas que se evaluarán bajo este enfoque Objetivo Analizar sistemáticamente el diseño y el desempeño global de los programas para mejorar su gestión y medir el logro de sus resultados con base en la matriz de indicadores Temas de estudio Diseño Planeación estratégica Cobertura y focalización Operación Percepción de la población objetivo Resultados Evaluación diagnóstico Plazo aproximado de ejecución 9 meses

41 Evaluación de Procesos Plazo aproximado de ejecuciónTipo de estudio Funcionamiento y operación Tipo de programas Definir el tipo de programas que se sujetarán a este tipo de evaluacion Objetivo Análisis sistemático de la operación del programa, mediante trabajo de campo y gabinete, para conocer las características de sus procesos, examinar ventajas y encontrar problemáticas. Temas de estudio Eficacia, suficiencia y pertinencia de los procesos operativos Problemas para la operación del programa Buenas prácticas en la operación Resultados Flujogramas generales y específicos de operación Descripción y ficha narrativa de los procesos del programa Insumos y productos de cada proceso Problemas y buenas prácticas en la operación del programa Recomendaciones Plazo aproximado de ejecución 9 meses

42 Plazo aproximado de ejecuciónEvaluación de Impacto Tipo de programas Definir los programas que se sujetarán a este tipo de evaluación Objetivo Identifica el cambio en los indicadores a nivel de resultados atribuibles a la ejecución del programa Temas de estudio Medición del impacto de los programas en la población beneficiaria con respecto a un grupo control Resultados Documento Metodológico de la Evaluación de Impacto Documento de Resultados de la Evaluación de Impacto Plazo aproximado de ejecución Anual Multianual

43 Evaluación de Consistencia y ResultadosEvaluación de Programas Púlicos

44 I. Objetivo General Evaluar Estratégicamente la Consistencia y los Resultados de los Programas Estatales, en cuanto a su diseño, planeación estratégica, cobertura y focalización, operación, percepción de la población objetivo, resultados y el ejercicio de los recursos. Lo anterior, con el fin de que las recomendaciones de este análisis retroalimenten el desempeño de los programas y el ejercicio de los recursos, con base en indicadores estratégicos y de gestión para el cumplimiento de los objetivos para los que están destinados

45 II.Temas de Evaluación Estratégica.La evaluación se divide en los siguientes siete temas: Diseño. Es un proceso analítico global que se enfoca en identificar los objetivos de los Programas para luego determinar la consistencia de su diseño y los resultados con tales objetivos. Planeación Estratégica. Implica analizar los instrumentos de planeación de los Programas, y corroborar si tal planeación tiene una orientación para resultados. Cobertura y Focalización. Corresponde cuantificar y determinar la población potencial y la población objetivo que está siendo atendida a través de los Programas. Operación. Analiza las principales actividades y procesos establecidos en la normatividad aplicable; la eficiencia, eficacia y economía operativa de los Programas; y el cumplimiento y avance en los indicadores estratégicos y de gestión.

46 II.Temas de Evaluación Estratégica.La evaluación se divide en los siguientes siete temas: 5. Percepción de la Población. Analiza el grado de satisfacción de los beneficiarios de los bienes y servicios que conforman cada Programa. 6. Resultados. Analiza los resultados intermedios y de impacto alcanzado por cada uno de los Programas, en términos de mejora o solución del problema por el cual fue creado cada uno de éstos. 7.Ejercicio de los recursos. Analiza el grado de cumplimiento en la aplicación de los recursos en tiempo y forma, de acuerdo a los objetivos para los cuales están destinados.

47 III.Metodología La evaluación de consistencia y resultados se realiza a través de un análisis de gabinetecon base en la información proporcionada por la dependencia ejecutora de los recursos que se evalúan. Dicha información se envía al ente evaluador a través de una bitácora digital que contiene las fuentes de información que conforman los documentos y archivos electrónicos que serán analizados Cada tema de revisión y análisis se presenta en forma de preguntas metodológicas específicas las cuales deberán responderse mediante un esquema binario (Sí o No). Para determinar esta respuesta, el evaluador deberá fundamentarla con la evidencia documental previamente remitida y el análisis de la misma, de tal forma que sustente y justifique los principales argumentos de cada una de las preguntas y temas por analizar. Por tanto, en cada respuesta se deberá justificar por qué se respondió de una u otra manera

48 Preguntas Metodológicas y Fuentes de InforamaciónImportancia de la fuentes de información para la Evaluación: No contar con la información necesaria complica y dificulta y alarga el proceso de evaluación. La base de la evaluación es la información Es fundamental mejorar la calidad de la información sobre el desempeño: Registros Administrativos Estadísticas sobre entrega de bienes y servicios Estadísticas sobre beneficiarios

49 EJERCICIO: Conformar equipos por cada uno de los temas que abarca la evaluación de consistencia y resultados Revisar preguntas metodológicas de evaluación de consistencia y resultados por tema Identificar qué fuentes de información (datos, estadísticas, normatividad, registros administrativos, planes, programas, etc) serían necesarias para responder las preguntas del tema Identificar probables retos o dificultades para obtener la información

50 El Proceso de Evaluación

51 PROCESO DE EVALUACIÓN 1.Recopilar los datos 2.Validar los datos. 3.Calcular los indicadores. 4.Interpretar la información.

52 RECOPILACIÓN DE DATOS Fuentes de información:ej. Test de 10 preguntas sobre las materias tratadas en la capacitación. Método de recopilación ej. Selección de muestra aleatoria de 45 personas capacitadas, encuesta en persona. Responsable de la recopilación ej. Altagracia Pérez Frecuencia de recopilación ej. Por una vez, a los tres meses de concluido el último evento de capacitación. Método de análisis ej. Cada respuesta correcta da un punto, aprobación con siete puntos. Se calculará porcentaje de aprobación, media y desviación estándar. Modo de distribución ej. Correo electrónico Usuarios ej. Unidad de planificación y evaluación, gerente del proyecto, entidades cooperantes, junta de vecinos.

53 •Identificar “outliers” –Comparar con datos históricos VALIDAR DATOS •Identificar “outliers” –Comparar con datos históricos –Comparar con otros datos del período •Verificar validez de datos “disparados” •Corregir errores •Eliminar aquellos datos en que no existe justificación para la desviación.

54 CÁLCULO DE INDICADORES. •Utilizar base actualizada para el cálculo de indicadores de eficacia (aumento de la población objetivo). •Considerar el costo total, no sólo el directo. •Comparar con situación inicial (resultado) o sin programa (impacto).

55 INTERPRETACIÓN DE LA INFORMACIÓN•Comparar valor del indicador con la meta. •Benchmarking •Analizar evolución histórica del indicador. •Identificar causas de la desviación •Considerar las explicaciones de los agentes claves. •Concluir / recomendar

56 QUÉ ES EL MONITOREO “Es una función continua que utiliza la recopilación sistemática de datos sobre indicadores predefinidos para proporcionar a los administradores y a las principales partes interesadas de una intervención para el desarrollo, indicaciones sobre el avance y el logro de los objetivos así como de la utilización de los fondos asignados” (OCDE). Es un instrumento para gestionar el sector público mediante un conjunto de indicadores que permiten verificar el cumplimiento de los objetivos y de sus expresiones cuantitativas: las metas.

57 DIFERENCIA ENTRE MONITOREO Y EVALUACIÓNEl monitoreo ofrece información sobre la situación relativa al cumplimiento de los objetivos y los efectos de una política, programa o proyecto. La evaluación explica por qué los objetivos o efectos se están logrando (o se han logrado) o no, y expone los cambios que se han producido en los beneficiarios y en la sociedad.

58 Desafíos de la Evaluación

59 Desafíos para la evaluación de programas y su utilización en la Planificación y el proceso presupuestario Involucramiento político con la evaluación (Gobierno, partidos políticos, legislativo, ciudadanía) Retroalimentación para la toma de decisiones de política pública (arreglos institucionales y técnicos) Fortalecimiento de las capacidades técnicas de los mandantes Desarrollo de metodologías adecuadas (que permitan el uso de la información en el ciclo presupuestario y de rendición de cuentas) Resolver tema costo, tiempo v/s utilización de la información y sentido de la evaluación

60 Principales debilidades de la Evaluación de Programas como instrumento de apoyo a la Planificación y Presupuesto Las evaluaciones realizadas tienen dificultades de ser parte de los insumos de procesos regulares de planificación y presupuesto Escasa institucionalización de las evaluaciones de impacto Se aplican evaluaciones de impacto en la mayoría de los programas sociales con financiamiento externo Con excepciones hay escasa evidencia de que los informes de evaluación de programas (sus resultados) sean utilizados en la toma de decisiones de políticas o programas públicos Las evaluaciones de programas operan principalmente como insumo a nivel micro, no contribuyen a la evaluación de políticas

61 Los indicadores de los Programas son poco confiables:Principales debilidades de la Evaluación de Programas como instrumento de apoyo a la Planificación y Presupuesto Escasos mecanismos de validación y /o certificación de las metodologías utilizadas en las evaluaciones Los indicadores de los Programas son poco confiables: Escasamente focalizados y estratégicos Varían intertemporalmente y se dificulta su seguimiento e insumo para la evaluación No auditables

62 CONCLUSIONES •Precisas y fundamentarse en las revisiones y análisis evaluativos. •Presentar resultados negativos de acuerdo a los objetivos del programa. •Indicar resultados positivos de acuerdo a los productos y objetivos del programa. •Señalar los antecedentes que las respaldan (indicadores, mediciones, etc.).

63 RECOMENDACIONES •Deben apuntar a mejorar el diseño, gestión, eficacia/calidad y/o eficiencia/economía del programa. •Deben indicarse solo las relevantes. •Deben indicar los aspectos que requieren cambios; el sentido de estos cambios, identificando los elementos técnicos centrales; y las condiciones que hacen posible su implementación. •Deben elaborarse considerando las conclusiones de la evaluación.

64 RECOMENDACIONES •Deben estar fundamentadas en el análisis. •Proponer acciones para materializar las recomendaciones. •Analizar beneficios y costos de implementar las recomendaciones. •Proponer una estrategia de implantación y seguimiento. •Ser claro, preciso y conciso en la redacción.

65 Evaluación en el ámbito EstatalSistema de Evaluación del Desempeño SED

66 ¿Por qué evaluar? Determinar la eficiencia y efectividad de los Programas de desarrollo social. Contar con evidencia sobre lo que si funciona y cómo mejorarlo. Mejorar el diseño, la implementación y operación del programa o política de desarrollo social. Entregar información (indicadores y evaluaciones) a diferentes niveles de tomadores de decisiones, para mejorar la calidad del gasto público. Mejorar la Rendición de Cuentas y la Transparencia.

67 ¿Por qué hay diferentes tipos de evaluación?Los programas sociales son evaluados desde varias aristas y en diferentes etapas. Hay un menú de instrumentos de evaluación -sustentado en conocimiento científico- que identifican: En: Diseño Implementación Operación y desempeño Resultados Seguimiento a recomendaciones Impacto Es necesario analizar el conjunto de evaluaciones, puesto que cada evaluación tiene objetivos específicos. Se alcanza un diagnóstico adecuado gracias a la complementariedad de todos los tipos de evaluación. Avances Debilidades Logros Áreas de Mejora

68 Ruta Reto de gobierno para adoptar la Gestión para ResultadosPlaneación del Desarrollo Programas Públicos Presupuesto con base en Resultados Sistema de Evaluación del Desempeño Programas de Mejora gasto y gestión Se definen objetivos de gobierno, políticas, ejes de desarrollo y líneas de acción. Se diseñan y estructuran para atender con pertinencia los asuntos públicos. Elementos. * Objetivos. * Beneficiarios * Indicadores. * B´s y S´s * Actividades. Vinculación de la planeación / programas públicos / presupuesto, y por ende las metas y objetivos que se quieren lograr y los indicadores con lo que se habrá de evaluar. Seguimiento y evaluación a los indicadores de los programas públicos, establece los criterios de evaluación y genera información para la toma de decisiones y la asignación de los recursos. Permite, con base en la información de evaluación, establecer mejoras a la gestión de programas y al gasto público. Administrar, Evaluar y Asignar el PRESUPUESTO con criterios de eficiencia, eficacia, economía, transparencia y honradez, para satisfacer los objetivos a los que este destinado.

69 Vinculación del ciclo con la fase de EvaluaciónCiclo Presupuestal Planeación Programación Presupuestación Ejecución Control Evaluación Transparencia Sistema Estatal de Evaluación del Desempeño Normas técnico Jurídicas Órgano técnico de evaluación

70 Información de las EvaluacionesGESTORES PÚBLICOS RESPONSABLES DE GOBIERNOS RESPONSABLES DE LA FISCALIZACION CIUDADANOS ¿QUIÉN DEMANDA LA INFORMACIÓN DE LAS EVALUACIONES? El sistema de evaluación estatal del desempeño debe producir información de evaluaciones relevantes para los diferentes usuarios de acuerdo a la naturaleza y sus facultades de los mismos

71 Sistemas de Seguimiento y EvaluaciónDiseño de un Sistema de Evaluación del Desempeño Sistemas de Seguimiento y Evaluación Se entiende estos últimos como procesos de reflexión y comunicación que articulan acciones de recolección y gestión de la información, para lograr una adecuada y oportuna rendición de cuentas que propicieaprendizajes.

72 Deben ser herramientas flexibles e innovadorasSistemas de Seguimiento y Evaluación Deben ser herramientas flexibles e innovadoras Hechas a la medida de las necesidades de aprendizaje de múltiples usuarios, reconociendo sus características organizacionales específicas

73 Sistema de Evaluación del Desempeño (SED)Es importante atender a la demanda de los usuarios, beneficiarios e interesados con la finalidad de gestionar y administrar las evaluaciones de los programas públicos de manera integral y sistemática. Para lo anterior es indispensable conformar un Sistema de Evaluación del Desempeño a través de un órgano técnico responsable de consolidar e integrar las evaluaciones y con un sistema de monitoreo y control de la gestión pública. Por lo tanto un Sistema de Evaluación del Desempeño se puede concebir en dos grandes pilares: Sistema Integral de Evaluación Estratégica (SIEE) Mide el impacto y evalúa los objetivos del Plan Estatal de Desarrollo. Sistema de Monitoreo y Control de la Gestión (SM&CG) Mide el cumplimiento de la gestión pública de los programas públicos.

74 Sistema de Evaluación del Desempeño (SED)Responsable de ejecutar Evaluadores de impacto estratégico SM&CG SIEE ¿Cuánto estamos gastando? ¿Se esta ejerciendo el gasto en tiempo y forma? ¿En qué se esta gastando? Debe conocerse Impacto a los beneficiarios ¿A que población beneficia el programa? ¿Cuáles son los logros y resultados del programa? Debe conocerse

75 Identificación de Responsabilidades

76 ¿Quién Evalúa Qué? Información del DesempeñoEntidad de Evaluadora Resultados De políticas y Programas Dependencias Ejecutoras Secretaría De Finanzas Órgano de Control Interno del Gobierno

77 Control Interno vs. EvaluaciónEl control interno es un proceso que lleva a cabo la administración de una organización y que debe estar diseñado para dar una seguridad razonable, en relación con el logro de los objetivos previamente establecidos en los siguientes aspectos básicos: Efectividad y eficiencia de las operaciones; confiabilidad de los reportes financieros Cumplimiento de leyes, normas y regulaciones, que enmarcan la actuación administrativa. El campo de acción para la contraloría es el control de gestión

78 1. Diseño del Órgano Técnico

79 Soporte legal del Órgano Técnico de EvaluaciónArtículo 134 constitucional Los recursos económicos de que dispongan la Federación, los estados, los municipios, el Distrito Federal y los órganos político-administrativos de sus demarcaciones territoriales… …se administrarán con eficiencia, eficacia, economía, transparencia y honradez para satisfacer los objetivos a los que estén destinados. 1 ) Preparar y administrar recursos para resultados Los resultados del ejercicio de dichos recursos… …serán evaluados por las instancias técnicas que establezcan… 2 ) Evaluar programas para resultados …respectivamente, la Federación, los estados y el Distrito Federal, con el objeto de propiciar que los recursos económicos… …se asignen en los respectivos presupuestos en los términos del párrafo anterior… 3 ) Asignar recursos (PRESUPUESTO) El manejo de recursos económicos federales por parte de los estados, los municipios,…, se sujetará a las bases de este artículo y a las leyes reglamentarias. La evaluación sobre el ejercicio de dichos recursos se realizará por las instancias técnicas de las entidades federativas…

80 Diseño del Órgano TécnicoPara la creación de la Instancia Técnica de Evaluación y atendiendo la soberanía que estable en el artículo 40 Constitucional, las legislaturas locales podrán establecer las modalidades convenientes para aplicar los preceptos que establece el artículo 134 y evaluar los recursos propios y federales transferidos, generando el sustento jurídico aplicable a la legislación de la entidad. La constitución de la Instancia Técnica de Evaluación requerirá: reformas legales recursos para su financiamiento capacitar y certificar evaluadores

81 Instancia Técnica Autónoma Instancia Técnica AutónomaDerivado de la controversia que ha generado la creación de la Instancia Técnica de Evaluación debido a que teóricamente esta instancia pudiera constituirse tanto en el Poder Ejecutivo, Legislativo o Judicial, como en un organismo autónomo e independiente de los ejecutores de gasto, se presentan dos opciones para su aplicación en las entidades, así como sus ventajas y desventajas Instancia Técnica Autónoma Podría Constituirse como un órgano autónomo cuyas funciones de evaluación abarcarían a los 3 poderes del Estado, Organismos autónomos, OPD´s, así como gobiernos municipales. Implicaría: La adecuación al marco jurídico constitucional del Estado, además de las adecuaciones a las leyes locales correspondientes.

82 Instancia Técnica AutónomaVentajas: Independencia en la evaluación de todos los Poderes y Entes Autónomos, así como de los Gobiernos Municipales. Garantiza la imparcialidad en la evaluación del desempeño. Mayor profesionalización del personal evaluador. Desventajas: Dado que los resultados de la evaluación del desempeño inciden en la programación y presupuestación de proyectos del Ejecutivo, pudiera verse disminuida la flexibilidad en otras etapas en el ciclo Planeación-Programación-Presupuestación. Requiere reforma constitucional y el proceso de negociación política es significativamente mayor al de reforma legal. Finalmente la creación de un nuevo órgano autónomo representa indudablemente un impacto presupuestal para su financiamiento.

83 Instancia Técnica de Evaluación dependiente del Poder Ejecutivo o LegislativoImplicaría: Dentro del Poder Ejecutivo se pudiera crear ente descentralizado o desconcentrado o bien un Comité. Para el ámbito municipal correspondería a los Ayuntamientos la creación de la instancia técnica que los evalúe. En caso de radicar en el Poder Legislativo del Estado, la función de evaluar pudiera realizarse por el Órgano Superior de Fiscalización o su equivalente o un órgano creado para estos efectos, como pudiera ser la creación de un instituto de evaluación. Estas opciones requerirían afectar, dependiendo el Poder donde quedara radicada la instancia, tanto la Ley Orgánica, así como la Ley de Presupuesto, Contabilidad y Gasto Público, y las demás leyes y reglamentos que tengan vinculación y para dar solidez jurídica al SED incorporarlo a la Constitución Estatal

84 Instancia Técnica de Evaluación dependiente del Poder Ejecutivo o LegislativoVentajas: Perfecciona el ciclo planeación-programación-presupuestación, dado que la información que se genera derivada de la evaluación servirá de base para la conformación de los presupuestos posteriores. El proceso legislativo es más sencillo dado que no requiere necesariamente una modificación constitucional. Evita el riesgo de aumento de recursos humanos y materiales que realicen las funciones de evaluación del desempeño. Desventaja: Requiere un esfuerzo mayor en la profesionalización del personal evaluador dentro de la unidad administrativa que se determine. El radicar la instancia evaluadora en un solo Poder, pudiera despertar una sensación de intromisión de los demás entes evaluados.

85 Diseño del Órgano Técnico Evaluación de los recursos públicosLas evaluaciones, corresponden a estudios, exámenes o revisiones técnicas, que haciendo uso de un conjunto de información ordenada según un marco metodológico, tienen por finalidad construir valoraciones y encontrar factores explicativos a estas valoraciones o juicios evaluativos respecto de: Programa (actividades, componentes – productos, propósito) Conjunto de programas o Estrategias de Políticas (distintos propósitos y un mismo fin) Organización o institución (programas-productos, objetivos, misión)

86 2. Aspectos tecnológicos de la Evaluación del Desempeño

87 Tipos de Indicadores de DesempeñoESTRATÉGICOS (forman parte del SED) Miden el grado de cumplimiento de los objetivos de las políticas públicas y de los programas presupuestarios; y contribuyen a corregir o fortalecer las estrategias y la orientación de los recursos DE GESTIÓN (forman parte del SCG) Miden el avance y logro en procesos y actividades, es decir, sobre la forma en que los bienes y servicios públicos son generados y entregados

88 INDICADORES DE DESEMPEÑO Implicados en el SM&C Implicados en el SIEEPresupuesto ($) Producción (Q) Resultados (desde punto de vista de los beneficiarios) Insumos / Procesos PROPOSITO FIN ACTIVIDADES COMPONENTES Indicadores -Cronograma Programa de trabajo -Funciones -Ejecución de recursos Indicadores -Cobertura y focalización -Oportunidad -Características de Bs. y Ss. Indicadores -Intermedio -Final

89 DIMENSIONES DEL DESEMPEÑO Y CADENA DE RESULTADOSEficacia Grado de logro del objetivo Eficiencia Relación insumos/productos RESULTADOS FINALES (IMPACTOS) (LARGO PLAZO) PRODUCTOS (BIENES Y SERVICOS) RESULTADOS INTERMEDIOS (MEDIANO PLAZO) ACTIVIDADES (PROCESO) INSUMOS Calidad de los bienes y servicios Economía Uso de los recursos

90 Ámbitos de competencia y desempeñoRESULTADOS Eficacia PRODUCTOS Costo-Efectividad Calidad PROCESOS Eficiencia INSUMOS IMPLICADOS EN EL SIEE del Estado Economía Implicados en un SM&CG por dependencia COSTOS

91 ¿Qué evaluar por ámbito de desempeño?¿Cómo están cambiando las condiciones que estamos interviniendo? IMPACTO - OUTCOME Eficacia ¿Cuántas unidades de productos y servicios estamos generando? ¿Con qué calidad? PRODUCTO - OUTPUT ¿Con qué rapidez lo estamos haciendo? ¿Cuánto nos cuesta? PROCESO Eficiencia Calidad Economía ¿Cuántos recursos invertimos, cuánto personal trabajó en el proceso? INPUTS

92 Programación que realizan las dependenciasÁmbitos de Desempeño en la Matriz del marco Lógico: Resumen Narrativo Indicadores de Evaluación del Desempeño Medios de Verificación Supuestos FIN (Objetivo Estratégico Institucional) Indicadores Estratégicos SED Propósito (Objetivo del programa) Componentes (Bienes y Servicios) Indicadores Estratégicos e Indicadores de Gestión Actividades (Tareas y acciones) Indicadores de Gestión Clasificación de los Ámbitos de Desempeño: IMPACTO O OUTCOME RESULTADOS INTERMEDIOS PRODUCTO O OUTPUT SM&CG PROCESO Recursos financieros, humanos y tecnológicos invertidos para operar las actividades del proceso. ESFUERZO. Presupuesto por Programas con base en Resultados INSUMOS O INPUTS

93 Sistemas Informáticos de Evaluación del DesempeñoLOS SISTEMAS INFORMÁTICOS DE EVALUACIÓN DEL DESEMPEÑO TIENE COMO PRINCIPAL FINALIDAD DAR SEGUIMIENTO Y MONITOREO AL DESEMPEÑO DE LOS PROGRAMAS PÚBLICOS DE GOBIERNO ESTE SEGUIMIENTO SE REALIZA FUNDAMENTALMENTE A PARTIR DE LOS INDICADORES PROPUESTOS EN CADA UNO DE LOS PROGRAMAS A NIVEL ESTRATEGICO SE MONITOREA ESPECIALMENTE LOS INDICADORES QUE MIDEN AMBITOS DE LOS OBJETIVOS DE FIN Y PROPÓSITO Y AGUNOS COMPONENTES MUY RELEVANTES EN LA AGENDA DE GOBIERNO A NIVEL DE GESTIÓN SE MONITOREA INDICADORES QUE MIDEN LOS AMBITOS DE LOS OBJETIVOS DE COMPONENTES Y ACTIVIDADES POR TANTO LA FUENTE DE INFORMACIÓN SOBRE LA QUE SE REALIZAN TODOS LOS PROCESOS SON LOS DATOS DE IDENTIFICACION DE ESTOS DE INDICADORES

94 Ficha Técnica del PP y su vinculo con la EvaluaciónInteracción de información de la ficha técnica del PP con los instrumentos de evaluación, control financiero y de la gestión pública. SIEE Indicadores Estratégicos SIEE Indicadores financieros y clasificadores de gasto SM&CG Indicadores de gestión

95 Procesos implicados en el SIEE y SM&CG2 Proceso para indicadores de eficacia 1 Diferenciación por dimensiones de evaluación Diferenciación por tipo de indicador Evento de entrada Proceso para indicadores de eficacia Datos del indicador Procesos para indicadores estratégicos Indicadores de Fin o propósito Proceso para indicadores de calidad Proceso para indicadores de eficacia producto Proceso para indicadores de eficiencia Proceso para indicadores de componentes Proceso para indicadores de gestión Proceso para indicadores de Calidad Actividades

96 Ejemplo de Ruta que sigue un indicador en el SIEE- Indicadores Estadística información de parámetro Avance etc. Dependencia Programa Tipo de Indicador Dimensión de evaluación Salidas output´s Entradas Elaboración de rutinas para el indicador de acuerdo a los datos Comparación contra metas o Contra parámetros de referencia Clasificación de tipo de proceso Datos de las variables del indicador Aplicación de formulas del indicador Datos de indicador Entradas al inicio del ciclo Pp Input´s de las dependencias de gobierno Durante el ciclo

97 Datos a procesar en el SEDDimensión del Indicador: Eficacia, eficiencia o calidad Ámbito del Indicador: Resultados, finales o intermedios, Productos o servicios (componentes) Descripción: Que mide el indicador. Característica del indicador Unidad de medida: Tasa, porcentaje, Razón, Índice etc. Variables que intervienen: Fórmula del indicador: Base de Comparación o parámetro (meta): contra que se compara Línea Base: Datos de inicio del indicador Fuente: información que alimentaran a las vairables ejm: Encuesta nacional del empleo INEGI. Por Dependencia Por programa público Por tipo de indicador (estratégico o de gestión) Por dimensión a evaluar y por unidad de medición

98 3. Gestión de la Evaluación del Desempeño

99 LA GESTIÓN DE LA EVALUACIÓNGestionar la evaluación implica reforzar los mecanismos para la realización de evaluaciones de calidad, sistemáticas, participativas y orientadas a la incorporación de sus resultados en el ciclo de la planeación y programación de estrategias de solución. La gestión de la Evaluación implica: El Plan Anual de Evaluación Términos de Referencia Informe de la Evaluación Informe Anual de Evaluación Plan de mejora de la gestión

100 Lineamientos Generales para la Evaluación de ProgramasRegulan la evaluación de los programas y la elaboración de las matrices de indicadores, sistemas de monitoreo y objetivos estratégicos. Evaluación: Tipos de evaluacione Elaboración d Programa Anual de Evaluación Elaboración de términos de referencia Seguimiento del resultado de las evaluaciones Organización y contratación de las evaluaciones y Difusión de las evaluaciones

101

102 I. EL PLAN ANUAL DE EVALUACIÓNEstablecer el calendario de ejecución de las evaluaciones de los programas públicos Vincular el calendario de ejecución de las evaluaciones con el calendario de actividades de la programación y presupuesto del ejercicio fiscal correspondiente para el siguiente año Determinar los tipos de evaluación que se aplicarán a los programas mediante un programa integral, gradual y útil para las decisiones de asignación de recursos, en el marco del proceso presupuestario para los ejercicios fiscales correspondientes Articular las evaluaciones de los programas público presupuestarios en el marco del Presupuesto con base en Resultados y del Sistema de Evaluación del Desempeño

103 Para analizar distintos aspectos de los programas y efectos del Gasto en la población, el Plan Anual de Evaluación prevé lo siguiente: Revisión y mejora de las matrices de indicadores de los programas presupuestarios estatales Evaluación del Impacto social y económico de los principales programas públicos Evaluación del diseño y desempeño global de los programas Evaluación de la eficiencia de la gestión de los sectores públicos Evaluación de los procesos que se siguen en la generación de los bienes y servicios públicos que se entregan a los beneficiarios a través de los programas presupuestarios

104 I. EL PLAN ANUAL DE EVALUACIÓNEstas evaluaciones se convenian o contratan con instituciones públicas o privadas ajenas a la administración y operación de los programas. De ese modo se cumple con la premisa de “no ser juez y parte” Para el efecto: Se entrega a los evaluadores la información pertinente así como los términos de referencia bajo los cuales se establece la evaluación; El formato a través del cual se integra el reporte de resultados; Los tiempos de entrega; y Se firman los convenios o contratos específicos y legalmente revisados.

105 OBSERVACIONES IMPORTANTES A CONTEMPLAR EN EL PLAN ANUAL DE EVALUACIÓNPublicar convocatorias en la página Web del Gobierno del Estado, así como en la de la Secretaría de Finanzas Las entidades e instituciones interesadas en realizar la tarea de evaluación, deberán entregar la siguiente información: - Datos de identificación de la institución evaluadora postulante; - Nombre del programa o de la dependencia pública (evaluación sectorial) con interés de evaluar; - Currículum institucional; - Resumen curricular de los evaluadores participantes; - Protocolo del proyecto de evaluación. Una vez concluido este proceso, se publicará en las páginas Web del Gobierno del Estado y de la Secretarías de Finanzas y de la Contraloría, tanto los programas a evaluar como la correspondiente instancia evaluadora seleccionada, las fechas de realización, y las fechas de publicación de resultados.

106 Términos de ReferenciaLos TDR constituyen el llamado público para recibir propuestas de instituciones académicas o de empresas consultoras especializadas en evaluación del diseño, impacto, procesos, desempeño global y eficiencia de la gestión de programas públicos, cuyas principales características son: Ofrecen una estructura básica que facilita la contratación de evaluaciones Destacan los principales aspectos gerenciales detrás del uso de la contratación al exterior como un mecanismo de mercado aplicado a la gestión pública

107 Estructura básica de los TDRAntecedentes Objetivo General y objetivos específicos de la evaluación Alcance, enfoque de la evaluación, actores implicados y sus responsabilidades Metodología Actividades a Realizar Productos e Informes a entregar Duración del servicio Recursos y facilidades a ser provistas por la entidad contratante Costos y remuneración Perfil del evaluador Criterio de selección/evaluación Confidencialidad de la información y ANEXOS

108 TDR: Antecedentes del programaBreve descripción del programa o proyecto gubernamental que se pretende evaluar, y de la o las necesidades que se pretenden satisfacer con los entregables de la consultoría, incluyendo una síntesis de la problemática que el programa aborda y los supuestos de su intervención La descripción debe incluir aspectos generales del programa, tales como: objetivo principal, tiempo que lleva implementándose, población objetivo, cobertura geográfica, metas y logros de la intervención, principales hallazgos de evaluaciones previas, contexto institucional en el que se ubica el programa, aspectos organizativos y de gestión del programa y asignación presupuestal, entre otros

109 TDR: Objetivos de la EvaluaciónEs necesario describir el propósito esencial que persigue la ejecución de los servicios de consultoría a contratar. Debe existir un solo objetivo general. Los objetivos específicos deben señalar con mayor precisión y detalle los propósitos concretos que se deben alcanzar. Estos objetivos constituirán una guía para el consultor en la ejecución de los trabajos designados, y una pauta de supervisión para la entidad contratante. Usualmente, los objetivos específicos referidos a evaluaciones de programas en operación se relacionan con ajustes en la validación de la pertinencia de objetivos, redefinición de metas, definición y ajuste de mecanismos de focalización, elaboración de indicadores, integración de fuentes de información, diseño de sistemas automatizados de indicadores, entre otros

110 TDR: Alcance y enfoque de la evaluaciónDebe definirse con detalle y claridad la lista de las preguntas clave que deberán ser resueltas con la evaluación, lo que permitirá identificar los atributos más relevantes que faciliten la identificación de la modalidad de evaluación requerida Los aspectos a definir son: - El agente que la realizará (interno, externo o combinación de estos) - Aspecto o aspectos gerenciales a evaluar (diseño, procesos, satisfacción de beneficiarios, información y/o impacto) - El ciclo de vida en que se ubica la evaluación (ex ante, concurrente y de medio término, ex post), y otras dimensiones o atributos de la evaluación antes descritos - El período temporal que comprende la evaluación

111 TDR: Metodología Los elementos conceptuales básicos a incluir en la descripción metodológica de una evaluación de programa público son: Técnicas a aplicar, cuyo empleo hará más probables los resultados esperados Métodos y técnicas sistematizadas que deberán ser empleadas por el consultor Estrategias de desarrollo de la consultoría

112 TDR: Actividades a realizarIndicar las actividades de campo y las que comprenden el denominado trabajo de gabinete, así como los soportes con los que se respalda la información recolectada, entre otros aspectos Las actividades deberán estar contenidas en un cronograma de trabajo tipo Gantt en el que se indiquen las fechas en las que se deberán presentar los entregables (escritos y electrónicos) a la entidad contratante En ocasiones, los TDR de estudios de evaluación describen un listado secuencial de tareas en las que cada una de ellas refiere a un punto geográfico distinto; el cronograma debe incluir la dimensión espacial en estos casos En resumen, este apartado de actividades es de naturaleza netamente programática; presupone objetivos específicos definidos sobre los que la asignación de responsables, tiempos, procesos y productos también es definida

113 TDR: Productos e Informes a entregarLos productos deben ser definidos de manera específica y clara, así como la secuencia y los tiempos de entrega con fechas de seguimiento a través de tres tipos de informes, uno inicial, informes periódicos o de avance y el final Determinar la frecuencia de los informes periódicos de avance y las características en cuanto a contenido, así como de edición y formato del mismo Determinar la extensión, número de ejemplares a entregar, tipo y tamaño de letra, márgenes, tablas que deberán incluirse, anexos, tipo de soporte en el que se entregarán -impreso y/o digital-, exigencia de un resumen ejecutivo, nombre y cargo de las personas que recibirán los informes, etc. Para evaluaciones que involucren la realización de análisis estadísticos, los requerimientos deben ser muy precisos e incluir la documentación (metadatos) requerida como respaldo, objetivos de la operación estadística, instrumento de recolección de información, diseño y tamaño de la muestra, trabajo de campo, etc. En ocasiones, los productos involucran el desarrollo de modelos geográficos que permitan referenciar las bases de datos.

114 TDR: Productos e Informes a entregarLa evaluación de programas públicos exige contar con resúmenes ejecutivos que presenten una síntesis de los hallazgos y las recomendaciones, así como la ubicación de los temas indicados en las síntesis Un problema muy frecuente es querer utilizar los estudios derivados de las evaluaciones ante audiencias diversas, sin considerar que un documento enorme y con cierta complejidad técnica puede desalentar y desmotivar fácilmente a cualquier lector

115 TDR: Duración del ServicioEs necesario estimar el tiempo para cada una de los entregables. Para el caso, el cronograma de actividades deberá contener el producto o entregable correspondiente. Los tiempos de consultoría deben ser congruentes con los tiempos legales en términos del ciclo presupuestal con el fin de que éstos sean oportunos

116 TDR: Recursos y facilidades por parte de la entidad contratanteImplica un listado de la información, bienes y servicios que el área técnica considere necesario para llevar a cabo la consultoría, por ejemplo: espacio de oficinas, vehículo (de ser necesario) equipo de computación, equipo de impresión, etc. En el caso de evaluaciones que involucran trabajo de campo, estos recursos y facilidades constituyen una parte fundamental del trabajo de la evaluación Documentos a ser entregados al consultor evaluador y aquellos a los que puede recurrir, dónde los puede encontrar y la persona que se los habrá de suministrar Se recomienda designar a un responsable de la entidad contratante que pueda suministrar la información, ya sea por una o varias áreas En ciertos estudios, la información que provea la entidad contratante y que se establezca en los TDR resulta fundamental para llevar adelante tales estudios

117 TDR: Costos y remuneraciónLos costos de una consultoría normalmente tienen dos componentes: los referidos a honorarios o remuneración de los consultores y los denominados gastos reembolsables (directos y necesarios) Debe establecerse qué elementos constituyen la remuneración, ya que estos pueden variar en función de la legislación La remuneración de consultores puede distinguir entre consultores locales y extranjeros, personal profesional y personal de apoyo o administrativo, personal de campo o de oficina Las tarifas deben establecerse sobre la base de la complejidad del servicio y localización

118 TDR: El Perfil del EvaluadorLa entidad contratante debe indicar los requerimientos mínimos profesionales, generalmente divididos en dos partes: formación y experiencia En los requerimientos académicos se define el nivel máximo (licenciatura, posgrado, doctorado) y si se requiere alguna formación especializada (cursos de capacitación, diplomados, etc.) La experiencia profesional se refiere a la experiencia previa en la realización de estudios similares; en ocasiones suele distinguirse la experiencia general en el campo y la específica en el tipo de evaluación concreta a la que se refieren los TDR; ésta, sin duda, es la más relevante Debe precisarse la especialidad que deberá tener el consultor (en el caso de consultores individuales) o la de éste y de los miembros clave del equipo del consultor (en el caso de firmas de consultoría). Como regla práctica se recomienda que si se requieren tres o más consultores individuales, es mejor optar por una firma y designar en uno el rol de liderazgo

119 TDR: Criterio de selección / evaluaciónLa siguiente lista da una idea de la ponderación usualmente utilizada, así como la correspondiente tabla o esquema de evaluación (Medina Giopp y cols., 2004): Experiencia específica en relación con la metodología de evaluación solicitada y el campo. Puntaje 0-10. Calidad de la metodología - plan de trabajo. Puntaje Calificaciones personal clave. Puntaje 30 a 60. Transferencia de conocimientos (de ser necesario). Puntaje Otros (participación de personal nacional). Puntaje 0-10.

120 TDR: Confidencialidad de la información y ANEXOSEs importante que la entidad contratante entregue al consultor información relativa a la normativa vigente en relación con la diseminación estadística En todas las leyes estadísticas existen secciones específicas vinculadas al denominado “secreto estadístico” y “secreto tributario”, que regulan los temas de confidencialidad tanto de personas como de establecimientos comerciales; es decir, si el consultor lidera la realización de una operación estadística, debe observar las disposiciones vigentes El monto que la entidad contratante pague al consultor en los términos del contrato de prestación de servicios que suscriban, incluye la titularidad de los derechos patrimoniales a favor de la entidad contratante, sobre los entregables y demás que resulten derivados de los servicios materia de contratación, por lo que el consultor no tendrá derecho a cobrar cantidad adicional por este concepto; en el entendido de que la metodología, herramientas y demás conocimientos que el propio consultor utilice para la prestación de los servicios, seguirán siendo propiedad de este último Si existen documentos o información adicional que por su volumen no convenga incluir en el documento principal de los Términos de Referencia, se presentarán como anexos.

121 Ejemplo de TDR Una buena guía de “Términos de Referencia” es la desarrollada por la Secretaría de Hacienda y Crédito Público, en colaboración con la Secretaría de la Función Pública y el CONEVAL El modelo utilizado incluye seis temas de evaluación: Características del programa Contribución a los objetivos estratégicos Matriz de indicadores Población potencial y objetivo Vinculación con las Reglas de Operación Coincidencias, complementariedades y duplicidades.

122 II. Reporte de EvaluaciónEl documento informativo de la evaluación deberá contener lo siguiente: Resumen Ejecutivo (Máximo 2 cuartillas). Informe Final (bajo el siguiente índice): Introducción (1 cuartilla). Evaluación de Diseño (36 cuartillas). Principales Fortalezas, Retos y Recomendaciones (Máximo 5 fortalezas y/o oportunidades, 5 debilidades y/o amenazas, y 5 recomendaciones). Conclusiones (2 cuartillas). Bibliografía Anexos - Características generales de programa. - Objetivos estratégicos de la dependencia y/o entidad. - Instrumentos de recolección de información. - Bases de datos de gabinete utilizadas para el análisis en formato electrónico.

123 III. Informe Anual de Evaluación: El Plan de ComunicaciónEl plan de comunicación es una importante herramienta que permite apreciar de una mejor manera el alcance de resultados, con el fin de mejorar las políticas públicas y los programas de intervención, que para el caso, se identifican como Programas Presupuestarios La información a comunicar debe ser transmitida a los usuarios potenciales adecuados, es decir, a quienes toman las decisiones de mejora de programas y de políticas públicas, considerando los siguientes criterios: Los informes deben tratar temas que los usuarios perciban como importantes, y en ese sentido, los tomadores de decisión deberán considerar como base el documento informativo emitido por la instancia o institución que realizó la evaluación. Los informes deben oportunos en tiempo y forma, así como comprensibles para los usuarios a los que están dirigidos.

124 IV. PLAN DE MEJORA DE LA GESTIÓNEl propósito del Plan de Mejora de la Gestión es contribuir en toda la acción pública para lograr sus mayores y mejores efectos con eficiencia, eficacia, calidad, economía, transparencia y honradez De manera articulada con el Sistema de Evaluación del Desempeño, el Programa de Mejora de la Gestión PMGN, mide y evalúa los avances en el desarrollo interno de las instituciones de la Administración Pública Estatal del y la efectividad de sus programas y servicios, a fin de encontrar y promover las mejores formas y prácticas de ejecución orientadas al éxito de su Misión.

125 IV. PLAN DE MEJORA DE LA GESTIÓNEl Programa constituye la propuesta y estrategia del Gobierno Estatal, para transformarlo e impulsar la consecución de sus objetivos estratégicos En este enfoque la evaluación está orientada hacia la mejora, y sus resultados son el insumo para promover las transformaciones estructurales necesarias para el desarrollo social y económico de la entidad La mejora de la gestión es, por tanto, la estrategia enfocada a realizar avances que transformen la operación cotidiana de las instituciones públicas hacia el logro de resultados tangibles y verificables

126 IV. PLAN DE MEJORA DE LA GESTIÓNEl Programa de Mejora de la Gestión tiene como finalidad última contribuir con información sobre el desempeño y la gestión institucional, tanto para la toma de decisiones presupuestales como para la mejora de las políticas y programas y rendición de cuentas, con una ponderación objetiva de los resultados alcanzados y esperados de las actividades institucionales

127 IV. PLAN DE MEJORA DE LA GESTIÓNQUÉ IMPLICA Y PARA QUÉ…. Cumplir estos objetivos y metas de gobierno, asume: El reto de modernizar las estructuras de la administración pública Mejorar los sistemas y procedimientos a través de los cuales los recursos se transforman en bienes, trámites y servicios públicos Profesionalizar al nivel de experto la función pública Sustento en disposiciones de carácter institucional

128 Mecanismo para Segumiento de ASMObjetivos: Establecer el proceso que deberán seguir las dependencias para dar seguimiento a los aspectos susceptibles de mejora derivados de informes y evaluaciones, con el fin de contribuir a mejorar tanto el desempeño (resultados) como el proceso de programación y presupuestación Integrar los ASM en el diseño de los programas públicos para el siguiente ejercicio Articular los resultados de las evaluaciones en el marco del SED para mejorar el desempeño Establecer los responsables de definir los instrumentos de trabajo para el seguimiento de los ASM así como su formalización

129 Mecanismo para Seguimiento de ASMContenido: Definición del ámbito de aplicación Proceso de Para el seguimiento Identificación de fuentes de información Análisis y clasificación de los aspectos susceptibles de mejora Definición e los instrumentos de trabajo para el seguimiento de los ASM (planes de trabajo, documentos de trabajo, compromisos establecidos)

130 Mecanismo para el seguimiento de los Aspectos Susceptibles de MejoraSelección de los aspectos susceptibles de mejora Criterios de selección: Claridad Relevancia Justificación Factibilidad 2. Clasificación de los aspectos susceptibles de mejora 3. Formulación de instrumentos susceptibles de mejora Clasificación de Aspectos: Específicos Institucionales Interinstitucionales Intergubernamentales 4. Difusión de instrumentos Nivel de prioridad: Alta Media Baja Tipo de Aspecto: Específico Institucional Social

131 Alta Dirección Pública en la implementación del PBR-SEDLa Alta Dirección Pública es un factor esencial (Recursos Humanos calificados) para desarrollar e instrumentar procesos de reforma del Estado que se han llevado a cabo en los países de la OCDE en los últimos 20 años. Por ejemplo en el caso de Chile en América Latina se acompañó la instrumentación de la Gestión para Resultados con un Sistema de Alta Dirección Pública que permita conducir a niveles directivos y gerenciales la aplicación de políticas públicas hacia un mejor desempeño eficiente y eficaz del Estado Es por eso necesario vincular el proceso de la formación de recursos humanos calificados a la gestión para resultados

132 Sistemas de Función PúblicaEn la mayoría de los países de la OCDE existe una “Unidad Central” encargada de gestionar a la Alta Función Pública Rendición de cuenta: Ante el Congreso, Presidente o Ministros Grado de independencia del poder político Sistemas tipo Westminster altamente independientes del poder político Sistemas híbridos que contemplan concursos abiertos y equitativos con poder más o menos discrecional del poder ejecutivo para realizar los nombramientos Alta dependencia del poder ejecutivo.

133 Proceso de reclutamientoSistemas basados en el mérito entregan la selección a las “Unidades Centrales” Comisión independiente es encargada de filtrar candidatos y el nombramiento corresponde a la autoridad política Acceso a la categoría de Alta Función se realiza por mérito pero las promociones al interior de la categoría son menos transparentes En muchos países los cargos están abiertos a candidatos del sector privado Los mandatos en la mayoría de los países tienen duración limitada Muchos países aplican a los altos funcionarios remuneraciones ligadas al desempeño.

134 Sugerencias para la implementación de la EvaluaciónGenerar información de desempeño de los programas, proyecto u otras acciones de gobierno Asegurar la disponibilidad de información para su análisis en el proceso presupuestario Limitar el mal uso de recursos públicos e incentivar incrementos en el desempeño Utilizar evaluaciones de impacto en los programas públicos que genere evidencia de los resultados de la población beneficiaria del programa Informar a los actores de la sociedad respecto de cómo se están usando los recursos por parte de los políticos y burócratas

135 Gracias por su AtenciónInstituto para el Desarrollo Técnico de las Haciendas Públicas Lic. Rebeca Elizalde Hernández Técnico Investigador Lic. René Herrera Lerdo de Tejada 2469 , Col. Arcos Sur Guadalajara, Jalisco. C.P T. (33) al 59 Gracias por su Atención