1 Desarrollo y Gestión de un Sistema de Indicadores en el Sector PúblicoFélix Raúl Gutiérrez Ek & Vicente Suárez Zendejas Desarrollo y Gestión de un Sistema de Indicadores en el Sector Público

2 Objetivo Identificar y analizar los lineamientos técnicos y metodológicos para elaborar los indicadores de medición que permitan evaluar el cumplimiento de los objetivos asociados con las categorías programáticas.

3 Contenido Temático La estructura programática: fines y estructuraConsideraciones en la preparación de objetivos, metas e indicadores. La estructura programática como base de la presupuestación anual. Evaluación del desempeño usando indicadores. Tipos de indicadores Tipos de indicadores. Metodología y técnicas para el desarrollo de indicadores. Indicadores por nivel orgánico y proceso: Estratégicos, de Proyecto, de Gestión, Servicio, Resultados, Producto. Actualización y análisis de indicadores. Dimensiones de los indicadores Cobertura. Calidad. Eficiencia. Alineación de recursos. Impacto. Sistema de información de los indicadores Datos-Formatos. Matriz de interrelación de datos. Bases de datos.

4 Análisis de Expectativas¿Con qué función administrativa se relaciona principalmente mi trabajo? ¿Qué aspectos o temas del contenido ya conozco? ¿En qué aspectos o temas, principalmente, deberíamos centrar nuestra atención? ¿Qué es un paradigma? ¿Qué puedo aportar al curso? ¿Qué recomiendo para que este curso tenga éxito?

5 Plataforma de la Gestión por Resultados

6 Estructura ProgramáticaConjunto categorías/elementos ordenados coherentemente. … define acciones que efectúan las entidades de la APF, para alcanzar objetivos/metas de acuerdo con las políticas definidas en PPPs. Clasifica las acciones del sector público para delimitar la aplicación del gasto. Permite conocer el rendimiento esperado de la utilización del recurso público. (EAPp, SHCP, 2011).

7 Estructura ProgramáticaCategorías Programáticas. Grupo funcional. Función. Subfunción. Actividad. Elementos Programáticos. Programa presupuestario (Pp). Matriz de indicadores. Objetivo. Indicador. Meta.

8

9 Etapas del Proceso PresupuestarioPlaneación Alineación con las prioridades nacionales PND. Elaboración y autorización de la Estructura Programática. Definición de Programas presupuestarios (Pp) Elaboración de la Matriz de Indicadores para Resultados (MIR) Formulación de los Indicadores de Desempeño (Estratégicos y de Gestión) Programación Presupuesto Asignaciones presupuestarias que consideren los resultados. Mejora en la gestión y calidad del gasto público. Reglas de operación de los programas. Ejercicio y Control Seguimiento Monitoreo de indicadores. Informe de resultados. Evaluación Evaluación y compromisos de mejora de políticas, programas e instituciones. Rendición de Cuentas Cuentas públicas e informes.

10 Sistema de Evaluación del DesempeñoMejora de políticas y programas Planeación Objetivos Seguimiento Decisiones presupuestarias Programación Indicadores Información de Desempeño Rendición de cuentas Presupuestación Metas Transparencia Evaluación Ejecución Normas de Operación Elevar la calidad del gasto

11 ¿Qué es la planeación? Es la determinación racional del sitio donde queremos estar en el futuro, partiendo del lugar en que nos encontramos actualmente y la forma en que nos vamos a dirigir a él. Planeación – Ejecución – Evaluación. South Bend Memorial Hospital.

12 Actividades de PlaneaciónDiagnosticar o Pronosticar. ¿Dónde me encuentro hoy? Fijar Objetivos. ¿A dónde pretendo llegar? Establecer la Estrategia. ¿Cómo lograr los objetivos? Programar. Precisar metas y actividades. Presupuestar. Asignar los montos requeridos. Diseñar Procedimientos. Estandarizar la forma de hacer las tareas. Establecer Políticas. Determinar las “reglas del juego”.

13 Objetivos Dan dirección a la planeación.Condición o Resultado cuantificable. Deben ser alcanzado y mantenido por un período. Contribuyen al cumplimiento de la Misión y alcance de la Visión.

14 Objetivos Importancia.Dan a la organización o área de trabajo una dirección certera y sentido a su quehacer. Facilitan la superación de obstáculos y desviaciones, así como tendencias egocéntricas de los grupos o personas. Dirigen a la organización a su propia Misión en vez de dejarla a la eventualidad.

15 Objetivos Criterios para la formulación. Concordancia con la Misión…Corresponder a convicciones AD… … condiciones capaces de influir en el éxito… Especificar los resultados a lograr… SMART – EMARA – REMA.

16 Metas Resultados finales, que deberán ser alcanzados dentro de un período previamente establecido. Normalmente se establecen durante la programación, determinando las actividades mediante las cuales podrán alcanzarse.

17 Metas Criterios para su formulación.Deben ser presentadas en términos de resultados. Deben ser difíciles de alcanzar; pero no inalcanzables. Deben ser descritas con la mayor exactitud posible, de manera que permitan su medición.

18 ¿Indicadores? Evaluación estratégica.Es el proceso de seguimiento y control, llevado a cabo en diferentes tiempos y por diferentes personas, de forma que se puedan verificar el cumpliendo de cada una de las expectativas que se han dado durante el proceso de la planeación y programación.

19 Supuestos Teóricos sobre IndicadoresPropósito, Concepto, Tipología, Características Supuestos Teóricos sobre Indicadores

20 Propósito de los IndicadoresPráctica común y necesaria en la AP moderna. Relacionado con la toma de decisiones, debido a su capacidad de generar información en torno al avance en la ejecución de los proyectos y programas. Existen varias metodologías para la definición y clasificación de indicadores…múltiples interpretaciones. Establecer un marco general para el uso y aplicación de indicadores.

21 Propósito de los IndicadoresIndicador: Instrumento a partir del cual se registra, procesa y presenta la información necesaria para medir el avance o retroceso en el logro de un determinado objetivo. En el marco de la AP, el objetivo se desprende de una iniciativa específica. A partir de indicadores se pueden determinar, objetivamente, los resultados de las intervenciones o acciones públicas y valorar su desempeño.

22 Concepto de Indicador Concepto de IndicadorSegún la OCDE, los indicadores son: “Un valor numérico que provee una medida para ponderar el desempeño cuantitativo y/o cualitativo de un sistema”.

23 Concepto de Indicador En general es un cociente donde el denominador nos sirva como referencia para comparación. Numerador Denominador X Factor de escala

24 Concepto de Indicador En la práctica, los indicadores tienen un carácter cuantitativo y otro cualitativo. La primera se centra en medir el estado de avance de una intervención pública; la segunda establece un juicio de valor en torno a dicho avance. Ambas funciones son complementarias para el seguimiento y evaluación de dicha intervención.

25 Seguimiento y EvaluaciónSeguimiento: proceso continuo que genera información sobre el progreso de una intervención. No examina la causalidad entre las intervenciones y sus efectos. Evaluación: valoración puntual de una intervención y sus efectos que determina una relación de causalidad entre estos. Esto en términos de eficiencia, eficacia, calidad y costos.

26 Seguimiento y Evaluación

27 ESTANDARES DE SERVICIOTipos de indicadores Indicadores estratégicos PROGRAMAS Indicadores de desempeño de los proyectos PROYECTOS DE GESTIÓN Indicadores de proceso PROCESOS OPERATIVOS Indicadores de servicio SERVICIOS ESTANDARES DE SERVICIO 13 40

28 Características de los IndicadoresConfiables: Garantizan información objetiva. Relevantes y representativos: Describen y miden lo que desean medir. Describen la forma y grado de contribución de las acciones al cumplimiento de los objetivos. Direccionales y sensibles: Información que determina el grado de avance de los objetivos.

29 Características de los IndicadoresReplicables: la misma fórmula en diferentes tiempos o condiciones da resultados comparables. Claros y verificables: Pueden comprobarse por cualquier persona y son comprensibles. Vigentes: Se basan en la realidad de la Entidad. Innovadores: Inducen al surgimiento de nuevos o mejores procesos.

30 Dimensiones de los IndicadoresLas dimensiones permiten orientar los esfuerzos del quehacer público de acuerdo a las prioridades. No existen indicadores que midan todas las dimensiones a la vez. ALTA Logro de objetivos IMPACTO Congruencia entre recursos aprobados y suministrados y su equidad ALINEACIÓN DE RECURSOS CONSTRUCIÓN Y MEDICIÓN DIFICULTAD DE EFICIENCIA Productividad y aprovechamiento de recursos Características o atributos de productos / servicios y satisfacción de usuarios CALIDAD Mide alcance de la población o universo objetivo COBERTURA BAJA CORTO TIEMPO REQUERIDO PARA SU ELABORACIÓN MEDIANO

31 Dimensiones de los Indicadores¿Cuál es la cobertura de la población o universo objetivo al cuál se le proporcionan los productos o servicios? ¿Cuál es el nivel de calidad de los productos o servicios? ¿Cuál es el nivel de eficiencia o aprovechamiento de los recursos? ¿Qué tan alineados están los recursos con los requerimientos del ejercicio presupuestal? y ¿Qué tan equitativa es la distribución de recursos? ¿Cuál es el impacto o resultado esperado al cumplir con los objetivos estratégicos?

32 Dimensiones de los IndicadoresTipo Objetivo Indicador Cobertura Elevar la educación básica a 5 años en la población de las comunidades rurales del Estado de… No. alumnos en comunidades rurales en 5º primaria Población de comunidades rurales Calidad Número de alumnos egresados (aprobados) Número de alumnos matriculados Eficiencia Presupuesto ejercido ($) Alumnos egresados (aprobados) Impacto No. alumnos aprob. en com. rurales 5º primaria Total de población de comunidades rurales X100 X100

33 Ejercicio Los participantes formarán subgrupos por áreas de trabajo.Deberán identificar alguna de sus metas u objetivos para tomar como base. Con base a la meta u objetivo identificado, formular indicadores de las dimensiones estudiadas. Transcribir en hojas de rotafolios y hacer la presentación para reflexión en grupo.

34 Diseño efectivo de IndicadoresFactores y Componentes críticos de éxito

35 Árbol de factores/componentes críticos de éxitoPor cada objetivo estratégico debe conectarse un árbol de factores y componentes críticos de éxito, a partir de los cuales se generarán los indicadores. Factores críticos de éxito:¿Qué acciones vitales debe realizarse para lograr el objetivo? Componentes críticos de éxito: ¿Qué es lo que debe ocurrir como resultado, para considerar que se ha tenido éxito en el logro del objetivo?

36 Factores Críticos de ÉxitoAlgo que debe ocurrir para conseguir un objetivo. Se define como Crítico si su cumplimiento es absolutamente necesario para alcanzar los objetivos de la Entidad.

37 Factores Críticos de ÉxitoProcedimiento: Elaborar una lista de los objetivos generales plasmados en el Programa. Revisar la lista de objetivos para asegurar que no son medios para conseguir otros objetivos. Para cada objetivo se obtendrá una lista de factores de éxito. Dar respuesta a: ¿Qué cosa debería ocurrir como resultado para considerar que se ha tenido éxito en el logro del objetivo?. Eliminar factores de éxito no relevantes. Agrupar los factores de éxito de acuerdo con los objetivos. Plantear en todo momento el cuestionamiento del para qué se debe cumplir un factor de éxito, de esta manera al no tener mas respuestas ante tal cuestionamiento estaremos llegando a los resultados finales. El resultado de la eliminación de los factores de éxito constituirá el listado de los factores críticos de éxito, a partir de los cuales plantearemos nuestros indicadores.

38 FACTORES CRÍTICOS DE ÉXITOEjemplo Objetivo Estratégico: Proporcionar un tercio de la alimentación diaria, mínima requerida, a los niños de familias de bajos recursos, de entre 5/3 años de edad, del DF. POBLACION OBJETIVO: Total de niños de bajos recursos entre 5 y 3 años en el DF. COMPONENTES CRÍTICOS DE ÉXITO: ¿Cuál es el resultado o el impacto esperado? ¿Qué es lo que debe ocurrir como resultado para considerar que se ha tenido éxito en el logro del objetivo? “Qué todos los niños reciban un tercio de la alimentación diaria mínima requerida y que se la coman”. Asegurar que los niños se coman el desayuno escolar. Otorgar desayunos escolares a los niños menores de 5 años. Producir desayunos escolares. Distribuir desayunos escolares. FACTORES CRÍTICOS DE ÉXITO Conseguir a proveedores de desayunos escolares con capacidad de producción. Asegurarse de que los desayunos tengan las proteínas y las calorías necesarias. Disponer de presupuesto. Contar con la asesoría de especialistas en materia de nutrición.

39 Ejemplo

40 FACTORES CRÍTICOS DE ÉXITOEjemplo Objetivo Estratégico: Garantizar la seguridad del Aeropuerto Internacional de la Ciudad de México. Población Objetivo: Usuarios y prestadores de servicio del AICM. COMPONENTES CRÍTICOS DE ÉXITO Preguntas: ¿Cuál es el resultado esperado? ¿Cuál es el impacto esperado? ¿Qué es lo que debe ocurrir como resultado para considerar que se ha tenido éxito en el logro del objetivo? Respuestas: Mantenimiento del Orden Público. Garantizar la Seguridad Física (Control de Accesos, salidas, Prot. Civil, etc.) Garantizar la Seguridad y Protección de los usuarios y prestadores de servicio. Garantizar la operatividad del AICM. “Mantener la operatividad y seguridad del A.I.C.M., así como de los usuarios y prestadores de servicio”. Evaluación del Plan de Seguridad. Supervisión del Plan de Seguridad. Diseño del Plan de Seguridad. Implementación del Plan de Seguridad. FACTORES CRÍTICOS DE ÉXITO Disponibilidad y Asignación de Recursos. Evaluación del AICM. Estudio de Vulnerabilidad. Análisis de Riesgos.

41 FACTOR CRÍTICO DE ÉXITO Implementación del Plan Asignación de RecursosEjemplo Objetivo Estratégico: Garantizar la seguridad del Aeropuerto Internacional de la Ciudad de México. Población Objetivo: Usuarios y prestadores de servicio del AICM. FACTOR CRÍTICO DE ÉXITO Implementación del Plan de Seguridad Cobertura Usuarios y prestadores de servicios del AICM Componente Crítico de la dimensión de Cobertura Disponibilidad y Asignación de Recursos Eficiencia La utilización de los recursos en la implementación del Plan Componente Crítico de la dimensión de Eficiencia Diseño del Plan de Seguridad Calidad Eficacia del Plan para evitar incidentes Componente Crítico de la dimensión de Calidad Supervisión del Plan de Seguridad

42 Ejercicio Los participantes formarán subgrupos por áreas de trabajo.Identificarán una nueva meta u objetivo para elaborar su árbol de componentes. Con base a la meta u objetivo identificado, establecerán el árbol de factores y componentes críticos y a continuación formular los indicadores que se hayan derivado del árbol de factores. Transcribir en hojas de rotafolios y hacer la presentación para su reflexión en grupo.

43 Estructura Analítica del Programa PresupuestarioMIR y sus elementos Estructura Analítica del Programa Presupuestario

44 EAPp La Estructura Analítica del Programa presupuestario (EAPp) establece la coherencia entre problema/necesidad/oportunidad identificado y los objetivos/medios para su solución, así como su secuencia lógica. Compara la cadena de medios-objetivo-fines seleccionada, con la cadena de causas-problema-efectos que le corresponde. Perfila los niveles del resumen narrativo de la MIR.

45 EAPp Asegurar que el objetivo equivale a la solución del problema o necesidad que origina la acción pública. Constatar que los medios son precisos tanto para la solución de cada una de las causas del problema como para el logro del objetivo. Perfilar el Fin, el Propósito, los Componentes y las Actividades de la MIR. Definir la línea base del programa y el horizonte de los resultados esperados durante la vida útil del mismo. Construir los indicadores, que son la expresión de lo que se pretende evaluar de los resultados esperados.

46 Beneficiarios del Pp Pueden ser poblaciones o áreas de enfoque.La entidad describirá al beneficiario que presenta el problema/necesidad/oportunidad que justifica al programa. Población o área de enfoque potencial Población o área de enfoque objetivo Población o área de enfoque atendida Se refiere al universo global de la población o área referida. Se refiere a la población o área que el programa pretende atender en un periodo dado de tiempo, pudiendo corresponder a la totalidad de la población potencial o a una parte de ella. Se refiere a la población o área que ya fue atendida por el Pp.

47 Matriz de Indicadores para ResultadosMIR: instrumento para el diseño, organización, ejecución, seguimiento, evaluación y mejora de los programas, resultado de un proceso de planeación realizado con base en la Metodología de Marco Lógico (MML). MIR organiza los objetivos, indicadores y metas en la estructura programática, vinculados al Programa presupuestario (Pp). Con base en ello, sólo deberá existir una MIR por Pp.

48 Matriz de Indicadores para ResultadosEstablece con claridad los objetivos del Pp y su alineación con los objetivos de la planeación nacional y sectorial; Incorpora los indicadores que miden los objetivos y resultados esperados, referentes para el seguimiento y la evaluación; Identifica los medios para obtener y verificar la información de los indicadores; Describe los bienes y servicios que entrega el programa a la sociedad, para cumplir su objetivo, así como las actividades e insumos para producirlos; e Incluye supuestos sobre los riesgos y contingencias que pueden afectar el desempeño del programa.

49 Matriz de Indicadores para ResultadosMatriz 4x4. Sus columnas expondrán el Resumen Narrativo de los Objetivos, Indicadores , Medios de Verificación y Supuestos. Sus filas, el Fin, el Propósito (o efecto directo), los Componentes-Productos y las Actividades. Objetivo Indicador Medios de Verificación Supuestos FIN PROPÓSITO COMPONENTES ACTIVIDAD

50 Matriz de Indicadores para ResultadosFIN: indicará el impacto al cual contribuirá el proyecto, una vez que el mismo haya finalizado. PROPÓSITO: Es el efecto directo que se espera lograr después de completada la ejecución del proyecto. COMPONENTES: Son los resultados (tangibles e intangibles) específicos que se producen durante la ejecución. ACTIVIDADES: Aquellas actividades necesarias para producir los componentes-productos.

51 Características de los IndicadoresEspecificación cualitativa o cuantitativa que se utiliza para medir si se alcanzó un objetivo. Deberá ser aceptadas colectivamente por los involucrados como adecuadas para medir el logro de los objetivos. Especifican de manera precisa cada objetivo a nivel de Fin, Propósito y Componentes. Muestran cómo puede medirse el éxito de un proyecto. Cada indicador incluye la meta específica que permite medir si el objetivo ha sido alcanzado. Dan las bases para el seguimiento del desempeño y para la evaluación.

52 Composición de los indicadoresCantidades: cuánto; son las cuantificaciones necesarias. Especificaciones: de qué tipo, características, calidad, etc.; es la definición, la identificación clara que despeje toda duda. Tiempo: para cuándo (entre cuándo y cuándo); expresa el período o fecha en el que debe ser logrado el objetivo. + otras condiciones que se estimen necesarias para darle precisión, por ejemplo, lugar…

53 Indicadores por nivel (Filas/2ª columna)Fin: Se refieren al impacto general que tendrá el proyecto. Propósito: Se refieren al efecto directo logrado después de terminada la ejecución del proyecto. Componentes: Son descripciones breves de cada uno de los componentes que serán producidos durante la ejecución. Actividades: Contiene el costo de cada actividad. La sumatoria total es el costo del proyecto.

54 Requisitos para su formulaciónPrácticos: miden lo que es importante, se refiere a algo que ocurrirá. Independientes: no puede haber relación causa-efecto con el objetivo. Focalizados: específico y medible, cantidad, calidad, especificaciones, tiempo y lugar. Acordados: Los indicadores deben ser acordados por los distintos grupos involucrados. Verificados Objetivamente: relacionado con la tercera columna de la matriz, en donde se indican las fuentes para obtener la información.

55 Medios de Verificación: 3ª columnaContiene las fuentes de donde se obtendrán datos e informaciones sobre la situación, comportamiento y desempeño de cada indicador durante la ejecución. Permitirán que los mismos cumplan los cinco requisitos enunciados anteriormente. Estas fuentes serán acordadas para darles objetividad y transparencia, facilitando la medición y evitando conflictos entre los involucrados. Cada indicador puede tener dos o más fuentes que se complementen.

56 La cuarta columna: SupuestosEn esta columna se considerarán las condiciones positivas que son necesarias para avanzar al siguiente nivel y que están fuera del alcance directo del proyecto. Se está indicando que pueden existir riesgos en el no cumplimiento de esas condiciones necesarias o que ocurran condiciones negativas para el desarrollo del proyecto. La pregunta que surge es ¿cómo se pueden manejar esos riesgos (fuera del control directo) para que el proyecto no fracase?

57 Ejemplo

58 Ejemplo

59 MEDIOS DE VERIFICACIÓNEjemplo OBJETIVO INDICADOR MEDIOS DE VERIFICACIÓN SUPUESTOS FIN PROPÓSITO COMPONENTES Contrapresta-ciones otorgadas para la solución de los conflictos agrarios. Porcentaje de Conflictos sociales agrarios resueltos con la entrega de una Contraprestación Actas de Comité del programa en poder de la Dirección del mismo Existen los recursos presupuestales suficientes, las partes en conflicto aceptan la oferta institucional, los conflictos se resuelven a través de la firma de un convenio que concilia la controversia por la posesión y/o tenencia de la tierra, se fijan fechas razonables para su ratificación y la población beneficiada aprovecha las condiciones de paz y certeza jurídica. ACTIVIDAD

60 Ejemplo GAE: Grupos de Agricultores Establecidos

61 Validación de indicadoresSe debe elaborar una lista de posibles indicadores a ser utilizados, los cuales deben ser objeto de una validación técnica que permita seleccionar los mejores. Existen metodologías para identificar obstáculos del uso del indicador. CREMA realiza este filtro a partir de cinco criterios: Claro: Preciso e inequívoco. Relevante: Apropiado al tema en cuestión. Económico: Disponible a un costo razonable. Medible: Abierto a validación independiente. Adecuado: Ofrece una base suficiente para estimar el desempeño.

62 Validación de indicadoresC ¿Está el indicador claramente formulado? R ¿Es el indicador suficientemente representativo? E ¿El indicador se puede medir de manera práctica y económica? M ¿Están las variables del indicador suficientemente definidas para asegurar que lo que se mide hoy es lo mismo que se medirá en cualquier tiempo? A ¿Es el indicador tan directo como para garantizar que la determinación de su desempeño no sea complicada ni problemática? Califique de 1 a 5 cada criterio para cada indicador.

63 Historia y Tendencias del indicadorPara cada indicador investigar datos históricos. Factores de avance: Reflexión de cuáles han sido los factores limitantes para el avance en cada indicador y lo que podemos identificar como factores de éxito para el futuro. Ayuda a fijar metas realistas y definir líneas estratégicas. Indicador Valor 1994 2000 2006

64 Desarrollo y Gestión de un Sistema de Indicadores en el Sector PúblicoPreparada por: Félix Raúl Gutiérrez Ek, Modificada por: Vicente Suárez Zendejas, Julio de 2012 AMDG Desarrollo y Gestión de un Sistema de Indicadores en el Sector Público