1 INDICADORES DE DESEMPEÑO Y EVALUACION DE PROGRAMASMarianela Armijo Consultora de Gestión Pública. Curso Reformas Económicas y Gestión Pública Estratégica Noviembre 2003 ILPES-CEPAL Santiago

2 INDICADORES DE DESEMPEÑOINDICADORES DE DESEMPEÑO: CONCEPTOS PASOS BASICOS PARA SU CONSTRUCCION REQUISITOS Y CONDICIONES DIFICULTADES

3 INDICADORES DE DESEMPEÑO: CONCEPTOSINSTRUMENTOS DE MEDICION DE LAS VARIABLES ASOCIADAS A LAS METAS MEDIDAS QUE DESCRIBEN COMO UNA INSTITUCION ESTA ALCANZANDO SUS OBJETIVOS Y METAS

4 OBJETIVOS USO INDICADORES(*)Induce mejoras en Información Fundamenta la discusión de Resultados Posibilita la Evaluación Apoya el proceso de Formulación de Políticas Facilita el establecimiento de Compromisos de Resultado (*) Dirección de Presupuestos. Ministerio Hacienda. Chile.

5 PASOS BASICOS PARA LA CONSTRUCCION DE INDICADORESIDENTIFICAR OBJETIVOS Y METAS IDENTIFICAR LAS AREAS DE MEDICION DE DESEMPEÑO CONSTRUIR LAS FORMULAS O ALGORITMOS VALIDAR: APLICAR CRITERIOS DE TECNICOS Y REQUISITOS RECOPILAR LA INFORMACION NECESARIA ESTABLECER RESPONSABILIDADES ORGANIZACIONALES COMUNICAR E INFORMAR

6 IDENTIFICAR OBJETIVOS Y METAS¿TENGO IDENTIFICADA LA MISIÓN, LOS PRODUCTOS Y LOS USUARIOS? ¿TENGO CLAROS LOS OBJETIVOS QUE DEBO LOGRAR? ¿ESTÁN LOS OBJETIVOS ALINEADOS CON LAS PRIORIDADES ESTRATÉGICAS DE LA ORGANIZACIÓN? ¿LOS OBJETIVOS ESTÁN EXPRESADOS EN METAS MENSURABLES?

7 IDENTIFICAR LAS AREAS DE MEDICION DE DESEMPEÑO¿QUE AREAS DEL DESEMPEÑO RESULTA CONVENIENTE MEDIR? EFICIENCIA EFICACIA CALIDAD ECONOMIA

8 INDICADORES DE DESEMPEÑO (*)AMBITOS DE CONTROL PROCESO PRODUCTO RESULTADO D I M E N S O EFICACIA EFICIENCIA ECONOMÍA CALIDAD (*) Indicadores de Desempeño.

9 MATRIZ DE INDICADORES (*)Calidad Eficacia Eficiencia Economía Estimación Meta 1998 1999 2000 2001 2002 Producto relevante (bien y/o servicio) al que se vincula Indicador de Desempeño Fórmula de cálculo Información Histórica Medios de verificación Programa/ Subtítulo/ ítem/ asignación (*) Indicadores de Desempeño.

10 DEFINIR LAS FORMULAS O ALGORITMOSA) BASES DE COMPARACIÓN Lo que se hace Lo que debe hacerse Nº de usuarios por atender Nº de usuarios atendidos Nº de certificados emitidos Nº Certificados solicitados Monto inversión ejecutada Monto asignado para inversión

11 FORMULAR ALGORITMOS b) Definición de ratiosCostos medios: Costo total consultas/ consultas realizadas Producto medio:Nºinspecciones realizadas/Nºinspectores c) Definición de estándares % de recomendaciones aceptadas % de clientes satisfechos Nº de errores Tiempo promedio de tramitación

12 RECOPILAR LA INFORMACION NECESARIAInformación contable-presupuestaria Estadísticas de producción física, cargas de trabajo del personal Encuestas, estudios especiales Benchmarking,etc

13 CONCEPTOS Y EJEMPLOS DE INDICADORES DE GESTIONEFICACIA: Mide el grado de cumplimiento de los objetivos y metas establecidos, a través de los productos o resultados obtenidos, sin referencia al costo de consecución de los mismos

14 EFICACIA:

15 EFICACIA

16 CONCEPTOS Y EJEMPLOS DE INDICADORES DE GESTIONEficiencia Establece la relación entre la producción física del bien o servicio y los insumos utilizados para alcanzar el nivel de producto. Ejemplos de aplicación de ámbito público: Costo medio de producción (costo por beneficiario, costo por componente, etc) Productitividad Media (usuarios atendidos por unidad de tiempo, fiscalizaciones por inspector, etc) Gastos administrativos/Gastos Totales

17 EFICIENCIA

18 CONCEPTOS Y EJEMPLOS DE INDICADORES DE GESTIONCalidad Mide la capacidad de la organización por cumplir con los requisitos de satisfacción del producto que esperan los usuarios, en términos de oportunidad, accesibilidad, precisión,

19 CALIDAD

20 CALIDAD

21 CONCEPTOS Y EJEMPLOS DE INDICADORES DE GESTIONEconomía Capacidad de la institución por generar y movilizar adecuadamente los recursos financieros de un programa o institución. Ejemplos: Capacidad de autofinanciamiento Nivel de recuperación de préstamos Capacidad de ejecución del presupuesto

22 ECONOMIA ECONOMIA (*) (Gasto Efectivo del Programa/Presupuesto total asignado) *100. MINVU Ingresos por recuperación de costos año i/Total gasto año i) (MIDEPLAN/FOSIS) (Monto de crédito de corto plazo recuperados/Monto total créditos corto plazo con vencimiento año)*100 INDAP. (*)

23 APLICAR CRITERIOS DE TECNICOS Y REQUISITOSRELEVANCIA DE LA MEDICION ASEGURARSE QUE ESTOY MIDIENDO LOS OBJETIVOS VINCULADOS A LO ESTRATEGICO INDICADORES QUE ESTEN VINCULADOS CON LO DEFINIDO EN EL PLAN ESTRATEGICO Y EN EL PLAN OPERATIVO “NO ES POSIBLE, NI DESEABLE MEDIRLO TODO”

24 CONDICIONES QUE DEBEN CUMPLIR LOS INDICADORESMEDIR LO CORRECTO : CONOCER EL PROCESO DE PRODUCCION QUE SE MIDE, ASEGURANDOSE QUE LA MEDIDA DE DESEMPEÑO REPRESENTA UN PROCESO CLAVE PARA LA OBTENCION DE LA META.

25 CONDICIONES QUE DEBEN CUMPLIR LOS INDICADORESINDEPENDENCIA MEDIR LO QUE LA INSTITUCION SEA CAPAZ DE CONTROLAR CONTAR CON LOS DATOS SUFICIENTES Y DEMOSTRABLES

26 CONDICIONES QUE DEBEN CUMPLIR LOS INDICADORESCOSTOS RAZONABLES EN LA RECOLECCION DE DATOS HOMOGENEIDAD PARA UN MISMO SERVICIO MEDIDO LA NATURALEZA DE LAS PRESTACIONES DEBEN SER EQUIVALENTES:

27 CONDICIONES QUE DEBEN CUMPLIR LOS INDICADORESLOS INDICADORES DE DESEMPEÑO NO SON UN FIN EN SI MISMO SINO UN MEDIO. “LA EVALUACION MAS QUE UNA MEDICION ES UNA INTERPRETACION DE LOS RESULTADOS” DEBEN ESPECIFICARSE Y TENERSE EN CUENTA LA INTERRELACION DE LAS DIFERENTES MEDIDAS DE DESEMPEÑO SIMPLICIDAD DE LA MEDICION

28 COMO INTERPRETAR LOS RESULTADOSBASES DE COMPARACION: DESEMPEÑO HISTORICO: OBJETIVOS DEFINIDOS DESEMPEÑO LOGRADO EN INSTITUCIONES SIMILARES, PROCESOS O PROGRAMAS.

29 COMO INTERPRETAR LOS RESULTADOSNO HAY UNA MEDIDA UNICA QUE DEMUESTRE POR SI SOLA EL DESEMPEÑO DE LA INSTITUCION SE REQUIERE UN COMBINACION DE ELLAS: RESULTADOS, IMPACTO, EFICACIA, EFICIENCIA, CALIDAD “CIERTOS INDICADORES PUEDEN SER CONTRADICTORIOS ENTRE ELLOS”:

30 INTEGRALIDAD DE LAS METASAumentar la cobertura del programa de raciones a un 55% de la población escolar. Llegar a un costos promedio de $5 Alcanzar1000 calorías por ración INDICADOR DE EFICACIA Población escolar en programa / población escolar total INDICADOR DE CALIDAD * Calorías por ración. * Porcentaje de aceptación de los escolares (encuesta) INDICADOR DE EFICIENCIA Costo promedio de las raciones: gasto total programa / número de raciones

31 PROBLEMAS FRECUENTES EN LA CONSTRUCCION DE INDICADORESTRAMPA DE LA MEDICION: SE MUESTRA COMO RESULTADOS (Y SE HACE) SOLO LO QUE SE PUEDE MEDIR SE TIENDE A MEDIR DE ACUERDO A LA INFORMACION DISPONIBLE, DESCUIDANDO LA MEDICION DE LOS ASPECTOS MAS RELEVANTES SUBVALORACION DE LAS METAS FRENTE A UN AMBIENTE PUNITIVO DE LA EVALUACION

32 PROBLEMAS FRECUENTES EN LA CONSTRUCCION DE INDICADORESTENDENCIA A MEDIRLO TODO PARA NO SUBREPRESENTAR ESFUERZOS SE DESARROLLAN INDICADORES PERO NO SE USAN PARA LA TOMA DE DECISIONES.

33 Evaluación de Programas Públicos (Caso de Chile)(*)Objetivo: Generación de información evaluativa que apoye la asignación de recursos y la gestión de los programas. (*)

34 Metodología La metodología utilizada se basa en la metodología de marco lógico. La metodología de marco lógico es utilizada por el Banco Interamericano de Desarrollo (BID), el Banco Mundial y otras agencias internacionales. Es una herramienta que permite el análisis del ordenamiento, consistencia y cumplimiento de los objetivos (fin, propósito, componente y actividades) del programa.

35 Aspectos de la evaluaciónJustificación Diseño Organización y Gestión Resultados Eficiencia Eficacia Sostenibilidad Recomendaciones

36 MEDIOS DE VERIFICACIÓNSÍNTESIS ESQUEMÁTICA DE LA MATRIZ DE MARCO LÓGICO (*) OBJETIVOS INDICADORES/METAS MEDIOS DE VERIFICACIÓN SUPUESTOS ( O FACTORES EXTERNOS) FIN PROPÓSITO COMPONENTES ACTIVIDADES (*) Dirección de Presupuestos.

37 PROCESO Selección de Programas Selección de ConsultoresPreparación de Antecedentes Capacitación y Preparación Marcos Lógicos Preliminares Evaluación. Resultados Recomendaciones Envío al Congreso Compromisos Institución/Ministerio de Hacienda Acciones Específicas Plazos Seguimiento

38 EVALUACIONES (Número) Período 1997 - 2002