1 Curso Métodos de Análisis, Diseño y Evaluación de Políticas públicas que generan Innovación. ESAP · EIAPP-CLAD · DNP Bogotá, 23-27 Agosto 2010 César Nicandro Cruz [email protected]

2 SESION 1. Estudio de caso (60 min. aprox.) (Este archivo no es una presentación institucional del CONEVAL ni expresa necesariamente las opiniones de esta entidad)

3 Esquema de exposición  Análisis de políticas públicas –monitoreo y evaluación  Herramientas M&E para demostrar resultados y rendir cuentas – implementación de un sistema M&E  Estudio de caso: - Coneval México  Cambio político y gestión del cambio

4 Evolución de la Evaluación en América Latina  I)años 70’s: Evaluación ex-ante  II) final 70’s: S&Evaluación Proyectos  III) años 90’s: Evaluación Macro  IV) desde 2000: Sistemas Nacionales Sociedad Civil Estudios de caso en Cunill, N. y Ospina, S. (2008) “Sistemas de monitoreo y evaluación en América Latina”, CLAD/Banco Mundial

5 Experiencias latinoamericanas  Chile vínculo presupuestario  Brasil vínculo planificación  Colombia políticas nacionales  México políticas sociales Estudios de caso en Cunill, N. y Ospina, S. (2008) “Sistemas de monitoreo y evaluación en América Latina”, CLAD/Banco Mundial

6 Hacia una gestión basada en resultados: la política importa  Los sistemas de M&E basados en resultados son componentes esenciales de las estructura de gobernanza –y por tanto están fundamentalmente vinculados con los sistemas políticos y de poder del gobierno (…) Muchas organizaciones preferirían operar en las sombras. No desean publicar información sobre su rendimiento o resultados. Institucionalizar un sistema M&E da luz sobre el desempeño organizacional. No todos los actores implicados agradecen esta exposición pública. Por ello es justo una de las causas por las cuales los sistemas M&E plantean un reto político – más que técnico (Zall Kusek & Rist, 2004).

7 La experiencia mexicana reciente en materia M&E  Procesos exitosos y relativamente rápidos de innovación política, fuente de reflexión  Con el Coneval se creo un nuevo régimen de política pública (se institucionalizó el sistema M&E federal de la política social con participación de la SHCP y de la SFP  Se han difundido, desarrollado e implementado metodologías, lenguajes comunes e innovaciones operativas que dan cuenta de una nueva cultura política de la evaluación  México es una experiencia de construcción gradual de instituciones M&E basada en la experiencia internacional pero con un alto grado de innovación y desarrollos específicos adaptados a las necesidades del país.

8 Los detonadores del cambio  La alternancia política y la crisis de confianza en las instituciones del poder ejecutivo  El congreso comenzó a legislar y a generar instrumentos de control al ejecutivo y de rendición de cuentas  Fuerte apoyo de los organismos internacionales de cooperación BM BID

9 Tipología de Hall del cambio político  Basado en las aportaciones de Thomas Khun, Peter Hall ofreció su tipología de cambio político (policy change) C1 - Cambios de primer orden: calibraciones en los instrumentos de la política (cambio incremental-ciencia normal) C2 Cambios de segundo orden: alteraciones en los tipos dominantes de instrumentos de la política utilizados C3 Cambios de tercer orden: ajustes en el conjunto de los fines abstractos de las políticas

10 La desconfianza como fuerza del cambio  El papel del congreso ha sido fundamental  La alternancia política evidenció en la agenda de gobierno y del estado, la ausencia real de mecanismos transparentes, eficaces y sistemáticos de evaluación de la acción del gobierno y específicamente de los programas federales.  La incipiente información de las primeras evaluaciones ni influían ni determinaban la integración de su presupuesto, cuya asignación se realizaba con criterios políticos.  El diseño institucional y organizativo del Coneval, basado en tal independencia evidencia esta desconfianza manifiesta. Sus productos deben ser objetivos y transparentes (es decir, sin intervención o manipulación por parte del poder ejecutivo)

11 1. Fase: esfuerzos dispersos 1970s 1980  Primeros programas de evaluación con el respaldo de agencias multilaterales. Ej. Programa de Inversiones Públicas para el Desarrollo Rural (PIDER) Inicia la cooperación internacional en materia de M&E Principios 1990s  Introducción de “Auditorias Integrales” y conceptos de medición de desempeño por parte de la nueva contraloría. El Sistema Nacional de Planeación y la Ley de Planeación exigen la presentación de indicadores financieros y físicos al Congreso. C1. Primera función sistemática de control al ejecutivo a través de indicadores financieros 1995  El Sistema de Evaluación del Desempeño (SED) es concebido como parte de una reforma presupuestaria. C2. El instrumento diseñado por la SHCP, pionero, no fue implementado, pero fue retomado en 2006  Evaluaciones del programa Abasto Social de Leche–LICONSA, el programa Abasto Rural-DICONSA, el Programa Nacional de Solidaridad-PRONASOL y varios programas de capacitación laboral. Es posible y deseable realizar evaluaciones en programas sociales clave. 1996  El Programa de Modernización de la Administración Pública- PROMAP introduce indicadores de desempeño, evaluaciones internas y conceptos de rendición de cuentas, gestión basada en resultados y presupuesto basado en resultados. C2. Se introducen nuevos términos, ideas y métodos para una modernización administrativa de fondo. Afecta al sistema M&E Castro, M. F., López-Acevedo, G., Beker Busjeet, G., y Fernández Ordoñez, X. (2009). El Sistema M&E en México: Un Salto del nivel Sectorial al Nacional (Serie Documentos de trabajo DCE - IEG No. 20). New York: Banco Mundial.

12 2. fase: Establecimiento de un rol sistemático para la evaluación 1997  Comienza la evaluación del programa Progresa- Oportunidades Primera evaluación robusta de un programa federal. Es posible y deseable el cambio en el sistema M&E 1998  El Congreso exige que los programas federales que ofrecen subsidios preparen Reglas de Operación con información estándar sobre el diseño, objetivos, indicadores de desempeño, beneficiarios y operación. C3. Cambio sustantivo planificado. Control al gobierno. 1999  El Congreso exige que todos los programas con Reglas de Operación sean evaluados anualmente por evaluadores externos C3. Cambio sustantivo planificado. Control al gobierno 2000  Se publican los resultados de la evaluación de Progresa- Oportunidades Se demuestra que es posible y deseable extender y consolidar el sistema M&E  Se crea el Comité Técnico para la Medición de la Pobreza- CTMP para preparar una metodología oficial para medir la reducción de la pobreza. Avances en la metodología de evaluación  Implementación de un sistema de Metas Presidenciales Se crea una herramienta para establecer las metas y prioridades de gobierno, y monitorear el desempeño. Castro, M. F., López-Acevedo, G., Beker Busjeet, G., y Fernández Ordoñez, X. (2009). El Sistema M&E en México: Un Salto del nivel Sectorial al Nacional (Serie Documentos de trabajo DCE - IEG No. 20). New York: Banco Mundial.

13 2. fase: Establecimiento de un rol sistemático para la evaluación (sigue) 2001  Creación de la Subsecretaría de Prospectiva, Planeación y Evaluación de la SEDESOL C1. Se desarrolla un sistema M&E sectorial federal  Creación de la nueva Auditoría Superior de la Federación-ASF del Congreso C3. Institucionalización del control al gobierno 2002  Creación del Instituto Nacional para la Evaluación de la Educación-INEE C1. Entidad especializada de análisis y evaluación de las políticas educativas  Se sanciona la Ley Federal de Transparencia y Acceso a la Información Pública, reforzando el rol de la evaluación y su difusión pública. C3. Cambio sustantivo. Control al gobierno 2003  Se crea la Secretaría de la Función Pública-SFP con responsabilidad por la auditoría de desempeño Castro, M. F., López-Acevedo, G., Beker Busjeet, G., y Fernández Ordoñez, X. (2009). El Sistema M&E en México: Un Salto del nivel Sectorial al Nacional (Serie Documentos de trabajo DCE - IEG No. 20). New York: Banco Mundial.

14 3. fase: hacia el sistema M&E gubernamental 2004  Ley de Desarrollo Social, que introdujo el monitoreo y la evaluación de los programas sociales y creo el Consejo Nacional de Evaluación-CONEVAL C3. Cambio sustantivo planificado. Se busca la institucionalización del sistema M&E 2005  Leyes de operación del CONEVAL e inició sus operaciones 2006  Ley Federal del Presupuesto y Responsabilidad Hacendaria establece vínculos entre la planificación estratégica y el proceso presupuestario y crea el Sistema de Evaluación del Desempeño C2. Se reactiva el SED, se vincula la planificación con el proceso presupuestario 2007  Lineamientos Generales para la Evaluación de Programas Federales establecen marcos procedimientos, métodos estándar y mecanismos de coordinación de resultados. C2. Se cierran brechas normativas. Consolidación del nuevo régimen de política (el Comité Interinstitucional de Coordinación SHCP-SFP- CONEVAL)  El CONEVAL lleva a cabo tareas de capacitación en marcos lógicos para los funcionarios de programas Difusión y consolidación de las metodologías en la adm. pública federal Castro, M. F., López-Acevedo, G., Beker Busjeet, G., y Fernández Ordoñez, X. (2009). El Sistema M&E en México: Un Salto del nivel Sectorial al Nacional (Serie Documentos de trabajo DCE - IEG No. 20). New York: Banco Mundial.

15 3. fase: hacia el sistema M&E gubernamental 2007  Decreto del Presupuesto Anual que asigna recursos específicos para las evaluaciones del PAE C1. Se prepara el Programa Anual de Evaluación, como herramienta  Lineamientos Generales para el Proceso de Programación y Presupuestación establecen procedimientos y reglas operativas para la implementación de presupuestos basados en resultados y el Sistema de Evaluación del Desempeño-SED C2. Se cierran brechas normativas. Se trabaja en la regulación del SED  SED inicia sus operaciones formales.  El Decreto del Presupuesto Anual introduce el Plan Nacional de Evaluación Anual. C2. Herramienta para establecer un calendario de ejecución de evaluaciones de programas federales que se realiza anual Castro, M. F., López-Acevedo, G., Beker Busjeet, G., y Fernández Ordoñez, X. (2009). El Sistema M&E en México: Un Salto del nivel Sectorial al Nacional (Serie Documentos de trabajo DCE - IEG No. 20). New York: Banco Mundial.

16 Sistema Federal de Gestión Basado en Resultados (2007) Plan Nacional de Desarrollo (6 años) Presupuesto Federal (anual) Implementación de programas federales Sistema de Evaluación del Desempeño (SED) Secretaría de Hacienda - SHCP Programa Mejor Gestión SFP Evaluación de Políticas y Programas CONEVAL - SCHP Tripartito: Grupo Permanente de gestión por resultados y Evaluación SCHP-SFP-CONEVAL Funciones Básicas: Programa Anual de Evaluación PAE Seguimiento a recomendaciones Castro, M. F., López-Acevedo, G., Beker Busjeet, G., y Fernández Ordoñez, X. (2009). El Sistema M&E en México: Un Salto del nivel Sectorial al Nacional (Serie Documentos de trabajo DCE - IEG No. 20). New York: Banco Mundial.

17 El Sistema de Evaluación del Desempeño SED OOperado por la SHCP, SFP y el CONEVAL, y tiene dos pilares: EEl monitoreo de todos los programas financiados con el presupuesto federales, que usa las Matrices de Indicadores como fuente información. Orientado a ofrecer información a los funcionarios sobre retrasos y obstáculos durante la implementación EEvaluación de resultados de los programas federales (y cuya realización se determina con la confección del Plan Anual de Evaluación (con dos tipos de evaluación fundamentalmente –Evaluación de resultados (los sociales del CONEVAL y los demás programas) y de procesos PMG de la SFP LLa definición del Programa Anual de Evaluación es potestad del tripartito SHCP-SFP CONEVAL en el Grupo de Trabajo Permanente

18 Estructura orgánica Coneval

19 Video institucional CONEVAL

20 Lineamientos generales para la evaluación de programas federales (2007)  Establecen marcos procedimientos, métodos estándar y mecanismos de coordinación de resultados  Se cierran brechas normativas y con su uso se establecen las reglas para consolidar el sistema M&E de programas Federales y el SED  Con los lineamientos se permitió definir y precisar la práctica de la evaluación, ante muchos grupos dentro del sector público más interesados en mantener el status quo. Los lineamientos se orientan a garantizar el uso sostenido de las practicas del sistema M&E y del marco lógico MI en particular  El Coneval asumió la tarea de realizar estos lineamientos. Con los lineamientos se establecieron vínculos más claros entre la planificación estratégica y el proceso presupuestario  Se exigió el desarrollo de sistemas M&E en todas las dependencias del gobierno federal.  Se basan en los marcos lógicos, sus requisitos mínimos, para todos los programas federales con Reglas de Operación.  Se basan en los planes de evaluaciones anuales

21 Plan Anual de Operación

22 Coneval : Estructura de gobernanza  El Coneval tiene una estructura mixta, ya que forma parte del poder ejecutivo y al mismo tiempo es una instancia independiente y con una estructura orgánica no adscrita a ningún ministerio ni a la Presidencia.  El Coneval está gobernado por 6 consejeros académicos elegidos para cuatro años, en el seno de la Comisión Nacional de Desarrollo Social.  Aunque su director (Secretario Ejecutivo) es designado por el Presidente, la entidad cuenta con autonomía decisional en aspectos clave en la definición de metodologias, en la planificación de acciones  Los consejeros tienen una participación activa en las áreas sustantivas del Coneval (Análisis de la Pobreza y Evaluación de la Política Social), así como sobre la organización y administración de la entidad.  La Secretaría Ejecutiva decide qué se hace, cómo y cuándo dentro de las atribuciones propias de la entidad.

23 Estructura de gobernanza: ventajas  El Coneval se ha constituido como ente defensor, promotor de la evaluación  La toma de decisiones es muy rápida, ya que los miembros consejeros pueden cubrir a los aspectos generales tanto como a los operativos y técnicos de la entidad  Su personal dotado de experiencia y especialización, y permeable a la participación de académicos le ha permitido el desarrollo de metodologías consistentes para la medición multidimensional de la pobreza (se institucionaliza el monitoreo de la pobreza)  Sus productos son técnicamente confiables (capacidades) y creíbles (dada su independencia decisional respecto del ejecutivo  El Coneval ha contribuido al USO de las evaluaciones  El Coneval ha contribuido a la reducción de costes gracias a su soporte técnico dentro del sector social  Al integrar la medición de la pobreza con las acciones de los programas sociales el Coneval ha propiciado el uso compartido de información relevante proveniente de métodos M&e, tales como encuestas e información estadística sobre el desempeño

24 Estructura de gobernanza: inconvenientes  El principal inconveniente del CONEVAL como modelo organizativo de ejecución de la evaluación de programas de la APF, es su carácter restringido al Sector de la Política Social  Lo que impide evaluar programas de infraestructura, industria, seguridad interna o innovación (no incluye programas que operan por las transferencias a las entidades federativas provenientes del ramo 33)  Las restricciones legales de su constitución impiden al Coneval ampliar su liderazgo como coordinador de la función de evaluación de todo el sector público, incluyendo la incapacidad legal de brindar asistencia técnica a organismos clave del gobierno. Se ha incrementado la brecha de avances en materia de M&E del sector social respecto de los demás sectores de la APF.  La separación (por independencia) del Coneval respecto del gobierno le separa del proceso de toma de decisiones, lo que le impide hacer exigible el uso de la información de evaluaciones en las decisiones del gobierno.  Las relaciones de las Secretarías (ministerios) con el Coneval con frecuencia son difíciles y tensas, sobre todo cuando se identifican errores de diseño o deficiencias de implementación

25 Sobre el informe de medición de la pobreza 2009 Gonzalo Hernández Licona Secretario Ejecutivo CONEVAL

26 Medición del desempeño de los programas federales, cuya evaluación (específica de desempeño) fue coordinada por el Coneval en el marco del SED Este índice de desempeño INDEP, desarrollado por Gestión Social y Cooperación GESOC analiza la capacidad de los129 programas evaluados para cumplir con su desempeño y los clasifica en función de su desempeño en una escala de 0 a 100

27 Índice de Desempeño de los programas públicos de subsidio federal INDEP “Los resultados sugieren que los programas de combate a la pobreza analizados (salvo Oportunidades y Apoyo Alimentario) diseñan sus metas de forma razonablemente adecuada pero tienen dificultades para demostrar avances en las mismas, lo que puede evidenciar problemas de diseño (cómo lograr las metas) y operación (cómo implementar lo diseñado).”

28 Índice de Desempeño de los programas públicos de subsidio federal INDEP A diferencia de los programas de combate a la pobreza, el principal problema de los pertenecientes al sector salud es la debilidad de su sistema de indicadores, lo que dificulta conocer su eficacia y eficiencia. La selección inapropiada de metas (es decir, que son relativamente fáciles de alcanzar) también afecta a losprogramas de este sector, incluso de forma destacada en el caso del mejor programa evaluado (IMSS-Oportunidades). Esto significa que los programas de salud podrían considerar umbrales de logro superiores a los previstos hasta ahora, dado sus recursos asignados.

29 Índice de Desempeño de los programas públicos de subsidio federal INDEP Un rasgo constante en los programas de este sector es la selección cómoda y poco oportuna de metas. Esto significa que estos programas podrían considerar umbrales de logro superiores a los existentes, considerando sus recursos disponibles. Esta situación es destacada en los programas Uso Sustentable de Recursos Naturales y de Inducción y Desarrollo del financiamiento.

30 “El problema de la política social es el subejercicio presupuestal” Declaración del Dip. Héctor Hugo Hernández en el marco de la reunión de trabajo de la Comisión Nacional de Desarrollo Social oct. 2009

31 Retos del sistema M&E mexicano  Gestión del cambio: muchas reformas administrativas en poco tiempo generó mucha confusión e incluso frustración. Aumento de cargas de trabajo, escasa percepción de beneficios generaron resistencias  Se deben mejora los incentivos para los operadores del sistema M&E y fortalecer sus capacidades técnicas. El papel del Coneval es importantísimo en este último aspecto Castro, M. F., López-Acevedo, G., Beker Busjeet, G., y Fernández Ordoñez, X. (2009). El Sistema M&E en México: Un Salto del nivel Sectorial al Nacional (Serie Documentos de trabajo DCE - IEG No. 20). New York: Banco Mundial.

32 Retos del sistema M&E mexicano  Desarrollo de capacidades de evaluación: el entrenamiento y formación ofrecidos por el Coneval y la SHCP han sido determinantes para la consolidación de la difusión de las reformas, pero no debe ser anecdótica sino sostenidas en el tiempo e incluso planificadas. La existencia de más programas qué evaluar demanda la existencia de más evaluadores y operadores del sistema que sean capaces de cubrir los estandares definidos por el tripartito. Castro, M. F., López-Acevedo, G., Beker Busjeet, G., y Fernández Ordoñez, X. (2009). El Sistema M&E en México: Un Salto del nivel Sectorial al Nacional (Serie Documentos de trabajo DCE - IEG No. 20). New York: Banco Mundial.

33 Retos del sistema M&E mexicano  Coordinación interinstitucional: el nuevo régimen de gobernanza ha propiciado nuevas interacciones entre órganos técnicos y políticos, entre las dependencias y el Congreso y las entidades de control  Los lineamientos impusieron funciones a las unidades de evaluación que excedían en algunos casos sus competencias, lo cual precisaba la coordinación entre unidades de las dependencias  Otro reto está tal vez en el desarrollo de sistemas M&E sectoriales Castro, M. F., López-Acevedo, G., Beker Busjeet, G., y Fernández Ordoñez, X. (2009). El Sistema M&E en México: Un Salto del nivel Sectorial al Nacional (Serie Documentos de trabajo DCE - IEG No. 20). New York: Banco Mundial.

34 Retos del sistema M&E mexicano  Fortalecimiento de la función de la planificación estratégica: La armonización imperativa de la planificación con el proceso presupuestario.  Al nivel nacional y sectorial, ambas funciones siguen llevándose a cabo con unidades separadas, cuya coordinación es difícil, dado entre otras cosas su no coincidencia en calendario. Otra cuestión sería la de realizar las evaluaciones a los planes (actualmente el diseño de sistema M&E se enfoca a los programas). Este esfuerzo mejoraría la orientación de la planeación hacia los resultados de la gestión más que a los procedimientos Castro, M. F., López-Acevedo, G., Beker Busjeet, G., y Fernández Ordoñez, X. (2009). El Sistema M&E en México: Un Salto del nivel Sectorial al Nacional (Serie Documentos de trabajo DCE - IEG No. 20). New York: Banco Mundial.

35 Retos del sistema M&E mexicano  Fortalecimiento de la función de monitoreo: Se debe robustecer la función del monitoreo, bien planificada. Como ya se sabe el monitoreo genera información en el corto plazo, da énfasis a los productos y resultados intermedios. Aunque distintas son actividades complementarias.  Robustecer los sistemas de monitoreo permitiría anticipar aspectos clave del desempeño, la colección de datos es más barata que en las evaluaciones, y su toma sistemática permite la realización de evaluaciones más extensas.  El SED deberá cubrir este vacío y la colaboración del tripartito CONEVAL, SHCP y SFP es primordial Castro, M. F., López-Acevedo, G., Beker Busjeet, G., y Fernández Ordoñez, X. (2009). El Sistema M&E en México: Un Salto del nivel Sectorial al Nacional (Serie Documentos de trabajo DCE - IEG No. 20). New York: Banco Mundial.

36 Retos del sistema M&E mexicano  Fortalecimiento de la calidad de la información del desempeño: La generación y administración de información es parte fundamental del sistema M&E. Sin una información de calidad, todos los esfuerzos de monitoreo y evaluación del sistema M&E podrían verse seriamente amenazados.  En algunos casos la información de resultados da más énfasis a los datos financieros y administrativos, en otros los beneficiarios están inadecuadamente identificados. En otros casos, las bases de datos no están armonizadas, hay variables similares identificadas con nombres diferentes, hay una escasa o nula interconexión y no están accesibles a los usuarios. Castro, M. F., López-Acevedo, G., Beker Busjeet, G., y Fernández Ordoñez, X. (2009). El Sistema M&E en México: Un Salto del nivel Sectorial al Nacional (Serie Documentos de trabajo DCE - IEG No. 20). New York: Banco Mundial.

37 Muchas gracias por su atención