1 Racionalidad y política en el análisis y la gestión del cambio en las políticas públicas Curso Métodos de Análisis, Diseño y Evaluación de Políticas públicas que generan Innovación. ESAP · EIAPP-CLAD · DNP Bogotá, 23-27 Agosto 2010 César Nicandro Cruz [email protected]

2 1. Nociones generales (40 min. aprox.)

3 Esquema de exposición  Análisis de políticas públicas –monitoreo y evaluación  Herramientas M&E para demostrar resultados y rendir cuentas – implementación de un sistema M&E  Estudio de caso: - Coneval México  Cambio político y gestión del cambio

4 Análisis de políticas públicas  Es una disciplina social aplicada que usa una gran variedad de métodos de investigación, en contextos de argumentación y debate públicos, para crear, evaluar críticamente y comunicar conocimiento útil sobre la política pública El análisis de políticas es una actividad centrada producción y transformación de información relevante en conocimiento útil para la toma de decisiones y el debate público. Permite mejorar nuestro conocimiento sobre los problemas públicos y mejorar el proceso de toma de decisiones.

5 Análisis de políticas públicas  El análisis de políticas no es una actividad neutral, pues se centra en valores. Las opciones de políticas públicas implican el escoger entre valores (muchas veces) en competencia: salud, bienestar, seguridad, paz, justicia, igualdad, libertad, etc. Juzgar o priorizar entre valores no es una cuestión que resuelva por sí misma la técnica, sino que requiere razonamientos morales (ética aplicada).

6 Análisis de políticas públicas  El análisis de políticas sí puede ser una actividad objetiva, dadas sus metodologías, métodos y técnicas de análisis. El desarrollo de este subcampo de estudios, en sus metodologías y técnicas ha sido vertiginoso. Tal vez como nunca el análisis de políticas cuenta con fundamentos teóricos, metodológicos y técnicos integrados en un campo multidisciplinario.

7 Tres enfoques del análisis de políticas públicas Una disciplina social aplicada EnfoquePregunta fundamentalTipo de información Empírico¿Existe o existirá? (hechos)Descriptiva y predictiva Valorativo¿Vale la pena que exista? (valores)Valorativa Normativo¿Qué debe hacerse? (acciones)Prescriptiva La producción de información relevante, ya sea descriptiva, predictiva, o prescriptiva en carácter, se obtiene mediante los procedimientos analíticos llamados monitoreo, previsión (forecasting), evaluación, recomendación y estructuración del problema. Dentro del análisis de políticas, el procedimiento más complejo (e importante) es este último. Dunn, W. N. Public Policy Analysis: An Introduction (2nd. ed.). New Jersey: Prentice Hall. (1994)

8 Evaluación Monitoreo Recomendación Previsión (Forecasting) Estructuración del problema La estructuración del problema implica la definición del problema público, el establecimiento y el diagnóstico que define una causalidad, se establecen objetivos posibles y se esbozan diseños de políticas para atender el problema. Este procedimiento brinda conocimiento sobre potenciales estadios futuros o tendencias, que pueden ocurrir como consecuencia de adoptar opciones de políticas posibles, que incluyen el no hacer nada. (análisis prospectivo). Brinda conocimiento sobre los beneficios y costos de las alternativas que han sido consideradas durante la previsión (forecasting). Ayuda a escoger entre potenciales estadios futuros y a la adopción de alternativas en arreglo a valores. Este procedimiento ofrece información y conocimiento relevante acerca de las efectos de las políticas adoptadas, a fin de asistir a los elaboradores de políticas en la fase de implementación. Ayuda a medir el nivel de cumplimiento, descubren consecuencias no previstas, obstáculos de implementación. Ofrece conocimiento relevante sobre las discrepancias entre el desempeño esperado y el obtenido. El monitoreo y la evaluación están muy vinculados. La evaluación ofrece las bases para el reforzamiento de la política o la reestructuración de problemas. Dunn, W. N. Public Policy Analysis: An Introduction (2nd. ed.). New Jersey: Prentice Hall. (1994) Análisis de Políticas Públicas: Procedimientos Analíticos

9 Estructuración del problema Evaluación MonitoreoRecomendación Previsión (forecasting) Dunn, W. N. Public Policy Analysis: An Introduction (2nd. ed.). New Jersey: Prentice Hall. (1994) El análisis de políticas centrado en el problema: Procedimientos Analíticos

10 Desempeño (performance) Resultados (outcomes) Acciones de política pública Futuros Problemas El análisis de políticas centrado en el problema: Información Relevante Dunn, W. N. Public Policy Analysis: An Introduction (2nd. ed.). New Jersey: Prentice Hall. (1994)

11 Estructuración del problema Evaluación MonitoreoRecomendación Previsión (forecasting) Desempeño (performance) Resultados (outcomes) Acciones de política pública Futuros Problemas El análisis de políticas centrado en el problema Dunn, W. N. Public Policy Analysis: An Introduction (2nd. ed.). New Jersey: Prentice Hall. (1994)

12 Estructuración del problema Evaluación MonitoreoRecomendación Previsión (forecasting) Desempeño (performance) Resultados (outcomes) Acciones de política pública Futuros Problemas Las modalidades del análisis de políticas Dunn, W. N. Public Policy Analysis: An Introduction (2nd. ed.). New Jersey: Prentice Hall. (1994) Retrospectivo (ex-post)Prospectivo (ex-ante) Buscando el problema Solucionando el problema

13 La centralidad de la estructuración del problema en el análisis de políticas Disolver: implica el abandono de un problema mal estructurado antes de que exista un esfuerzo por solucionarlo. Resolucionar: el re-analisis de un problema correctamente estructurado a fin de reducir errores de calibración (E-I y E-II types) No solucionar: implica el abandono de una solución encontrada basado en una formulación no adecuada del problema (E- III) SITUACIÓN PROBLEMÁTICA Estructuración del problema PROBLEMA PÚBLICO Solucionar el problema SOLUCIÓN Re-solucionar el problema No solucionar del problema Disolver del problema Detección de (nuevos) problemas ¿Es el problema correcto? ¿Es la solución correcta? SI NO Dunn, W. N. Public Policy Analysis: An Introduction (2nd. ed.). New Jersey: Prentice Hall. (1994)

14 Los estadios futuros, la previsión y la planeación estratégica Dunn, W. N. Public Policy Analysis: An Introduction (2nd. ed.). New Jersey: Prentice Hall. (1994) PasadoPresenteFuturo Futuros Potenciales (¿qué podría ser?) Pasados Potenciales (¿qué pudo haber ocurrido?) Futuros Plausibles (¿qué será?) Pasados Plausibles (¿qué ocurrió?) Planeación EstratégicaValoraciónProspecciónEstrategia Juiciosde valorde hechoagenda estratégica futurosdeseadosrealizablesGanadores Pasados Normativos (¿qué debió pasar?) Futuros Normativos (¿qué deberá pasar?)

15 Compaginación de los procedimientos analíticos con las distintas fases del proceso de las políticas El análisis de políticas conlleva una serie de procesos intelectuales llevados a cabo dentro de procesos de actividades esencialmente políticos Desde la ciencia política, estas actividades son analizadas, teorizadas y descritas con las llamadas teorías sobre el proceso de las políticas públicas Evaluación Monitoreo Recomendación Previsión (Forecasting) Estructuración del problema CONFORMACIÓN DE LA AGENDA FORMULACIÓN ADOPCIÓN IMPLEMENTACIÓN EVALUACIÓN Dunn, W. N. Public Policy Analysis: An Introduction (2nd. ed.). New Jersey: Prentice Hall. (1994)

16 Monitoreo  Es la función continua que utiliza la recolección sistemática de datos sobre indicadores específicos, para proporcionar a los gestores y elaboradores de políticas los indicadores sobre el nivel de progreso y logro de objetivos y en la distribución de recursos. El monitoreo brinda información sobre dónde un proyecto, programa o política está en un momento dado, en relación con un objetivo o resultado dado. Zall Kusek, J., y Rist, R. C. Ten Steps to a Result-Based Monitoring and Evaluation System (Vol. 29672). Washington: The World Bank. (2004) Monitoreo

17  Es el proceso de obtención de información relevante a fin de medir cambios en las condiciones sociales de interés (tanto objetivas – v.g. indicadores de desarrollo - como subjetivas – v.g. encuestas satisfacción), entre distintos grupos objetivo y/o beneficiarios. Monitoreo Dunn, W. N. Public Policy Analysis: An Introduction (2nd. ed.). New Jersey: Prentice Hall. (1994)

18 Monitoreo: métodos de recolección de datos Monitoreo Fuente: Marchant, Tim. 2000. Africa Region presentation. World Bank. Washington D.C. referencia en Zall Kusek, J., y Rist, R. C. Ten Steps to a Result-Based Monitoring and Evaluation System (Vol. 29672). Washington: The World Bank. (2004)

19 Marco general del monitoreo In 1 In 2. In i Pr 1 Pr 2. Pr j Pd 1 Pd 2. Pd m Im 1 Im 2. Im n Pc 1 Pc 2. Pc p Ei1 Ei2. Eiq Dc 1 Dc 2. Dc r InsumosProcesosProductosImpactos Precondiciones Eventos inesperados Derramas y efectos colaterales ACCIONES CONTROLABLESRESULTADOS CONTROLABLES CAUSAS NO CONTROLABLESEFECTOS NO CONTROLABLES Dunn, W. N. Public Policy Analysis: An Introduction (2nd. ed.). New Jersey: Prentice Hall. (1994) Los HechosSus consecuencias Controlables No controlables

20 Características del monitoreo Dunn, W. N. Public Policy Analysis: An Introduction (2nd. ed.). New Jersey: Prentice Hall. (1994) Monitoreo CaracterísticasDescripción Enfocados a los resultados Analizan productos e impactos (outcomes) que son resultado tanto de variables controlables como no controlables Orientados a los fines Los resultados son monitoreados, pues se asume que su logro permiten la satisfacción de una necesidad o valor (fin) Orientados al cambio Identifican variaciones en el tiempo, cambios en los resultados en secuencias temporales, en distintos programas, proyectos o localidades en el mismo tiempo, o en ambos grupos de dimensiones. Permiten clasificaciones cruzadas Facilitan la clasificación cruzada de productos e impactos por otras variables.

21 Monitoreo basado en resultados Monitoreo Fuente: Marchant, Tim. 2000. Africa Region presentation. World Bank. Washington D.C. referencia en Zall Kusek, J., y Rist, R. C. Ten Steps to a Result-Based Monitoring and Evaluation System (Vol. 29672). Washington: The World Bank. (2004)

22 Evaluación  Se refiere a la producción de información y conocimiento de los resultados obtenidos con la política, en arreglo a algún conjunto de valores, y si tales resultados contribuyen con los fines y objetivos perseguidos. Se centra en valores: se intenta determinar la utilidad social de un programa (impacto) El monitoreo colecta los hechos, la evaluación los vincula con los fines perseguidos causalmente. Mayormente tiene un carácter retrospectivo Tiene un carácter dual, pues los valores que sustentan la evaluación se pueden referir a los medios o a los fines Evaluación

23  Es la tarea sistemática y objetiva de analizar un proyecto, programa o política en marcha o concluido (incluyendo su diseño, implementación y resultados) La finalidad es determinar la relevancia y el logro de objetivos, en la eficiencia, eficacia, impacto y sostenibilidad. Una evaluación debe proporcionar información creíble y útil, permitiendo la incorporación de lecciones aprendidas en el proceso de toma de decisiones, tanto de beneficiarios como de donantes. La evaluación brinda información sobre por qué un objetivo o resultado dado de un proyecto, programa o política ha sido o no alcanzado. Zall Kusek, J., y Rist, R. C. Ten Steps to a Result-Based Monitoring and Evaluation System (Vol. 29672). Washington: The World Bank. (2004) Evaluación

24 Evaluación: criterios Evaluación CriterioFinalidadPregunta fundamental EficaciaLogro de objetivos ¿Se logran alcanzar los objetivos establecidos en el programa o política? EficienciaSobre los recursos ¿Cuánto esfuerzo es el requerido para lograr un determinado nivel de eficacia? Relevanciade los objetivos¿Son los objetivos valorables positivamente para el público y para los grupos implicados (interesados)? Coherenciade las políticas¿En qué medida el logro de los resultados valorados como positivos resuelven el problema? EquidadDistribución de beneficios ¿Son los costos y los beneficios distribuidos equitativamente entre los distintos grupos en la sociedad? Sostenibilidadde los resultados ¿Se pueden mantener o mejorar los resultados sin dañar a otros sistemas o sin provocar perjuicios al corto y largo plazo?

25 MétodoObjetoCaracterísticas Evaluación de diseño Determinar si el programa hace un aporte relevante a la solución de un problema específico Solo utiliza información secundaria. Se realiza al año de ejecución del programa. Busca encontrar fallos en la formulación del programa, así como conocer con detalle el papel del programa dentro del concierto de programas existentes, reduciendo riesgo de duplicidades. Evaluación de procesos Determinación de eficiencia y eficacia del programa Ofrece recomendaciones sobre aspectos susceptibles de mejora. Identifica cuellos de botella. Evaluación de consistencia y resultados Ofrecer una perspectiva general de diseño, operación y resultados Evaluación rápida, orientada a dar una perspectiva general sobre el diseño, la planificación, cobertura, operación, percepción y resultados de un programa a fin de detectar fortalezas y debilidades específicas. Solo utiliza información secundaria. Está dirigida a un amplio rango de usuarios. Evaluación de impacto Medir cambios en las condiciones de bienestar de la población beneficiaria Mide aquellos cambios que pueden ser atribuibles al programa en cuestión. Ofrece evidencia sobre si un programa funciona o no, y ofrece recomendaciones sobre si el programa debe o no seguir, debe o no ser modificado Evaluación de indicadores* Medir la calidad de los indicadores Mejorar el conocimiento sobre los progresos de un programa a través de sus indicadores de desempeño. Métodos de evaluación de programas Evaluación

26 Articulación de los métodos de evaluación Diseño Evaluación de Diseño Medina Giopp, A., Beker Busjeet, G., Bravo, L., Lundwall, J., y Hernández, R. M. (2008). México: Análisis de los Lineamientos generales para la evaluación de los Programas Federales de la Administración Pública Federal (Reference Project: P101567). Washington: Banco Mundial. InsumosActividadesProductos Efectos (beneficiarios) Impacto Evaluación de ProcesosEvaluación de Indicadores Evaluación de Consistencia y ResultadosEvaluación de Impacto Evaluación

27 Muchas gracias por su atención