1 EL ENFOQUE DE EVALUACIÓN DE LAS POLÍTICAS PÚBLICAS DE LA AGENCIA ESPAÑOLA DE EVALUACIÓN ENAP Uruguay Montevideo Noviembre, 2009 Marisa Merino Evaluadora Especializada [email protected]

2 Precisión previa: La evaluación como actividad específica  La evaluación es una actividad específica y con identidad propia, claramente diferenciada de otras como el control interno, la auditoría financiera, la auditoría de gestión o el control presupuestario, pero con las cuales mantiene una estrecha relación de complementariedad.

3 Evolución de los Sistemas de control y evaluación en los estados Estado liberal: Control de legalidad Cumplimiento de la legalidad Procedimiento administrativo Evitar conflictos jurisdiccionales Estado Social Ampliación del ámbito de las intervenciones públicas: Garantía de ejercicio de derechos, Resolución de demandas y necesidades sociales Uso eficaz y eficiente recursos Adecuación recursos-resultados Cumplimiento de objetivos + Revisión Aprendizaje formalización Evaluación Economía Eficacia Eficiencia Calidad Impacto Percepción ciudadana

4 Control y evaluación de las intervenciones publicas en España: Antecedentes (1)  Preeminencia de las actividades relacionadas con el gasto público: auditorias del gasto programación, seguimiento y ejecución presupuestarios seguimiento y control económico-financiero. Control financiero: Seguimiento presupuestario Auditorias operativas Fiscalización cuentas y gestión económica del sector público Impulso y coordinación evaluación políticas de gasto

5 Control y evaluación de las intervenciones publicas en España: Antecedentes INECAL Calidad de la Gestión Pública Evaluación de Políticas Públicas Impacto Regulatorio Inspección General de Servicios AEVAL

6 La evaluación de las intervenciones publicas en España: Diagnóstico de situación (Informe Comisión expertos ) Dispersión conceptual Organizaciones heterogéneas Dispersión Desestructuración = +  Escasa utilización de la evaluación como instrumento de aprendizaje y mejora.  Falta de visibilidad para la ciudadanía.  La evaluación NO se concibe como un instrumento para la rendición de Cuenta(s )  NO se mide la percepción ciudadana luego se desconoce el grado de legitimación social de las diferentes intervenciones públicas. =

7 La evaluación de las intervenciones publicas en España: Diagnóstico de situación Déficit notable del “enfoque evaluación” Problemas detectados a resolver con la intervención Objetivos a conseguir Resultados alcanzados Distribución de los efectos Impactos Recursos empleados Procedimientos y razón de su elección Percepción ciudadana de la intervención

8  Se constituye una Comisión de Expertos para analizar la situación y valorar la oportunidad de crear una Agencia de Evaluación, su posible organización y sus funciones.  Comienza a operar el 1 de enero de 2007. Es el primero de los organismos regulados en la Ley 28/2006, de 18 de julio, de Agencias estatales para la mejora de los servicios públicos.  Conforma un nuevo modelo de gestión pública, caracterizado por mayores niveles de autonomía y de responsabilización por resultados.  Está en línea con los principios de Gobernanza de la Unión Europea: responsabilidad, eficacia, participación, apertura y coherencia. La Agencia Estatal de Evaluación de las Políticas Públicas y la Calidad de los Servicios

9 CREACIÓN DE LA AEVAL www.aeval.es Agencia de Evaluación de las Políticas Públicas y la Calidad de los Servicios www.aeval.es Agencia de Evaluación de las Políticas Públicas y la Calidad de los Servicios

10 El Consejo de Ministros, de 1 diciembre de 2006, aprueba el Real Decreto por el que se crea la Agencia Estatal de Evaluación de las Políticas Públicas y la Calidad de los Servicios. Compromiso fundamental del Ejecutivo para la modernización de la Administración. Primera Agencia Estatal que se constituye para promover la cultura y la práctica de la evaluación. Compromiso con la Modernización, la Eficacia administrativa y la responsabilidad política

11 ¿Por qué la AEVAL? La Agencia de Evaluación contribuirá a: Mejorar los servicios públicos y conocer los Efectos en la sociedad de las políticas y programas. Promover una mayor racionalidad del gasto público. Favorecer la competitividad y la productividad de la economía española. Aumentar la rendición de cuentas respecto a los ciudadanos y la calidad democrática.

12 Marco normativo AEVAL  La Disposición Adicional primera de la Ley de Agencias Estatales, de 18 de julio de 2005, autoriza la creación de la Agencia Estatal de Evaluación de las Políticas Públicas y la Calidad de los Servicios.  Real Decreto de 1418/2006, de 1 de diciembre, aprueba el Estatuto de la Agencia Estatal de Evaluación de las Políticas Públicas y Calidad de los Servicios.  Marco General para la Mejora de la Calidad, establecido en el Real Decreto 951/2005, de 29 de julio, integra una serie de programas para la mejora los servicios públicos.  Real Decreto de Impacto Normativo (pendiente aprobación).

13 Naturaleza La Agencia de Evaluación de las Políticas Públicas y Calidad de los Servicios es un organismo público de los regulados por la Ley 28/2006, de 18 de julio. Tiene personalidad jurídica pública diferenciada, patrimonio y tesorería propios y autonomía de gestión y funcional dentro de los límites establecidos por la Ley de Agencias y su propio Estatuto. Fue adscrita al Ministerio de Administraciones Públicas a través de su titular y tras la remodelación de 2008 pasó al Ministerio de la Presidencia

14 Sintonía con los principios de Gobernanza europeos Principio de Participación : Reforzar y hacer más efectiva la intervención de los ciudadanos Principio de Responsabilidad : Clarificar los papeles y rendir cuentas Principio de Eficacia : Definir objetivos claros y evaluar los resultados

15 MISIÓN La promoción y realización de evaluaciones y análisis de impacto de las políticas y programas públicos, así como el impulso de la gestión de la calidad de los servicios, favoreciendo el uso racional de los recursos y la rendición de cuentas a la ciudadanía. VISIÓN Convertirse en una institución de referencia nacional e internacional en las actividades relacionadas con la evaluación de las políticas y la calidad de los servicios públicos

16 Objetivos y Líneas de actuación de la AEVAL Evaluación  Difusión de la cultura de evaluación.  Evaluaciones de políticas y programas.  Análisis del impacto normativo.  Elaboración de metodologías, sistemas de información e indicadores. Calidad  Promoción de la cultura de calidad institucional.  Evaluaciones de servicios públicos y de la actividad de las Agencias Estatales.  Observatorio de la Calidad de los Servicios.  Directrices Metodológicas, difusión de buenas prácticas y certificaciones de calidad.

17 Papel que concede la AEVAL a la generación de cultura evaluadora Real Decreto 1418/2006, de 1 de diciembre, por el que se aprueba el Estatuto de la Agencia Estatal de Evaluación de las Políticas Públicas y la Calidad de los servicios : CAPÍTULO II Artículo 6 La Agencia Estatal de Evaluación de las Políticas Públicas y la Calidad de los Servicios tiene los siguientes objetivos:  Apartado 1. a): Promover la cultura de evaluación y de calidad de los servicios e impulsar su práctica en la gestión pública

18 Marco contractual y de actuación El modelo Agencia constituye una fórmula organizativa dotada de mayor nivel de autonomía y flexibilidad en la gestión, al tiempo que refuerza los mecanismos de control y eficacia, basados en una cultura de responsabilización por resultados. El Contrato de Gestión, de vigencia cuatrienal, es el instrumento regulador de la actividad de la Agencia y de las relaciones recíprocas entre la misma y la Administración General del Estado. Se aprueba por Orden conjunta de los Ministerios de Administraciones Públicas y Economía. Anualmente el Consejo Rector de la Agencia aprueba el Plan de Acción, que incluye el Plan de Trabajo determinado por el Consejo de Ministros.

19 Compromisos de origen Evaluación de los programas y políticas públicas que anualmente le encargue el Consejo de Ministros. Evaluación anual del grado de aplicación y de éxito de las principales medidas del Programa Nacional de Reformas. Informe Anual al Congreso de los Diputados acerca de la actividad desplegada por las Agencias Estatales y sus compromisos para mejorar la calidad de los servicios prestados a los ciudadanos. Informe Anual del Observatorio de la Calidad de los Servicios Públicos

20 Política sanitaria MANDATOS/ENCARGOS AEVAL 2007/2009 Incidencia de las medidas adoptadas para la racionalización del gasto farmacéutico (2007) Política de seguridad Plan Estratégico de Seguridad Vial 2005-2008 (2009) Políticas medioambientales Registro Nacional de GEI (2007) Acciones financiadas por los PGE en AISEs PPNN (2008) Gestión y funcionamiento de las CCHH (2009) Política I+D+iIngenio 2010 (2007) Política de Mejora del sistema de transferencia de tecnología a las empresas (2008) Plan Nacional de transición a la TDT (2009) Políticas de empleo (PAMT) Bonificaciones en Ceuta y Melilla (2007) Política de bonificaciones (2008: 4 colectivos) Política de bonificaciones (2009: discapacitados) Política educativaDoble evaluación del Sistema de Becas Educativas (2008) Política de modernización AAPP Trámites administrativos para la creación de empresas (2007) Calidad del servicio prestado por los Museos Estatales (2007)

21 Políticas Protección Social Participación de la AGE en el SAAD (2008) Medidas de racionalización y mejora de la IT (2009) Política de fomento empresarial Líneas de financiación para el fomento de la actividad emprendedora (2007) Programa APEX (2009) Política de Cooperación Programas de Formación de la Cooperación Española (2009) Política de Inmigración Evaluación Intermedia del PECI (2009) Otros Efectividad de las políticas en materia de seguridad energética (2007) Sistema de gestión colectiva de los DPI: dos evaluaciones en 2008 y 2009

22 23 evaluaciones entre 2007 y 2009 Resultados encargos AEVAL 2007-2009

23 Definición evaluación adoptada por AEVAL  Se entiende por evaluación un proceso integral de observación, medida e interpretación encaminado al conocimiento de una intervención pública, norma, programa, plan o política que permita alcanzar un juicio valorativo basado en evidencias respecto a su diseño, puesta en práctica y efectos ( resultados e impactos).  La finalidad de la evaluación es ser útil a los decisores y gestores públicos, así como a la ciudadanía.

24 Enfoque AEVAL: “políticas públicas” Abordaje AEVAL: perspectiva integral, tanto al evaluar el ciclo completo de intervención como en los niveles de gobierno que evalúa: integrando estrategia y operativa - Concepción y Formulación de las políticas públicas - Despliegue a través de instrumentos operativos Sistema problemas-actores Legitimación Sistema objetivos-medios Funcionalidad Relación políticas principios de buen gobierno Buena administración y gestión Dificultad: dar respuesta a las necesidades de información en los dos niveles complejidad transversalidad multidimensionalidad

25 Concepciones distintas (aunque complementarias) de la gestión pública  El acento puesto sobre las políticas evidencia que el debate público se preocupa más de la puesta en escena de los problemas, de los actores y de los valores que los animan que de las condiciones concretas de la acción. BINOMIOS DISTINTOS POLÍTICAS PROGRAMAS Actores/Problemas Calidad democrática Objetivos/Medios Calidad técnica Perspectiva “políticas públicas”

26 La evaluación como función del Estado y como proceso institucional 2.ESTRATEGIA ESPAÑOLA DESARROLLO SOSTENIBLE 1.PROGRAMA NACIONAL DE REFORMAS PNR 3.Aprobación PLAN DE TRABAJO ANUAL AEVAL OFICINA ECONÓMICA DEL PRESIDENTE MINISTERIOS GESTORES (NIVEL POLÍTICO ) CONSEJO RECTOR CONSEJO DE MINISTROS Proceso preparatorio Selección de PROPUESTAS BORRADOR DE PROPUESTAS Proceso decisorio

27 Abordaje desde una perspectiva integral: todo el ciclo de vida de la intervención Los resultados de las intervenciones no son independientes de su diseño e implementación PROBLEMAS NECESIDADES OBJETIVOS INSTRUMENTOS IMPLEMENTACIÓN RESULTADOS INTERMEDIOS RESULTADOS FINALES IMPACTOS DESTINATARIOS INTERVENCIÓN PÚBLICA SOCIEDA D Ev. DIAGNÓSTICO DISEÑO Ev. IMPLEMENTACIÓN Ev. RESULTADOS Ev. IMPACTO Ev Ex anteEv IntermediaEv Ex post PLANIFICACIÓNIMPLEMENTACIÓNRESULTADOSIMPACTO EV. IMPACTO NORMATIVO

28 Lo que tradicionalmente ha ocurrido en las intervenciones evaluadoras

29 Particularidad de las evaluaciones de la Agencia. PREGUNTAS DE EVALUACIÓN 1. SUBPREGUNTAS 1.1 1.2. 1.3 CRITERIOS PERTINENCIA COHERENCIA EQUIDAD COHESIÓN PPOS DE BUEN BOBIERNO ALINEAMIENTO ESTRATEGIAS INTERNACIONALES…. PARTICIPACIÓN COOPERACIÓN COORDINACIÓN ……. INDICADORES OPERATIVIZAR LAS PREGUNTAS FUENTES ESTADÍSTICAS ENCUESTAS ENTREVISTAS FUENTES DOCUMENTALES ESTRATEGIA EVALUADORA MATRIZ DE EVALUACIÓN Nivel estratégico Nivel operativo PREGUNTAS DE EVALUACIÓN 1. SUBPREGUNTAS 1.1 1.2. 1.3 CRITERIOS PERTINENCIA COHERENCIA COMPLEMENTARIEDAD IMPLEMENTACIÓN EFICACIA EFICIENCIA SOSTENIBILIDAD… INDICADORES OPERATIVIZAR LAS PREGUNTAS FUENTES ESTADÍSTICAS ENCUESTAS ENTREVISTAS FUENTES DOCUMENTALES

30 No hay recetas. Cada objeto de estudio deberá tener en cuenta las demandas de quien contrata la evaluacion, las necesidades de los decisores, las exigencias de los niveles de gobierno implicados, las necesidades de los técnicos y los beneficiaros de las intervenciones pública, así como la visión del evaluador (equipo) ante el problema y su experiencia –preferencia- en el uso de determinadas técnicas (triangulación) Hay que responder con diseños flexibles para dar la respuesta adecuada a un determinado contexto. El abordaje evaluativo tiene un eje crítico en el método, pero no es sólo una cuestión de método y menos aún de herramientas. Abordaje y diseños flexibles

31 Cuestión central: el rigor metodológico. La evaluación debe proporcionar mayor conocimiento sobre la intervención y sobre el problema y su evolución que dio origen a la misma, aportando las recomendaciones adecuadas para su resolución o mejora. El cómo, en evaluación, no está ligado tanto al control como al conocimiento de la intervención que se examina. ¿Cómo logramos saber más y de qué modo incorporarlo? La evaluación fundamenta sus juicios en el análisis e intrepretación de un conjunto sistemático de datos, los cuales no existen ni surgen de forma espontánea, sino a través de proceso de producción de conocimiento que debe ser riguroso para que lo que se obtenga tenga la mayor consideración de “científico”. Y ese proceso debe transparentarse en el informe. Transparentar el proceso

32 Rigor: 1) Respecto a las dimensiones del estudio y los grandes aspectos a considerar. Primera etapa de análisis del encargo. 2) Al definir las variables y los indicadores correspondientes, así como al seleccionar las fuentes de información: etapa de Diseño 3) En el momento de Implementar la evaluación: Implementación 4) Al seleccionar los datos que se consideran relevantes con las técnicas e instrumentos adecuados: Selección 4) En la aplicación de las técnicas, en la recogida y en el procesamiento de los datos. Implementación 5) Al analizar e interpretar los datos: Análisis. 6) En la transposición al informe del proceso seguido y de los resultados encontrados. Redacción del Informe 7) Al ligar las recomendaciones a las conclusiones. Exigencia de rigor en todas las fases del proceso

33 Muchas gracias