1 Implementación y evaluación de proyectosEuropean curricula for economic animator in the enlarging Europe Programa europeo de capacitación de agentes facilitadores de Desarrollo e innovación regional

2 Sumario Objetivos del Curso La evaluación de la intervención públicaJustificación de la evaluación Antecedentes de la evaluación Objetivos: usos y finalidad Tipos de evaluación Fases de la evaluación Componentes de la evaluación Caso Práctico: Knowledge Cafe

3 Objetivos del curso El curso aborda aspectos relacionados con el seguimiento de políticas y programas públicos, tales como los diversos momentos en el proceso de valoración, justificación y control y donde se asignará especial relevancia a la aplicación de un marco de evaluación. De acuerdo a esto último, se profundizará en la evaluación de políticas y programas públicos, así como también en las herramientas para dicha valoración de la intervención pública

4 Justificación de la evaluaciónEn la ayuda al desarrollo socioeconómico de las distintas regiones en los Estados Miembros de la Unión, las medidas políticas y económicas aplicadas se caracterizan por la diversidad en sus objetivos y conciencia de necesidades, la concentración, e incluso en ocasiones, contradicción en los esfuerzos asignados y la diferente percepción de las oportunidades, dificultades y soluciones existentes en el ámbito de apoyo público. En los últimos años hemos presenciado una preocupación creciente por la evaluación de las intervenciones públicas que surge, por un lado, de la necesidad de determinar los resultados obtenidos en relación al alcance de los objetivos previstos y recursos aplicados y, por otro lado y aun a riesgo de equivocarnos, de lo que denominamos la legitimidad última de la acción de los poderes públicos, que se basa en dar una respuesta satisfactoria a las demandas sociales.

5 Justificación de la evaluaciónCada vez más, las directrices emanadas de la UE abogan por la utilización sistemática de la evaluación en las diferentes iniciativas regionales que se están llevando a cabo, así como de cada uno de los programas y líneas de actuación asumidas. Sin embargo, el objetivo último de la Comisión no responde únicamente a un simple control, sino que pretende obtener un efecto multiplicador de las metodologías de buenas prácticas, que obtenidas como conclusiones de las evaluaciones realizadas, sirvan para optimizar la efectividad, la racionalidad y el dinamismo del uso de los recursos disponibles y de los medios existentes para las políticas comunitarias apoyo al desarrollo socio-económico.

6 Justificación de la evaluaciónPor ello, la evaluación no debe estar exclusivamente dirigida a establecer juicios a posteriori con objeto de responder a las demandas de las organizaciones donantes o sociedad en general, sino que es una herramienta de uso habitual que resulta indispensable a la hora de formular las acciones y proceder a su ejecución.

7 Justificación de la evaluaciónEs decir, la evaluación no debe limitarse exclusivamente a otorgar mayor transparencia y legitimidad a la gestión pública o a incrementar el control sobre los escasos recursos públicos. El principal desafío que afrontan los entes públicos desde un reconocimiento general, obedece a la necesidad de disponer de información que resulte de utilidad en la asignación de recursos a programas y beneficiarios y de utilidad para valorar su gestión sobre la base de datos cuantitativos y cualitativos. Es decir, sistemas de información, no exclusivamente financieros, que permitan visualizar y analizar las actividades realizadas, el desarrollo de los programas, sus obstáculos e interrelaciones entre las distintas políticas o ayudas y la suma de impactos... Todo ello con el fin de facilitar la gestión interna de las operaciones y permitir valorar y planificar la asignación de recursos, racionalizando la gestión pública.

8 Antecedentes de la evaluaciónPrimera etapa: De los inicios a los años 60 La evaluación nace en EEUU, hacia los años 30, en forma de investigación sobre programas de educación e infraestructuras, si bien, la mayor profusión de estudios se produce en los primeros años 60. El experimentalismo era el enfoque metodológico predominante y la evaluación era sinónimo de medición y cuantificación de resultados de la gestión pública y se concebía al servicio de los gestores. Segunda etapa: De los años 60 a los años 70  La evaluación se convierte fundamentalmente en una herramienta descriptiva de los programas públicos para la resolución de los problemas sociales, en tanto que instrumento político para la reconsideración de políticas y presupuestos. El enfoque dominante respondía a una evaluación de carácter interno a la propia Administración y a los gobiernos.

9 Antecedentes de la evaluaciónTercera etapa: los años 80 La evaluación se centra no sólo en los objetivos, sino también en los impactos sociales producidos tras la intervención pública. En Europa, la profundización en la gestión y control de los Fondos Estructurales, propició el impulso de los sistemas de evaluación, extendiéndose al conjunto de la sociedad civil, organizaciones no gubernamentales, etc. En la actualidad, la UE acomete la evaluación desde las más diversas perspectivas académicas y profesionales, institucionalizándose, en mayor medida, en los países del norte de Europa. Cuarta etapa: los años 90  Se producen corrientes favorables a la evaluación en la mayoría de los países de la UE, surgen Institutos o Sociedades de evaluación y se desarrolla desde hace más de una década un amplio movimiento de conocimiento y experiencias que, inserto en la nueva sociedad del conocimiento, se dinamiza a través de redes de intercambio.

10 Objetivos de la evaluación: uso y finalidadPrincipales propósitos de la evaluación Marcos metodológicos Planificación y eficiencia: Asegurar que hay una justificación para la política/programa evaluado y que los recursos son eficientemente asignados y utilizados Responde a las necesidades informativas de planificadores y decisores políticos Enfoque basado en el análisis de la asignación de recursos Análisis de la eficiencia en la aplicación de los recursos, en términos de su planificación y uso Rendición de cuentas (accountability): Demostrar hasta que punto el programa ha conseguido sus objetivos y cómo se han usado los recursos de una manera eficaz. Responde a las necesidades informativas de decisores político, organismos financiadores del programa y parlamentos. Enfoque basado en la verificación de unos estándares o metas Juzgar el éxito y la eficacia mediante la verificación de criterios. Aplicación: Mejorar la aplicación y ejecución del programa y la eficacia de sus mecanismos de actuación Responde a las necesidades de los gestores del programa y a sus socios. Enfoque formativo orientado hacia la mejora y el cambio Generar conclusiones que sean de utilidad para mejorar el programa durante su aplicación y funcionamiento. Producción de conocimiento: Aumentar nuestra comprensión sobre qué programas funcionan, como operan en la realidad y en qué circunstancias para poder llegar a conclusiones sobre la efectividad de diferentes formas de actuación Responde a las necesidades de planificadores Enfoque basado en la comprensión /explicación Investigar los impactos del programa y su éxito e identificar mecanismos causales sobre qué funciona, cuándo y cómo. Fortalecimiento industrial: Mejorar y desarrollar la capacidad de los participantes en el programa de actuar sobre su entrono y de sus redes e instituciones Responde a las necesidades de los socios y otros implicados Enfoque participativo Desarrollar redes, comunidades y territorios desde una perspectiva constructivista (de abajo-arriba) y con métodos participativos.

11 Objetivos de la evaluación: TiposEn cuanto a los evaluadores: Evaluación interna Evaluación externa Evaluación mixta En función de los Contenidos: Evaluación de necesidades Evaluación de conceptualización o diseño de la política o programa Evaluación de evaluabilidad Evaluación de implementación. Evaluación de resultados Evaluación de Impacto Evaluación económica. En función de la perspectiva temporal: Evaluación ex ante Evaluación intermedia Evaluación ex post En función del paradigma: Evaluación clásica, racionalista, positivista, experimentalista centrada en los objetivos. Evaluación pluralista, participativa, constructivista En función del campo al que dirija su acción: Evaluación estratégica Evaluación operativa En función del método de investigación: Evaluación descriptiva Evaluación analítica Evaluación integral En función del propósito: Evaluación formativa Evaluación recapitulativa, conclusiva o de resultados

12 Fases de la evaluación Evaluación previa Evaluación intermedia Evaluación expost o final

13 Fases de la evaluación Evaluación previa: Evaluación intermediaSe plantea como un instrumento base para la preparación de los planes y las intervenciones. Analizará las capacidades, deficiencias y potencialidades del organismo beneficiario/ usuario de la política/ programa, valorándose la coherencia de la estrategia y de los objetivos seleccionados con las características/problemática o particularidades de las zonas beneficiarias, así como el impacto esperado de las acciones prioritarias previstas, cuantificando, si sus características lo permiten, sus objetivos específicos en relación con la situación inicial Evaluación intermedia Evaluación expost o final

14 Fases de la evaluación Evaluación previa Evaluación intermedia:Con relación a la evaluación intermedia, ésta analizará los primeros resultados de las intervenciones, su pertinencia y la realización de los objetivos tanto en términos financieros como en el desarrollo material de las intervenciones, debiendo ser efectuada por evaluadores independientes. Evaluación expost o final: Con relación a la evaluación final, ésta tendrá por objeto valorar la utilización de los recursos, la eficacia y la eficiencia de las intervenciones y su impacto, centrándose en los factores de éxito o de fracaso así como deducir conclusiones para la política de intervención en cuestión, debiendo ser efectuada por evaluadores independientes.

15 Componentes de la evaluaciónLa OCDE, Organización de Cooperación y Desarrollo Económicos, ha adoptado la siguiente definición del concepto de evaluación: “La evaluación es una función que consiste en hacer una apreciación, tan sistemática y objetiva como sea posible, sobre un proyecto en curso o acabado, un programa o un conjunto de líneas de acción, su concepción su realización y sus resultados. Se trata de determinar la pertinencia de los objetivos y su grado de realización, la eficiencia en cuanto al desarrollo, la eficacia, el impacto y la viabilidad. Una evaluación debe proporcionar informaciones creíbles y útiles, que permitan integrar las enseñanzas sacadas en los mecanismos de toma de decisiones, tanto en los países de acogida como en los donantes” (1995)

16 Componentes de la evaluaciónDesde esta perspectiva, la evaluación se centra en cinco componentes generales o criterios que representan los puntos más importantes a tener en cuenta: Eficiencia: Se entiende que es la medida de los resultados del proyecto- cuantitativos y cualitativos- en relación con los insumos y los recursos totales, en otras palabras, cómo los insumos se convierten en resultados desde el punto de vista económico. Eficacia: Es una medida para comprobar si se ha alcanzado el objetivo específico del proyecto, o qué probabilidad hay de que se alcance en el futuro en base a las acciones realizadas bajo el proyecto. La cuestión es en qué medida los resultados han contribuido a alcanzar el objetivo específico perseguido.

17 Componentes de la evaluaciónImpacto: Son las consecuencias previstas y no previstas del proyecto para la sociedad, tanto positivas como negativas. El análisis en este caso debe tomar como punto de partida el objetivo general y el objetivo específico del proyecto pero va mucho más allá de averiguar simplemente si éstos se han alcanzado. Pertinencia: Nos referimos a un análisis general acerca de si el proyecto se ajusta tanto al objetivo global, como a la política del donante y el receptor y a las necesidades y prioridades locales. Viabilidad: Es un análisis del conjunto sobre en qué medida los cambios positivos logrados como consecuencia del proyecto se mantienen después de que éste ha finalizado.

18 Componentes de la evaluación

19 Componentes de la evaluaciónPertinencia Insumos Producto Objetivo Especifico Objetivo Superior La pertinencia es un tema de vital importancia, que se encarga de conocer si la razón de ser de un proyecto está de acuerdo con las prioridades de la comunidad local, la sociedad en cuestión y del país u organización donante. La pertinencia se preocupa de si la razón de ser de un proyecto está de acuerdo con las prioridades de la comunidad local y la sociedad en cuestión. La pertinencia es básicamente una cuestión de utilidad que a nivel superior se refiere a la relación entre el proyecto y la política y los efectos del área receptora, así como de si el proyecto está de acuerdo con las prioridades del la organización donante.

20 Componentes de la evaluaciónEficacia El criterio de la eficacia es una medida para comprobar si se han alcanzado los objetivos específicos del proyecto, o qué probabilidades existen de que se alcancen. Este concepto también ofrece alguna información acerca del contenido del proyecto y de si éste contribuye al desarrollo en la dirección esperada. Insumos Producto Objetivo Especifico Objetivo Superior El análisis de la eficacia presupone que el objetivo específico del proyecto ha sido definido de modo inequívoco y con un carácter operacional, a fin de hacer posible su verificación. Se deberá prestar atención a las causas que están detrás de la eficacia o de la ausencia de la misma, especialmente al grado en el que se han alcanzado los resultados esperados, y si éstos son suficientes o ha sido necesario realizar cambios en el diseño del proyecto para asegurar la eficacia en un marco temporal establecido. Igualmente, bajo este criterio, se analizará los factores externos que ejercen también una influencia sobre las posibilidades de éxito del proyecto.

21 Componentes de la evaluaciónEficiencia Insumos Producto Objetivo Especifico Objetivo Superior La eficiencia es una medida de la productividad del proceso de ejecución, es decir, hasta que punto los resultados alcanzados derivan de una utilización eficiente de los recursos financieros, humanos y materiales. En principio, esto significa comparar los insumos con los resultados. La dificultad principal a la hora de medir la eficiencia radica en determinar un valor de referencia. Esto dependerá del tipo de proyecto, de las circunstancias locales y de otros factores.

22 Componentes de la evaluaciónImpacto La eficacia es un criterio de evaluación restringido, dado que el objetivo específico del proyecto indica únicamente los efectos positivos correspondientes a las partes implicadas. Por contraste, el concepto de impacto es más amplio, al incluir tanto las consecuencias negativas como las positivas, hayan sido o no previstas. Insumos Producto Objetivo Especifico Objetivo Superior En la evaluación es esencial un amplio análisis de los impactos de un proyecto. A menudo ésta será la parte más difícil y absorbente del trabajo de evaluación. El impacto total es resultado de condiciones causales y complejas cuyo análisis puede resultar dificultoso. A la hora de analizar los impactos, tomaremos como punto de partida el objetivo general del proyecto en la forma en que fue definido, así como el grado de eficacia alcanzado. Se tratará de atender a efectos, a corto y largo plazo, económicos, sociales, políticos, técnicos o ambientales.

23 Componentes de la evaluaciónEl análisis de la viabilidad de un proyecto implica algo más que simplemente preguntar si él mismo ha logrado contribuir a los objetivos marcados; es también importante preguntar si es probable que la iniciativa continúe después que la ayuda externa haya finalizado y si la metodología empleada para el desarrollo de esta iniciativa puede ser transferible a otras localidades. Viabilidad Insumos Producto Objetivo Especifico Objetivo Superior En este sentido, los criterios descritos anteriormente se preocupan en principio específicamente por el proyecto, mientras que el análisis de viabilidad del proyecto es más una cuestión del proceso de desarrollo en sí mismo, en una perspectiva de más largo plazo. Así, la viabilidad es en muchos sentidos una prueba de mayor nivel acerca de si el proyecto ha sido o no exitoso.

24 Knowledge cafe