1 El esfuerzo empírico y sus problemas: ¿cómo medir la eficacia de la ayuda internacional? José Antonio Alonso Catedrático de Economía Aplicada Universidad Complutense www.alonsojoseantonio.com

2 Introducción 1.- La complejidad de la dinámica del desarrollo y las dificultades para el respaldo empírico (endogeneidad, relaciones no lineales, multiplicidad de causas relacionadas,… 2.- El papel de la prueba empírica: no tanto por su valor apodíctico, sino como fuente de información para construir un diálogo (siempre inconcluso) entre teoría y realidad Propósito de la exposición: – demostrar la naturaleza de ese diálogo en el caso de los estudios sobre la eficacia de la ayuda: creatividad y rigor Pertinencia: – La existencia de un debate encendido sobre la ayuda internacional y su eficacia. La necesidad de buscar soporte empírico robusto a las posiciones en conflicto

3 Estructura 1.- La evaluación de las políticas públicas (y de la ayuda internacional) 2.- Los estudios micro de eficacia de la ayuda internacional 3.- Los estudios sobre el impacto agregado de la ayuda 4.- Algunas consideraciones finales

4 1.- LA EVALUACIÓN DE LAS INTERVENCIONES PÚBLICAS

5 Razones para la evaluación 1.- Toda política pública debiera ser evaluada. La evaluación como parte del ciclo de gestión de políticas basadas en resultados (evidence-based public policy) 2.- Con mayor razón en el caso de la ayuda internacional por: – 1.- Política carente de mecanismos solventes de identificación y corrección del error – 2.- Intervenciones que se realizan fuera de las fronteras nacionales, en entornos de difícil escrutinio para los principales de la política pública – 3.- Actividad abierta al aprendizaje a partir de la experiencia

6 Principales interrogantes 1.- Efecto neto de la intervención (hipótesis solvente acerca del contrafáctico) 2.- Las relaciones de causalidad que cabe establecer entre insumos y actividades propios de la intervención y los impactos derivados de ella. 3.- Cómo se han distribuido los impactos de la distribución (cómo se distribuyen los costes y beneficios entre los actores sociales – stakeholders- implicados) Dos tradiciones diferenciadas en sus enfoques, metodologías y capacidades puestas en juego: – Evaluación micro: ¿la intervención ha tenido el impacto que se pretendía? – Evaluación macro: ¿la ayuda ha tenido en un país los efectos deseados?

7 2.-EFICACIA MICRO

8 El enfoque del marco lógico El enfoque del Marco Lógico: una secuencia ordenada de factores a considerar, de acuerdo con una cadena causal establecida – Eficiencia – Eficacia – Impacto – Pertinencia – Sostenibilidad Valoración: informes descriptivos de limitado contenido analítico

9 Evaluaciones de impacto Identificación de las relaciones de causalidad, lo que implica la construcción de un contrafáctico con capacidad de ser sometido a contraste empírico a= (Y/P=1)-(Y/P=0) Dos vías – Comparaciones intertemporales: comparaciones entre el “antes” y el “después” – Comparaciones intergrupales: comparaciones entre los “implicados” y los “no implicados” Problema esencial: cómo hacemos para que no haya problemas (sesgos) en la composición de los grupos

10 Procedimientos experimentales y quasi-experimentales 1.- Diferencia de diferencias (difference in differences): se eliminan las particularidades que se relacionan con factores estructurales o fijos propios de cada uno de estos grupos 2.- Correspondencia (matching): identificar para cada observación aquella que tenga el máximos de características semejantes a aquella (salvo por la intervención) 3.- Regresión discontinua (regression discontinuity design): aprovechar la frontera del umbral de selección para hacer comparaciones entre el grupo de tratamiento y el de control 4.- Métodos de selección aleatoria (randomized controlled trials): establecer una regla de asignación y proceder de forma aleatoria a la formación de los grupos de tratamiento y control

11 Random Controlled Trials Eligible Population Evaluation Sample Control group Treatment group Random assignement

12 Planteamiento analítico

13 Diferencias en diferencias Impacto 0t T C

14 Diferencia en diferencias

15 Regresiones discontínuas cc-hc+h

16 Regresión discontínua

17 Matching

18 Ejemplos del grado de eficacia

19 3.- EVALUACIÓN AGREGADA

20 Métodos 1.- Cross-country regressions (con o sin variables instrumentales) 2.- Series temporales aplicados a un caso nacional (con o sin tratamiento de la endogeneidad) 3.- Paneles estáticos y dinámicos (igualmente con o sin tratamiento de la endogeneidad)

21 Primera etapa 1.- Inocencia originaria – Las mediciones de Rosenstein-Rodan (1961) o Milikan y Rstow (1957) – La Comisión Pearson 2.- Crítica: liberales (Bauer) y dependentistas (Gunder Frank) 3.- El descubrimiento de la fungibilidad de la ayuda: Griffin (1970) y Griffin y Enos (1970) 4.- El impacto de la ayuda sobre el ahorro (Gupta, 1970 y 1975; Massell et al., 1972; Papaneck, 1973) 5.- El impacto de la ayuda sobre la inversión (Heller, 1975, Levy, 1987,1988; Khan y Hoshino, 1992; Feyzioglu, et al.,1998) 6.- El impacto de la ayuda sobre el crecimiento (Papaneck, 1973; Voivodas, 1973; Gupta e Islam, 1983; Levy, 1988; Mosley et al., 1987, 1992)

22 Relaciones AS dy/yy/y I

23 Relaciones AS dY/Yy/y I

24 Relaciones AS dY/Yy/y I

25 Balance de resultados

26 Segunda etapa 1.- Boone (1994, 1996) 2.- El consenso de Washington y la condicionalidad exante (“el policy gap”) – “Comprar” buenas políticas – Reducir los grados de holgura de los gobiernos locales 3.- El fracaso de la condicionalidad exante y el tránsito hacia la selectividad (condicionalidad expost) Burnside y Dollar (2000) 4.- La reacción frente a la selectividad – Crítica al sentido de “buenas políticas e instituciones” – Grado de robustez de las estimaciones – Coste de las recomendaciones

27 Relaciones: condicionalidad exante dY/Y PA

28 Relaciones: condicionalidad expost dY/Y PAAP

29 Tercera etapa 1.- Rendimientos marginales decrecientes de la ayuda – Enfermedad holandesa (Durbarry et al., 1999; Rajan y Subramanian, 2005 y 2008) – Limitada capacidad de absorción del receptor (Hadjimichael et al., 1995) – Destrucción institucional (Lensink y White, 2001; Alonso et al., 2012) 2.- Incertidumbre e inestabilidad de los flujos (Lensink y Morrissey, 2000) 3.- Condicionalidad de factores nacionales – Politicas (Dollar y Burnside, 2004) – Precios de exportación (Collier y Dehn, 2001) – Grado de vulnerabilidad de los países (Guillaumont y Chauvet, 2001 y 2004) – Inestabilidad política (Chauvet y Guillaumont, 2004) – Grado de democracia (Svensson, 1999) – Reducida dimensión del gobierno (Economides et al., 2008)

30 Efectos de la imprevisibilidad de la ayuda A  dY/Y + -

31 Efectos de la deoendencia de la ayuda A  dY/Y + -

32 Estudios más recientes 1.- Desagregación de la ayuda – Componentes de medio y largo plazo: Clemens et al., 2012 – Propósitos de las intervenciones. Bjornskov, 2013 2.- Identificación de variables intermedias (capital físico y humano): Arndt et al., 2013 3.- Comportamiento en el tiempo de las variables (paneles dinámicos): Nowak-Lehman et al., 2012 4.- Condicionalidad geográfica (e institucional): Dalggard et al., 2004) 5.- Efecto sobre la competitividad y la calidad institucional: Rajan y Subramanian, 2005 y 2008, Djankov et al., 2008; Alonso et al., 2013 6.- Impacto de largo plazo: Herzer y Morrisey (2009) 7.- Meta análisis: – Rubin Causal Model: Arndt et al., 2010 – Meta-Significance Meta Regression Model: Doucouliagos y Paldam (2008 y 2010) – Crítica a sus conclusiones: Mekasha y Tarp (2013)

33 Externalidades negativas dY/Y A CompIQ - + -

34 Vía instituciones dY/Y AA2A2 IQ - +

35 CONCLUSIONES

36 Dificultades Fundamentación teórica: la ayuda en el proceso de convergencia: – Variables del estado estacionario – Relación entre la ayuda y la inversión Contraste empírico – Problema de la endogeneidad – Carácter potencialmente no lineal de las relaciones (y sus dificultades) – Muchas variables, altamente relacionadas, con una ayuda pequeña y mal medida (ruido estadístico)

37 Algunas orientaciones para los gestores 1.- El efecto de la ayuda se detecta mejor en el corto/medio plazo que en el largo 2.- La ayuda es más eficaz en contextos en los que ayuda a relajar restricciones a las que se enfrenta el país 3.- La relación entre ayuda y crecimiento parece sometida a rendimientos decrecientes 4.- La inestabilidad de la ayuda influye negativamente sobre la eficacia 5.- La ayuda influye positivamente sobre la calidad institucional y la capacidad recaudatoria, pero con rendimientos decrecientes 6.- Es posible que factores nacionales influyan en la eficacia de la ayuda, pero no se sabe a ciencia cierta cuáles y cómo influyen