1 EVALUACIÓN EX POST A Proyectos de Agua Potable Rural BOREAL Investigación y Consultoría Noviembre 2014 PRESENTACION RESULTADOS Y CONCLUSIONES

2 Estructura presentación 1. Introducción y aspectos metodológicos 2. Formulación de iniciativas y análisis de línea base 3. Evaluación ex post de corto plazo 4. Evaluación ex post de mediano plazo 5. Análisis modelo de gestión de los sistemas Agua Potable Rural 6. Satisfacción de usuarios 7. Recomendaciones

3 Introducción y aspectos metodológicos OBJETIVO GENERAL DE LA EVALUACIÓN Realizar una evaluación expost a proyectos de Agua Potable Rural (12) pertenecientes a las localidades semi- concentradas evaluando el cumplimiento de los objetivos de resultado establecidos en la evaluación ex ante, al término de la ejecución y durante la operación Levantar línea base de iniciativas identificando variables a evaluar Analizar y comparar a nivel de corto plazo las variables identificadas Analizar y comparar a nivel de mediano plazo las variables identificadas Analizar metodología de ev. Ex ante de proyectos APR e inputs para sub sector

4 Introducción y aspectos metodológicos Recolección información secundaria: Documentación SNI Documentación Comités APR y unidades técnicas Documentación de ejecución de proyectos www.mercadopublico.cl Entrevistas con funcionarios de las Direcciones regionales DOH Focus Group (12) con Directivas Comités APR Visitas de inspección técnica a los 12 Proyectos Encuestas a usuarios (291) ENERO 2014 AGOSTO 2014

5 Proyectos Analizados: Aspectos relevantes de la Evaluación Reg.ComunaProyecto Proceso Arranques Año inicio operación Fuent Financiam. IXDollinco QuepeFreireInstalación2282010 IXT. ShmidtHuilio RehuehueInstalación1562010 IX Angol Santa Elena de AngolInstalación782010 IXCunco Unión Cordillera Mejor/Amp362+1182010 XHualaihue Contao Mejor/Amp191+1582008 XPuerto Montt Las Quemas, San Antonio Instalación1352010 XMaullínQuenuirMejor/Amp89+3142010 XCastroTrincaoInstalación422010 XQuellónChadmoInstalación792010 XCastroPutemúnInstalación2352008 XCastroPiruquinaInstalación1272007 XAchaoPutiqueInstalación1602009

6 I. Análisis de línea base (I)  Heterogeneidad en la formulación  Estructura y contenido de presupuestos  Regularización de derechos de agua, servidumbres, etc.  Las metodologías de estimación de costos de operación y de tarifados  Criterios diversos para la estimación de indicadores de costo/eficiencia en proyectos de ampliación y mejora  Estimaciones de demanda  Diversidad en mecanismos de delimitación territorial (espacial) de los proyectos  Mecanismo de contabilización de población en línea base y proyección a 20 años  Diferenciación de demanda por tipo de uso de agua (residencial vs. comercial)  Uso de listados de inscritos en los proyectos como estimación de demanda  Inclusión de factor estacionalidad para las estimaciones de demanda  No se observa cumplimiento de requisito de caracterización con precisión de oferta ex ante (consumo y gasto, precios límite)

7 II. Evaluación de Proyectos al término de su ejecución: Comparación programado v/s. ejecutado(I)  Los montos recomendados resultan en la mayoría de los casos similares a los montos licitados  En 50% de los proyectos analizados se producen ampliaciones durante su ejecución  Ampliaciones adecuadamente argumentadas y posteriormente tramitadas.  Ampliaciones consideran recursos para red de distribución sino que también para el sistema de captación/regulación y/o tratamiento  No se desglosa presupuesto usando el mismo nivel de desagregación que el presupuesto que obtiene RS.  En proyectos con gran cantidad de usuarios las ampliaciones se producen generalmente por la incorporación de nuevos socios durante la ejecución  Ej: 247 a 362 en Cunco  136 a 235 en Putemún

8 II. Evaluación de Proyectos al término de su ejecución: Comparación programado v/s. ejecutado(II)  Uno de los proyectos de ampliación y mejora se ejecuta a menos de 3 años de concluido el proyecto original de instalación  ¿Hasta que punto estas ampliaciones son previsibles?  ¿Hasta que punto las ampliaciones durante la ejecución afectan la rentabilidad social de los proyectos?  Los costos unitarios por solución presentan niveles importantes de variabilidad particularmente en los proyectos de ampliación  La metodología no establece(expresamente) procedimiento diferenciados de cálculo de indicadores de rentabilidad de proyectos de instalación, mejora y ampliación

9 III. Evaluación ex post de mediano plazo: Comparación programado v/s. operación (I)  Aspecto a considerar: Estimaciones ex ante: Formuladas en el contexto de criterio costo/beneficio (MESAP)  El registro de las estimaciones ex ante de tarifas y costos de operación resulta extremadamente precario  Deficiencias en el registro de tarifas y gastos de operación actuales  Los Comités no comparten esta información con las sanitarias  Cuando se comparte no se hace sobre la base de indicadores estandarizados (métrica y periodicidad de cálculo)  En consecuencia, se observa:  Heterogeneidad de costos de operación en proyectos analizados  Diferencias importantes entre costos de operación ex ante y actuales

10 III. Evaluación ex post de mediano plazo: Comparación programado v/s. operación (II)  Capacidad de estimar y satisfacer demanda:  Se observa que los sistemas satisfacen adecuadamente la demanda de los usuarios a los que prestan servicios:  No se observa ni racionamiento ni suspensiones atribuibles a incapacidad de los sistemas de satisfacer demanda  Las suspensiones (cuando se observan) se deben generalmente a aspectos deficitarios del diseño de los proyectos (abastecimiento eléctrico)  Sin embargo:  Que no exista desabastecimiento

11 III. Evaluación ex post de mediano plazo: Comparación programado v/s. operación (III)  Tarifas  La heterogeneidad de tarifas observada tiene su explicación en heterogeneidad de los contextos de operación y sociales de los proyectos  La empresa sanitaria en su rol de asistencia técnica asesora a los comités en la fijación de sus tarifas, pero finalmente es la Directiva la que toma las decisiones.  Estrategia reactiva de fijación de tarifas: Los comités fijan las tarifas mínimas que les permiten operar (sin deudas)  Una estratega proactiva les permitiría contar con recursos para:  Tener capacidad de reacción frente a contingencias  Darle mejor mantención a los sistemas de manera de aumentar su vida útil

12 IV. Análisis de gestión de los sistemas APR:  Organización de los Comités  Fortalezas:  Relaciones sociales y organizacionales locales pre-existentes  Persistencia de dirigentes y comunidad tras objetivos de beneficio social  Debilidades  Falencias de la preinversión tensionan la gestión directiva: regularizaciones  Núcleo dirigencial reducido y de baja rotación  Figura legal de constitución no se ajusta con perfil empresarial de la gestión  Administración de los Comités  Fortalezas:  Capacitación inicial de las directivas y operador (en la mayoría de los proyectos)  Tendencia a la permanencia del operador  Bajos niveles de morosidad y manejo ordenado y responsable de las finanzas  Debilidades:  Transferencia informal a las nuevas directivas  Capacitación técnica insuficiente  Estrategia tarifaria reactiva: permite operar pero no resolver eventualidades y/o planificar la operación del sistema a mediano/largo plazo.

13 IV. Análisis de gestión de los sistemas APR:  Operación/mantención de sistemas  Fortalezas:  Sistemas operan con regularidad (baja ocurrencia de cortes)  Presencia constante de la DOH, DAS,DIRTRAB, ISL, Tesorería y la asistencia técnica de la empresa sanitaria  Debilidades  Fallas y reposiciones demandan alza de costos para los asociados  Déficit de asistencia técnica ante eventos de emergencia técnica en los sistemas (acceso a repuestos, piezas y equipos)  Sustentabilidad de los Comités  Fortalezas:  No se detectan problemas de abastecimiento hídrico  Percepción de aumento de valor de las propiedades conectadas al sistema  Debilidades:  Persisten déficits de regularización en servidumbres de paso y similares  Escasa vinculación del servicio con emprendimientos productivos  Bajo interés en los socios por asumir responsabilidades en la gestión del Comité

14 V. Encuesta de usuarios(I)  Reducción(declarada) en el tamaño promedio de los hogares: de 4 a 3,4 integrantes  Focalización programa: Proyectos cuyos usuarios declaran ingresos familiares por sobre los $500.000 mensuales  Fuentes de acceso agua potable previo al proyecto

15 V. Encuesta de usuarios(II)  Uso actual agua del sistema Porcentaje de satisfacción de los usuarios con los sistemas

16 Conclusiones y Recomendaciones  RESPECTO A LA PREINVERSION  La rentabilidad social de los proyectos podría aumentar si se perfecciona el ejercicio de estimación de demanda  Hacer uso intensivo de bases de dato de información secundaria disponibles para estimaciones de demanda (Ficha Social)  Estudiar la posibilidad de que proyectos acrediten vulnerabilidad de su población beneficiaria mediante Ficha Social u otro  Avanzar en la estandarización de los presupuestos y el detalle de items requerido en las ampliaciones y mejoramientos  Se recomienda asegurar el estándar de los estudios de pre factibilidad: Usar bases de licitación estándar  Se debe fortalecer el Diagnóstico integrándolo al proceso de selección de la mejor alternativa  NO recomendar ejecución de proyectos sin derechos y servidumbres regularizadas en la preinversión

17 Conclusiones y Recomendaciones  Se debe establecer una normativa que considere diferencias específicas en la formulación y evaluación de proyectos de ampliación y mejoramiento.  RESPECTO AL DISEÑO Y EJECUCION  Exigir certificados de abastecimiento eléctrico compatible con los requerimientos reales de los proyectos  Incluir grupos electrógenos en los diseños de los sistemas así como equipamiento complementario (moto/bicicleta, radio y equipos para toma y evaluación de muestras)  Estandarizar a nivel nacional modelo de contratación y acciones específicas de la inspección técnica  Estandarizar requerimientos de información en el caso de ampliaciones a proyectos de instalación

18 Conclusiones y Recomendaciones Respecto a la Fase de Operación  La heterogeneidad en la información de formulación y de operación de los proyectos dificulta la evaluación  Estandarizar los requisitos de información específica requerida a los comités (Métrica, frecuencia de reportes, medios de verificación, formatos)  Exigir a las empresas sanitarias reportes periódicos de los antecedentes de operación sanitarias  Crear las condiciones que permitan que los comités asuman estrategias de gestión de tarifas proactiva en lugar de reactiva.  Fortalecer la asistencia de las empresas sanitarias, particularmente en lo relativo a la capacitación en la operación de los sistemas

19

20 II. Evaluación de Proyectos al término de su ejecución: Comparación programado v/s. ejecutado(I)

21 II. Evaluación de Proyectos al término de su ejecución: Comparación programado v/s. ejecutado(II)

22 III. Evaluación ex post de mediano plazo: Comparación programado v/s. operación (I)

23 III. Evaluación ex post de mediano plazo: Comparación programado v/s. operación (III)