1 La Academia de Aristocles

2 Ponencia: la evaluación y la auditoría al desempeño, su importancia y rigor metodológico Roberto Salcedo Aquino FORO DE EVALUACIÓN Y AUDITORÍA AL DESEMPEÑO: ACTORES, AVANCES, RETOS Y OPORTUNIDADES

3 ASF | 3 Evaluación Es una disciplina de la investigación científica que describe, interpreta y critica el impacto real de las políticas públicas.

4 ASF | 4 Primer problema: Falsa sinonimia entre la multiplicidad de conceptos que la literatura del tema utiliza sin precisión ni conceptualización.

5 ASF | 5 Cuatro conceptos básicos: investigación social evaluación análisis de políticas auditorías de desempeño

6 ASF | 6 Investigación social Aspira a acrecentar o perfeccionar el saber científico a fin de constatar teorías, comprobar hipótesis, realizar generalizaciones e indagar irregularidades.

7 ASF | 7 Evaluación de políticas públicas Pretende conocer, descubrir y explicar los efec- tos e impactos de la gestión pública.

8 ASF | 8 Análisis de políticas públicas Emplea los métodos y técnicas de las ciencias sociales cuyo fin es contestar a la cuestión de cuáles serán los efectos probables de una polí- tica antes de que ésta entre en operación.

9 ASF | 9 Auditorías de desempeño Utilizan los métodos y términos de las ciencias sociales para verificar y comparar lo propuesto por las políticas públicas contra lo logrado y analizan las causas de las diferencias.

10 ASF | 10 Los cuatro métodos se sustentan en las ciencias sociales, por tanto, indagan si la acción gubernamental es racional, razonada y razona- ble. Las tres “r” de las ciencias sociales

11 ASF | 11 Saber si el gobierno está trabajando con efica- cia, eficiencia y economía, con calidad en los bienes y servicios que produce, con competen- cia y con enfoque en el ciudadano. Preocupación de los ciudadanos

12 ASF | 12 Son las tres “r” de la investigación científica, las tres “e” de la ejecución de las políticas y las tres “c” de los resultados de la acción pública.

13 ASF | 13 La ciencia social se define como el tratamiento sistemático, organizado, interdisciplinario, inde- pendiente y explicativo de determinadas dimen- siones de la realidad, con objeto de producir conocimiento objetivo. El método de investigación de la ciencia social

14 ASF | 14 La racionalidad es la capacidad de dar razones. El método de investigación de la ciencia social

15 ASF | 15 Para Max Weber la racionalidad significa esencialmente calculabilidad en el actuar - léase desempeño -. El método de investigación de la ciencia social

16 ASF | 16 racional para alcanzar metas y objetivos; para alcanzar valores; el actuar no racional que podría llamarse emocional. Tipos de desempeño

17 ASF | 17 Obliga al evaluador a comprender la acción gubernamental y a explicarla. Racionalismo metodológico

18 ASF | 18 Considera que es posible conocer las razones por las que se instauran los programas gubernamentales y lo que se puede lograr con su ejecución. Se puede medir lo que se hace, y se puede saber lo que se logra. El actuar racional

19 ASF | 19 Realizar la comprobación de los resultados; el producto de ese diálogo es la validación colec- tiva de la evidencia. Objetivo del diálogo argumentativo

20 ASF | 20 En la metodología de las ciencias sociales, es el proceso riguroso que debe seguirse para obtener la evidencia que permita confirmar o refutar una proposición. El Onus Probandi

21 ASF | 21 Se sustenta en dos principios: el ontológico el lógico El Onus Probandi

22 ASF | 22 Obliga al evaluador a estructurar las evidencias que le permitan, con toda objetividad, elaborar sus proposiciones. Principio ontológico

23 ASF | 23 Obliga a la argumentación dialógica para confrontar las proposiciones. Principio lógico

24 ASF | 24 Cuando existe una contradicción entre el princi- pio ontológico y el lógico, la regla es atender al primero.

25 ASF | 25 Se forma a partir del verbo latino videre. La evidencia

26 ASF | 26 En los diccionarios metodológicos se la define como un hecho admitido que se considera prueba plena de la verdad de una proposición dada. La evidencia

27 ASF | 27 la de la objetividad que se apoya en los hechos ofrecidos al intelecto. la de credibilidad que se apoya en la certi- dumbre de las proposiciones. La metodología de las ciencias sociales distingue dos tipos de evidencia:

28 ASF | 28 Tiene cuatro características: una se refiere al procedimiento para obtener las pruebas, y tres se refieren a la calidad misma de ellas. La evidencia

29 ASF | 29 Competencia: el seguimiento puntual y riguroso de los cánones de la investigación social. Pertinencia: la calidad se establece respecto a si las pruebas y las proposiciones se refieren a lo que se requiere demostrar. Relevancia: si las pruebas tienen notabilidad, significación e importancia. Suficiencia: si la cantidad de pruebas es bas- tante para el pronunciamiento. Características de la evidencia:

30 ASF | 30 Cuando se cumplen los cánones de la inves- tigación científica, se establece que los resul- tados producen una evidencia competente. Evidencia competente

31 ASF | 31 La primera tarea de un crítico frente a las evi- dencias presentadas es constatar si los inves- tigadores siguieron el debido proceso. Evidencia competente

32 ASF | 32 La competencia de la prueba se refiere al seguimiento riguroso de los cánones de la investigación científica. Evidencia competente

33 ASF | 33 La validez se comprueba mediante el grado en que un instrumento de medición realmente pondera la variable que pretende evaluar. Evidencia competente

34 ASF | 34 La fiabilidad es la capacidad de un instrumento de medición de producir valores en corres- pondencia con un estándar y cuyas mediciones no dependen del investigador ni de otra circuns- tancia. Evidencia competente

35 ASF | 35 La validez presupone siempre fiabilidad, pero no basta la fiabilidad de un instrumento para garantizar su validez. Evidencia competente

36 ASF | 36 Los instrumentos de investigación científica no pueden proporcionar verdades apodícticas so- bre los fenómenos estudiados. Evidencia competente

37 ASF | 37 La pertinencia es una cuestión lógica de vin- culación de las proposiciones con lo que se quiere probar. Evidencia pertinente

38 ASF | 38 Se refiere al cumplimiento de la regla epis- témica fundamental, según la cual todas las informaciones útiles para averiguar la obje- tividad de un enunciado deben ser utilizadas. Evidencia suficiente

39 ASF | 39 La relevancia de una evidencia significa la notabilidad o lo sobresaliente de un hallazgo. Evidencia relevante

40 ASF | 40 La comprensión y explicación de las políticas públicas se produce mediante la concatenación lógica de los referentes de la investigación respecto a sus objetivos: la pertinencia; la cantidad de pruebas necesarias para dar certidumbre a las proposiciones: la suficiencia; y la notabilidad de las pruebas: la relevancia.

41 ASF | 41 Programa de Comedores Comunitarios (PCC) Un ejercicio:

42 ASF | 42 Asegurar el acceso a una alimentación nutritiva a grupos poblacionales con problemas de desnutrición, en riesgo de padecerla y en inseguridad alimentaria. Objetivo del PCC:

43 ASF | 43 Verificar el nivel cumplimiento del objetivo del PCC, considerando como hipótesis general que: “En 2014, con la correcta transferencia de los subsidios se logró el objetivo establecido”. Objetivo de la auditoría:

44 ASF | 44 La SEDESOL transfirió subsidios a comités comunitarios conforme a los lineamientos operativos del programa. Hipótesis específicas:

45 ASF | 45 Los comités beneficiarios instalaron, equiparon y operaron comedores comunitarios de conformidad con los lineamientos operativos del programa. Hipótesis específicas:

46 ASF | 46 Se aseguró el acceso de la población objetivo a una alimentación nutritiva. Hipótesis específicas:

47 ASF | 47 En 2014, la SEDESOL transfirió 2,002.5 millo- nes de pesos a 4,253 comités comunitarios. Los hechos:

48 ASF | 48 La dependencia registró la instalación, equipa- miento y operación de un total de 4,253 come- dores comunitarios, pero desconoció cuántos de ellos fueron instalados. Los hechos:

49 ASF | 49 La SEDESOL conformó un expediente para ca- da comedor comunitario. Los hechos:

50 ASF | 50 La SEDESOL indicó que 436.2 miles de perso- nas fueron beneficiadas con los comedores comunitarios sin presentar el sustento de dicha información. Los hechos:

51 ASF | 51 El PCC presentó un diseño inadecuado para atender la carencia por acceso a la alimenta- ción. Los hechos:

52 ASF | 52 Pertinente porque se vinculó lógicamente con los aspectos nodales de la auditoría. La evidencia:

53 ASF | 53 Relevante, al mostrar que el diseño del programa no es adecuado para atender la carencia por acceso a la alimentación. La evidencia:

54 ASF | 54 Suficiente, porque se aplicaron 12 pruebas de auditoría que abarcaron la totalidad de los procesos sustantivos del PCC. La evidencia:

55 ASF | 55 Competente, ya que para obtenerla se si- guieron los cánones de la investigación social. La evidencia:

56 ASF | 56 Consecuentemente, se tenía el sustento – de prueba plena – para emitir el dictamen con to- da objetividad. Conclusión:

57 ASF | 57 El PCC no representó un medio adecuado para asegurar el acceso a una alimentación nutritiva a la población objetivo. Dictamen:

58 ASF | 58 Comprenden la evaluación de la definición del problema público y los efectos y resultados que una política pública ha tenido respecto del problema que la justifica. La importancia de las auditorías de desempeño:

59 ASF | 59 Conclusión independiente sobre la actuación gubernamental y sus efectos. Corrección del rumbo de la acción gubernamental. Nuevas perspectivas analíticas sobre los resultados de las políticas públicas. Beneficios de las auditorías de desempeño:

60 ASF | 60 Recuerda la realidad socio-económica inicial. Asignar el presupuesto con base en el cumplimiento de objetivos y metas. Rendir cuentas sobre la gestión y los resulta- dos de un programa. Beneficios de las auditorías de desempeño:

61 ASF | 61 La ASF ha realizado auditorías de desempeño durante 16 años.

62 ASF | 62 Reformas o actualizaciones al marco norma- tivo. Nuevas leyes, reglamentos, manuales, pro- gramas y decretos. Establecimiento de controles o evaluación de riesgos. Impactos de sus recomendaciones

63 ASF | 63 Implementación del servicio civil de carrera. Instrumentación de una administración basa- da en resultados. Impactos de sus recomendaciones

64 ASF | 64 Ejemplos relevantes

65 ASF | 65 Objeto : Suministrar energía eléctrica a la zona centro del país. Luz y Fuerza del Centro

66 ASF | 66 Resultados : Las pérdidas de energía fueron del 33%. El costo del contrato colectivo se incrementó en 15%. En 22 zonas, la demanda de infraestructura fue superior en 58%. El margen de comercialización disminuyó en 163%. El resultado neto acumulado fue una pérdida de 32 millones de pesos. Luz y Fuerza del Centro

67 ASF | 67 Recomendación: Elaborar estudios para sustentar la posibilidad de proceder a su disolución, liquidación o ex- tinción, conforme a la Ley Federal de las Entidades Paraestatales. Luz y Fuerza del Centro

68 ASF | 68 Impacto: El 11 de octubre de 2009 se publicó el Decreto por el que se extinguió LFC; en el documento se destaca que “la problemática expuesta ya había sido conocida por la ASF y que atenta a lo anterior, la Secretaría de Energía propuso la desincorporación por extinción de Luz y Fuerza”. Luz y Fuerza del Centro LFC: Luz y Fuerza del Centro

69 ASF | 69 Objeto: Aplicar evaluaciones sobre el aprendizaje de los alumnos; y, con base en ellas, tomar decisiones para mejorar el logro educativo. Evaluación Nacional de Logro Académico en Centros Escolares (ENLACE)

70 ASF | 70 Resultados: En el periodo 2010-2013, la ASF determinó que la SEP no acreditó que los resultados de las evaluaciones fueron utilizados para propo- ner medidas de carácter estratégico, con el fin de contribuir al logro educativo de los alumnos. Evaluación Nacional de Logro Académico en Centros Escolares (ENLACE)

71 ASF | 71 Recomendación: Adoptar las acciones necesarias para que, como resultado de las evaluaciones de la cali- dad de la educación básica, se formularan polí- ticas, prioridades, programas y medidas de acción, que permitan contribuir al logro educa- tivo. Evaluación Nacional de Logro Académico en Centros Escolares (ENLACE)

72 ASF | 72 Impacto: El Secretario de educación, apoyado en la re- comendación de la ASF, canceló la prueba ENLACE y anunció una nueva evaluación so- bre la base de lo recomendado. Evaluación Nacional de Logro Académico en Centros Escolares (ENLACE)

73 ASF | 73 Objetivo: Contener el crecimiento del índice de desempleo en el país, el cual fue de 4.0% durante 2008 y aumentó a 5.5% en 2009. Programa Primer Empleo

74 ASF | 74 Estrategia: Impulsar la generación de nuevos empleos formales y promover la contratación de todas aquellas personas que buscaron ocuparse en empleos de carácter permanente. Programa Primer Empleo

75 ASF | 75 Operación: El Estado pagaría las cuotas del seguro so- cial a cargo de los patrones, si éstos contra- taban trabajadores adicionales de nuevo in- greso y los inscribían en el IMSS. Programa Primer Empleo

76 ASF | 76 Resultados: Se autorizaron al IMSS, en el PEF, 3 mil millones de pesos. Programa Primer Empleo

77 ASF | 77 Resultados: El IMSS invirtió 60 millones para la difusión del programa y los gastos de operación; y pagó cuotas patronales por 48 millones. Programa Primer Empleo

78 ASF | 78 Resultados: Al IMSS se le otorgaron 3,000 millones; solicitó sólo 1,000; ejerció 108 y regresó 892, por lo que dejó de ejercer 2,892 millones. Programa Primer Empleo

79 ASF | 79 Resultados: De lo ejercido – 108 millones de pesos –, el 60.1% fue para gastos de difusión; y el 39.9%, para el objetivo del programa. Programa Primer Empleo

80 ASF | 80 Recomendación e impacto: La ASF recomendó a la Cámara de Diputados cancelar este programa, debido a que no cumplió su objetivo ni sus metas. Al año siguiente el programa fue cancelado. Programa Primer Empleo

81 ASF | 81 Conclusiones La evaluación tiene la finalidad de que los ejecutores tomen conciencia del impacto que tiene el actuar gubernamental.

82 ASF | 82 Conclusiones: La evaluación, por consecuencia, debe cons- truir sus hallazgos sustentados en la evidencia que genera el haber seguido, de manera pun- tual y rigurosa, los cánones de la investigación científica: competencia.

83 ASF | 83 Que sus hallazgos se vinculen con lo que se quiere demostrar: pertinencia. Conclusiones:

84 ASF | 84 Que las pruebas tengan la característica de notabilidad, significación e importancia: rele- vancia. Conclusiones:

85 ASF | 85 La cantidad de pruebas sea bastante para el pronunciamiento objetivo: suficiencia. Conclusiones:

86 ASF | 86 Las auditorías de desempeño otorgan seguri- dad y confianza en sus dictámenes, con lo que los entes auditados tendrán la certeza de la racionalidad de las observaciones y recomen- daciones. Conclusiones:

87 ASF | 87