1 Un Modelo para la Evaluación de Intervenciones Sociales en Convivencia Facultad de Ciencias Sociales y Económicas

2 PROGRAMA DE CONVIVENCIA Y SEGURIDAD CIUDADANA DE SANTIAGO DE CALI Evaluación de Impactos Tempranos Banco Interamericano de Desarrollo Con el apoyo del Banco Interamericano de Desarrollo Maria Isabel Gutiérrez M. MD, MSc, PhD. Profesora Titular Directora Instituto Cisalva Universidad del Valle

3 Establecer el impacto temprano y la relación costo- beneficio de la intervención en términos de su contribución a la disminución de los niveles de violencia e inseguridad en el municipio de Santiago de Cali. Objetivo de la Evaluación

4 El Modelo de Evaluación

5 Grupo Intervenido ( I 1 ) Grupo Control Interno ( C 1 ) Grupo Control Externo ( C 2 ) Resto de la Ciudad Elegibles para el programa ( I 0 ) Situación PreviaSituación Actual Modelo de Evaluación de Impactos Tempranos Evaluación costo-beneficio

6 La Intervención a Evaluar Desaprendizaje de la Violencia Juvenil “Travesia”

7 Jóvenes entre los 12 y 17 años de edad, hombres y mujeres que viven en contextos de alto riesgo y jóvenes que se encuentren en medida de libertad asistida. Referentes familiares. (miembro de la familia referido como significativo para el o la joven). Referentes comunitarios. (educadores, líderes naturales o integrantes de organizaciones comunitarias que trabajen alrededor del tema del joven y/o la convivencia). Referentes institucionales. (integrantes de las instituciones que atienden la medida de libertad asistida en la ciudad). Población Beneficiaria

8 Total de Intervenidos Primer ciclo Primer ciclo 212 jóvenes 212 jóvenes –94 en contexto de alto riesgo –28 en medida de libertad asistida –98 referentes familiares ( 73 de jóvenes en contexto de alto riesgo y 25 de jóvenes en medida de libertad asistida ) Segundo ciclo 226 jóvenes 226 jóvenes –97 en contexto de alto riesgo –29 en medida de libertad asistida –66 referentes familiares (58 de jóvenes en contexto de alto riesgo y 11 de jóvenes en medida de libertad asistida); –45 agentes comunitarios.

9 Distrito de Paz No 3 - Aguablanca Sectores de intervención focalizados: Charco Azul El Retiro Mojica Los jóvenes de libertad asistida provenían de cualquier sector del distrito 3 Sectores Intervenidos

10 CHARCO AZUL MOJICA RETIRO Distrito de Paz 3 Aguablanca Distrito de Paz 1 Ladera

11 Ficha Técnica Estrategias 1. Modelo pedagógico “educar en la calle” 2. Coordinación interinstitucional 3. Comunicación 4. Sistematización Periodo ejecución Abril del 2003- junio 2004 (jóvenes-familia) Se interrumpe dos meses y continua hasta mayo 2005 (comunitario) Valor del Contrato $ 497.000.000.oo Operador Unión Temporal: FUNOF - Corporación Juan Bosco

12 Z Modelo de Evaluación Y: Indicador de impacto X: Intervención Z: Covariables Medición de Impacto YX Intervención Modelo de Evaluación Y = f (X,Z) Intervenidos X=1 No Intervenidos X=0 Y=0 Y=1 Y=0 Y=1 PresentePasado Pre-intervención Post-intervención Abr-2003Ago-2004Feb-2004

13 Diseño Jóvenes en Libertad Asistida Diseño de “Antes y Después”* Diseño de “Antes y Después”* Marco muestral: Lista de jóvenes en Libertad Asistida en el Distrito de Paz 3 (N=45) (operador) Marco muestral: Lista de jóvenes en Libertad Asistida en el Distrito de Paz 3 (N=45) (operador) Línea de base (operador) Línea de base (operador) Encuesta post-intervención a jóvenes Encuesta post-intervención a jóvenes –similar a la encuesta de línea de base Comparación “pareada” Comparación “pareada” –Línea de base vs. encuesta post-intervención (n=21) –Excluídos: no localizados por cambio de residencia, rechazo a la encuesta *Cook & Campbell, 1979

14 Intervenidos Jóvenes en medida de libertad asistida Línea de baseEncuesta 2005 Intervenidos Jóvenes en medida de libertad asistida Y 10 Y 11 Z Z X=1 Diseño de Evaluación de Impactos Jóvenes en Medida de Libertad Asistida

15 Diseño Jóvenes en Contexto de Alto Riesgo Diseño “post-test” con grupos no-equivalentes* Diseño “post-test” con grupos no-equivalentes* Grupos*** Grupos*** –Intervenidos ( muestreo sistematico n=102) –Controles internos: No-Intervenidos del mismo barrio (muestreo probailistico por conglomerados, n=107) –Controles externos: No-Intervenidos de la misma comuna (muestreo probabilistico por conglomerados, n=91) Selección de Intervenidos  Muestreo sistemático (lista del operador) Selección de Intervenidos  Muestreo sistemático (lista del operador) Selección de Controles  Muestreo por conglomerados Selección de Controles  Muestreo por conglomerados –Selección de segmentos de manzanas (conglomerados) –“Barrido” de viviendas en el segmento elegido –Selección de un jóven al azar en la vivienda (Método de Kish) entre los que cumplen los criterios de inclusión Ajuste por “Propensity Scoring”** Ajuste por “Propensity Scoring”** –probabilidad previa de ser intervenido –manejo del sesgo de selección *Cook & Campbell, 1979 ***Los tamaños de muestra no necesariamente son iguales ya que el diseño no es pareado **Rosenbaum & Rubin, Biometrika, 1983;70:41-55

16 Intervenidos Jóvenes en contextos de alto riesgo Línea de baseEncuesta 2005 Intervenidos Jóvenes en contextos de alto riesgo Y 10 Y 11 X=1 Y 01 NO-Intervenidos Jóvenes en contextos de alto riesgo Propensity Score Matching Z Z X=0 Diseño de Evaluación de Impactos Jóvenes en Contexto de Alto Riesgo

17 Evaluación de Implementación de la Intervención ]]. A menudo la razón por la cuál algunas evaluaciones de impacto revelan mínimos o ningún tipo de impactos, no es por que la intervención no sea efectiva; en ocasiones se debe al hecho de que su implementación no fue adecuada o fue incompleta[1 ].[1 ] [ 1][ 1] Rossi P. And Freman H.Evaluation. A Systematic Approach. London. Sage Publications, 4 edition.1990 [ 1] RESULTADOS

18   Los familiares evidencian beneficios del proyecto   Se capacitaron funcionarios con enfoque de trabajo a jóvenes.   Se elaboró protocolo de atención orientado al manejo de libertad asistida   Se consolidó una red de instituciones que atienden manejo de libertad asistida   Se implementaron 7 iniciativas juveniles de convivencia Modelo pedagógico Evaluación de la Implementación

19   El proyecto es reconocido en los sectores de intervención.   Se consolidaron mesas de concertación entre diferentes actores sociales   Se realizaron tres pre foros: socialización de experiencias Modelo pedagógico Evaluación de la Implementación

20 Evaluación de Impactos Tempranos

21 n=21% Sexo Hombre 18( 86 ) Mujer 3( 14 ) Departamento de Nacimiento Valle 17( 81 ) Chocó 2 ( 9 ) Huila 1 ( 5 ) Nariño 1 ( 5 ) ¿Cuál es su estado civil actual? Soltero 20(95) Unión libre 1(5) ¿Tiene hijos? Si 3(14) No 18(86) ¿Cuál es el ultimo nivel educativo que usted alcanzó? Primaria incompleta 1(5) Primaria Completa 2(10) Secundaria incompleta 16(76) Secundaria Completa 1(5) Técnico 1(5) Características socio-demográficas de los jóvenes en libertad asistida

22 Grupo IntervenidosControl InternoControl Externo n=102% Media n=107% Medi a N=91% Media Sexo del joven Hombre53(52) 53(50) 48(53) Mujer49(48) 54(50) 43(47) Edad 11-1419(19)* 39(38) 24(27) 15-1640(40) 30(29) 27(30) 17+42(42) 33(32) 39(43) Edad 16.0 15.6 16.0 Nivel educativo Ninguno/Primaria20(20) 22(21) 10(11) Secundaria/Técnic a/Superior 82(80) 85(79) 81(89) Estado civil Soltero99(97) 104(97) 90(99) Unión libre3(3) 3 1(1) ¿Tiene hijos? Si6(6) 8(8) 6(7) No95(94) 95(92) 83(93) Características socio-demográficas de jóvenes en contexto de alto riesgo * p

23 Grupo IntervenidosControl InternoControl Externo n%n%n% Estrato socio- económico 1102 ( 100 ) 107 26 ( 29 ) 2 54 ( 59 ) 3 11 ( 12 ) Barrio Charco Azul30 ( 29 ) 33 ( 31 ) El Retiro38 ( 37 ) 39 ( 36 ) Mojica34 ( 33 ) 35 Resto DP3 91 ( 100 ) ¿Hace cuantos años que vive en este Barrio? 2 - 926 ( 26 ) 24 ( 23 ) 33 ( 36 ) 10-1427 ( 27 )* 45 ( 43 ) 26 ( 29 ) 15-2048 ( 48 ) 36 ( 34 ) 32 ( 35 ) ¿Hace cuantos años que vive en este Barrio? ( promedio ) 12.5 12.5 12.3 12.3 10.8 10.8 Departamento de origen Nariño12 ( 12 ) 4 ( 4 )* 5 ( 5 ) Valle81 ( 79 )* 98 ( 92 ) 72 ( 79 ) Otros9 ( 9 ) 5 ( 5 ) 14 ( 15 ) Características socio-demográficas de jóvenes en contexto de alto riesgo (II) * p

24 Curva ROC* Curva Área bajo la curva Error standard Intervalo de confianza 95% Límite InferiorLímite Superior Controles Externos.666.034.599.734 Controles Internos.706.033.642.770 Sensibilidad = Prob ( POSITIVO | Participante ) Especificidad = Prob ( NEGATIVO | no Participante ) *Receiver Operating Characteristic Curve

25 Línea de Base Historia de vida Historia de vida Comportamientos Actitudes y Practicas frente al uso de violencia Comportamientos Actitudes y Practicas frente al uso de violencia Proyecto de vida Proyecto de vida

26 49 63 20 43 35 7 2 48 58 23 57 26 6 6 38 51 12 40 18 3 0255075 Discusiones continuas entre padres o pareja Discusiones continuas entre padres e hijos Amenaza a algún miembro de la familia por parte de otro Prohibiciones para relacionarse con alguien* Tratos físicos que impliquen puñetazos bofetadas, patadas, pellizcos, etc.* Heridas con objetos corto punzantes o armas de fuego Agresiones sexuales Situaciones que se han presentado en la familia de los jóvenes (%) Intervenidos Controles Internos Controles Externos Historia de vida Situaciones que se han presentado en su familia

27 Muerte violenta de algún familiar* Desaparición de un familiar* Familiares juzgados por haber cometido delitos Consumo de drogas marihuana, bazuco, roche, coca por algún miembro del hogar Consumo excesivo de alcohol por algún miembro del hogar Intervenidos Controles Internos Controles Externos 37 23 25 19 33 38 12 23 10 35 18 12 16 18 36 010203040 Continuación Situaciones que se han presentado en la familia de los jóvenes (%)

28 Indicador 1 Cambios en la valoración de los vínculos familiares

29 Valoración de los vínculos familiares Item Contexto de alto riesgo Cambio Sig. Exacta (Unilateral) Relación con el padre+0.000 Relación con la madreNo hubo0.377 Relación con los hermanos+0.008 Puede contar con la familia cuando la necesita+0.052 Item Libertad Asistida Cambio Sig. Exacta (Unilateral) Relación con el padreNo hubo0.063 Relación con la madreNo hubo0.500 Relación con los hermanosNo hubo0.391 Puede contar con la familia cuando la necesitaNo hubo0.125 Diseño: antes y después Indicador 1

30 Indicador 2 Cambio en sus creencias en cuanto a la validación del uso de la violencia

31 Bajar validación de la violencia Item Contexto de alto riesgo Cambio Sig. Exacta (Unilateral) En las relaciones con el otroNo hubo0.131 Tendencia a la agresividad+0.003 Autocontrol del enojo+0.007 Reconocimiento de estados de ánimo.No hubo0.388 Conciencia de si mismo+0.000 Bajo nivel de tolerancia : personas que no comparten mi punto de vista No hubo0.466 Disposición a la escucha+0.009 Sueños futuros+0.000 Item Libertad Asistida Cambio Sig. Exacta (Unilateral) En las relaciones con el otro+0.000 Tendencia a la agresividadNo hubo0.254 Autocontrol del enojo+0.014 Reconocimiento de estados de ánimo.+0.022 Conciencia de si mismoNo hubo0.060 Bajo nivel de tolerancia : personas que no comparten mi punto de vista +0.007 Disposición a la escuchaNo hubo0.109 Sueños futuros+0.000 Diseño: antes y después Indicador 2

32 Violencia Social 34 31 25 5 4 4 020406080100 Intervenidos Controles Internos Controles Externos En ocasiones hay que gritar a las personas para que entiendan Hay problemas que sólo se solucionan con golpes* 50 57 53 11 18 25 Intervenidos Controles Internos Controles Externos Si alguien comete un robo, merece ser golpeado ** 49 41 3 11 18 Intervenidos Controles Internos Controles Externos En desacuerdo Totalmente en desacuerdo * Diferencias porcentuales en entre Intervenidos y controles internos en la categoría: Totalmente en desacuerdo ** Diferencias porcentuales en entre Intervenidos y controles internos en la categoría: Totalmente en desacuerdo

33 Portar un arma hace que una persona esté más segura Intervenidos Controles Internos Controles Externos 49 57 54 14 24 020406080100 Pertenecer a un grupo o pandilla es bueno porque así todos te respetan* 54 70 59 20 37 32 Intervenidos Controles Internos Controles Externos Una persona tiene derecho a matar para defender su familia** 39 54 33 10 23 Intervenidos Controles Internos Controles Externos En desacuerdo Totalmente en desacuerdo * Diferencias porcentuales en entre Intervenidos y controles internos en la categoría: En desacuerdo y en Totalmente en desacuerdo ** Diferencias porcentuales en entre Intervenidos y controles internos en la categoría: En desacuerdo y en Totalmente en desacuerdo Continuación

34 Resultados Valoración Costo- beneficio

35 Razones por las que no aportaría Razones por las que no Haría Ningún Aporte n% No cuenta con el dinero suficiente para hacer aportes 6120,27 La inversión es obligación del gobierno municipal 206,64 No le preocupa el tema 10,33 Preferiría dar dinero para la solución de otros problemas 10,33 El proyecto no es la mejor vía para solucionar el problema de violencia juvenil 10,33 La plata se pierde 134,32 Otra. ¿Cuál? 72,33 9. No aplica 19765,45

36 Variables Significativas en el Modelo de DAP VARIABLECOEFICIENTE ERROR STND. P-VALOR Constante2.42940822.35646699.0000 Precio de Oferta -.44121455.03228878.0000 Edad-.01828710.00665422.0060 Empleo.91617090.29495227.0019

37 Costos Totales COSTOS TOTALES Precio Mercado % Precio Sombra TOTAL $ 945.235.469 $ 945.235.469100% $748.565.463 $748.565.463 Ajuste por Inflación $1.215.966.585 $1.215.966.585 $ 987.259.035 $ 987.259.035 Nº DE BENEFICIARIOS DIRECTOS 438 438 COSTO POR BENEFICIARIO $ 2.254.016 $ 2.254.016

38 Beneficios Netos VPN = B T- CT (Del periodo 1 al n) VPN = $30.475.143.228,00 - $987.259.035,00 VPN = $ 29.487.884.192,00 BT = DAP * No. Hogares * Meses BT = $4.003 * 634.423 * 12 BT = $30.475.143.228,00 Beneficios Totales

39 Para futuras intervenciones se recomienda la existencia y disponibilidad de información completa para la evaluación- líneas de base- sistematización de las intervenciones Para futuras intervenciones se recomienda la existencia y disponibilidad de información completa para la evaluación- líneas de base- sistematización de las intervenciones  Los educadores se convirtieron en un referente positivo para los jóvenes y la comunidad. Conclusiones Lecciones aprendidas en cuanto a la valoración costo-beneficio

40 Conclusiones Lecciones aprendidas en cuanto a la valoración costo-beneficio Esta metodología permite conocer la valoración que hace la comunidad de unos beneficios obtenidos para una población particular Esta metodología permite conocer la valoración que hace la comunidad de unos beneficios obtenidos para una población particular La técnica de Valoración contingente ha permitido estimar unos altos beneficios de implementar un proyecto que interviene jóvenes en situación de riesgo por violencia La técnica de Valoración contingente ha permitido estimar unos altos beneficios de implementar un proyecto que interviene jóvenes en situación de riesgo por violencia Una de las garantías de éxito de este tipo de proyectos es la continuidad en la intervención, la posibilidad de que nuevos jóvenes se involucren en el proceso Una de las garantías de éxito de este tipo de proyectos es la continuidad en la intervención, la posibilidad de que nuevos jóvenes se involucren en el proceso Se pudo verificar que el nivel de ingreso y variables correlacionadas como el nivel de educación, estrato y pago de servicios públicos están relacionados directamente con la DAP Se pudo verificar que el nivel de ingreso y variables correlacionadas como el nivel de educación, estrato y pago de servicios públicos están relacionados directamente con la DAP