1 EVALUACION DE POLITICAS Y PROGRAMAS. PREVENCIÓN Y CONTROL DEL DELITO Hugo Frühling BANCO INTERAMERICANO DE DESARROLLO Agosto 2010

2  Conceptos básicos respecto de evaluaciones  La cuestión metodológica  Preguntas de investigación  La investigación sobre policía en América Latina  Análisis de la literatura respecto del impacto de la labor policial  Cárcel y programas de reinserción  ¿Qué tipos de evaluaciones requerimos?

3 ¿Qué se quiere evaluar? ¿Para qué? ¿Con qué profundidad? ¿Durante cuánto tiempo? ¿En qué momentos? ¿Con qué instrumentos? ¿Quiénes son los responsables? ¿Quiénes son los destinatarios de los resultados?

4 Previamente… 1. Conocer la intervención y sus limitaciones 2. Conocer la realidad donde se implementa 3. Conocer a los actores: Población objetivo Actores internos Actores externos: gobierno, municipio, sociedad civil, etc.

5 Tipologías de evaluación Tipologías de evaluación según el objeto de la evaluación: qué se evalúa Evaluación de diseño La evaluación de diseño se concentra en la formulación del proyecto de intervención. La coherencia entre el contexto de aplicación, los objetivos y metodologías así como la viabilidad del proyecto son analizados en su conjunto. Evaluación de proceso La evaluación de proceso se focaliza en la implementación del proyecto y apunta a cómo se están realizando las actividades y a los actores responsables de llevarlas a cabo. Evaluación de los efectos Evaluación de resultados juzga los efectos de los productos inmediatos del proyecto. Evaluación de impacto consiste en la evaluación de los efectos deseados e indeseados (no previstos) a largo plazo y persigue verificar si los cambios que el proyecto ha generado se condicen con los objetivos del mismo, permitiendo conocer si estos efectos son atribuibles a la intervención.

6 Según cuando se evalúa (más comúnmente usadas) Evaluación Ex – Ante Evaluación de Diseño Evaluación de Eficiencia Evaluación Intermedia Seguimiento y Monitoreo Evaluación Ex – Post Evaluación de Resultados Evaluación de Impacto Tipologías de evaluación 3

7 Definiciones de Buenas Prácticas: Un juicio _ una comparación con respecto a otras de similares características que sobresale y es digna de ser difundida y de servir de inspiración para los hacedores de políticas públicas. Delimitar qué se entiende por "buenas prácticas" implica: 1. Evaluar (tanto procesos como resultados) comparativamente/ en relación a otras 2. Usar una metodología sistemática para ganar legitimidad y basar el juicio en aspectos objetivables (indicadores) que sean comparables entre prácticas o proyectos. 3. Explicar los factores contextuales y/o de procesos de gestión, así como de requerimientos mínimos para que funcione aquello que funciona

8 Tabla 1: Elementos de definición de buenas prácticas y sus entidades ejecutoras Su carácter novedoso e imaginativo que rompe con las tendencias más usadas y que parecen ser insuficientes Atreverse a innovar. Contar con personal bien capacitado y al día con las últimas tendencias. Su eficiencia en el uso de los recursosSostener estrategias de control sobre los recursos para optimizar sus usos Sus resultados observables y duraderosRealizar seguimiento periódico (incluidos en el diseño de la planificación) Realizar evaluaciones(idealmente externas y bajo rigurosos diseños de evaluación) al término de la implementación. Realizar evaluaciones pasado un tiempo prudencial para establecer la sostenibilidad de los cambios. Su visibilidad y reconocimientoTener un mínimo de continuidad y estabilidad presupuestaria. Contar con el capital social relacional para ubicarse en el entramado de redes dedicadas al mismo tema. Compartir sus lecciones aprendidas. Su potencial y replicabilidadMantener un actitud critica con respecto a los elementos de contexto que facilitan u obstaculizan sus prácticas, de modo que clarificar las condiciones mínimas de contexto para su éxito. Fuente: elaboración propia

9 En teoría, las prácticas óptimas se basan en el conocimiento extraído de las exhaustivas evaluaciones de los informes sobre intervenciones que aparecen en la literatura revisada sobre este tema. No obstante, algunos factores hacen que este enfoque sea algo complicado para identificar las prácticas óptimas en los esfuerzos para la prevención de la violencia juvenil. (  ) En primer lugar, se han realizado pocos estudios longitudinales y de control aleatorio, dado que la investigación en el campo de la prevención de la violencia juvenil es muy reciente (  ) En virtud de que la violencia juvenil es preocupación prioritaria en el área de salud pública y dado que pueden transcurrir años antes de que se pueda ofrecer un número significativo de prácticas óptimas con base científica, consideramos importante incluir en este libro de referencia tanto las pocas prácticas científicamente comprobadas como aquellas que prometen dar buenos resultados.” (Thomton, N., Craft, C., Dahlberg, L, Lynch, B. & Baer, 2000, p. 42).

10 Escala de Maryland: Niveles de Rigurosidad del diseño de evaluación a) Nivel 1: En este nivel se clasifican estudios que analizan solamente la asociación con un criterio externo en un mismo tiempo. Por ejemplo, para comprobar el impacto que tienen las cámaras de vigilancia de circuito cerrado (CCTV), se verifica si estacionamientos con CCTV tienen menores tasas de robos que estacionamientos sin CCTV. El principal problema de este diseño tiene que ver con que no descarta explicaciones alternativas. b) Nivel 2: Se refiere a estudios que buscan medir la variable intervenida (por ejemplo delincuencia) antes y después de la intervención), sin considerar un grupo control o escenario contra factual (comparación con y sin proyecto). Por ejemplo se observa que los delitos disminuyen después de que se instalan CCTV en un estacionamiento. El principal problema tiene que ver con que el diseño no permite descartar explicaciones alternativas, tales como por ejemplo cambios en patrones de patrullaje policial, otros cambios en estacionamiento.

11 Continuación… c) Nivel 3: incorporan mediciones antes y después, pero además consideran mediciones en un grupo control es decir un grupo comparable que no es sujeto de intervención Medición antes-después. Por ejemplo se observa que los delitos disminuyen en un estacionamiento después de instalar CCTV y no lo hacen en estacionamiento control (sin intervención) d) Nivel 4: incluyen estudios que desarrollan mediciones antes después en múltiples unidades de observación y múltiples unidades control. Es igual que en el caso anterior, pero se observa un disminución en el promedio de delitos registrados en múltiples estacionamientos experimentales comparados con múltiples estacionamientos de control.

12 Continuación … d) Nivel 5: Considera los mismos casos del nivel anterior, pero considera además la asignación aleatoria de estacionamientos al grupo experimental y al grupo control. Este se considera como el diseño más adecuado dado que controla por posibles sesgos no previstos en la selección de estacionamientos.

13 Preguntas de investigación ¿Que funciona en el ámbito de la prevención/reducción del delito? ¿Cuáles son los mecanismos de intervención más efectivos que se han desarrollado a la fecha? ¿Cuáles son los mecanismos de intervención más efectivos que se han desarrollado a la fecha? ¿Cuáles son los problemas frecuentes observados en la implementación los proyectos programas o políticas? ¿Cuáles son los problemas frecuentes observados en la implementación los proyectos programas o políticas? ¿Cómo son los costos en relación a la efectividad del programa y a sus beneficios? ¿Cómo son los costos en relación a la efectividad del programa y a sus beneficios? ¿Cuáles son los factores cuya intervención ha mostrado regularmente resultados positivos sobre la prevención reducción de problemas asociados a la violencia y el delito? ¿Cuáles son los factores cuya intervención ha mostrado regularmente resultados positivos sobre la prevención reducción de problemas asociados a la violencia y el delito?

14 METODOLOGIA DEL ESTUDIO Bases de datos consultadas: Ebsco, Proquest, Scirus, Sage Publications, Google Académico Sitios web :The Campbell Collaboration, Home Office, National Institute of Justice, USAID, Australian Institute of Criminology Palabras clave: police evaluation, police and drugs, police hot spots, police crackdowns, police and problem solving, community policing, police corruption, police cost effectiveness, police economic evaluation

15 MODELOS POLICIALES

16 Multiplicación de experiencias de control Compstad Tolerancia cero Estrategias de resolución de problemas Accionar policial dirigido Relaciones con la comunidad Fortalecimiento del control sobre la policía (accountability) La asociación entre la academia y la policía

17 La investigación académica sobre policía en América Latina

18 continuación …

19 ESTRATEGIA DE RESOLUCIÓN DE PROBLEMAS IDENTIFICACIÓN Y DIAGNÓSTICO DEL DELITO VECINAL CRIMEN, DESORDEN O MIEDO ANALISIS COMPRENSIÓN DE CONDICIONES QUE CREAN EL PROBLEMA. DESARROLLO DE SOLUCIONES DE LARGO PLAZO EVALUACION DEL IMPACTO DE LAS MEDIDAS.

20 FUNDAMENTOS TEORICOS Y PROBLEMAS METODOLOGICOS  Teoría de las actividades rutinarias  Concepto del delincuente como actor racional Problemas metodológicos  La estrategia de resolución de problemas es una metodología de trabajo policial que puede resultar en la selección de diversas estrategias, tales como policía comunitaria o patrullaje dirigido confundiendo su especificidad

21 ESTUDIOS ENCONTRADOS Estudios sobre accionar dirigido hacia puntos calientes Intervenciones respecto del control de mercados públicos de venta de drogas ilícitas Intervenciones inspiradas en el programa CESE del Fuego iniciada en Boston Intervenciones dirigidas a reducir la violencia creada por el uso de armas de fuego

22 Resultados de las evaluaciones sobre uso de la estrategia de resolución de problemas Estudios Rigurosidad o Tipo de la Evaluación Resultados Weisburd, Telep, Hinkle y Eck (2008 Meta-análisis de evaluaciones experimentales o cuasi experimentales 3 a 5 Reducción modesta de delitos Reducción de entre 0,10 y 0,20 (ES) Lorraine Mazerolle, David W. Soole y Sacha Rombouts (2006) Meta –análisis de evaluaciones cualitativas y cuantitativas de tipo experimental o no 2 a 5 Estrategias de resolución de problemas parecen tener mayor impacto que otras respecto del delito asociado a drogas. _____ Lorraine Mazerolle, David W. Soole y Sacha Rombouts (2007) Meta –análisis de evaluaciones cualitativas y cuantitativas de tipo experimental o no 2 a 5 Estrategias de resolución de problemas parecen tener mayor impacto respecto del crimen asociado a drogas. Revisión cualitativa, no informan efectos. Jan Roehl, Dennis P. Rosenbaum, Sandra K. Costello, James R. Coldren, Jr., Amie M. Schuck, Laura Kunard, and David R. Forde (2006) 2No se prueba enteramente hipótesis debido a falta de áreas de control 23% a 53% reducción de robos con violencia (armas de fuego)/ 32% a 42% homicidio/ 58% de reducción de robos protagonizados por jóvenes

23 Continuación… Estudios Rigurosidad o Tipo de la Evaluación Resultados MacGarrel F. et. al. (2009)3 Disminuyen delitos cometidos con armas de fuego Reducción de 4,1% de delitos violentos en ciudades intervenidas en comparación con 0,9% en ciudades no intervenidas. Al controlar por intensidad de la intervención, se acentúa la diferencia. Kellerman, Fugua-Whitley y Parramore (2006) 3 Disminuyen delitos pero no son atribuibles a intervención Homicidios caen en un 27% Chermack (2008)5 Quienes reciben advertencia del sistema de justicia no demuestran una actitud muy distinta de quienes no la reciben en materia de reincidencia. Grupos intervenidos no reducen su probabilidad de reincidencia Nicholas Corsaro y Edmund F. MacGarrel (2009) 2Homicidios originados en pertenencia a pandillas disminuyen más que los otros ____

24 ALGUNAS CONCLUSIONES TENTATIVAS

25 ESTRATEGIAS POLICIALES DE TIPO FOCALIZADO Implican el uso de diversas estrategias policiales, a veces en combinación con otras instituciones del sistema de justicia criminal Se trata de acciones policiales dirigidas a lugares específicos Acciones policiales dirigidas a delincuentes habituales Acciones policiales dirigidas a delitos específicos

26 PATRULLAJE CONCENTRADO EN LUGARES ESPECIFICOS Se trata de concentrar el accionar policial allí donde puede producir mayor impacto. Inconveniente posible se encuentra en el efecto desplazamiento. Posible efecto positivo de difusión Un pequeño número de delincuentes es el responsable de un alto número de delitos. Cada tipo de delitos requiere de intervenciones especialmente designadas al efecto.

27 ACCIONAR POLICIAL FOCALIZADO EN PUNTOS CALIENTES Estudios Rigurosidad o tipo de evaluación Resultados Anthony A. Braga (2007) Meta análisis 3 a 5 estudios reportan disminución de crimen y desorden. No se detecta desplazamiento del delito Reducción entre 0,157 y 0,283 (ES) Anthony A. Braga (2005)5 4 de 5 estudios reportaron significativa reducción del delito Reducción de entre 0,129 y 0,379 (ES) Weisburd, Wyckoof, Ready, Eck, Hinkle y Gajenski (2005) 3 No hubo desplazamiento ostensible del delito a áreas de control, pero se percibe cambio de método de los delincuentes 9,7% de trabajadores sexuales y 11,8% de traficantes arrestados, reportan cambiar de área. 19,4% de TS y 25% de traficantes arrestados reportan adaptación de métodos. Anthony A. Braga y Brenda J. Bond (2008) 5 Las detenciones por delitos menores reducen el delito; pero mayor impacto tiene la prevención situacional Reducción llamadas por servicio por robo (41,8%) y agresiones no VIF (34,2%), Reducción de robos residenciales (35%) y desorden social (14%), incrementan arrestos por delitos menores 29,4% Weisburd et. Al. (2004)Estudio longitudinal Los puntos calientes son estables y corresponden a una minoría de los lugares de la ciudad _____

28 Continuación… Weisburd et. Al. (2004)Estudio longitudinal Los puntos calientes son estables y corresponden a una minoría de los lugares de la ciudad ______ Ratcliffe y Makkai (2004)3Al parecer la intervención difundió sus beneficios hacia zonas adyacentes, pero no se puede decir categóricamente que no existió desplazamiento. Reducciones de entre 10% y 20% de robos domiciliario y de autos

29 ACCIONAR POLICIAL DIRIGIDO A PREVENIR LA OCURRENCIA DE DELITOS ESPECIFICOS EN EL ESPACIO PUBLICO Acciones policiales dirigidas a erradicar o reducir la ocurrencia de delitos específicos mediante la saturación policial de zonas específicas. Ejemplos: Intervenciones policiales dirigidas a reducir la posesión y el porte de armas de fuego. Mercados ilegales de drogas situados en la vía pública.

30 RESULTADOS DE EVALUACIONES DIRIGIDAS A TIPOS ESPECIFICOS DE DELITOS OCURRIDOS EN LA VIA PUBLICA EstudiosRigurosidad o tipo de la evaluaciónResultados Koper y Mayo (2006) Meta análisis 3 a 5 Resultados de patrullajes dirigidos a personas que tienen armas parece reducir la violencia Meares et.al (2006)4 Confiscación de armas reduce violencia, pero en porcentaje menor que otras intervenciones Braga y Pierce (2005)2 Baja la entrada de nuevas armas al mercado Wood et.al. (2004)2La intervención policial no parece haber tenido efectos sobre el precio de la droga, o la intensidad de su uso

31 CONTINUACION… Wood et.al. (2004)2 La intervención policial no parece haber tenido efectos sobre el precio de la droga,o la intensidad de su uso Farrington y Welsh (2005)Meta análisis 3 a 5 Analiza estudio de Mazerolle que demuestra que uso de la legislación civil en mercados de drogas tiene mayor impacto respecto del desorden social que las tácticas policiales tradicionales.

32 CONCLUSIONES TENTATIVAS El accionar policial focalizado hacia determinados delitos contribuye a reducir la violencia, pero en compañía de otras tácticas. La acción policía dirigida contra el uso de armas de fuego es prometedora. La acción contra mercados de drogas no lo es.

33 Accionar de las asociaciones de vecinos Mejor relación del público con la policía incrementa el flujo de información hacia la policía. Percepción de ser tratado con justicia por la policía incrementa cooperación con la policía. Los vecinos pueden apoyar una mayor eficiencia policial. La policía puede entregar información a los vecinos que contribuya a que sufran menor número de delitos LA POLICIA COMUNITARIA. HIPOTESIS DE SUS EFECTOS

34 ESTABLECIMIENTO DE ASOCIACIONES DE VECINOS (neighborhood watch) Benett et.al., (2006) realizaron un meta análisis de evaluaciones de estos esquemas de acción preventiva. Alrededor de la mitad de los grupos evaluados mostraron resultados positivos en términos de la disminución del delito, mientras que la otra mitad mostró resultados menos certeros. No existe certeza sobre los factores causales del resultado

35 PROGRAMAS POLICIALES DE TIPO VECINAL (Reassurance policing)

36 ESTUDIOS RECIENTES Evaluaciones del National Reassurance Policing Program con y sin grupos de control Evaluación del impacto de la puesta en práctica de un programa dirigido a brindar mayor seguridad a los vecinos en dos empobrecidos distritos sin grupos de control Estudio experimental que agrega dos policías comunitarios en un suburbio de Canberra

37 RESULTADOS DE LAS EVALUACIONES REFERIDAS A PROGRAMAS POLICIALES DISEÑADOS PARA PROPORCIONAR MAYOR SEGURIDAD A LOS VECINOS Estudio Rigurosidad o tipo de evaluación Resultados Dalgleish y Myhill (2004) Meta análisis Nivel 1 o superior Percepción de efectividad policial depende de alta visibilidad policial y del conocimiento personal de los policías. Percepción de seguridad personal se ve influida por patrullaje a pie. No informan detalles Morris (2006)2 Disminuye temor frente al delito, bajan percepciones de riesgo y aumenta la confianza en la policía No informan detalles Tuffin (2006)4Baja tasa de victimización en cinco puntos. La disminución se expresa básicamente en incivilidades. Aumentan quienes perciben que el delito ha disminuido. Aumenta porcentaje de quienes expresan confianza en la policía. No informan detalles

38 Continuación… Singer (2004)2 No hay evidencia de mayor participación pública. Pequeña disminución de quienes expresan gran preocupación frente al delito. Indicadores múltiples Segrave y Collins (2005) 3 No hay evidencia de mayor participación pública. Pequeña disminución de quienes expresan gran preocupación frente al delito Robo personal decrece en un 16% en comparación con un incremento de entre 5% y 15% observado en otros sectores. Jones y Tilley (2004)2Patrullaje visible disminuyó los robos.

39 ESTACIONES COMUNITARIAS DE POLICIA Estudios Rigurosidad o tipo de evaluación Resultados Dumaine y Linden (2005) 2 Satisfacción con centros y poco significativo impacto sobre criminalidad. Taylor y Charlto (2005)2Habría aumentado porcentaje de víctimas que denuncian. Percepción de pequeña disminución de los delitos. Denuncias incrementan en 4,3 denuncias mensuales promedio en comparación con 2,1 denuncias promedio del control

40 EL EFECTO DE LA CÁRCEL Y PROGRAMAS DE REINSERCIÓN

41 REINCIDENCIA No parecen existir diferencia estadísticamente significativa en las tasas de reincidencia de quienes reciben libertad sujeta a supervisión (parole) y quienes no la reciben Las cortes de tratamiento del consumo de drogas reducen la reincidencia, comparados con quienes no participan de ellas y los beneficios de esta alternativa superan largamente sus costos Un análisis realizado en Gran Bretaña sugiere que diversas medidas comunitarias alternativas son más efectivas en reducir la reincidencia que las condenas a prisión, tales como los tratamientos residenciales de droga, y supervisión con tratamiento de adicción a drogas. Estas medidas son también menos costosas de implementar que aquellas que implican prisión.

42 INCAPACITACION Blokland y Nieuwbeerta (2007) muestran que la incapacitación selectiva de presuntos delincuentes frecuentes – basado en el número de delitos que han cometido en el pasado, o en los cinco años previos – lleva a una sustancial reducción en las tasas delictuales. La reducción más pronunciada se produce en el primer año, después de introducida la política selectiva, dado que un número creciente de delincuentes son encarcelados. El régimen carcelario más estricto lleva a una reducción del delito de 25%, sólo asumiendo el efecto de incapacitación. El estudio también muestra que una vez cumplidas sus sentencias, estas personas salen en libertad y hacen que los niveles de criminalidad suban nuevamente.

43 Disuasión

44 PROGRAMAS DE TRATAMIENTO CORRECCIONAL PENITENCIARIO ESTUDIO EVALUACIÓN ESCALA MARYLANDHALLAZGOS Bourgon y Armstrong 4 31% de casos reincidentes en grupo de tratamiento v/s 41% en grupo control usando tratamiento basado en riesgo, necesidad y responsividad. (2005) Serin, Gobeil y Preston4 No se observan diferencias significativas en la reincidencia de grupos de infractores violentos intervenidos v/s grupos de control (2009) Landenberger y Lipsey (2005) 425% menos reincidencia en grupos intervenidos v/s grupos de control Farrington y Welsh (2005)5 Efectos leves a moderados en reducción de reincidencia delictual mediante programas cognitivo-conductuales (meta-análisis)

45 PROGRAMAS DE COMUNIDADES TERAPEUTICAS

46 CLASIFICACIÓN DE ESTUDIOS SEGÚN METODOLOGÍA, INTERVENCIONES SOBRE CONSUMO DE DROGAS ESTUDIO EVALUACIÓN ESCALA MARYLANDHALLAZGOS Welsh4 Sujetos tratados en comunidades terapéuticas presentan 25% menos reencarcelaciones que grupos comparables no tratados (2007) Drake, Aos y Miller (2009)4 Servicios de tratamiento del consumo de drogas en promedio generan disminuciones de 6,4% en la reincidencia delictual Estos resultados derivan en beneficios económicos de USD$ 12.715 por usuario. Inciardi, Martin y Butzin (2004)5 Sujetos intervenidos por consumo problemático de drogas reportan aproximadamente 50% menos arrestos que grupo de comparación Kinlock, Gordon, Schwartz y O’Grady (2009)5 13% menos reincidencia en sujetos con consumo problemático de drogas que participan en tratamiento., Warner y Kramer (2009)5 Riesgo de reincidencia puede ser 30% a 35% menor en casos intervenidos por programas de tratamiento del consumo de drogas, pero este resultado sólo se logra en los casos que completan la intervención con éxito.

47 ESTUDIO EVALUACIÓN ESCALA MARYLANDHALLAZGOS Aos, Miller y Drake 4 8,2% menos reincidencia promedio en sujetos intervenidos mediante programas cognitivo-conductuales, en relación con (2006)los resultados de población comparable no tratada. La supervisión intensiva en la comunidad puede producir en promedio disminuciones de 22% en la reincidencia delictual. Drake, Aos y Miller (2009)4 En evaluaciones más recientes, se aprecian efectos de reducción de reincidencia de hasta 18% si se comparan resultados con grupos de control. Lowenkamp, Hubbard, Makarios y Alteza (2009)4 Sólo el 23% de los casos bajo intervención son detenidos en el primer año de seguimiento, lo que contrasta con el 36% de detenciones en el grupo de comparación. Hollin, McGuire, Hounsome, Hatcher, Bilby y Palmer (20084 Se observa que los grupos intervenidos que completan exitosamente el programa tienen una reincidencia de 40%, significativamente menor que el 65% del grupo de comparación. Sin embargo, los casos ingresados al programa y desertan, muestran tasas de reincidencia sobre el 75% CLASIFICACIÓN DE ESTUDIOS SEGÚN METODOLOGÍA, INTERVENCIONES COGNITIVO-CONDUCTUALES Y SUPERVISIÓN INTENSIVA EN LA COMUNIDAD

48 ALGUNAS CONCLUSIONES DE CARÁCTER PROVISORIO ¿Usted visitaría un médico cuyos conocimientos de la ciencia no estuvieran al día? Necesidad de conocer y de generar un conocimiento producido en la región respecto del impacto de prácticas policiales y penitenciarias. Pero la acción policial en particular se diferencia fundamentalmente de un tratamiento médico. Las funciones están definidas por ley y las expectativas del público van más allá de reducir el delito. Las evaluaciones deben ser externas y producir información útil para decisores de políticas públicas, pero también para quien elabora la práctica cotidiana. Eso requiere de la utilización de distintas metodologías. Es razonable pensar que el conocimiento generado por experimentos y cuasi experimentos es de menor utilidad en los países donde existen policías y sistemas carcelarios con menores niveles de institucionalización, donde deberán pasar por cambios institucionales previos Allí donde no existe una comunidad académica desarrollada en estos temas, las políticas públicas se resentirán necesariamente.