1 Métodos de evaluación de programas Dr. Bernardita Muñoz-Chereau Concepción, 15 de Enero de 2014 MODULO 3: LEADERSHIP AND STRATEGIC PLANNING/ LIDERAZGO Y PLANIFICACION ESTRATEGICA

2 Introducción Hoy describiremos y compararemos las técnicas de recolección de datos cualitativos y cuantitativos más comunes empleados para evaluar proyectos o intervenciones educativas. Entre los primeros revisaremos: 1. observaciones 2. entrevistas 3.grupos focales 4.análisis de documentos Entre los segundos: 5. Cuestionarios

3 Observaciones Las técnicas de observación son los métodos por los cuales reunimos datos de primera mano sobre las actividades o comportamientos desde una perspectiva holística. Enfoques observacionales también nos permiten aprender acerca de las cosas que los participantes o el personal no son conscientes o que no están dispuestos o no pueden hablar en un grupo de entrevistas (ej. Dif. de género en el rendimiento) Las observaciones proporcionan información valiosa El entorno físico en el que el proyecto se lleva a cabo, el clima institucional, las formas en que todos los actores interactúan, las actividades de implementación del proyecto, el lenguaje del programa, la comunicación no verbal, lo que no esta ocurriendo. Al observar no somos espectadores neutros, sino que traemos un conjunto de conceptos, definiciones, objetivos y criterios para la descripción de los acontecimientos.

4 Fortalezas y debilidades de las observaciones Proporciona información directa sobre el comportamiento de los individuos y grupos Permitir al evaluador acceder y entender la situación / contexto Proporciona una oportunidad para identificar resultados no previstos Existe en el entorno real, no estructurado y flexible Consume mucho tiempo Amenaza la privacidad de los participantes (importancia retroalimentar) Puede afectar el comportamiento de los participantes (Hawthorne Effect) Percepción selectiva del observador puede distorsionar los datos Investigador tiene poco control sobre la situación Comportamiento o conjunto de comportamientos observados pueden ser atípicos

5 Tipo de observaciones Las observaciones dependen del grado en que el observador será un participante en el entorno que se está estudiando. La participación es un continuo que varía desde completa (observación Participante), hasta la separación completa (observación exterior). El observador participante está plenamente comprometido en la experiencia y, al mismo tiempo trata de comprender a través de la experiencia personal, las observaciones y las interacciones y conversaciones con otros participantes. El observador exterior intenta ser no intrusivo, asumiendo el papel de una "mosca en la pared“ También dependen de si se usa o no protocolo. El protocolo o guía puede tomar una variedad de formas, desde una descripción narrativa sobre los acontecimientos observados, a una lista o escala de calificación de conductas/actividades específicas que aborden la cuestión de interés. Ejemplo de protocolo: http://academic.uprm.edu/~alacima/Protocolo_RTOP%20Esp_Version%2030- agosto%2007.pdf http://academic.uprm.edu/~alacima/Protocolo_RTOP%20Esp_Version%2030- agosto%2007.pdf

6 Entrevistas Las entrevistas permiten captar las perspectivas de los participantes del proyecto (ej. sobre las primeras etapas de la implementación y los problemas encontrados). El uso de las entrevistas como un método de recolección de datos se inicia con la suposición de que las perspectivas de los participantes son significativas, cognoscibles y afectan el éxito del proyecto. Una entrevista se selecciona cuando el contacto interpersonal es importante y cuando se desean oportunidades para el seguimiento de las observaciones interesantes. Existen las entrevistas estructuradas (que ocupan un set definido de preguntas), semi-estructuradas y en profundidad (temas a ser explorados).

7 Fortalezas y debilidades de las entrevistas Proporciona información rica, detallada con nuevos puntos de vista Permite el contacto cara a cara con los encuestados Brinda la oportunidad de explorar los temas en profundidad Permite acceder a los componentes afectivos, así como los aspectos cognitivos de las respuestas Permite que el entrevistador pueda explicar o ayudar a aclarar cuestiones, aumentando la probabilidad de una respuesta útil Permite que el entrevistador sea flexible en la administración de la entrevista a personas o circunstancias particulares Consume mucho tiempo Entrevistado puede distorsionar la información a través de errores de memoria, la percepción selectiva, el deseo de complacer a entrevistador Difícil para transcribir y reducir los datos

8 Pauta de entrevista y registro Las entrevistas pueden ser grabadas (con el permiso de los participantes) y / o resumidas en notas. Un ejemplo de pauta de entrevista estructurada para evaluar las practicas pedagógicas de docentes en la comuna de Chillan: http://www.academia.edu/1625674/Modelos_Docentes_en_las_P racticas_Pedagogicas_de_profesores_de_la_comuna_de_chillan p.218

9 Grupos focales Los grupos focales son una reunión de 8 a 12 personas de 1 hora aprox. que comparten algunas características relevantes para la evaluación. Los grupos focales combinan elementos de las entrevistas y la observación participante. La sesión de grupo es una entrevista grupal (Patton, 1990 ) no es un grupo de discusión, sesión de resolución de problemas ni grupo de toma de decisiones. El sello distintivo de los grupos focales es el uso explícito de la interacción del grupo para generar datos y puntos de vista que sería poco probable que surja sin la interacción grupal. Son útiles cuando el objetivo es identificar y definir los problemas en la implementación del proyecto, los puntos fuertes del proyecto, debilidades y recomendaciones, ayudar con la interpretación de los resultados cuantitativos, resultados e impactos del proyecto y la generación de nuevas ideas.

10 Fortalezas y debilidades de los GF Proporciona información directa sobre el comportamiento de los individuos en grupos Permite al evaluador acceder y entender la situación / contexto Proporciona una oportunidad para identificar las dinámicas de grupo Permite escuchar voces típicamente silenciadas Moderador puede guiar la conversación Consume mucho tiempo Amenaza la privacidad de los participantes (importancia retroalimentar) Puede afectar el comportamiento de los participantes (Hawthorne Effect) Percepción selectiva del moderador puede distorsionar los datos Opiniones recogidas pueden ser atípicas

11 Guia de preguntas directrices para los GF Son una guía de temas o áreas de interrogación que sirve como un resumen de los temas y los objetivos a cubrir durante la entrevista grupal. También sirve como ayuda memoria para el líder del grupo, llamado " moderador ". Proporciona el esquema inicial para el informe de los resultados. Se les pide a los participantes que reflexionen sobre las cuestiones planteadas por el moderador. Los participantes están autorizados a escuchar las respuestas de los demás y de hacer comentarios adicionales más allá de sus propias respuestas originales a medida que escuchan lo que otros tienen que decir. No es necesario que el grupo llegue a un consenso ni disenso. El moderador debe mantener la discusión fluyendo y asegurarse de que una persona no domine el debate u otra no participe. Ejhttp://www.cca.org.mx/funcionarios/cursos/ap092/modulo3/ comunitaria/grupos_focales.pdfhttp://www.cca.org.mx/funcionarios/cursos/ap092/modulo3/ comunitaria/grupos_focales.pdf

12 Analisis de documentos Los registros existentes a menudo proporciona una visión de un entorno y / o grupo de personas que no se pueden obtener de otra forma. Los documentos se pueden dividir en dos grandes categorías: registros públicos y documentos personales( Guba y Lincoln, 1981). Ejemplo de documentos útiles en una evaluación de una innovación educativa son: transcripciones de los estudiantes, cuadernos, declaraciones de misión institucionales, informes anuales, presupuestos, informes de pruebas estandarizadas, actas de reuniones, fotografías, etc. A diferencia de otras fuentes de datos cualitativos, la recogida de datos a partir de documentos es relativamente invisible y requiere la cooperación mínima de parte de los participantes.

13 Cuestionarios Serie de preguntas dirigido a reunir información susceptible de ser analizada y generalizada, sin modificar el entorno ni controlar el proceso que está en observación. Los datos se obtienen realizando un conjunto de preguntas normalizadas dirigidas a una muestra representativa o al conjunto total de la población en estudio con el fin de conocer estados de opinión, características o hechos específicos. El investigador debe seleccionar las preguntas más convenientes, de acuerdo con la naturaleza de la investigación. Pueden ser de respuesta abierta (se le pide al interrogado que responda con sus propias palabras) o cerrada (que elija una respuesta de un numero limitado de alternativas).

14 Fortalezas y debilidades de los cuestionarios Las respuestas se recogen de forma estandarizada Se recopila información de manera relativamente rápida. Puede recoger información de una gran parte de un grupo, permitiendo generalizaciones a la población. Se basa en un auto-informe, que puede proporcionar una imagen herrada de lo que ocurre debido a la tendencia, intencional o no, de tratar de dar la "respuesta correcta". no permite explicar los puntos que los participantes podrían malinterpretar

15 Analisis de datos de los cuestionarios Para realizar un correcto análisis de los datos es fundamental conocer el tipo de medida de la variable, ya que para cada una de ellas se utiliza diferentes estadísticos. La clasificación de las escalas de medida las divide en cuatro grupos denominados Nominal, Ordinal, Intervalo y Razón. SPSS las divide entre Nominal, Ordinal y Escala. Nominal Nominal: Son variables numéricas cuyos valores representan una categoría o identifican un grupo de pertenencia. Este tipo de variables nos permiten establecer relaciones de igualdad desigualdad entre los elementos de la variable. La asignación de los valores es aleatoria por lo que NO cuenta con un orden lógico. Un ejemplo es el Género ya que le asignamos el valor de 1 a los hombres y 2 a las mujeres, pero no podemos establecer que uno es mayor o mejor que el otro.

16 Ordinal: Ordinal: son variables numéricas cuyos valores representan una categoría o identifican un grupo de pertenencia contando con un orden lógico. Este tipo de variables nos permite establecer relaciones de igualdad/desigualdad y a su vez, podemos identificar si una categoría es mayor o menor que otra. Un ejemplo es el nivel de educación, ya que se puede establecer que una persona con título de Postgrado tiene un nivel de educación superior al de una persona con título de Bachiller, pero no se puede determinar la distancia entre sus categorías, ya que no es cuantificable o medible. Escalar: Escalar: Las variables de escala son todas aquellas variables cuyos valores representan magnitudes. En nuestra base de datos: Experiencia y cada ítem del cuestionario es escalar.

17 Categóricas Medidas de posición: Medidas de posición: Este tipo de medidas nos permiten identificar y ubicar el punto (valor) alrededor del cual se tienden ha reunir los datos (“Punto central”). Los principales métodos utilizados para ubicar el punto central son la media, la mediana y la moda. Medidas de dispersión: Medidas de dispersión: Nos indican cuanto se desvían las observaciones alrededor de su promedio aritmético (Media). Las medidas de dispersión más importantes y las más utilizadas son la Varianza y la Desviación estándar. Medidas de distribución: Medidas de distribución: Estas medidas describen la manera como los datos tienden a reunirse de acuerdo con su frecuencia. Sus principales medidas son la Asimetría y la Curtosis.

18 Analisis de datos de los cuestionarios Cuando queremos evaluar el grado de asociación o independencia entre una variable cuantitativa y una variable categórica, comparamos las medias de la distribuciones de la variable cuantitativa en los diferentes grupos establecidos por la variable categórica. Si tenemos dos categorías (genero o ubicación), la comparación de medias entre dos grupos independientes se lleva a cabo por el test t de Student. Analizar-Comparar Medias-Independet Sample t-tests Si queremos comparar las medias de dos variables (AyB) de un mismo grupo Analizar-Comparar Medias-One simple t-tests Si tenemos tres o más categorías (dependecia), la comparación de medias entre tres o más grupos independientes se realiza a través de un Análisis de la Varianza (ANOVA). Analizar-Comprar Medias-One-Way ANOVA

19 Algunas preguntas que podemos responder con el analisis de los cuestionarios en SPSS Hay diferencias significativas entre la situación real(A) e ideal(B) de liderazgo de los participantes? Hay diferencias significativas entre hombres y mujeres en su situación real de liderazgo? Hay diferencias significativas entre hombres y mujeres en su situación ideal de liderazgo? Hay diferencias significativas entre participantes que se desempeñan en establecimientos rurales y urbanos en su situación real de liderazgo? Hay diferencias significativas según el tipo de dependencia en que trabajan los participantes respecto a su situación real de liderazgo?