1 Módulo IV. Competencias en evaluación de procesos y mejora de programas. Curso de Formación de Formadores. CONFAPA y Consejería de Educación y Ciencia.

2 Objetivos de la sesión a. Definir la evaluación como un componente clave de cualquier proceso desde la reflexión sobre las ideas previas y las resistencias al desarrollo de una cultura evaluadora. b. Describir las características de la evaluación de programas a partir de un proceso de toma de decisiones. c. Introducir en los procedimientos y técnicas de evaluación. d. Analizar la necesidad y los efectos de la evaluación. e. Dar respuesta a las demandas surgidas.

3 Secuencia 1º. Evaluación: ideas previas, ámbitos, conceptos y características (45 minutos). 2º. Evaluación como toma de decisiones (120 minutos). 3º.Efectos de la evaluación (30 minutos). 4º.Evaluación de la sesión (30 minutos). Descanso intermedio: 15 minutos.

4 1ª parte Cultura evaluadora.

5 En un capítulo de los Simpson, en la escuela, el primer día de clase, sucede algo así: Profesor: “Estoy muy contento de comenzar este curso con vosotros. Espero que lleguemos a conocernos y a disfrutar juntos”. Alumno: “¿Eso que ha dicho también va a examen?

6 Repensar la educación y la evaluación para aprender del error “La gente cree que correcto y equivocado son absolutos, que todo lo que no es correcto de modo perfecto está equivocado de modo total. Yo no opino esto. Creo que correcto y equivocado son conceptos borrosos”. I. Asimov. “La relatividad del error”. “Un error corregido (por el propio alumno) puede ser más fecundo que un éxito inmediato porque la comprensión de una hipótesis falsa y sus consecuencias prevee nuevos conocimientos y la comparación entre dos errores da nuevas ideas”. J.Piaget “Lo posible, lo imposible y lo necesario”. “Equivocarse suele ser esencial para la creatividad” E. de Bono. “Seis sombreros para pensar”.

7 ¿A quién se evalúa en la LOE? La evaluación se extenderá a todos los ámbitos educativos regulados en esta Ley y se aplicará sobre: Los procesos de aprendizaje y resultados de los alumnos. La actividad del profesorado. Los procesos educativos. La función directiva. El funcionamiento de los centros docentes. La inspección. Las propias Administraciones educativas. Título VI. Evaluación del sistema educativo. Artículo 141. Ámbito de la evaluación.

8 Evaluar es establecer un juicio sobre el “valor” de : La Evaluación es un proceso sistemático de recogida y análisis de la información, fiable y válida dirigida a tomar decisiones para permitir una mejora. Ser útil para identificar la problemática y tomar decisiones. Ser posible. Ser ética describiendo los objetivos y procedimientos utilizados asegurando la honradez de los resultados.

9 “Calificativos” de la evaluación. Global. Formativa. A criterio. Interna. Cualitativa. Subjetiva. Continua. Diagnóstica. Censal. Puntual. Sumativa. A norma. Externa. Cuantitativa. Objetiva. Terminal. Calificativa. Muestral.

10 Tres componentes de un mismo proceso Programa r Desarrollar, aplicar, implementar Evaluar

11 2ª parte. La evaluación como toma de decisiones.

12 La evaluación como un proceso de toma de decisiones 1. Definir el modelo. 2. Definir el objeto y contenido: establecer ámbitos, dimensiones e indicadores. 3. Establecer los criterios y los referentes. 4. Determinar los procedimientos, seleccionar las técnicas y elaborar los instrumentos. 5. Concretar los responsables y la muestra. 6. Fijar la temporalización: inicio, proceso y final. 7. Elaborar y difundir el informe de resultados según las audiencias. 8. Determinar los “efectos” de la evaluación.

13 1. EL MODELO Y CARACTERÍSTICAS DE LA EVALUACIÓN

14 Modelos Evaluación por resultados de Tyler. Científico de Schuman. Orientada al perfeccionamiento de Stufflebeam. Centrada en el cliente de Stake. Modelo CSD de Alkin (1969). Evaluación contrapuesta de Owens y Wolf. Iluminativa de Parlett y Hamilton. Modelo Europeo de Calidad (EFQM ).

15 Modelo de Stufflebeam (CIPP)1971 Contexto Input (Entrada) ProcesoProducto DesarrolloResultado Inicial

16 Modelo Europeo de Calidad (EFQM) Agentes (500 puntos) 1. Liderazgo (10%) 2. Planificación y estrategia (9%) 3. Gestión de personal (8%) 4. Recursos (9%) 5. Procesos (14%) Resultados (500 puntos) 1. Satisfacción del cliente (9%) 2. Satisfacción del personal (20%) 3. Impacto social (6%) 4. Resultados (15%) Modelo empresarial de calidad. ¿Dónde está el contexto? Cuestionario con una escala de estimación: nivel de acuerdo

17 MODELO DE EVALUACIÓN Fase descriptiva - Holística, cualitativa e interpretativa-.  Análisis de la realidad en su globalidad y singularidad. Fase comunicativa -Juicio y valoración-  Análisis de problemas.  Búsqueda de alternativas.  Toma de decisiones consensuada. Proceso de construcción y diálogo

18 Modelo de evaluación: estrategias de investigación-acción El diseño responde a las necesidades e intenciones. Cómo se desarrolla el proceso. Qué resultados se obtienen.  Por qué sucede.  Cuáles son las alternativas. Fase descriptiva: ¿Qué está pasando ?. Fase comunicativa ¿Por qué?.Juicio y valoración. Los cambios han de estar controlados y ser posibles.

19 2. ¿Qué evaluar?

20 Ámbitos Contexto Entrada (Programa) ProcesoResultados Impacto

21 Selección de indicadores Representativos para asegurar una información Relevante. Fáciles de observar. Variados para recoger una Información completa. Referidos a una sola situación. Claros y precisos para que la interpretación sea unívoca. Cuantitativos: ratio, créditos.. Cualitativos: expectativas, calidad, desarrollo...

22 Procedimiento para la selección de indicadores  Identificación: catálogo inicial.  Validación /Calibración  Estimación de su relevancia a juicio de expertos.  Representatividad estadística. Redactado definitivo del sistema de indicadores.

23 Indicadores de una actividad de formación Aspectos curriculares 1.Justificación de la actividad: necesidades, intenciones, incidencia en la práctica profesional 2.Objetivos: formulación, desarrollo y logro. 3.Módulos de contenido: desarrollo de los objetivos, selección y secuenciación. 4.Ponencias, experiencias, asesoramiento... selección, desarrollo.... 5.Metodología: estrategias, dinámica de participación, trabajo en grupo... 6.Materiales de apoyo: previsión y dotación. 7.Trabajos realizados y desarrollo. 8.Programa de evaluación. Aspectos organizativos 1.Información y difusión: plazos y procedimientos de comunicación o convocatoria a los participantes. 2.Créditos/ Horas: distribución de sesiones (presenciales/ no presenciales) 3.Accesibilidad: ubicación, calendario y horario. 4.Participación: expectativas, selección, continuidad y estabilidad. 5.Presupuesto: previsión y gastos. 6.Participación de otras entidades.

24 3. ¿Qué juicio establecer?: Referentes y criterios

25 Los referentes Modelo teórico: Normativa Proyecto Educativo. Documentos programáticos Modelo empírico: programa (“Entrada”) Práctica real CONTRASTE 

26 CRITERIOS Adecuación Coherencia Funcionalidad Relevancia Eficacia Eficiencia Suficiencia Viabilidad Satisfacción Juicio a los INDICADORES

27 4. Procedimientos

28 Los PROCEDIMIENTOS sirven para DESCRIBIR LA REALIDAD DESCRIBIR LA REALIDAD ANALIZARLA Y VALORARLA ANALIZARLA Y VALORARLA OBTENER CONCLUSIONES PARA MEJORARLA Y TOMAR DECISIONES OBTENER CONCLUSIONES PARA MEJORARLA Y TOMAR DECISIONES Observación Recogida de opiniones Análisis de Documentos y casos Proceso sencillo, continuo, planificado, participativo, objetivo y fiable

29 Técnicas e Instrumentos. Inventarios y listas de control. Cuestionarios abiertos o con escalas de estimación. Observaciones y registros. Entrevistas. Grabaciones. Estudio de casos. Análisis de causas. Autoinformes o heteroinformes. Mapas situacionales. Análisis de fortalezas y debilidades... Balances

30 Normas para formular actividades de evaluación La pregunta La información relevante. La formulación clara y directa.. El redactado de las opciones breve. Usar lo menos posible la negación y cuando se usa subrayarla. Evitar el indicar la respuesta correcta. Evitar la puntuación media. La respuesta La respuesta correcta es las preguntas cerradas es única.

31 Formatos de actividades de evaluación Emparejamiento: Asociar dos hechos... Respuesta alternativa: verdadero o falso (nivel más bajo de aprendizaje). Elección múltiple: no son válidas para aprendizajes complejos). Priorizar: ordenar Completar: medida eficaz de datos y recuerdos específicos... Respuesta corta: enumerar, definir, dar un resultado Ensayo restringido o extenso: exige el modelo de respuesta para su corrección

32 Ejemplos: Recogida de opiniones de un miembro del AMPA sobre la metodología de trabajo utilizada por la junta directa de la misma Valora la frecuencia con la que realiza 1234 1Reuniones de trabajo en grupos de padres y madres por curso. 2Asambleas generales 3Reuniones para tratar temas específicos. 4Consultas antes de realizar proyectos para establecer objetivos y contenidos 5Actividades de ocio 6Charlas puntuales 7Sesiones de Escuelas de madres y padres 8Hojas o boletines informativos 9Otras Nunca 1, Alguna vez 3, Habitualmente 3 o Siempre 4

33 Análisis causal: " espina de pez" de Ishikawa. Los padres y madres no participan Organizativos Personales Otras causas Recursos

34 La junta directiva del AMPA, la FAMPA y la CONFAPA analizan su práctica para establecer líneas de mejora  Buenas prácticas Malas prácticas Propuestas de mejora

35 5.¿Responsables?

36 Responsabilidad compartida Responsables de la organización *. Componentes / Participantes. /AUDITORÍA/ Asegurar el compromiso de mejora.

37 6. Temporalización

38 Proceso continuo Inicial: contexto, ideas previas y conceptos básicos / formativa. Proceso: desarrollo de los aprendizajes / formativa. Final: Competencia (resultados) /formativa y sumativa.

39 7. Informe de evaluación

40 Análisis Valorativo COMPARTIMOS ES NECESARIO MEJORAR ES NECESARIO MEJORAR TENEMOS ALTERNATIVAS TENEMOS ALTERNATIVAS

41 Información de la evaluación Descriptiva y clara Relevante y breve En términos positivos: elementos en los que destaca y elementos de mejora. Orienta la mejora Personal / confidencia

42 8. Efectos

43 Efectos colaterales Provocar competición y enfrentamientos, favoreciendo el atrincheramiento en posiciones previas y culpando a la evaluación de la situación Convertir la evaluación en un ajuste de cuentas Tomar en consideración solamente los resultados que son acordes con las intenciones propias. Descalificar los resultados cuando no interesan las conclusiones Realizar una evaluación parcial, eliminando parcelas que pueden ser problemáticas. Publicar de manera interesada algunos aspectos de la evaluación

44 Retos “Conseguir incrementar los niveles de calidad y de equidad es el permanente reto al que se enfrentan los sistemas educativos. Para ello es imprescindible asumir dos premisas:... 1ª Hay que reconocer que la responsabilidad para su consecución y los medios para alcanzarlo están en manos de la comunidad educativa en su conjunto (administradores, docentes, familias, alumnado...). 2ª Se ha de considerar que es necesario incrementar estos niveles de calidad en todos los subsistemas (Administración, centros docentes y aulas) para llegar a cada alumno y alumna concreto, con nombre y apellidos”. Santos Guerra, Miguel Angel (Universidad de Malaga)