1 FORMACIÓN AVANZADA BLOQUE II EVALUACIÓN CRITERIAL. INSTRUMENTOS DE EVALUACIÓN JAVIER CORTÉS Y VICTOR MARTÍNEZ

2 Recurso2.2. 2.2.a) Lectura del documento “Elaboración de pruebas escritas referidas al criterio” Víctor Martínez, Maite Burruezo, Ana Moreno y Javier Cortés. 2.2.b) Presentación “Elaboración de pruebas escritas”. 2.2.c) Plantilla para el análisis de un estímulo y propuesta de ítems asociados.

3 Elaboración de pruebas escritas

4

5 ¿Has visto que prueba han hecho? ¿A quién se le habrá ocurrido? Mira este ítem. ¡Qué barbaridad!

6 EVALUACIONES EDUCATIVAS LO DESEABLE DE UN SISTEMA EDUCATIVO Currículo Competencias y habilidades para la vida Evaluación

7 LO OBSERVADO CON UNA PRUEBA DE EVALUACIÓN Currículo Competencias y habilidades para la vida Evaluación EVALUACIONES EDUCATIVAS

8 Las Evaluaciones de diagnóstico (ED) utilizan el currículo como base para evaluar las oportunidades educativas de los estudiantes. Se distinguen tres tipos de evaluaciones curriculares: Currículo pretendido: Lo que se espera que aprenda el estudiante, lo que está indicado en los planes de estudio y la organización del sistema educativo. (Revisión de proyectos curriculares y documentos oficiales (Mullis et al., 2012)). Currículo implementado: Lo que se enseña realmente en el aula y cómo se enseña. (Administración de cuestionarios para la evaluación del contexto del estudiante y del profesor). Currículo alcanzado: Lo que realmente ha adquirido el estudiante. (Evaluación del conocimiento y habilidades del estudiante mediante ítems de resolución)

9

10

11

12 Estímulo Ítem Pilotaje Aplicación principal Explotación de datos Tipo respuesta: Elección múltiple Cerrada Abierta construida Abierta ………. MATRIZ ESPECIFICACIONES PROCESO DE CONSTRUCCIÓN DE PRUEBAS CODIFICACIÓN ELABORACIÓN

13

14

15

16 DESCRIPTOR BLOQUES DE CONTENIDOS Números Álgebra Geometría Funciones y Gráficas Estadística y Probabilidad Contenidos comunes Ejemplo: Contenidos y Procesos para Matemáticas 2º ESO

17

18

19

20

21

22 L OS ESTÍMULOS Desarrollo de estímulos e items Unidad de Evaluación Servicio de Evaluación y Estudios - DGIOyPL

23 Finalidad de las evaluaciones de diagnóstico...las competencias básicas se relacionan con contenidos curriculares que suponen conocimientos, habilidades y actitudes transferibles y útiles para hacer frente a situaciones y problemas que se presentan.... Las competencias básicas del currículo se refieren a las capacidades de los sujetos para utilizar sus conocimientos, habilidades y actitudes en la comprensión de la realidad y en la resolución de problemas prácticos planteados en situaciones de la vida cotidiana; en resumen, la aplicación de los conocimientos en un contexto determinado para la resolución de un problema. EGD (Evaluación General de Diagnóstico)

24 El estímulo Las preguntas, por lo general, no se presentan aisladas sino formando grupos bajo una presentación textual y/o gráfica común llamada estímulo, que presenta al alumno una situación cotidiana como las que se pueden encontrar a diario. Un estímulo trata de ser un elemento de partida que posiciona al alumno en una situación que pudiera ser real. Normalmente estas pruebas vinculan varios items o preguntas con el mismo estímulo.

25 Buscar estímulos en los que el alumno pueda tener interés. Seleccionar en función de las preguntas que se harán:  Textos (continuos o discontinuos).  Gráficos, imágenes, fotografías, dibujos, etc.  Esquemas (sinópticos, eléctricos, planos, distribución, montaje).  Comentarios, notas al pie, aportaciones laterales.  Tiras cómicas.  Mapas de metro, de autobús, de ciudad, de carreteras.  Organigramas, tablas, listados, notas manuscritas, carteles, etc. Deben ser correctos y respetuosos desde el punto de vista de la igualdad de los sexos, creencias religiosas, etc. ¿Dónde podemos encontrar estímulos?

26 Recomendaciones y ejemplos para la selección de estímulos Utilidad - Conectar o contextualizar la competencia o área en el mundo real. - Hace que las preguntas (ítems) tengan un propósito y se alineen con los requisitos del marco teórico. - Hace que los ítems sean interesantes y más atractivos visualmente para los alumnos que simplemente textos o símbolos. - El contexto y el realismo hacen la prueba más interesante para los alumnos. - Permite extraer un número de preguntas a realizar sobre un mismo estímulo o contexto, configurando así una unidad de evaluación.

27 Criterios para seleccionar un buen estímulo

28

29 Ejemplos de estímulos Competencia Matemática

30 Ejemplos Evaluación General de Diagnóstico (EGD) 2009 CM Ejemplos PISA CM Ejemplos TIMMS CM (inglés)

31 Tipología de textos Competencia Comunicación Lingüística

32

33 Tipos de textos Textos continuos Están formados por oraciones que se organizan en párrafos. Gráfica o visualmente, la organización se produce mediante la separación de partes del texto en párrafos, los sangrados de estos últimos y la distribución del texto en una jerarquía que se indica a través de los encabezamientos, que ayudan a los lectores a reconocer la organización del texto. Los reportajes periodísticos, los ensayos, las novelas, los relatos breves, las reseñas y las cartas son ejemplos de objetos de texto en formato de texto continuo en el medio impreso. En el medio electrónico, el grupo de formato de texto continuo incluye reseñas, blogs y reportajes. (Los textos electrónicos continuos suelen ser breves, debido a las limitaciones del tamaño de la pantalla y a que requieren una lectura poco sistemática, lo que hace que los textos largos resulten poco atractivos para muchos lectores on line. )

34 Tipos de textos Textos discontinuos Los textos discontinuos están formados por una serie de listas, algunos son listas únicas, simples, pero la mayoría están constituidos por una combinación de varias listas simples. Las listas, tablas, gráficos, diagramas, anuncios, horarios, catálogos, índices y formularios son ejemplos de objetos de texto discontinuo. Estos objetos de texto aparecen tanto en el medio impreso como electrónico. - Textos mixtos: Es el formato habitual en revistas, obras de consulta e informes, donde los autores emplean diversas presentaciones para transmitir información. Muchos textos en soporte impreso son objetos únicos, coherentes, formados por un conjunto de elementos en formato tanto continuo como discontinuo. En los textos mixtos bien construidos, los componentes (por ejemplo, una explicación en prosa que incluye un gráfico o tabla) se apoyan mutuamente a través de nexos de coherencia y cohesión a escala local y global. - Textos múltiples

35

36 Ejemplos de estímulos Competencia Comunicación Lingüística

37 Ejemplos estímulos Evaluaciones Nacionales CCL Ejemplos estímulos EGD 2009 y PIRLS 2006 CCL Ejemplos estímulos PISA CCL

38 Importancia de la selección de textos. Mapas de texto Competencia Comunicación Lingüística

39 Mapas de texto Textos de ficción Las características principales que deben analizarse son: Tema Hechos principales Personajes principales Contexto Características del lenguaje

40 Mapas de texto Textos de ficción Ejemplo: Nunca más comeré tomates (texto prueba de la Evaluación de Diagnóstico en Competencia en Comunicación Lingüística, 2013) Tema: alimentación, importancia de comer de todo, ver las cosas desde otro punto de vista. Hechos principales: Tolola no quiere comer ciertos alimentos; Juan les cambia el nombre original por otro fantástico; Tolola empieza a comer todo lo que no le gustaba; Tolola entre en el juego, y por propia iniciativa crea un nuevo nombre. Personajes principales: Juan, Tolola (hermanos) Contexto: En la mesa a la hora de cenar (en un hogar) Características del lenguaje: vocabulario de alimentos, uso de la metáfora, nombres de lugares (Fuji, Groenlandia, Júpiter, Luna), exclamaciones e interrogantes, sirenas.

41 Mapas de texto Textos de no ficción Las características principales que deben analizarse son: Propósito: exposición, argumentación, crítica... Tema: descripción del tema principal del texto. Contenido: descripción general del contenido del texto, los rasgos más fundamentales. Estructura: mapa de estructura de ese contenido, relaciones jerárquicas en los conceptos... Características de la presentación: prosa o no, si tiene ilustraciones y diagramas con anotaciones... Características del lenguaje.

42 Análisis estructural Además de los mapas de texto, también ayuda la realización de un análisis estructural de los textos. Ambas técnicas van a facilitar el desarrollo de buenos items.

43 ELABORACIÓN DE ITEMS Unidad de Evaluación Servicio de Evaluación y Estudios - DGIOyPL

44 DESARROLLO DE GUÍAS DE CORRECCIÓN CRITERIOS DE ELABORACIÓN DE ITEMS TIPOLOGÍAS DE ITEMS ¿QUÉ ES UN ÍTEM?

45 Es una unidad de medida. Consiste en un reactivo (tronco) y una forma prescrita de respuesta. Su objetivo es obtener una conducta observable y claramente interpretable (debe ser capaz de discriminar).

46 Elaboración del marco teórico Redacción preliminar de preguntas o ítems Revisión de preguntas Preguntas aceptadas o rechazadas Estudio piloto Análisis psicométrico y revisión Preguntas para el Estudio Principal Elaboración de preguntas o ítems para un estudio

47 ¿QUÉ ES UN ÍTEM?

48 Ítems de respuesta cerrada

49 Ítems de respuesta abierta

50 Elección múltiple RESPUESTA CERRADA

51 Tipología de items Elección múltiple

52 Tipología de items Elección múltiple

53 Tipología de items Elección múltiple

54 Respuesta alternativa simple RESPUESTA CERRADA

55 Tipología de items Respuesta alternativa simple

56 Elección múltiple compleja RESPUESTA CERRADA

57 Tipología de items Elección múltiple compleja

58 Tipología de items Elección múltiple compleja

59 Tipología de items Diferencia entre ítems de Respuesta alternativa simple y Elección múltiple compleja

60 Respuesta de Asociación RESPUESTA CERRADA

61 Tipología de items Asociación Evaluación de Diagnóstico de Extremadura 2009-2010 (Educación Primaria)

62 Tipología de items Asociación Evaluación de Diagnóstico de Extremadura 2009-2010 (Educación Primaria)

63 Tipología de items Asociación Evaluación de Diagnóstico de Navarra 2011-2012 (4ºEducación Primaria)

64 Respuesta abierta corta RESPUESTA ABIERTA

65 Tipología de items Respuesta abierta corta

66 Tipología de items Respuesta abierta corta

67 Tipología de items Respuesta abierta corta

68 Tipología de items Respuesta abierta corta

69 Tipología de items Respuesta abierta corta

70 Respuesta abierta larga RESPUESTA ABIERTA

71 Tipología de items Respuesta abierta larga

72 Tipología de items Respuesta abierta larga

73 Tipología de items Respuesta abierta larga

74 Tipología de items Respuesta abierta larga

75 Codificación CUANDO ESTÁ “BIEN O MAL” Puntuación máxima Código 1: … Sin puntuación Código 0: otras respuestas … Código 9: sin respuesta

76 Codificación PUNTUACIÓN PARCIAL Puntuación máxima Código 2: … Puntuación parcial Código 1: … Sin puntuación Código 0: otras respuestas … Código 9: sin respuesta

77 http://pisa-sq.acer.edu.au/showQuestion.php?testId=2295&questionId=5http://www.youtube.com/watch?v=QHzpPflDiMY

78

79

80 Presentación de ítems liberados de PISA, TIMSS y PIRLS: Marco teórico, elaboración y aprovechamiento didáctico

81 CRITERIOS DE CORRECCIÓN PREGUNTA A

82 Presentación de ítems liberados de PISA, TIMSS y PIRLS: Marco teórico, elaboración y aprovechamiento didáctico

83 CRITERIOS DE CORRECCIÓN PREGUNTA B

84 Presentación de ítems liberados de PISA, TIMSS y PIRLS: Marco teórico, elaboración y aprovechamiento didáctico CRITERIOS DE CORRECCIÓN PREGUNTA C

85 Presentación de ítems liberados de PISA, TIMSS y PIRLS: Marco teórico, elaboración y aprovechamiento didáctico CRITERIOS DE CORRECCIÓN PREGUNTA D

86

87

88

89

90

91 Recomendaciones para elaborar preguntas (ítems) Si son de respuesta múltiple:  Incluir un número par de respuestas. Se recomienda cuatro.  Solo exista una respuesta inequívocamente correcta.  Los distractores sean plausibles pero erróneos.  Todas las opciones tengan una forma de redacción similar.  Todas las opciones tengan una longitud similar.  No emplear preguntas negativas o alternativas negativas.

92 Recomendaciones para elaborar preguntas (ítems) Si son de respuesta elaborada:  No incluir expresiones del tipo “cita al menos tres …”. Ser preciso en lo que se pide ayuda a la codificación. Podríamos sustituir la expresión anterior por “Enumera tres …”.  Evitar preguntar cuestionas vinculadas con el idioma de manera directa: “sustituye la palabra por un sinónimo”.  Elaborada larga: plantearla para que la codificación sea posible => ejemplos de respuestas reales.

93 La Unidad de evaluación

94

95 Unidad de evaluación Qué características conforman una buena unidad de evaluación Una unidad de evaluación es el conjunto de estímulo y sus items asociados. Generalmente, aunque varía según la organización que promueve la evaluación y la competencia evaluada, un estímulo tiene asociados un mínimo de 5 items. 15 o más items, en el caso de los textuales.  Los items de un estímulo deberían cubrir todo el rango de dificultad.  Los items también deberían cubrir las características del marco teórico.  Cada ítem es independiente de los otros. La independencia es un requisito técnico indispensable.  En estímulos textuales, los items han de referirse a las características principales del texto, no a anotaciones o información al margen.

96 ¿Has visto que prueba han hecho? ¿A quién se le habrá ocurrido? Mira este ítem. ¡Qué barbaridad!

97

98

99 Producto 2.2. Selección de un estímulo y elaboración de un ítem de respuesta cerrada y otro de respuesta abierta en relación con éste.

100 FIN Muchas gracias por su atención