1 El marco PISA para la evaluación lingüísticaEduardo Vidal-Abarca Catedrático Universidad de Valencia Miembro del Grupo de Expertos de PISA-Lectura

2 Contenidos PISA: Una visión general PISA-Lectura TCL-PISADe la evaluación al currículum

3 PISA Una visión general

4 Mapa de PISA Países OCDE Países fuera OCDE en PISA 2006 Países fuera OCDE en PISA 2006 Y PARA TAPAR EL MAPA DEL MUNDO

5 Evolución de PISA Países OCDE Países fuera OCDE en PISA 2006Países fuera OCDE en PISA 2006 Y PARA TAPAR EL MAPA DEL MUNDO

6 La evaluación de PISA Competencias complejasLectura, Matemáticas, Ciencias Evaluadas cada 3 años 2000 Lectura, Matemáticas, Ciencias 2003 Lectura, Matemáticas, Ciencias 2006 Lectura, Matemáticas, Ciencias 2009 Lectura, Matemáticas, Ciencias Recomendaciones de política educativa

7 Tipos de evaluación En común: Definir un campo de evaluaciónDiseñar tareas representativas (modelos teóricos, currículum) Graduar tareas por dificultad Desarrollar instrumentos de medida (fiabilidad, validez, etc)

8 Tipos de evaluación Diferencias: Muestras vs. TotalidadesCantidad de ítems de las pruebas Uso de los datos

9 PISA: Lectura

10 Evaluación de sistemas: PISAMarco internacional de evaluación Consenso (definición, marco, medidas) Conexión: políticas públicas – evaluación - investigación Evaluar capacidades lectoras: Más allá de lo escolar (Curriculum vs. Capacidades) Ampliar lo textual (desarrollo personal y social) Conectar con procesos (investigación cognitiva) La competencia en lectura se define como comprender, usar y reflexionar sobre textos escritos a fin de lograr metas personales, desarrollar el conocimiento y las potencialidades personales, y participar en la sociedad

11 Organización de PISA LecturaSituaciones: ¿En qué situaciones se lee? Textos: ¿Qué textos se leen? Aspectos (tareas): ¿En qué tareas hay que ser un competente lector?

12 Situaciones Publicas (38 %) – participar en la sociedadDocumentos oficiales, periódicos, folletos públicos, etc Educativas (28%) - información y conocimiento Libros de texto, enciclopedias educativas, etc Personal (19 %) – intereses personales Novelas, biografías, cartas, textos informativos, etc Ocupacionales (15 %) – tareas laborales Leer para hacer (p. ej., qué hacer en caso de …)

13 Textos Continuos (64 %) No-continuos (36%) Expositivos NarrativosArgumentativos Descriptivos Instrucciones No-continuos (36%) Gráficos Tablas Diagramas Mapas Anuncios

14 Artículo periodísticoPúblico Continuo-Expositivo

15 Folleto informativo Ocupacional Continuo-Descriptivo

16 Figura de EnciclopediaEducativo No-Continuo - Gráfico

17 Informe de resultados Público No-Continuo Tabla

18 2009 Textos Continuos No-continuos Mixtos Múltiples Medio: ImpresoElectrónicos 2009

19 Aspectos (tareas) COMPRENDER USAR REFLEXIONAR SOBRE Textos escritos Preguntas de INTRUCCIONES: Consulta la tabla para contestar a las preguntas siguientes

20 Aspectos (estructura de tareas)LECTURA Información en texto Fuera del texto

21 Partes independientesAspectos (estructura de tareas) LECTURA Información en texto Fuera del texto Partes independientes Relaciones en el texto Todo el texto Partes del texto

22 Aspectos (estructura de tareas)LECTURA Información en texto Fuera del texto Partes independientes Relaciones en el texto Todo el texto Partes del texto Recuperar Comprensión global Interpretar

23 Reflexionar y Evaluar Contenido Reflexionar y Evaluar FormaAspectos (estructura de tareas) LECTURA Información en texto Fuera del texto Partes independientes Relaciones en el texto Contenido Estructura Todo el texto Partes del texto Reflexionar y Evaluar Contenido Reflexionar y Evaluar Forma Recuperar Comprensión global Interpretar

24 Escalas (Capacidades)LECTURA Información en texto Fuera del texto Recuperar información Interpretar Reflexionar Comprensión global Contenido Recuperar Interpretar Forma

25 PROCESOS DE COMPRENSIONComprender un texto: Operaciones -> representación mental Intra-texto: (ciclos) Formar ideas Relacionar ideas: partes, globalmente Auto-regular Más allá: contenidos, forma Responder preguntas: Comprender pregunta (Auto-regular) Activar representación Construir Respuesta (Auto-regular) Decisiones (¿releer?)

26 OPERACIONES MENTALES Formar ideas Relacionar ideas:Elementos textuales Relación global Párrafo Texto Auto-regular

27 CONOCIMIENTO PREVIO + TEXTOREPRESENTACION FINAL CONOCIMIENTO PREVIO + TEXTO Representación mental COHERENTE Representación mental INCOHERENTE (y errónea)

28 PROCESO PREGUNTA-RESPUESTA… … …… …. .. TEXTO Xxx xxx xx xxx xxx xx x xxx xxx x xxx xx xx x xx xx xx PREGUNTA ¿Cuál de las …? Ciclos: pregunta – (texto) - respuesta Auto-regulación 2 CAMBIOS EN LA REPRESENTACIÓN

29 Fuentes de Dificultad Texto: longitud, complejidad, familiaridadPregunta -Texto: cantidad de información para buscar o relacionar superposición pregunta-texto (inferencias) información textual en competición (contexto de ideas) cantidad conocimiento previo para activar (transferencia) Formato de pregunta: seleccionar vs. producir

30 EJEMPLOS

31 EJEMPLO

32 EJEMPLO

33 Niveles de competencia (Integrar)5 Comprensión completa y detallada del texto 4 Inferencias basadas-en-el-texto en contexto poco familiar Integrar partes del texto para entender una idea importante 3 2 Identificar la idea esencial de un texto 1 Reconocer el tema esencial del texto cuando el tema es familiar

34 Conclusiones Esquema de competencias amplio pero específicoMás allá de lo escolar Tareas variadas y ajustadas a competencias

35 Test (Individual) de Competencias en Lectura para ESO (TCL)

36 TCL-PISA (Lápiz y papel)Modelo PISA de Capacidades Recuperar Interpretar Reflexionar Objetivos: Evaluar capacidades a comienzos de ESO Conectar con intervención educativa

37 Procedimiento de elaboraciónDecidir el esquema de competencias (PISA) Seleccionar/Elaborar Textos Pertinentes Atractivos Elaborar preguntas Formulación clara Dificultad variada Criterios de corrección claros Pruebas piloto previas

38 Contenido Textos: Preguntas (20) Tarea: Continuos 3 No continuos 2Recuperar Integrar Reflexionar Tarea: Contestar preguntas usando información textual

39 Ejemplo 1

40 Ejemplo 2 Accidentes de tráfico

41 El calentamiento globalEjemplo 3 El calentamiento global Variación de la temperatura de La Tierra ( ) Aumento de Emisiones de CO2 ( )

42 Ejemplo 4 Energía nuclear

43 Aplicación Muestra 603 niños y niñas de 1º, 2º, 3º ESO (204, 200, 199 alumnos respectivamente) Control de variables demográficas y educativas

44 Puntuación por curso Diferencias significativas entre cursos

45 Relación TCL y RendimientoCiencias: .481** Ciencias Sociales: .298** Matemáticas: .223* Valenciano: .187* Lengua Española: .121

46 Conclusiones Evaluación individual basada en PISAAdecuada para niveles ESO Base para intervención educativa Relación variada con Rendimiento

47 De la evaluación de competencias al currículum escolarEvaluación de competencias en centros y aulas De la evaluación de competencias al currículum escolar

48 Enseñanza/Evaluación de competencias en centros¿Qué competencias enseñar/evaluar? POCAS competencias Competencias CLAVE Contextos REALES Conexión TRANSVERSAL y LONGITUDINAL ¿Qué tareas utilizar? Alineadas con las competencias Variadas (en dificultad y representatividad) Con criterios de corrección claros Amenas

49 Evaluación de competencias en centrosProcedimiento para evaluación sumativa Elaborar un esquema coherente (competencias – situaciones – conocimientos) Seleccionar/Elaborar materiales de evaluación a partir del esquema y elaborar criterios de corrección Probar materiales (textos, preguntas, etc …): dificultad, adecuación, facilidad de corrección Desarrollar prueba final Tomar criterios externos de validez

50 Enseñanza de competenciasAlinear enseñanza y evaluación (pero no confundir) Enseñar a comprender: ¿Qué enseñar? Captar ideas Relacionar ideas Sintetizar Aplicar Reflexionar y evaluar Cómo enseñar Guiar el aprendizaje Atender diferencias individuales Evaluar periódicamente

51 ¡Gracias por la atención!