1 “Las pruebas externas de certificación y titulación en España y en Europa.Ismael Sanz Instituto Nacional de Evaluación Educativa (MECD) XXXIII Congreso de ANIE, Madrid 10 Octubre 2014

2 Para más información: http://www.mecd.gob.es/inee Síguenos en Twitter:@educaINEE Y en nuestro blog: 2

3 Informe PISA 2010. Volumen IV. Pruebas externas y estandarizadasPISA define las pruebas externas como aquellas que tienen consecuencias académicas. En el gráfico se observa que en 24 de los 34 países de la OCDE existe una prueba externa y estandarizada. Dos de cada tres alumnos de los países más desarrollados del mundo se encuentran en sistemas educativos en los que se realizan este tipo de pruebas.

4 Relación entre el rendimiento del alumnado, la existencia de exámenes externos y la autonomía de los centros El gráfico de Hanushek y Woessmann muestra que la autonomía de los centros combinada con la existencia de pruebas externas y estandarizadas es la combinación que proporciona mejores resultados. La segunda mejor combinación es pruebas externas sin autonomía.

5 ¿Cómo se relacionan las evaluaciones externas y estandarizadas con el desempeño de los estudiantes?En los países cuyos sistemas de evaluación incluyen exámenes externos y estandarizados, la puntuación de lectura es 16 puntos superior de media que en los países que no se aplican estas pruebas Fuente: Education at a Glance, 2012, pag 527

6 Mecanismos de rendición de cuentasLa autonomía de los centros en la gestión de recursos en combinación con los mecanismos de rendición de cuentas aumenta el rendimiento educativo. Volumen 4. Ch.4. F. IV.4.x2, F. IV.4.x3. Volumen 4. Ch.4. P.12-57 6 6

7 ¿Cómo se relacionan las evaluaciones externas y estandarizadas con el desempeño de los estudiantes?Taken as a whole, the existing cross-country evidence suggests that the effect of external exit exams on student achievement may well be larger than a whole grade-level equivalent, or between 20% and 40% of a standard deviation of the respective international tests Hanushek & Woessmann. (2011). The Economics of International Differences in Educational Achievement. Pp. 145.

8

9 Estudios sobre el impacto de los exámenes externos y estandarizados en el rendimiento del alumnadoAutores Conclusiones Bishop (1995) Los exámenes externos están relacionados con un mayor rendimiento del alumnado. También tienen un efecto positivo en el comportamiento de los estudiantes, de sus familias y del profesorado. El rendimiento del alumnado y los salarios del profesorado son mayores en los países donde se aplican los exámenes de acceso externos y estandarizados. Bishop (1997) Elevado impacto de los exámenes de acceso externos y estandarizados en el rendimiento del alumnado. Efectos positivos en el comportamiento de las familias, profesores y administradores. Woessmann (2003) Los ajustes institucionales, como los exámenes externos, la autonomía de los centros y la competencia privada, tienen un impacto mucho mayor que el que producen los recursos del centro. El rendimiento del alumnado es superior en los sistemas educativos con exámenes externos; interacción positiva con la autonomía del centro. Woessmann (2005) Los efectos de los exámenes centralizados en el rendimiento del alumnado son heterogéneos y varían en función de los estudiantes, los centros y la dimensión temporal. Bishop (2006) Los exámenes de acceso externos y estandarizados tienen un impacto positivo en el rendimiento del alumnado. No influyen en la asistencia a clase. Fuchs y Woessmann (2007) Una cuarta parte de la variación del rendimiento entre países se puede explicar por factores institucionales. Los exámenes externos se relacionan positivamente con la autonomía. Efecto positivo de la gestión privada. Woessmann, Luedemann, Schuetz y West (2009) Efecto positivo de las medidas de rendición de cuentas en el rendimiento del alumnado y en el impacto de la autonomía.

10 Rendición de cuentas, logros en educación postsecundaria y gananciasEl estudio TSP (Texas Schools Project), llevado a cabo a finales de los 90 demostró que los centros reaccionan ante el riesgo de que los etiqueten como rezagados por tener bajas puntuaciones, de forma que aumentan el rendimiento de sus alumnos en las pruebas estatales. Con el paso de los años, estos alumnos tendrán mayor posibilidad de completar un grado universitario, y de tener mayores ingresos a los 25 años. Por el contrario, no parece haber repercusión global - ni grandes descensos en los logros o salarios de los estudiantes con bajos resultados - en los centros que se enfrentan a una mayor presión por la rendición de cuentas. Deming, D., Cohodes, S. (2013). School Accountability, Postsecondary Attainment and Earnings

11 Impactos a corto plazo de la responsabilidad sobre la calidad escolarOtro estudio llevado a cabo en Nueva York en 2007, basado en el método del premio-consecuencia empezó utilizando las pruebas propias de los estudiantes, así como otras medidas para asignar a cada escuela un grado (A - F). Tanto los resultados de matemáticas como de inglés mejoraron en las escuelas que recibieron calificaciones muy bajas en la rendición de cuentas. Estos resultados sugieren que la presión debida a la rendición de cuentas puede inducir mejoras en el rendimiento de los estudiantes en un corto período de tiempo, especialmente si no hay manipulación de la muestra de los estudiantes, ni reducciones en la oferta de clases de asignaturas de las cuales no se van a examinar. Rockoff, E. & Turner, L. (2008). Short run impacts of accountability on school quality

12 Evaluaciones externas y estandarizadas y teaching to the testLos países o regiones, con un examen nacional externo y estandarizado, obtienen mejores resultados en pruebas internacionales como PISA, TIMSS y PIRLS, aunque éstas sean muy diferentes a ese examen nacional (Hanushek y Woessmann, 2011) Las pruebas externas y estandarizadas NO reducen las actividades como leer por placer o ver programas científicos (Bishop, 1998). Además, aumentan actividades que “no entran en el examen”, como Hacer experimentos de ciencias en clase Leer por placer Ver programas científicos Bishop, J. (1998). High School Diploma Examinations: Do Studentes learn more? Why? Hanushek, E. & Woessmann, L. (2011). The Economics of International Differences in Educational Achievement

13 Evaluaciones externas y estandarizadas y el efecto sobre los centros desfavorecidosEl rendimiento medio alcanzado por los centros se ha de situar en relación a la situación socioeconómica y características de sus alumnos. (Chetty, Friedman & Rockoff, 2013, The long-term impacts of teachers. Teacher value-added and student outcomes in adulthood) “Todos los alumnos se benefician de la existencia de las pruebas externas y estandarizadas, independientemente de su nivel socio-económico” (Woessmann, 2005, The effect heterogeneity of central examination, Education Economics) “La existencia de pruebas externas y estandarizadas no perjudica la equidad” (OCDE. Education at a Glance 2012).

14 Evaluaciones externas y estandarizadas y la publicación de los resultadosLos estudiantes de centros educativos que publican sus resultados obtienen significativamente mejores resultados que los de los alumnos de centros que no lo hacen. La mejora es equivalente a medio curso escolar. (Informe PISA Volumen I, página 243 y 265) Cuando Gales dejó de publicar los resultados de las pruebas externas y estandarizadas en 2001, el rendimiento académico de los estudiantes se redujo en un 9 % de la desviación típica en comparación con Inglaterra que continuó haciéndolos públicos. Análisis diferencias en diferencias comparando rendimientos de Inglaterra y Gales (Burguess, Wilson y Worth, 2013)

15 La necesidad de hacer cambios en el sistema de evaluación en EspañaUso de resultados para la rendición de cuentas Uso de resultados para la mejora Alto Moderado Australia, Chile México, Eslovaquia, Suecia Bélgica (Fl.), Canadá, Israel, Corea, Nueva Zelanda República Checa, Francia, Hungría, Irlanda, Países Bajos, Polonia, Portugal Bajo Dinamarca, Islandia, Noruega Austria, Bélgica (Fr), Estonia, Finlandia, Italia, Luxemburgo, Eslovenia, España Se considera que un país hace un uso alto de los resultados de la evaluación para la mejora (rendición de cuentas) si muchos de los componentes del marco de la misma están ligados de forma sistemática a acciones para llevar a cabo la rendición de cuentas . El uso es moderado si esos enlaces sistemáticos sólo existen en algunos de los componentes del marco de la evaluación . El uso de los resultados es bajo, si no se dan enlaces sistemáticos en las acciones de mejora. OCDE 2013: Synergies for Better Learning. OECD Reviews of Evaluation and Assessment in Education. Página 64

16 Tipos de evaluaciones y pruebas en distintos países y economíasPruebas en secundaria de primera etapa, pruebas nacionales en secundaria de segunda etapa y pocas carreras que exijan exámenes de acceso Únicamente exámenes nacionales en secundaria de primera y segunda etapa Exámenes nacionales u otras no nacionales en secundaria de primera y segunda etapa Sin ningún tipo de prueba y la mayoría de las carreras exigen exámenes de acceso Australia Albania Bélgica (Comunidad francesa) Austria Croacia Bulgaria Liechtenstein Bélgica (Comunidad flamenca) República Checa Dinamarca Montenegro Brasil Inglaterra (Reino Unido) Estonia Noruega Chile Finlandia Francia Qatar Colombia Hong Kong-China Alemania Emiratos Árabes Unidos Grecia Hungría Indonesia Estados Unidos Islandia Israel Irlanda Japón Luxemburgo Italia Corea del Sur Escocia (Reino Unido) Jordania Macao-China Singapur Letonia México Eslovaquia Lituania Perú Túnez Malasia España Países Bajos Suecia Polonia Turquía Portugal Uruguay Rumanía Federación Rusa Shanghai-China Taipei-China Tailandia Vietnam Fuente: OCDE, PISA 2012, Vol. IV. Figura IV.4.10

17 Debilidades del sistema educativo españolSe observa una clara tendencia hacía el uso de los resultados académicos para comparar los centros educativos con la media nacional en la OCDE. En la OCDE se llevan a cabo más prácticas de monitorización de la actividad docente que en España. Volumen 4. Ch.4. F. IV Volumen 4. Ch.4. P.17-81 17 17

18

19 MAPA DE EVALUACIONES INTERNACIONALESEvaluación Externa Internacional Competencias Destinatarios Periodicidad Última realizada OCDE PISA Programa para la Evaluación Internacional de Estudiantes Programme for International Student Assessment Lectora Matemática Científica Alumnos que cumplen 16 años en el año de realización 3 años 2012 Siguiente 2015 TALIS Estudio Internacional de Enseñanza y Aprendizaje Teaching and Learning International Survey Encuesta al profesorado Profesores y directores de Educación Secundaria 5 años 2013 IEA PIRLS Estudio Internacional de Progreso en Comprensión Lectora Progress in International Reading Literacy Study 4º EP 2011 Siguiente 2016 TIMSS Estudio International de Matemáticas y Ciencias Trends in International Mathematics and Science Study 4 años TIMSS ADVANCED Matemáticas y Física avanzadas 2º Bachillerato No definida 2008 Siguiente 2015

20 EVALUACIONES EXTERNAS INTERNACIONALES

21 Resumen de resultados PISAOCDE ESPAÑA Media Error Matemáticas 494 0,5 484 1,9 Lectura 496 488 Ciencias 501 1,8 Matemáticas CBA 497 0,7 475 3,2 Lectura CBA 466 3,9 Resolución de problemas 500 477 4,1 Competencia Financiera 1,0 21

22

23

24

25 Indicadores de calidad y equidadPrograma para la Evaluación Internacional de los Alumnos (PISA 2012) III. Calidad y equidad del sistema educativo español El sistema educativo de España es inferior a la media de la OCDE en términos de calidad y algo inferior en términos de equidad. Indicadores de calidad y equidad * PISA 2012 realiza todos los análisis basándose en los datos de matemáticas.

26 El rendimiento del alumnado y la varianza explicada por el ESCSPrograma para la Evaluación Internacional de los Alumnos (PISA 2012) III. Calidad y equidad del sistema educativo español El rendimiento del alumnado y la varianza explicada por el ESCS Rendimiento alto impacto ESCS bajo Rendimiento alto impacto ESCS alto Menos calidad: El rendimiento del alumnado español es significativamente inferior a la media de la OCDE. España 2012 España 2003 Algo menos de equidad: El impacto del entorno socioeconómico y cultural en España es algo mayor que en la OCDE en su conjunto. Volumen 4. Capítulo 1. F IV.1.3. repite el gráfico Volumen 2. Ch.2. F. II.1.2 Rendimiento bajo impacto ESCS alto Rendimiento bajo impacto ESCS bajo

27

28 Entre el 5%-10% de alumnos resilientesPrograma para la Evaluación Internacional de los Alumnos (PISA 2012) III. Calidad y equidad del sistema educativo español Un alumno resiliente se encuentra en el cuartil inferior del índice PISA de posición económica, social y cultural (ESCS) en el país de evaluación y rinde en el cuartil superior de alumnos de todos los países, después de considerar la posición socioeconómica. Los alumnos desfavorecidos socioeconómicamente no solo puntúan menos en matemáticas, también registran niveles inferiores de compromiso, iniciativa, motivación y autoconfianza. Los alumnos resilientes rompen esta relación y comparten muchas de las características de los alumnos de alto rendimiento aventajados. Informe internacional F 1.2.1 Más del 10% resilientes Entre el 5%-10% de alumnos resilientes Menos del 5%

29 Rendimiento escolar y contexto socioeconómico: EspañaPrograma para la Evaluación Internacional de los Alumnos (PISA 2012) Rendimiento escolar y contexto socioeconómico: España 700 Rendimiento del alumno En esta figura se resumen estas dos dimensiones de las que hemos venido hablando para el caso de espana. En el eje vertical, el resultado medio para cada escuela. En el horizontal, el entorno socio-economico del alumno medio en estas escuelas. Cada punto es un centro y el tamaño refleja el numero de alumnos en esta escuela. En color verde estan las escuelas privadas, en blanco las publicas en zonas urbanas y en naranja las escuelas publicas rurales. Esta figura es muy informativa, se puede apreciar por ejemplo la dispersión en el resultado de las escuelas, o la dispersión del nivel socio-economico. Lo más interesante de esta figura, sin embargo, al menos desde mi punto de vista, es que nos centremos en el nivel socio económico que nos centremos, siempre hay escuelas que obtienen un promedio muy elevado y otras con un promedio más bajo. Existen escuelas que lo hacen muy bien en PISA. Y se puede aprender mucho de ellas. Ahora PISA es solo una puestra, no estan todas las escuelas. Tenemos por supuesto muy pocos alumnos en cada escuela. Pero esto no quiere decir que con otros instrumentos no se puedan identificar escuelas que lo hacen bien incluso a pesar de tener contextos sociales muy desfavorecidos e intentar comprender que es lo que están haciendo bien y como se puede replicar en otros sitios, como se pueden forjar coaliciones o mecanismos de colaboración entre estas escuelas y otras que afrontan retos similares. Centro privado Centro público en zona rural Centro público en zona urbana Ventaja Índice PISA para contexto socioeconómico Desventaja

30 III. Calidad y equidad del sistema educativo españolPrograma para la Evaluación Internacional de los Alumnos (PISA 2012) III. Calidad y equidad del sistema educativo español Variación en el rendimiento de los alumnos entre y dentro de los centros educativos Media OCDE Diferencias entre centros Diferencias dentro del centro Informe internacional F 1.2.1 Media OCDE

31 Relación entre el rendimiento educativo y el PIB per cápitaPrograma para la Evaluación Internacional de los Alumnos (PISA 2012) IV. Recursos y rendimiento académico PIB PER CÁPITA Relación entre el rendimiento educativo y el PIB per cápita Existe una relación positiva aunque no muy fuerte entre la riqueza del país y el rendimiento educativo del alumnado (el PIB per cápita explica el 11,76% de la variación en los resultados) Informe internacional F 1.2.1 Los resultados de España son inferiores a los que se esperarían en función de su PIB per cápita

32 AUTONOMÍA DE LOS CENTROS EDUCATIVOSPrograma para la Evaluación Internacional de los Alumnos (PISA 2012) VI. Debilidades del sistema educativo español AUTONOMÍA DE LOS CENTROS EDUCATIVOS Relación entre la autonomía de los centros en el currículo* y la evaluación y el rendimiento Una mayor autonomía de los centros en el currículo y evaluación está asociada a mejores resultados educativos R² = 0,34 Volumen 4. Capítulo 1. F IV.1.11. * La autonomía de los centros se estima a partir de las respuestas de los directores de los centros educativos a los cuestionarios de contexto en PISA

33 Fase 1: Prueba piloto (2013-14) Informes para los centrosINSTITUTO NACIONAL DE EVALUACIÓN EDUCATIVA Fase 1: Prueba piloto ( ) Informes para los centros 102 Centros escolares en el piloto de PISA for Schools en Estados Unidos Centros escolares participantes en PISA 2009 en Estados Unidos Centros escolares con alumnos de un entorno socioeconómico semejante Centros escolares con rendimiento semejante Rendimiento promedio del centro escolar Entorno socioeconómico (Índice PISA EESC)

34 Fase 1: Prueba piloto (2013-14) Informes para los centrosINSTITUTO NACIONAL DE EVALUACIÓN EDUCATIVA Fase 1: Prueba piloto ( ) Informes para los centros

35 Fase 1: Prueba piloto (2013-14) Informes para los centrosINSTITUTO NACIONAL DE EVALUACIÓN EDUCATIVA Fase 1: Prueba piloto ( ) Informes para los centros

36 Ejemplos de gráficos en el Informe de centrosINSTITUTO NACIONAL DE EVALUACIÓN EDUCATIVA Ejemplos de gráficos en el Informe de centros

37 Ejemplos de gráficos en el Informe de centrosINSTITUTO NACIONAL DE EVALUACIÓN EDUCATIVA Ejemplos de gráficos en el Informe de centros

38 WEB INEE

39 RECURSOS PARA EL PROFESORADO1º 2º Ítems liberados de pruebas de evaluación y otros recursos

40 RECURSOS PARA EL PROFESORADO Recursos abiertos y disponiblesINSTITUTO NACIONAL DE EVALUACIÓN EDUCATIVA RECURSOS PARA EL PROFESORADO Recursos abiertos y disponibles

41

42

43 BOLETINES DE EDUCACIÓN

44 GRACIAS Síguenos en Twitter: @educaINEE