1

2 Laboratorio Latinoamericano de Evaluación de la Calidad de la Educación (LLECE) y su Tercer Estudio Regional Comparativo y Explicativo (TERCE) Atilio Pizarro OREALC/UNESCO Santiago Diciembre, 2014 Introducción y Contexto del LLECE y su Tercer Estudio, TERCE

3 La garantía del Derecho a una Educación de calidad para todos: la principal prioridad de ALCA lo largo de las últimas dos décadas la región ha experimentado un avance importante en una serie de indicadores económicos, sociales y educacionales. En Educación se observan avances en materia de acceso (aun cuando se observa un estancamiento) en la Educación Primaria y paridad de género en todos los niveles. Sin embargo, hay una crisis del aprendizaje que afecta principalmente a los grupos marginados. Tres aspectos críticos permanecen: Los logros no se replican en todos los países. Las desigualdades internas son muy agudas en todos los países, perjudicando a las poblaciones más pobres, rurales o de minorías étnicas. Los avances en educación deben juzgarse por la calidad, más que por la simple expansión de la educación. En Educación se observan avances en materia de acceso (aun cuando se observa un estancamiento) en la Educación Primaria y paridad de género en todos los niveles. Sin embargo, hay una crisis del aprendizaje que afecta principalmente a los grupos marginados Hay un estancamiento en cobertura: (94%), es decir todavía existen cerca de 3 millones niños y niñas fuera de la escuela, acorde a un estudio realizado en conjunto con UNICEF en el 2012. Hay una crisis del aprendizaje que afecta a los grupos marginados más a las personas desfavorecidas. Si los niños no adquieren los conocimientos básicos en la escuela, aumenta el riesgo de abandono escolar; y persisten desventajas que, con el paso del tiempo, se agravarán. Entonces se ha avanzado en el acceso, sin embargo no se está cumpliendo con el derecho sustancial a una educación de calidad para todos Reducir la inequidad es la tarea pendiente principal de la región Agenda inconclusa: marcadas diferencias entre países al interior de la región. Varios de ellos están muy lejos incluso de las metas básicas de educacíon de EPT y los ODM Las desigualdades internas son muy agudas en prácticamente todos los países de la región, siendo la clase social, la condición indígena y la zona de residencia, los vectores principales por donde pasan dichas inequidades. Cada vez más los nuevos criterios con que se deben juzgar los avances en educación remiten a la calidad, más que a la simple expansión de la educación. La concepción de calidad que debe aplicarse es amplia aplicamos e incluye no sólo logros, sino condiciones y procesos, no sólo aspectos académicos, sino sicosociales y ciudadanos. Éste es sin duda el aspecto en que la región se encuentra crónicamente retrasada.

4 Se requiere tutelar el cumplimiento del Derecho a la EducaciónEl Derecho a la Educación es el derecho a aprender a lo largo de la vida. La realización del Derecho a la Educación de calidad, es un proceso continuo, por ello requiere de evaluación también continua. Existen diversas herramientas en todos los niveles para tutelar el derecho y evaluar su grado de realización Para conocer de la eficacia de las medidas adoptadas y su impacto en los sistemas educativos existen, entre otras, las evaluaciones de aprendizajes de los estudiantes. Estas evaluaciones son parte de un necesario entramado de monitoreo respecto de los avances de este derecho fundamental para las personas y el desarrollo de los países. El derecho a la educación es el derecho a aprender a lo largo de la vida Para lograr su pleno ejercicio requiere un acceso universal a enseñanza gratuita, obligatoria y de calidad Entonces el pleno ejercicio del Derecho a la Educación por cada uno, exige que esta sea de calidad: La educación debe promover el máximo desarrollo de las múltiples potencialidades de cada persona, a través de aprendizajes socialmente relevantes y experiencias educativas pertinentes a las necesidades y características de los individuos y de los contextos en los que se desenvuelven La garantía del Derecho a la Educación, requiere así desarrollar escuelas inclusivas que acojan a todos, transformando su cultura y sus prácticas para dar respuesta a las necesidades de aprendizaje de cada uno Calidad entonces es parte del derecho a aprender Existen diversas herramientas a todos los niveles para tutelar el derecho y evaluar su grado de realización Para conocer de la eficacia de las medidas adoptadas y su impacto en los sistemas educativos existen, entre otras: el monitoreo de indicadores específicos que miden a los sistemas las evaluaciones de centros escolares las evaluaciones de los docentes las evaluaciones de aprendizajes de los estudiantes Todas estas evaluaciones y otras específicas (grupos vulnerables), son parte de un necesario entramado de monitoreo respecto de los avances de este derecho fundamental para las personas y el desarrollo de los países Las Naciones Unidas contribuyen al monitoreo de la acción de los Estados a través de su acción normativa. Así evalúan el cumplimiento a través de los reportes nacionales de cumplimiento de las convenciones e informes nacionales respecto del cumplimiento de metas y compromisos temporales A nivel de sistemas educativos, el Derecho a la Educación requiere que éstos desarrollen habilidades para registrar, entender y utilizar los datos de manera de apoyar la toma de decisiones a todo nivel, desde la evidencia disponible En el complejo esquema del Derecho a la Educación entendido como el derecho a aprender, tanto la gestión política y técnica de los sistemas educativos como el liderazgo al interior de cada escuela y la gestión de conocimientos que cada docente puede desarrollar con sus estudiantes son fundamentales de ser conocidos para mejor orientar las decisiones

5 Evaluar es parte del Derecho a la EducaciónSe propone ofrecer retroalimentación respecto del progreso educativo, de manera que quienes deben tomar decisiones, cuenten con evidencia sólida que respalde las acciones a emprender. Busca conocer el avance del país y los factores que explican su éxito o su rezago; entender cuáles son las razones del éxito (y no “quien va ganado la carrera”). Los estudios de la UNESCO buscan contribuir a sistemas educativos de calidad, en todas sus dimensiones -pertinencia, relevancia, equidad, eficiencia y eficacia-. Evaluar los aprendizajes de los estudiantes representa sólo una parte de la calidad de educación. Con todo, las competencias en lectura, escritura, matemáticas y ciencias son fundamentales por su rol central en el aprender a aprender y evaluarlas tiene una importancia capital para la calidad. La evaluación educativa se propone ofrecer retroalimentación respecto del progreso educativo, de manera que quienes deben tomar decisiones, en el aula, la escuela o el sistema educativo, cuenten con evidencia sólida que respalde las acciones a emprender Con las evaluaciones de aprendizaje como pieza fundamental del entramado del Derecho a la Educación, se busca conocer el avance del país y los factores que explican su éxito o su rezago; entender cuáles son las razones del éxito, por ejemplo qué políticas se han implementado y cómo mejorarlas (y no “quien va ganado la carrera”) Es desde ese paradigma, que el rol de los estudios de la UNESCO es el de contribuir para que los países logren sistemas educativos de calidad en todas sus dimensiones en base a objetivos establecidos (eficacia) utilizando los recursos y el tiempo de manera optima (eficiencia) entregando a todos lo que cada cual necesita para aprender (equidad) que sean comprehensivos y capaces de atender la diversidad de cada estudiante (pertinencia) que entreguen a cada uno aquello que le permita desarrollarse y aportar a su país (relevancia) Entendiendo las dimensiones que hacen a la calidad, -pertinencia, relevancia, equidad, eficiencia y eficacia-, es necesario y deseable avanzar para levantar conocimiento sobre todas ellas, incorporando aspectos no-cognitivos como tolerancia, creatividad, resolución de conflictos y otras áreas como arte, ciencias sociales, etc. Este permanece como un desafío permanente para los sistemas. Evaluar los aprendizajes de los estudiantes representa sólo una parte de calidad de educación. Con todo, las competencias en lectura, escritura, matemáticas y ciencias son fundamentales por su rol central en el aprender a aprender y evaluarlas tiene una importancia capital para la calidad

6 El enfoque de Evaluación de la Calidad de la Educación de la UNESCODiseño de programas y Políticas Toma de decisiones: políticas , programas y prácticas educativas Presupuesto Calidad de la Educación Aspiraciones/ Expectativas de la sociedad Derecho a la Educación Dimensiones de calidad Sistema Educativo Marco Normativo Institucionalidad Docentes/ Estudiantes Currículo Evaluación Evaluación Integral/ Integrada: Aprendizajes/valores Monitoreo Investigación/Análisis Indicadores

7 Diagnóstico de necesidadesContexto de Creación del LLECE La idea básica Contexto Años´90 Reformas Educativas Insuficiente masa de recursos críticos en medición de la calidad de la educación Necesidad de información pública Diagnóstico de necesidades Transferencia de capacidades técnicas en evaluación Medición de la calidad educativa Cooperación regional El Laboratorio Creado el 10 de Nov. de 1994 Red de unidades de evaluación educativa Referente y marco regional de concertación y cooperación en el ámbito de la evaluación de la calidad de la educación 7 EFA and youth transition to work 7

8 Líneas de Acción del LLECE(1) Investigación (2) Desarrollo de capacidades (3) Difusión y fomento (4) Cooperación Sur-Sur Investigación Evaluaciones Internacionales de carácter comparado sobre logros de aprendizaje y factores asociados. TERCE Estudio Regional Comparativo y Explicativo (TERCE) LLECE – TERCE post-test Reforzar la investigación de factores asociados y eficacia escolar en el marco del TERCE: Docentes, TICs en educación, poblaciones indígenas Generar conocimientos acerca de la evaluación en sus diversos elementos Contribuir a la generación de conocimientos para la medición de otros aspectos del desarrollo de los alumnos menos abordados Desarrollo de capacidades Análisis de Factores Asociados al Aprendizaje. Análisis de datos (Estadística avanzada, TRI, Modelos Multinivel) Técnicas de Muestreo Captura y procesamiento de datos Elaboración y validación de instrumentos de evaluación en diferentes áreas disciplinares, Calibración y corrección de Ítems Estrategias de entrega de resultados Estrategias de análisis comprensivos y explicativos de los resultados y hallazgos Cooperación Sur - Sur Actuales condiciones económicas, sociales y culturales propicias de la región; Financiamiento innovador en apoyo a la educación Intercambio de estudiantes, docentes y tomadores de decisión de políticas educativas Trabajo horizontal entre sus miembros; Grupos de interés; Bancos de datos de buenas prácticas Alianzas en sentido amplio Otras instancias, organizaciones y agentes interesados: Educational Testing Service, ETS; Programa para la Evaluación Internacional de las Competencias de los Adultos (PIAAC) de OECD Coordinar sus esfuerzos con otros estudios de calidad de la educación a gran escala, sean ellos regionales o globales, tales como TIMSS y PIRLS (IEA), PISA (OCDE), SACMEQ y / o PASEC. Difusión y fomento Divulgar, comunicar extendidamente el trabajo del Laboratorio, sus productos y actividades a través de distintos canales, promoviendo el conocimiento y fomentando investigación en materia de calidad de la educación y su evaluación. Fomento: COLMEE, ICSEI, ABAVE Estrategia de Difusión y Uso de los resultados del TERCE Elevar la visibilidad del LLECE y lograr un alto impacto público con TERCE. Crear una línea de productos editoriales del LLECE – TERCE

9 TERCE 2013 Estudios del LLECE SERCE 2006 PERCE 1997 3ro y 4to gradoMatemática y Lectura 13 países SERCE 2006 3ro y 6to grado Matemática, Lectura y Escritura, Ciencias (8) 16 países + Nuevo León TERCE 2013 3ro y 6to Educación Primaria Matemática, Lectura y Escritura, Ciencias (Todos) 15 países + Nuevo León 9

10 ¿Por qué es importante el LLECE?El LLECE es un espacio de debate y reflexión para desarrollar modelos de evaluación de la calidad más pertinentes para la región. Está sustentado en un concepto más integral de calidad. Diseñado y dirigido por los países de LAC, reúne las particularidades de los contextos sociales y educativos, permitiendo contextualizar los resultados de la evaluación. Su modelo de trabajo promueve la participación activa de los países miembros y fortalece las capacidades técnicas de sus profesionales. Sus estudios siguen un modelo analítico de Contexto-Insumo-Proceso-Producto que considera que las escuelas, los recursos y el aprendizaje están mediados por su contexto social La Educación es una tarea compartida que implica interacciones entre diferentes actores, contextos y organizaciones

11 TERCE: Objetivos y pregunta de investigaciónAl igual que el LLECE, el objetivo del TERCE es dual: Proporcionar datos relevantes a tomadores de decisiones en materia de política educativa en relación a: (a) nivel de educación primaria en sus países y (b) factores relacionados con varianza en niveles de logro educativo. Fomentar una cultura de evaluación en los países participantes y en la región en general, entre otras vías a través de la ‘instalación’ de capacidades en materia de evaluación educativa. Pregunta de investigación: ¿Cuál es el logro de sistemas educativos de América Latina desde una perspectiva comparativa, y qué factores vinculados a estudiantes, profesores, escuelas, familias o comunidades o bien al país, están asociados al logro? 11

12 Etapas del TERCE Preparación (2010 y 2011) Piloto (2012)Aplicación Definitiva (2013) Análisis (2014) Primera entrega (2014) Entrega final (2015) 12 12

13 Países TERCE Participantes TERCE: 15 países + Estado mexicano de Nuevo León

14 Áreas Curriculares Evaluadas3er Grado Lenguaje Lectura Escritura Matemática 6to Grado Ciencias Naturales Esto comprendió la revisión, sistematización y análisis de lo que prescriben los diversos currículos en las distintas áreas a evaluar en la región, a fin de establecer dominios conceptuales comunes a los estudiantes de Educación Primaria de todos los países participantes. Al identificar y utilizar como criterios los contenidos comunes, los enfoques a partir de los cuales los países evalúan el desempeño de los estudiantes y la forma en que estos se organizan, el proceso de desarrollo del TERCE contribuye al enriquecimiento del conocimiento sobre Evaluación Educativa en la región. Se evalúan los elementos comunes de los currículos escolares de la región en cada área Para ello se analizan los currículos escolares de cada país participante.

15 Organigrama del TERCE Asamblea de Coordinadores Nacionales (CN)Equipos Nacionales Coordinación Técnica del LLECE Socios Implementadores Senior Advisor CTAN Otros: Análisis curricular (ICFES); revisión externa ítems, software (IEA); arbitraje de muestreo (IEA, INEP); arbitraje (CITO) La coordinación, gestión e implementación del estudio son desarrolladas por OREALC/UNESCO Santiago, a través de una Coordinación Técnica del LLECE (CT) que trabaja en conjunto con los Coordinadores Nacionales (CN) que representan a los países que participan en el TERCE. Para llevar a cabo las acciones técnicas que demanda el estudio, OREALC/UNESCO cuenta con dos socios implementadores: MIDE UC (Centro de Medición de la Escuela de Psicología de la Pontificia Universidad Católica de Chile) y CPCE (Centro de Políticas Comparadas en Educación, de la Universidad Diego Portales). El primer centro ha estado a cargo de la construcción y análisis de las pruebas; y el segundo, de la construcción y análisis de los cuestionarios de factores asociados. Un primer paso para la construcción de las pruebas consistió en una revisión de los marcos curriculares de los países participantes, el cual estuvo a cargo del Instituto Colombiano para la Evaluación de la Educación (ICFES). En paralelo, el LLECE cuenta con la asesoría de un Consejo Técnico Consultivo de Alto Nivel (CTAN) compuesto por académicos del área de investigación educativa, especialmente en el área de evaluación. El trabajo del CTAN consiste en otorgar un juicio experto, orientación estratégica y recomendaciones para guiar las decisiones técnicas relacionadas con las diferentes etapas del TERCE, incluyendo el diseño de la muestra, el diseño de pruebas, el análisis de ítems, el análisis secundario de factores asociados, reportes, etc. El Consejo está compuesto por los expertos en Evaluación Educativa mundialmente reconocidos, Eugenio González (Educational Testing Service), Felipe Martínez Rizo (Universidad Autónoma de Aguascalientes), Wolfram Schulz (Australian Council for Educational Research) y Martín Carnoy (Stanford University). 15 15 15

16 Una encuesta (survey) a gran escala)TERCE: Metodología general Métodos Pruebas (estudiantes) Cuestionarios *estudiantes, maestros, directores y familias) Modelo Analítico Para evaluar desemeço en las Áreas indicadas (logro cognitivo( Para medir factores de contexto (basado em Marco Conceptual) Una encuesta (survey) a gran escala) Además, se recolectan datos a nivel nacional (datos socioeconómicos, políticas educativas) 16

17 Comparabilidad SERCE- TERCE Elementos de Contexto: DesigualdadCoeficiente GINI en países participantes del TERCE, 2006 y 2012 Hay evidencia importante que sugiere que la desigualdad económica está negativamente relacionada con el desempeño educativo. 17 17

18 Comparabilidad SERCE- TERCE Elementos de Contexto: PobrezaPorcentaje de personas que vive en pobreza en países participantes del TERCE, 2006 y 2010 . La condición de Pobreza es un factor que frena el desarrollo en general, y el desarrollo educativo en particular. Afecta tanto la participación en la Educación como el aprovechamiento que los estudiantes hacen de las oportunidades educativas 18 18

19 Comparabilidad SERCE- TERCE Elementos de Contexto: InversiónLos recursos económicos que cada país invierte determinan decisivamente las posibilidades de expandir y mejorar los servicios educacionales. Este indicador permite tener una idea acerca de la prioridad que recibe la Educación en la asignación de recursos de un país. 19 19

20 Comparabilidad SERCE - TERCELos resultados comparados tienen por objetivo dar a conocer las variaciones experimentadas en el desempeño de los sistemas educativos de los países participantes del LLECE, en cuanto a logro de aprendizaje en matemática, lectura y ciencias naturales. Esto permite observar qué sucedió con el rendimiento de los estudiantes de los países participantes entre 2006 y 2013, fechas en que se aplicaron las mediciones antemencionadas. Esto aplica para todos aquellos países que participaron en ambos estudios. De manera adicional, será posible comparar los resultados de la prueba de Ciencias Naturales para aquellos ocho países, incluido Nuevo León, que tienen datos disponibles en ambas mediciones. Cabe recordar que en SERCE la participación en la prueba de ciencias tuvo carácter voluntario y no todos los la aplicaron. Además de la presentación de la comparación de puntajes (desempeño promedio a nivel nacional) SERCE-TERCE se presentarán diferencias según género en cuanto a desempeño en las áreas evaluadas. Nota: en el caso de Honduras se presentarán datos del TERCE, pero no habrá comparación del país consigo mismo respecto de SERCE, ya que no participó en el segundo estudio. Se informará su puntaje y niveles de desempeño TERCE, en escala SERCE.

21 Comparabilidad SERCE- TERCE Distribuciones de los estudiantes en los distintos niveles de desempeñoPara cada grado: 4 niveles de desempeño de los estudiantes. En el Nivel I se agruparon las tareas más fáciles y en el IV, las más difíciles. Como los niveles son inclusivos, los que alcanzan el Nivel IV resuelven los ítems de todos los niveles anteriores. Hay también estudiantes por debajo del Nivel I, esto es, que no resuelven los ítems más fáciles. Descripción de los niveles de desempeño en Matemática, Nivel IV, ejemplo sexto grado: Encontrar promedios y resolver cálculos, combinando las cuatro operaciones básicas en el campo de los números naturales. Resolver problemas que involucran propiedades de los ángulos de triángulos y cuadriláteros. Resolver problemas que involucran el concepto de fracción. Por último, se pone a disposición información relativa a las distribuciones de los estudiantes en los distintos niveles de desempeño, en SERCE y TERCE. La evaluación del SERCE presenta sus resultados para cada grado cuatro niveles de desempeño de los estudiantes. En el Nivel I se agruparon las tareas más fáciles y en el IV, las más difíciles. Como los niveles son inclusivos, se supone que los que alcanzan el Nivel IV resuelven los ítems de todos los niveles anteriores. Hay también estudiantes por debajo del Nivel I, esto es, que no resuelven los ítems más fáciles.

22 Conclusiones El LLECE representa un hito en la cooperación para el desarrollo de la educación entre los países de la región. Es importante contar con estudios espaciados a lo largo del tiempo y que se actualicen constantemente para generar datos cronológicamente comparables. El TERCE es un esfuerzo colectivo y un instrumento de medición adaptado al contexto social, cultural y económico de Latinoamérica. El TERCE es la evaluación del desempeño de los estudiantes más representativa de América Latina.

23 Conclusiones (cont.) TERCE NO evalúa los Currículos Nacionales.El objetivo del TERCE NO es el ranking de los países, no busca detectar ganadores o perdedores en la región. El TERCE es un estudio de alta calidad técnica y metodológica. Uno de los objetivos en el diseño del TERCE fue asegurar la comparabilidad con SERCE. Hoy podemos evaluar si los países participantes avanzaron en la mejora de la calidad de la educación, especialmente en cuanto al logro de aprendizaje, entre (año de aplicación del SERCE) y 2013 (año de aplicación del TERCE).

24 GRACIAS!!