1 Algunos aspectos relevantes de las evaluaciones en educación y principales resultados Isabel Fernandes C. Subdirectora de Análisis y Divulgación Medellín, agosto 15 de 2012

2 Inquietudes de las asociaciones de colegios privados Las directivas de las asociaciones de colegios privados y del ICFES se reunieron en junio de 2011, para tratar varias inquietudes: El papel y funciones del ICFES en las evaluaciones Normatividad sobre las pruebas Metodología de elaboración de los ítems de las pruebas Tipos de resultados y sus usos Participación de Colombia en pruebas internacionales

3 Contenido 1.Sobre las evaluaciones estandarizadas 2.Descripción de la metodología utilizada por el ICFES para el diseño de las pruebas 3.Algunos resultados de los estudiantes colombianos en evaluaciones nacionales e internacionales 4.Factores asociados a los resultados

4 Contenido 1.Sobre las evaluaciones estandarizadas 2.Descripción de la metodología utilizada por el ICFES para el diseño de las pruebas 3.Algunos resultados de los estudiantes colombianos en evaluaciones nacionales e internacionales 4.Factores asociados a los resultados

5 Creación del Servicio Nacional de Pruebas en 1968 “El examen del ICFES” se ha aplicado desde 1968; desde los años 80 produce información sobre “calidad” de la educación Creciente número de evaluaciones bajo responsabilidad del ICFES: Educación básica (SABER), desde 1992 Evaluaciones internacionales, desde 1995 Educación superior (ECAES – SABER PRO), desde 2003 Examen de ingreso a la carrera docente, desde 2005 Expedición de Ley 1324 de 2009 y decretos reglamentarios Antecedentes del sistema de evaluación de la educación en Colombia

6 Establece parámetros y criterios para las evaluaciones externas: comparabilidad, independencia, periodicidad, igualdad y reserva (los resultados individuales son confidenciales y los resultados agregados -incluyendo colegios- son públicos) El propósito de los exámenes es brindar información que sirva como base para programas de mejoramiento y para la inspección y vigilancia del servicio educativo Autoriza al ICFES para adelantar otras evaluaciones y para obtener de ellas ingresos Profundiza en la autonomía del ICFES Ley 1324 de 2009

7 El papel del ICFES en el ciclo de la evaluación 1.Define políticas, propósitos y usos de las evaluaciones. 2.Establece los referentes de lo que se quiere evaluar, en consulta con los grupos de interés. 3.Hace seguimiento a estrategias y planes de mejoramiento. MINISTERIO DE EDUCACIÓN NACIONAL 1.Diseña, construye y aplica las evaluaciones. 2.Analiza y divulga los resultados. 3.Identifica los aspectos críticos. ICFES SECRETARÍAS DE EDUCACIÓN Y ESTABLECIMIENTOS EDUCATIVOS Diseñan, implementan y coordinan estrategias y planes de mejoramiento.

8 Evaluaciones a cargo del ICFES

9 Evaluación diagnóstica de la calidad de la educación Pruebas censales periódicas, con carácter obligatorio (Ley 715 de 2001), que valoran las competencias que han desarrollado los estudiantes de básica primaria y secundaria, de colegios oficiales y privados, urbanos y rurales Evaluación de competencias en lenguaje y matemáticas (en los tres grados) y en ciencias naturales y competencias ciudadanas (en 5º y 9º) Resultados por colegios, municipios y departamentos disponibles para todo el público interesado En 2012 serán evaluados aproximadamente 2,3 millones de estudiantes de todo el territorio nacional Pruebas SABER (3º, 5º y 9º)

10 Examen de Estado de la educación media. Es requisito para el ingreso a la educación superior Sus propósitos son: (a) apoyar a las instituciones de educación superior en los procesos de selección de aspirantes a sus programas; (b) apoyar la construcción de indicadores de calidad educativa (Decreto 869 de 2010) Evalúa las competencias de estudiantes que están por terminar la educación media, en ocho áreas: lenguaje, matemáticas, biología, física, química, ciencias sociales, filosofía e inglés Dos aplicaciones anuales: abril y septiembre SABER 11º

11 Cualquier persona que no esté inscrita para presentar SABER 11º podrá hacerlo en el examen de ensayo (Decreto 869 de 2010) Propósito: familiarizar a la persona con las condiciones de aplicación y obtener resultados indicativos sobre sus fortalezas y debilidades en las áreas evaluadas Tiene características similares a SABER 11º en cuanto a su estructura y aplicación No produce resultados válidos para ingreso a la educación superior Dos aplicaciones anuales: abril y septiembre Examen de ensayo PRE SABER 11º

12 Posibilita a los mayores de 18 años que no hayan podido culminar formalmente su bachillerato y aprueben el examen, la obtención del título de Bachiller Académico (Decreto 2225 de 1993 y Resolución 338 de 2004) Dos aplicaciones anuales: abril y septiembre Examen de validación del bachillerato

13 Examen de Estado de la calidad de la educación superior. Es requisito para la graduación (Decreto 3963 de 2009) Sus propósitos son: (a) comprobar el grado de desarrollo de competencias de los estudiantes próximos a culminar la educación superior; (b) apoyar la construcción de indicadores de calidad educativa, incluyendo valor agregado de la educación superior Evalúa las competencias de estudiantes que han culminado al menos el 75% de los créditos en competencias genéricas (lectura crítica, razonamiento cuantitativo, escritura, competencias ciudadanas e inglés) y en competencias específicas comunes a grupos de programas Dos aplicaciones anuales: junio y noviembre SABER PRO

14 En estas evaluaciones se valoran competencias: “…saber hacer flexible que puede actualizarse en distintos contextos … la capacidad de usar los conocimientos en situaciones distintas de aquellas en las que se aprendieron. Implica la comprensión del sentido de cada actividad y de sus implicaciones éticas, sociales, económicas y políticas” (MEN, 2006). Las competencias son transversales a las áreas curriculares y del conocimiento y se desarrollan a través del trabajo concreto en una o más áreas Son longitudinales: están presentes en todos los niveles y su complejidad es creciente a lo largo de toda la trayectoria educativa Evaluación por competencias

15

16 Contenido 1.Sobre las evaluaciones estandarizadas 2.Descripción de la metodología utilizada por el ICFES para el diseño de las pruebas 3.Algunos resultados de los estudiantes colombianos en evaluaciones nacionales e internacionales 4.Factores asociados a los resultados

17 Reflexión… Piensen en la evaluación que ustedes realizan en sus aulas: ¿Para qué se realiza una evaluación? ¿Qué criterios utilizan para evaluar? ¿Cómo seleccionan los criterios con los que evalúan? ¿Cómo dan información acerca del desempeño de sus estudiantes a partir de la evaluación?

18 Es el proceso mediante el cual se llega a inferencias o a juicios sobre los aprendizajes de los estudiantes con base en un conjunto de observaciones sistemáticamente medidas En una evaluación se pretende hacer algunas afirmaciones sobre las competencias, conocimientos, habilidades o capacidades de los estudiantes y se busca que estas afirmaciones sean válidas en el contexto educativo Evaluación

19 La validez se define como el grado en que la evidencia empírica y la teoría dan sustento a las interpretaciones de los resultados de una medición: Se mide lo que se supone que se quiere medir: consistencia entre los instrumentos de evaluación y sus referentes  resultados interpretables y utilizables Calidad de las conclusiones que se efectúan a partir de las mediciones Uso legítimo de las interpretaciones

20 Elementos clave: Validez y confiabilidad El propósito del diseño de las pruebas es: Asegurar su validez: que midan lo que deben medir (alineación con estándares básicos) Garantizar la confiabilidad: mediciones precisas Comparabilidad (entre grupos de referencia en un mismo momento y en períodos de tiempo)

21 ETAPAACTIVIDADESPRODUCTOS I. Diseño de la evaluación Definición y alcance del propósito de la evaluación Áreas a evaluar Población objetivo Instrumentos (pruebas y cuestionarios de factores asociados) Tipos de resultados Marco de referencia II. Diseño y desarrollo de los instrumentos de evaluación Metodología de construcción de especificaciones de prueba basada en el modelo de evidencias Construcción de preguntas Elaboración de cuestionarios sociodemográficos y de factores asociados Validación y pilotaje de instrumentos Especificaciones de prueba Pruebas construidas Cuestionarios elaborados III. Aplicación y producción de resultados Edición de cuadernillos y cuestionarios Aplicación Análisis de información Producción de reportes e informes de resultados Reportes / informes de resultados Referentes para la evaluación

22 Diseño de especificaciones basado en el modelo de evidencias (DBE) Es una metodología que permite construir evaluaciones sustentadas en criterios objetivos, que generan información válida, confiable y explícita sobre lo que los estudiantes saben y saben hacer en el marco de un propósito y de un objeto de evaluación particular

23 Es una familia de prácticas de desarrollo de pruebas diseñado para hacer explícito lo que se mide y apoyar las inferencias hechas con base en las evidencias derivadas de la prueba Es un marco para el desarrollo de pruebas que intenta asegurar la validez, alineando los procesos y los productos de las pruebas con los objetivos de las mismas Diseño de especificaciones basado en el modelo de evidencias (DBE)

24 Se refiere a un conjunto de procesos: Identificación de las dimensiones de evaluación y descripción de las categorías que las conforman (competencias y aspectos disciplinares) Definición de las tareas que debe desarrollar un estudiante, de manera que estas se constituyan en evidencias que den cuenta de las competencias, conocimientos, o habilidades que se quieren medir Diseño de especificaciones basado en el modelo de evidencias (DBE)

25

26 Análisis de los estándares Definir cada categoría Lo observableLo no observable Afirmaciones Evidencias Tareas Especificaciones Diseño de especificaciones basado en el modelo de evidencias (DBE)

27 Organización en el DBE EstratoQué esPara qué Estándar “Uno de los parámetros de lo que todo niño, niña y joven debe saber y saber hacer para lograr el nivel de calidad esperado a su paso por el sistema educativo” (MEN, 2006, p. 9) “Es un criterio claro y público que permite juzgar si un estudiante, una institución o el sistema educativo en su conjunto cumplen con unas expectativas comunes de calidad” (MEN, 2006, p. 11) Guiar el diseño de currículos, planes de estudio, proyectos escolares y el trabajo de enseñanza en el aula Producción de textos escolares, materiales y demás apoyos educativos Diseño de prácticas evaluativas dentro de la institución Criterios comunes para las evaluaciones externas (MEN, 2006, p. 11)

28 Organización en el DBE EstratoQué esPara qué Competencia “Saber hacer en situaciones concretas que requieren la aplicación creativa, flexible y responsable de conocimientos, habilidades y actitudes” (MEN, 2006, p. 12) “Un saber hacer flexible que puede actualizarse en distintos contextos … capacidad de usar los conocimientos en situaciones distintas de aquellas en las que se aprendieron” (MEN, 2006, p. 12) Para superar la visión tradicional de educación que privilegiaba la transmisión y memorización de contenidos Favorecer una pedagogía que permita a los estudiantes comprender los conocimientos y utilizarlos efectivamente dentro y fuera de la escuela, de acuerdo con exigencias de los distintos contextos (MEN, 2006, p. 12)

29 Organización en el DBE EstratoQué esPara qué Afirmación Enunciado sobre los conocimientos, habilidades y capacidades de los estudiantes que serán evaluados Identifica el propósito de la prueba atendiendo a la pregunta: ¿qué se quiere decir sobre los estudiantes a partir de sus respuestas en una evaluación? Comunicar el significado de los resultados de una evaluación (Generalmente están enunciadas a través de verbos como: “comprende”, “interpreta”, “analiza”)

30 Organización en el DBE EstratoQué esPara qué Evidencia Enunciado que representa conductas o productos observables, con el que es posible verificar los desempeños a los que se refieren las afirmaciones Responde a la pregunta: ¿qué tiene que hacer el evaluado que permita hacer inferencias sobre su desempeño? Asegurar la pertinencia de una prueba, según sus características o restricciones Cada afirmación debe tener el número de evidencias suficiente para sustentarla

31 Organización en el DBE EstratoQué esPara qué Tarea Enunciado que representa una descripción de una potencial familia de preguntas. Es específico y puede diferenciarse en su nivel de complejidad Se refiere a lo que se pide a los evaluados que hagan en una prueba Caracterizar la dificultad / complejidad de las preguntas Dar las pautas para la construcción de preguntas

32 ProcesoDescripción El razonamiento y la argumentación Relacionados con la justificación y distinción de los tipos de razonamiento, así como con la evaluación de cadenas de argumentos para llegar a determinadas conclusiones. La comunicación, la representación y la modelación Capacidad del estudiante para expresar ideas, interpretar, representar, usar diferentes tipos de lenguaje y describir relaciones. El planteamiento y la resolución de problemas Formulación de problemas a partir de situaciones dentro y fuera de la matemática, la capacidad de verificar e interpretar resultados a la luz de éstos, desarrollo y aplicación de diferentes estrategias y la generalización de las mismas para dar solución a nuevas situaciones. Tres competencias que indagan por aspectos conceptuales y estructurales: Un ejemplo: especificaciones de las pruebas de matemáticas de SABER 5º y 9º 2009

33 Componentes evaluados en matemáticas (1/2): Componente Descripción Numérico - variacional Indaga por: La comprensión de los números y la numeración, así como el significado del número y la estructura del sistema de numeración El significado de las operaciones, además de la comprensión de sus propiedades, efectos y relaciones entre ellas. El uso de los números y las operaciones en la resolución de problemas diversos El reconocimiento de regularidades y patrones La identificación de variables, además de la descripción de fenómenos de cambio y dependencia. Los conceptos y procedimientos asociados a la variación directa, la proporcionalidad, la variación lineal en contextos aritméticos y geométricos, la variación inversa y la noción de función. Aleatorio Indaga por: La representación, lectura e interpretación de datos en contexto El análisis de diversas formas de representación de información numérica. El análisis cualitativo de regularidades, tendencias y tipos de crecimiento, así como la formulación de inferencias y argumentos a partir de medidas de tendencia central y de dispersión. El reconocimiento, descripción y análisis de eventos aleatorios Especificaciones de las pruebas de matemáticas de SABER 5º y 9º 2009

34 Componentes evaluados en matemáticas (2/2): Componente Descripción Geométrico-métrico Está relacionado con la construcción y manipulación de las representaciones de los objetos del espacio, las relaciones entre ellos y sus transformaciones. Específicamente, tiene que ver con: La comprensión del espacio El desarrollo del pensamiento visual El análisis abstracto de figuras y formas en el plano y en el espacio a través de la observación de patrones y regularidades El razonamiento geométrico y la solución de problemas de medición La construcción de los conceptos de cada magnitud La comprensión de los procesos de conservación La estimación de magnitudes La apreciación del rango La selección de unidades de medida, de patrones y de instrumentos El uso de unidades La comprensión de los conceptos de perímetro, área y volumen Especificaciones de las pruebas de matemáticas de SABER 5º y 9º 2009

35 CompetenciaComponenteAfirmaciones quinto gradoAfirmaciones noveno grado Razonamiento y argumentación Numérico- variacional Reconoce patrones numéricos. Justifica propiedades y relaciones numéricas usando ejemplos y contraejemplos. Reconoce y genera equivalencias entre expresiones numéricas. Analiza relaciones de dependencia en diferentes situaciones. Justifica el valor posicional en el sistema de numeración decimal en relación con el conteo recurrente de unidades. Reconoce patrones en secuencias numéricas. Interpreta y usa expresiones algebraicas equivalentes. Interpreta tendencias que se presentan en un conjunto de variables relacionadas. Usa representaciones y procedimientos en situaciones de proporcionalidad directa e inversa. Reconoce el uso de las propiedades y las relaciones de los números reales. Desarrolla procesos inductivos y deductivos desde el lenguaje algebraico para verificar conjeturas acerca de los números reales. Geométrico- métrico Compara y clasifica objetos tridimensionales y figuras bidimensionales de acuerdo con sus componentes. Reconoce nociones de paralelismo y perpendicularidad en distintos contextos. Hace conjeturas y verifica los resultados de aplicar transformaciones a figuras en el plano. Describe y argumenta relaciones entre perímetro y área de diferentes figuras cuando se fija una de estas medidas Simboliza objetos tridimensionales a partir de representaciones bidimensionales. Construye y descompone figuras planas y sólidos a partir de condiciones dadas. Identifica y justifica relaciones de semejanza y congruencia. Construye argumentaciones formales y no formales sobre propiedades y relaciones de figuras planas. Hace conjeturas y verifica propiedades de congruencia y semejanza entre figuras bidimensionales. Generaliza procedimientos de cálculo para encontrar el área de figuras planas y el volumen de algunos sólidos. Utiliza técnicas y herramientas para la construcción de figuras planas y cuerpos con medidas determinadas. Predice y compara los resultados de aplicar transformaciones rígidas (rotación, traslación y reflexión) y homotecias (ampliaciones y reducciones) sobre figuras bidimensionales en situaciones matemáticas y en el arte. Aleatorio Compara datos presentados en diferentes representaciones. Hace arreglos condicionados o no condicionados. Hace conjeturas acerca de la posibilidad de ocurrencia de eventos. Hace conjeturas acerca de los resultados de un experimento aleatorio usando proporcionalidad. Predice y justifica razonamientos y conclusiones usando información estadística. Calcula la probabilidad de eventos simples usando métodos diversos. 1/3 Especificaciones de las pruebas de matemáticas de SABER 5º y 9º 2009

36 CompetenciaComponenteAfirmaciones quinto gradoAfirmaciones noveno grado Comunicación, representación y modelación Numérico- variacional Reconoce los significados del número en diferentes contextos (medición, conteo, comparación, codificación, localización, entre otros). Reconoce diferentes representaciones de un mismo número. Describe e interpreta las propiedades y relaciones de los números y sus operaciones. Traduce relaciones numéricas expresadas gráfica y simbólicamente. Identifica las características de gráficas cartesianas en relación con la situación que representan. Identifica expresiones numéricas y algebraicas equivalentes. Establece relaciones entre las propiedades de las gráficas y las de las ecuaciones algebraicas. Reconoce el lenguaje algebraico como forma de representar procesos inductivos. Describe y representa situaciones de variación relacionando diferentes representaciones. Geométrico- métrico Diferencia atributos mensurables de los objetos y eventos en diferentes situaciones. Selecciona unidades estandarizadas y no convencionales apropiadas para diferentes mediciones. Utiliza sistemas de coordenadas para especificar localizaciones. Representa y reconoce objetos tridimensionales desde diferentes posiciones y vistas. Identifica las características de localización de los objetos en sistemas de representación cartesiana y geográfica. Reconoce y aplica transformaciones de figuras planas. Identifica las relaciones entre distintas unidades utilizadas para medir cantidades de la misma magnitud. Diferencia los atributos mensurables de diversos objetos. Aleatorio Clasifica y organiza la presentación de datos. Interpreta cualitativamente datos relativos a situaciones del entorno escolar. Representa un conjunto de datos e interpreta representaciones gráficas de un conjunto de datos. Hace traducciones entre diferentes representaciones. Expresa el grado de probabilidad de un suceso Interpreta y utiliza conceptos de media, mediana y moda; y explicita sus diferencias en distribuciones diferentes. Compara, usa e interpreta datos que provienen de situaciones reales y traduce entre diferentes representaciones de un conjunto de datos. Reconoce la posibilidad o la imposibilidad de ocurrencia de un evento a partir de una información dada o de un fenómeno. Reconoce las relaciones entre un conjunto de datos y sus representaciones. 2/3 Especificaciones de las pruebas de matemáticas de SABER 5º y 9º 2009

37 CompetenciaComponenteAfirmaciones quinto gradoAfirmaciones noveno grado Planteamiento y resolución de problemas Numérico- variacional Resuelve y formula problemas aditivos de transformación, comparación, combinación e igualación. Resuelve y formula problemas multiplicativos de adición repetida, factor multiplicante, razón y producto cartesiano. Resuelve y formula problemas de proporcionalidad directa e inversa. Resuelve y formula problemas que requieren el uso de la fracción como parte de un todo, como cociente y como razón. Resuelve problemas en situaciones aditivas y multiplicativas. Resuelve problemas que involucran potenciación, radicación y logaritmación. Resuelve problemas en situaciones de variación y modela situaciones de variación con funciones polinómicas y exponenciales en contextos aritméticos y geométricos. Geométrico- métrico Utiliza diferentes procedimientos de cálculo para hallar la medida de superficies y volúmenes. Reconoce el uso de las magnitudes y de las dimensiones de las unidades respectivas en situaciones aditivas y multiplicativas. Utiliza relaciones y propiedades geométricas para resolver problemas de medición. Usa y construye modelos geométricos para solucionar problemas. Resuelve problemas de medición utilizando de manera pertinente instrumentos y unidades de medida. Resuelve y formula problemas a través de modelos geométricos. Establece y utiliza diferentes procedimientos de cálculo para hallar medidas de superficies y volúmenes. Resuelve y formula problemas que requieren técnicas de estimación. Aleatorio Resuelve problemas que requieren representar datos relativos al entorno a partir de una o diferentes representaciones. Resuelve problemas que requieren encontrar o dar significado al promedio de un conjunto de datos. Resuelve situaciones que requieren calcular la posibilidad o imposibilidad de ocurrencia de eventos. Usa e interpreta medidas de tendencia central para analizar el comportamiento de un conjunto de datos. Resuelve y formula problemas a partir de un conjunto de datos presentado en tablas, diagramas circulares y de barras. Hace inferencias a partir de un conjunto de datos. Plantea y resuelve situaciones relativas a otras ciencias utilizando conceptos de probabilidad. 3/3 Especificaciones de las pruebas de matemáticas de SABER 5º y 9º 2009

38 Pregunta:

39 Ejemplo 1: matemáticas, quinto Competencia Planteamiento y resolución de problemas ComponenteNumérico variacional Afirmación Resolver y formular problemas aditivos de comparación, combinación e igualación Evidencia Resolver situaciones aditivas rutinarias de comparación, combinación, transformación… TareaSituaciones donde haya que adicionar dos o más medidas de magnitudes para obtener un resultado

40 Pregunta:

41

42 Ejemplo 2: matemáticas, noveno Competencia Razonamiento y argumentación ComponenteGeométrico - métrico Afirmación Utilizar técnicas y herramientas para la construcción de figuras planas y cuerpos con medidas dadas Evidencia Pasar de una representación bidimensional a una tridimensional Tarea Situaciones en las que se debe elegir de entre varios desarrollos planos el que corresponde a un sólido dado

43 Pregunta:

44 La señora Martínez desea ganar el mercado que ofrecen como premio. Sin embargo, no sabe a qué hora podría ir al supermercado para tener más opción de ganarlo. ¿Qué le aconsejaría usted?

45 Ejemplo 3: matemáticas, 11º ComponenteAleatorio Afirmación Reconocer la posibilidad o imposibilidad de ocurrencia de un evento a partir de una información dada Competencia Comunicación, representación y modelación Evidencia Identificar la posibilidad o imposibilidad de un evento según las condiciones del contexto enunciado Tarea Situaciones en contexto aleatorio donde se presente la probabilidad de un evento y se indague por su significado en el contexto

46 SABER 5º y 9º: niveles de desempeño en matemáticas, quinto

47 Taller de entrenamiento de constructores Selección de constructores Construcción individual o en grupos Revisión por expertos temáticos Revisión técnicaDiagramación ítem Revisión de estiloValidaciónRevisión técnica Pilotaje Revisión técnicaDiagramación examen Revisión diagramaciónImpresión examenRevisión impresión Aplicación Análisis de ítems – preguntas dudosas Calificación Flujo de construcción y validación de ítems

48 Un tipo de evaluación no es más adecuado que otro; las evaluaciones de aula y las pruebas estandarizadas son complementarias La validez de la información y el uso que se da a los resultados son lo que hacen que la evaluación sea pertinente – útil para mejorar En síntesis…

49 La evaluación contribuye al mejoramiento cuando Estudiantes Da retroalimentación sobre su desempeño Se ajustan las prácticas pedagógicas para lograr los objetivos Se reconoce el impacto de la evaluación sobre la autoestima y la motivación Se ayuda a los estudiantes a evaluarse a sí mismos y a saber cómo mejorar Muestra los progresos en el tiempo Instituciones Se da retroalimentación sobre el desempeño Se identifican alumnos o grupos con desempeños insuficientes Se modifican los planes institucionales para mejorar Se fijan metas de acuerdo con la situación identificada Se genera una cultura de autoevaluación y mejoramiento continuo

50 La evaluación limita el mejoramiento cuando Estudiantes Se usa solamente para “calificar” Se usa como criterio único y definitivo sobre sus conocimientos y capacidades Afecta negativamente la autoestima y motivación No se usa para dar retroalimentación sobre sus desempeños Se utiliza exclusivamente con carácter sancionatorio Instituciones Sus resultados se miran de manera aislada o se hacen comparaciones equívocas La enseñanza se restringe a la “preparación para las pruebas” Se restringe a aplicación de pruebas similares a las estandarizadas Incentiva prácticas que distorsionan la información (copia, selección de estudiantes)

51 Contenido 1.Sobre las evaluaciones estandarizadas 2.Descripción de la metodología utilizada por el ICFES para el diseño de las pruebas 3.Algunos resultados de los estudiantes colombianos en evaluaciones nacionales e internacionales 4.Factores asociados a los resultados

52 Los resultados en las pruebas externas no son el único indicador de calidad de la educación La información de resultados por colegios (y por otros niveles de agregación) es pública (Ley 1324 de 2009) El ICFES no hace “rankings” Los resultados de cualquier ordenamiento o “ranking” dependen de los criterios utilizados y, en consecuencia, pueden variar. Por tanto, los cálculos u ordenamientos de los datos realizados por los interesados son responsabilidad de los mismos y deben hacerse explícitos en todos los casos Para tener en cuenta…

53 Se recomienda que los análisis de los resultados tengan en cuenta variables como el número de estudiantes evaluados y los grupos de referencia a los que pertenecen los programas Se sugiere evitar la elaboración de promedios simples del conjunto de las pruebas, puesto que éstas no son comparables entre sí No hay herramientas legales que restrinjan el uso de los datos por parte de los interesados (medios de comunicación, …) Autorregulación para el uso adecuado de los resultados Para tener en cuenta…

54 Pruebas SABER 5o. y 9o.

55 Tipos de resultados y niveles de agregación ReporteTipos de resultadosGrupos de referencia Establecimiento educativo Porcentaje de estudiantes ubicados en cada nivel de desempeño Puntajes promedio y desviaciones estándar Fortalezas y debilidades en competencias y componentes Entidad territorial País Sector (oficial – privado) Zona (urbana – rural) Nivel socioeconómico Sede Número de estudiantes ubicados en cada nivel de desempeño Municipio / departamento Porcentaje de estudiantes ubicados en cada nivel de desempeño Puntajes promedio y desviaciones estándar País Sector (oficial – privado) Zona (urbana – rural) Género Nivel socioeconómico

56 Avanzado El estudiante promedio ubicado en este nivel muestra un desempeño sobresaliente en las competencias esperadas para el área y grado evaluado. Satisfactorio El estudiante promedio ubicado en este nivel tiene un desempeño adecuado en las competencias exigibles para el área y grado evaluado. Este es el nivel esperado que todos, o la gran mayoría de los estudiantes, debería alcanzar. Mínimo El estudiante promedio ubicado en este nivel muestra un desempeño mínimo en las competencias exigibles para el área y grado evaluado. Insuficiente El estudiante promedio ubicado en este nivel no demuestra los desempeños mínimos establecidos. Descripción general de los niveles de desempeño

57 Desempeño nacional en lenguaje, 2009 Solo el 35% de los estudiantes de quinto y el 40% de los de noveno alcanzan o superan las competencias exigibles en lenguaje Más del 60% tiene dificultad para: comprender textos complejos, localizar información implícita, realizar inferencias, relacionar información contenida en dos o más textos y con lo que saben sobre un tema, evaluar críticamente los contenidos, construir hipótesis y establecer puntos de vista propios y argumentados sobre diferentes temas Fuente: ICFES. SABER 5º y 9º, 2009

58 Puntajes promedio por tipo de establecimiento educativo en lenguaje, 2009

59 Comparación de niveles de desempeño en lenguaje, quinto grado, 2009

60 Comparación de niveles de desempeño en lenguaje, noveno grado, 2009

61 Solo el 25% de los estudiantes de quinto y el 22% de los de noveno alcanzan o superan las competencias exigibles en matemáticas Más del 75% tiene dificultades para: resolver problemas complejos que requieren combinar datos y desarrollar estrategias de manejo de la información; hacer generalizaciones de una determinada secuencia de datos; hacer interpretaciones argumentadas sobre los hallazgos y comunicar los resultados Fuente: ICFES. SABER 5º y 9º, 2009 Desempeño nacional en matemáticas, 2009

62 Puntajes promedio por tipo de establecimiento educativo en matemáticas, 2009

63 Comparación de niveles de desempeño en matemáticas, quinto grado, 2009

64 Comparación de niveles de desempeño en matemáticas, noveno grado, 2009

65 Comparaciones entre puntajes promedio en lenguaje y niveles socioeconómicos. Colombia, 2009

66 Comparaciones entre puntajes promedio en lenguaje y niveles socioeconómicos. Medellín, 2009

67 SABER 5º y 9º, 2009 Comparaciones entre puntajes promedio y niveles socioeconómicos. Colombia, 2009

68 Comparaciones entre puntajes promedio en matemáticas y niveles socioeconómicos. Medellín, 2009

69 SABER 11º

70 ReporteTipos de resultadosAcceso Individual Puntajes promedio por prueba Puntajes promedio por competencia y componente Niveles de desempeño por competencia y componente Nivel de desempeño en inglés Puesto Cada establecimiento educativo tiene acceso a los reportes individuales de sus estudiantes, mediante contraseña Establecimiento educativo Histórico de puntajes promedio por prueba Clasificación por categoría de rendimiento Público Municipio / departamento / país Histórico de puntajes promedio por prueba Informes nacionales de resultados Público Tipos de resultados y acceso a los reportes

71 Resultados nacionales Los resultados se entregan para cada una de las áreas evaluadas y no son comparables entre sí. Por tanto, no se recomienda ni sumar los puntajes ni calcular promedios simples de las áreas No se han presentado variaciones anuales en los puntajes por área por fuera de los rangos esperados

72 Resultados nacionales Fuente: ICFES Interactivo

73 Resultados nacionales Fuente: ICFES Interactivo

74 Resultados nacionales Fuente: ICFES Interactivo

75 Resultados nacionales Fuente: ICFES Interactivo

76 Resultados nacionales Fuente: ICFES Interactivo

77 Resultados nacionales Fuente: ICFES Interactivo

78 Resultados nacionales Fuente: ICFES Interactivo

79 SABER 11º - Resultados en inglés Resultados nacionales Fuente: ICFES Interactivo

80 Comparativo resultados 2010 – 2011, calendario A Fuente: ICFES Interactivo

81 Comparativo resultados 2010 – 2011, calendario A Fuente: ICFES Interactivo

82 Comparativo resultados 2010 – 2011, calendario A Fuente: ICFES Interactivo

83 Resolución No. 569 de octubre de 2011 Se hace a partir de los puntajes de los estudiantes en las pruebas del núcleo común: lenguaje, matemáticas, biología, física, química, ciencias sociales, filosofía e inglés La clasificación tiene en cuenta el valor de esos puntajes y la variabilidad de los mismos La clasificación busca premiar tanto los puntajes altos como la homogeneidad Categorías de rendimiento de colegios

84 Variación en la distribución de colegios de Medellín según categorías de rendimiento, 2008 – 2010. Total Cálculos de la Dirección de Evaluación del ICFES, a partir de la metodología establecida en la Resolución No. 569 de 2011. No. de colegios = 351

85 Variación en la distribución de colegios oficiales de Medellín según categorías de rendimiento, 2008 – 2010 Cálculos de la Dirección de Evaluación del ICFES, a partir de la metodología establecida en la Resolución No. 569 de 2011. No. de colegios oficiales = 197

86 Variación en la distribución de colegios privados de Medellín según categorías de rendimiento, 2008 – 2010 Cálculos de la Dirección de Evaluación del ICFES, a partir de la metodología establecida en la Resolución No. 569 de 2011. N o. de colegios privados = 154

87 SABER PRO - módulo de competencias genéricas (Noviembre de 2011)

88 Total evaluados en el módulo de competencias genéricas, por nivel de formación Modalidad No. evaluados Porcentaje Universitarios94.06465% No universitarios (técnica y tecnológica) 47.15232% Normalistas superiores4.5833% TOTAL145.799100%

89

90

91

92

93 Descripción de los niveles de desempeño en escritura NivelCaracterísticas del escrito 8 El texto trasciende el estímulo dado, complejizando los planteamientos de manera efectiva tanto a nivel de pensamiento como de recursos lingüísticos. Incluye el problema planteado en un diálogo de ideas y posiciones, en una perspectiva más amplia e intertextual que construye y precisa su sentido. El texto de este nivel es de alto interés y motivación para el lector, debido a la eficacia del escrito. 7 En el texto se evidencia una planeación en la escritura en dos aspectos fundamentales. En el primero, el autor piensa en cómo expresar sus ideas de manera efectiva, aplicando diversos recursos textuales para evidenciar sus planteamientos. En el segundo, el autor adecua su discurso para un público determinado, lo que le permite prever los conocimientos previos de su lector, su adecuación del lenguaje y de los conceptos empleados. 6 En el texto se aprecia con claridad la posición de quien escribe, se expresan con claridad las ideas y hay un uso correcto de las expresiones que permiten conectarlas, lo que le da al texto coherencia completa. Hay un uso adecuado de distintos mecanismos que le dan coherencia y cohesión al texto (signos de puntuación, conectores). Lo anterior permite que el escrito sea fluido. 5 El texto alcanza unidad, por medio de la progresión temática, es decir, logra encadenar o relacionar efectivamente las ideas, dándole continuidad al escrito: incorpora información nueva vinculándola con la anterior, presentando la información en un orden cronológico, partiendo de temas generales para desglosar temas específicos, entre otras maneras de interrelacionar contenidos. Todo el texto se desarrolla en un mismo eje temático, aunque pueden presentarse fallas en el uso de conectores. Hay un buen uso del lenguaje, aunque pueden encontrarse errores en la aplicación de algunas reglas de ortografía y puntuación. 4 En el texto se encuentra una idea central que se desarrolla de acuerdo con una intención comunicativa. El texto también posee una estructura básica, en otras palabras, es posible identificar una introducción al tema que se abordará, un desarrollo y una conclusión. Sin embargo, el texto no incluye toda la información necesaria (progresión temática), su organización no es completamente efectiva, o rompe la unidad al incluir temas que no se relacionan con el marco semántico que desarrolla. Se aprecia un uso aceptable del lenguaje (se aplican las reglas gramaticales más importantes). 3 En el escrito se aprecia el esbozo de una intención comunicativa, es decir, se ve que quien escribe pretende alcanzar un fin, por medio del escrito busca una reacción específica en el lector. Se encuentran problemas de manejo del lenguaje, pero estos no impiden la comprensión de los enunciados. 2 En el escrito se aprecian ideas, pero estas pueden ser incoherentes, o se presentan desarticuladamente. No hubo desarrollo organizado del tema o el escrito pudo ser innecesariamente largo o repetitivo. 1 En el escrito se aborda la tarea propuesta, pero hay problemas en el manejo de la convención (serios errores de sintaxis, puntuación o escritura de las palabras) o un desarrollo insuficiente del tema (es tan breve que no se pueden aplicar los criterios de análisis). Sin calificación No contestó o el escrito no fue legible.

94

95

96

97

98 PISA 2009

99 Descripción genérica de los niveles de desempeño NivelesDescripción genérica Nivel 6 Nivel 5 El estudiante tiene potencial para realizar actividades de alta complejidad cognitiva, científicas u otras. Nivel 4 Nivel 3 Por arriba del mínimo y, por ello, bastante buenos, aunque no del nivel óptimo para la realización de las actividades cognitivas más complejas. Nivel 2 Mínimo adecuado para desempeñarse en la sociedad contemporánea. Nivel 1 Por debajo del 1 Insuficientes para acceder a estudios superiores y para las actividades que exige la vida en la sociedad del conocimiento. Fuente: OCDE. PISA

100 Porcentaje de estudiantes por debajo del nivel 2 Lectura Porcentaje de estudiantes que superan el nivel 2 Porcentaje de estudiantes por debajo del nivel 2

101 Porcentaje de estudiantes que superan el nivel 2 Porcentaje de estudiantes por debajo del nivel 2 Matemáticas

102 Ciencias Porcentaje de estudiantes que superan el nivel 2 Porcentaje de estudiantes por debajo del nivel 2

103 Diferencias por género Área Puntaje promedio Diferencia (Hombre-Mujer) Diferencias por género HombresMujeres Lectura408 (4,5) 418 (4,0) -9,3 (3,8) Matemáticas398 (4,0) 366 (3,3) 32,2 (3,5) Ciencias413 (4,3) 392 (3,7) 21,2 (3,5) Puntajes más altos hombres Diferencia significativa con un nivel de confianza de 95% Diferencia no significativa con un nivel de confianza del 95% ( ) Los valores entre paréntesis son los errores estándar

104 Diferencias por zona (solo establecimientos oficiales) Área Puntaje promedio Diferencia (Urbano-rural) Diferencias entre establecimientos oficiales Oficial urbanoOficial rural Lectura404 (4,7) 375 (10,2) 28,8 (11,4) Matemáticas371 (3,9) 356 (9,7) 14,4 (10,2) Ciencias391 (4,4) 375 (9,9) 16,3 (10,8) Diferencia significativa con un nivel de confianza de 95% Diferencia no significativa con un nivel de confianza del 95% ( ) Los valores entre paréntesis son los errores estándar.

105 Diferencias por tipo de establecimiento (oficial - privado) Área Puntaje promedio Diferencia (Oficial-privado) Diferencias por sector Oficial urbanoPrivado Lectura404 (4,7) 468 (6,2) -64,2 (7,7) Matemáticas371 (3,9) 430 (6,0) -59,1 (7,1) Ciencias391 (4,4) 455 (5,1) -63,6 (6,7) Diferencia significativa con un nivel de confianza de 95% Diferencia no significativa con un nivel de confianza del 95% ( ) Los valores entre paréntesis son los errores estándar. Puntajes más altos en privados Puntajes más altos en oficiales

106 PISA. Variación en los desempeños de Colombia en matemáticas y lectura, 2006 - 2009 Distribución porcentual de los jóvenes colombianos según su desempeño en matemáticas, 2006-2009 Fuente: OCDE. PISA Distribución porcentual de los jóvenes colombianos según su desempeño en lectura, 2006-2009

107 En la prueba de lectura en internet, aplicada junto con PISA 2009 en 19 países, Colombia tuvo los resultados más bajos…

108 Los jóvenes colombianos saben usar las herramientas de navegación y localizar información en bloques cortos, cuando hay instrucciones específicas…

109 …Pero solo 1 de cada 1.000 es capaz de: Identificar y seleccionar información relevante Evaluar la utilidad de la información para responder preguntas que involucran textos variados o ambiguos

110 PISA 2009 Desempeño en lectura en web

111 Estos resultados lanzan algunas alertas: Ser “nativos digitales” no es suficiente para que los estudiantes utilicen bien el internet Aunque los computadores e internet dan mayores oportunidades de acceder a una gran cantidad de información, las competencias de lectura son más exigentes Es esencial que los colegios orienten los procesos de consulta y lectura en medios como internet

112 Contenido 1.Sobre las evaluaciones estandarizadas 2.Descripción de la metodología utilizada por el ICFES para el diseño de las pruebas 3.Algunos resultados de los estudiantes colombianos en evaluaciones nacionales e internacionales 4.Factores asociados a los resultados

113 Asociación entre algunos factores y puntajes en pruebas FactorAsociaciónComentario Educación de los padres + Estudiantes cuyos padres tienen mayor nivel educativo (bachillerato o educación terciaria) tienen puntajes más altos en las pruebas. Las diferencias pueden equivaler a cerca de un año de escolaridad Estatus laboral de los padres + Disponer de ciertos recursos en el hogar: libros y computador + Contexto socioeconómico

114 Asociación entre algunos factores y puntajes en pruebas FactorAsociaciónComentario Actitud positiva de los estudiantes hacia la lectura, las matemáticas y las ciencias ? En TIMSS 2007, los estudiantes colombianos revelaron una actitud más positiva hacia las matemáticas que el promedio internacional. Las actitudes positivas parecen contribuir a mejores logros, especialmente en cuarto grado. En PISA 2006, los alumnos de Colombia revelaron una actitud altamente positiva hacia las matemáticas y ciencias; sin embargo, no se encontró una asociación entre ello y resultados en las pruebas. Actitudes de los estudiantes

115 FactorAsociación Haber recibido educación inicial + Docentes con altas expectativas sobre los logros de los estudiantes + Recursos educativos en los colegios + Acceso a computadores e internet en el colegio + Clima escolar + Asignación frecuente de tareas + Número de alumnos por docente ? Experiencia de los docentes ? Repetición de cursos - Inasistencia a clases - Variables escolares Asociación entre algunos factores y puntajes en pruebas

116 Para terminar, una frase que Andreas Schleicher, coordinador internacional del estudio PISA, utiliza para finalizar todas sus presentaciones: “Recuerde: sin datos, usted es solamente otra persona con una opinión”.

117 ¡Gracias por su atención! www.icfes.gov.co