1
2 Antecedentes y características del Proyecto SIES David Bravo Jorge Manzi Directores del Proyecto
3 Antecedentes: las recomendaciones de la Comisión de Expertos Entre enero y septiembre de 2000 una Comisión de 13 expertos analizó las actuales pruebas de selección y propuso en forma unánime un conjunto de recomendaciones, las que fueron presentadas al Consejo de Rectores.
4 Antecedentes Enero de 2001: aprobación por parte del Consejo de Rectores de la propuesta de la Comisión ad hoc. Abril de 2001: lanzamiento público del proyecto SIES. Agosto 2001: se comunica que primera aplicación de las pruebas para fines de 2003
5 Principales recomendaciones de Comisión Ad Hoc Cambiar la actual configuración de 8 pruebas por 4 pruebas obligatorias (se considera baja utilización de pruebas específicas) Asegurar que los contenidos evaluados se relacionen con el marco curricular de la EM. Mantener esquema de ponderaciones mínimas (10% las pruebas, 20% las notas). Fortalecimiento técnico de las mediciones: Empleo de la Teoría de Respuesta al Item (IRT) en lugar de la Teoría Clásica de la Medición. Establecer la comparabilidad interanual de los puntajes. Incorporar la evaluación del sesgo Fortalecer el proceso de elaboración de las pruebas.
6 La prueba de Ciencias Sección Común: Contenidos de Biología, Física y Química de 1 o y 2 o Medio Sección Complementaria Biología Sección Complementaria Física Sección Complementaria Química Sección Complementaria Tecnología Versión 1: Sección Común + Sección Complementaria de Biología Versión 2: Sección Común + Sección Complementaria de Física Versión 3: Sección Común + Sección Complementaria de Química Versión 4: Sección Común + Sección Complementaria de Tecnología
7 Principales características de las nuevas pruebas Articulación entre la medición de aptitudes (habilidades cognitivas) y contenidos curriculares. Esta articulación se manifiesta en todos los modelos de representación del conocimiento: las habilidades mentales siempre se ejercen sobre objetos específicos, no es posible evaluarlas en forma abstracta.
8 Modelo de Representación del Conocimiento
9 n El modelo parte de tres hechos esenciales: a) todo conocimiento involucra siempre habilidades y contenidos. b) tanto habilidades como contenidos pueden organizarse en un continuo simple-complejo. c) el progresivo aprendizaje dentro de un dominio converge en la integración de estos dos continuos.
10 Modelo de Representación del Conocimiento n ¿Cómo es esta gradiente de conocimiento?
11 Modelo de Representación del Conocimiento El conocimiento básico se representa como conceptos y relaciones simples que corresponden al lenguaje básico de una disciplina (el lenguaje básico corresponde a las distinciones conceptuales mínimas necesarias para iniciarse en el conocimiento de un dominio). Los verbos que describen a este cuadrante son distinguir, identificar, reconocer, recordar.
12 Ejemplo Pregunta Parte I (cuadrante I) ¿Cómo se denomina al conjunto de transacciones que se realizan entre los compradores y vendedores de un bien o servicio? A. mercado*D. empresa B. ofertaE. intercambio C. demanda
13 n El conocimiento avanzado se representa como conceptos relacionados entre sí, que forman esquemas conceptuales complejos, aunque no flexibles (el lenguaje avanzado corresponde al conocimiento que posee un aprendiz avanzado en el dominio). Los verbos que describen este tipo de conocimiento son esencialmente los mismos que el cuadrante I, pero aplicados a conceptos de nivel mas general.
14 Ejemplo Pregunta Parte II (cuadrante II) Al analizar las rectas L 1 : y= 2x - 5; L 2 : x + 2y = 8 y L 3 : 3y - 6x = 7, ¿cuál es la conclusión más completa que se puede deducir respecto de ellas? A. Se cortan formando un triángulo. (0 pto.) B. L 1 es paralela con L 3. (1 pto.) C. L 1 es perpendicular con L 2. (1 pto.) D. L 2 es perpendicular con L 1 y L 3. (2 ptos.) E. Son tres rectas paralelas, no hay puntos de intersección. (0 pto.)
15 n El conocimiento avanzado, integrado con habilidades superiores de pensamiento, se representa como conceptos relacionados entre sí, que forman esquemas conceptuales complejos y flexibles. Esta flexibilidad permite la creatividad y la producción de conocimiento nuevo dentro del dominio (este conocimiento corresponde al conocimiento que posee un experto en en el dominio).
16 Ejemplo Pregunta Parte II (cuadrante III) La figura muestra un recipiente con dos compartimentos separados por una membrana semipermeable que solo deja pasar el agua. El compartimento A contiene una solución con menos concentración de soluto que B. ¿Cuál o cuáles de las siguientes afirmaciones son correctas?
17 I. Después de unas horas la concentración de los compartimentos A y B serán iguales. II. Después de unas horas el nivel de agua en el compartimento B será mayor que el nivel inicial. III. Después de unas horas la concentración de A aumentará y la del compartimento B, disminuirá. a) solo I (0 pto.) b) solo II (1 pto.) c) solo III (1 pto.) d) I y II (0 pto.) e) II y III (2 ptos.)
18 Distinción Parte I y Parte II de las Pruebas
19 Aplicación del Modelo de Medición en la elaboración de las Pruebas SIES Cada prueba incluirá 2 partes: La Parte I apuntará al cuadrante I del modelo anterior, que representa el lenguaje básico de cada disciplina. En este caso se emplearán preguntas con puntuación dicotómica. La Parte II apuntará a los cuadrantes II y III, que representan aspectos más avanzados del conocimiento y el empleo de habilidades mentales superiores (comparaciones, razonamiento inductivo y deductivo, reconocimiento de patrones, etc.). En este caso se emplearán preguntas con puntuación policotómica (graduadas)
20 Calendario del Proyecto SIES 2002-2003 Publicación de primer folleto informativo: abril 2002 Publicación de Modelos de Pruebas: mayo 2002 Publicación de Pregunta del Día (diario El Mercurio y página web: www.sies.cl): junio 2002-octubre 2003www.sies.cl Estudio experimental: 2o semestre 2002 Aplicación de nuevas pruebas: diciembre 2003
21 FIN DE LA PRIMERA PARTE
22 Parte 2 Temas y Debates
23 La articulación entre la selección universitaria y los aspectos curriculares
24 ¿Por qué es conveniente articular las pruebas de selección universitaria con el curriculum de la Enseñanza Media? Concordancia entre los propósitos de la EM y los requerimientos de la ES (lo que es natural si el sistema educacional es coherente). Valorización del curriculum de la EM y de la labor de los profesores. Esto debiera conducir en el mediano plazo al mejoramiento de los resultados educacionales. Énfasis en la formación general. Esta articulación coincide con la tendencia dominante en todos los países desarrollados, incluso con los cambios que se están produciendo en USA (país que sirvió de modelo para el desarrollo de la PAA)
25 El carácter selectivo de las mediciones
26 Enfasis en el carácter selectivo de las mediciones, y por tanto, en la diferenciación individual. Este énfasis supone: Incorporar preguntas que evalúen diversos dominios del conocimiento y que posean diversos grados de dificultad. Emplear teorías de la medición apropiadas para evaluar diferencias individuales (como el enfoque IRT). (En contraste, pruebas centradas en la evaluación curricular enfatizan logros agregados no individuales. Emplean otros criterios para construir y seleccionar preguntas)
27 La controversia en torno a la equidad en la medición educacional
28 Antecedentes Preocupación general por la brecha existente entre establecimientos de diverso tipo de dependencia (especialmente entre particulares pagados y municipalizados), ratificada en todas las mediciones SIMCE y también por los datos de la PAA, según informó el DEMRE luego de la última aplicación de la PAA.
29 Antecedentes Controversia acerca del efecto potencialmente regresivo (en términos de la equidad) que tendrían mediciones basadas en curriculum versus mediciones de habilidades o aptitudes generales. Esta controversia se ha reactivado con la decisión del Consejo de Rectores en el año 2001 de acoger la Proposición de una Comisión ad hoc en orden a modificar los instrumentos de selección universitaria, hacia un conjunto de instrumentos basados en curriculum.
30 ¿Cómo abordar esta controversia con la información existente en nuestro país? Nuestro país posee dos grandes sistemas de medición en el campo educacional –el SIMCE y la PAA– que contienen mediciones orientadas al curriculum (el primero) y a las aptitudes (el segundo). Hasta ahora no se ha realizado una comparación explícita de ambos sistemas de medición con respecto al tema de la equidad, aunque se ha asumido que el SIMCE reflejaría en mayor magnitud las desigualdades que la PAA. Por lo demás, es importante tener presente que la PAA contiene tanto mediciones que apuntan a la aptitud general (PAA-V y PAA-M), como mediciones que tienen mayor base curricular (las PCE).
31 ¿Cómo abordar esta controversia con la información existente en nuestro país? La ausencia de una comparación explícita entre SIMCE y PAA se debe en parte a que no era factible combinar ambos tipos de información, en la medida que el SIMCE se reporta a nivel de establecimiento, mientras que la PAA lo hace a nivel individual. Sin embargo, a partir de la aplicación del SIMCE de 2o medio en 1998 se abrió una posibilidad inédita de contar con información comparativa, puesto que la base de datos del SIMCE registró el RUT de los examinados y luego, una proporción importante de ellos rindió a fines de 2000 la PAA. A partir del RUT, como dato identificador común, es posible efectuar una comparación directa entre ambos tipos de medición.
32 La magnitud de la brecha según tipo de Dependencia Magnitud de la brecha en el total de casos disponibles en cada base de datos Magnitud de la brecha a partir de los estudiantes que rindieron ambas pruebas
33 Comparación según tipo de Dependencia. Pruebas de Lenguaje (comparación basada en estudiantes que rindieron SIMCE98 y PAA)
34 Comparación según tipo de Dependencia. Pruebas de Matemática (comparación basada en estudiantes que rindieron SIMCE98 y PAA)
35 La brecha entre establecimientos Particulares y Municipalizados en el SIMCE y PAA. (comparación basada en estudiantes que rindieron SIMCE98 y PAA)
36 La brecha entre estudiantes Humanista- Científicos y Técnico-Profesionales
37 La brecha entre estudiantes Humanista- Científicos y Técnico-Profesionales. (comparación basada en estudiantes que rindieron SIMCE98 y PAA)
38
39 La brecha entre hombres y mujeres
40 La brecha entre hombres y mujeres. (comparación basada en estudiantes que rindieron SIMCE98 y PAA)
41 Conclusiones Hay inequívoca evidencia de que las pruebas basadas en curriculum no se asocian a una brecha mayor entre tipos de establecimiento que las pruebas de aptitud o competencia general