1 Los exámenes de mitad de carrera ECAMI en la Universidad del Rosario, una oportunidad para la evaluación curricular. María del Rosario Navarro Botero Nohra Pabón Fernández FORO NACIONAL SOBRE LA EVALUACIÓN DEL APRENDIZAJE EN LA EDUCACIÓN SUPERIOR MINISTERIO DE EDUCACIÓN NACIONAL 4 Y 5 de Noviembre de 2008

2 I.Antecedentes y justificación II.Sistema de aseguramiento de la calidad y autoevaluación curricular en la Universidad del Rosario III.Objetivo General de los ECAMI IV.Objetivos específicos V.Principios VI.Componentes de los ECAMI VII.Metodología y participantes VIII.Algunos resultados IX.Factores que facilitaron su implementación X.Factores que dificultaron su implementación XI.Aspectos para la discusión y replicación de la experiencia XII.Proyección a futuro: contexto interno y externo XIII.Retos DESARROLLO DESARROLLO

3 I. ANTECEDENTES Y JUSTIFICACIÓN I. ANTECEDENTES Y JUSTIFICACIÓN En el primer semestre de 2008 el Centro de Aseguramiento de la Calidad (CEAC) inició la aplicación de los Exámenes de Mitad De Carrera – ECAMI - teniendo en cuenta que los estudiantes que ingresaron en el segundo semestre del 2005 iniciaron sus actividades de formación con programas curriculares revisados. Estos ajustes curriculares abarcaron: La estructura y revisión de los planes de estudio y de los contenidos de las asignaturas El sistema de créditos, el tiempo de trabajo y estudio presencial e independiente previsto para que los estudiantes desarrollen sus competencias La orientación pedagógica y las estrategias didácticas por parte de los profesores, centrados en el aprendizaje de los estudiantes La introducción del Núcleo de Formación Rosarista (NFR): compuesto por asignaturas transversales y comunes para todos los programas: Ética, constitución política, competencias para el aprendizaje superior: argumentativa, dialéctica, propositiva y comunicativas; cultura rosarista.

4 De acuerdo con Brunner* (2005): Los sistemas de calidad desplazan los focos de evaluación desde los insumos hacia los resultados, desde el control externo hacia el mejoramiento y la autorregulación. La Universidad del Rosario fomenta la cultura de la evaluación, el mejoramiento continuo y de la autorregulación institucional internacional y nacional hacia la evaluación de resultados. * Brunner, J. J., (2005) Tendencias recientes de la educación a nivel internacional: marco para la discusión de los procesos de aseguramiento de la calidad. Santiago: Escuela de Gobierno: U Adolfo Ibáñez. Es el caso de los acuerdos sobre aseguramiento de la calidad del EEES la ENQA** ha establecido como requerimiento para el aseguramiento interno de la calidad en los IES (Instituciones de Educación superior) la evaluación de los estudiantes (ENQA/07): “Los estudiantes deben ser evaluados utilizando criterios, normas y procedimientos que estén publicados y que sean aplicados de manera coherente”. ** Criterios y Directrices para la Garantía de Calidad en el Espacio Europeo de Educación Superior. II. MARCO DE REFERENCIAII. MARCO DE REFERENCIA

5 En el ámbito nacional tanto las condiciones de calidad para el Registro Calificado ( decreto 2566 y ley 1188) como las características de calidad para la Acreditación de alta calidad del Consejo Nacional de Acreditación, establecen la necesidad de hacer seguimiento permanente a la evaluación del aprendizaje de sus estudiantes así como desarrollar mecanismos para realizar la evaluación curricular de sus programas. II. MARCO DE REFERENCIAII. MARCO DE REFERENCIA

6 REQUERIMIENTOSEXTERNOSEVALUACIONES EXTERNAS ACREDITACIONESAUDITORÍAS REGISTRO CALIFICADO PARA CREACIÓN DE REGISTRO CALIFICADO PARA CREACIÓN DE PROGRAMAS PROGRAMASINTELIGENCIACOMPETITIVACALIDAD OTRAS UNIVERSIDADES U ROSARIO AGENCIASACREDITACIÓNINTERNACIONALRANKINGS Sistema de información para la gestión de la calidad EVALUACIONES FORMATIVAS INTERNAS CURRICULARPROFESORESECAMI POSGRADOS POSGRADOSOTROS AUTORREGULACIÓN SISTEMA DE ASEGURAMIENTO DE LA CALIDAD Centro de Aseguramiento de la Calidad UR

7 T. VROENJENSTIJN MISIÓN PROYECTO INSTITUCIONAL VISIÓN PLAN INTEGRAL DE DESARROLLO ENTORNO NACIONAL E INTERNACIONAL POLÍTICAS POLÍTICAS Y PROGRAMAS EQUIPO HUMANO INSTIT ESTUDIANTES AP. ADMTIVO. RECURSOS FINANCIEROS AP. CCIAL. Y DE MERCADEO AP. ACADÉMICO Y SERVICIOS APOYO CALIDAD PROGRAMAS DE FORMACIÓN PROGRAMAS DE PROGRAMAS DE INVESTIGACIÓN EXTENSIÓN Y SERVICIOS EGRESADOS PRODUCCIÓN CIENTÍFICA PROYECCIÓN SOCIAL MEDIANO PLAZO ENTORNO SATISFACCIÓN NECESIDADES LARGO PLAZO DIMENSIONES ESTRATÉGICAS PROCESOS RESULTADOSIMPACTOCONTEXTO INSUMOS MISIONAL DE APOYO ACTORES SISTEMA DE INFORMACIÓN

8 SISTEMA DE ASEGURAMIENTO DE LA CALIDAD DE LOS ECAMI Control interno Control externo Evaluación Institucional ECAMI Evaluación Institucional ECAMI Aseguramiento de la Calidad Decisiones Estrategias Metas Insumos Procesos Medición Resultados Exámenes de calidad Nacionales e internacionales (Pisa, pruebas saber, ECAES, etc) Exámenes de calidad Nacionales e internacionales (Pisa, pruebas saber, ECAES, etc) Adaptación Samuel Fernández et al. Assesment of Qualitiy Assurance Models 2008

9 IV. OBJETIVOS DEL ECAMIIV. OBJETIVOS DEL ECAMI Teniendo presente su compromiso de autorregulación y mejoramiento continuo es importante para la Universidad contar con información que le permita: Evaluar los logros curriculares de alcance institucional y los logros de cada uno de los programas académicos a la mitad de carrera, a través de la evaluación del desempeño de los estudiantes en la Universidad del Rosario. Generar información valorativa sobre los procesos de formación de la Universidad del Rosario, de manera que se tomen decisiones, soportadas en resultados de procesos evaluativos, para el mejoramiento de los procesos de formación de los estudiantes de la Universidad. Tomar las mejores decisiones para revisar y enriquecer sus programas curriculares y así aportar a la formación integral de sus estudiantes

10 V. O BJETIVOS ESPECÍFICOS Constatar los logros de los estudiantes con relación a propósitos de formación del programa y de los transversales del NFR: en particular las competencias para el aprendizaje superior. Retroalimentar a las facultades y los estudiantes sobre el nivel de logros, de las diferentes áreas del currículo y generar estrategias de mejoramiento para su desarrollo. Avanzar en el análisis de variables asociadas al aprendizaje y proyectar estudios para identificar de qué manera intervienen y lo afectan: los profesores, las didácticas, los hábitos de estudio, materiales de consulta, recursos de apoyo, segunda lengua, entre otros. Identificar el valor agregado con relación a la situación de ingreso de cada uno de los estudiantes, en cuanto a competencias para el aprendizaje superior

11 V. OBJETIVOS ESPECÍFICOSV. OBJETIVOS ESPECÍFICOS Establecer el avance de los logros de los estudiantes, sus fortalezas y debilidades e indagar a qué aspectos están asociados (programas, profesores, recursos de apoyo, compromiso de los profesores y estudiantes) para así fortalecer o revisar actitudes, actividades, procesos y medios para lograr la formación del potencial de nuestros estudiantes Entregar a los estudiantes los resultados sobre su desempeño particular, en la perspectiva de dinamizar y motivar al estudiantado para que, desde su autonomía, desarrollen cursos de acción que aporten positivamente a la construcción y desarrollo de su proyecto de vida.

12 Dotado de significado Proceso en construcción permanente VI. PRINCIPIOS Formativo y reflexivo Integralidad Multiplicidad de métodos métodosContextualización Autoevaluación RetroalimentaciónRetroalimentación Principios de la evaluaciónCurricular en la UR Principios de la evaluaciónCurricular en la UR Integralidad Transparencia COHERENCIA CON EL PEI Mejoramiento Desarrollo

13 VII. COMPONENTES DEL ECAMIVII. COMPONENTES DEL ECAMI Constan de dos pruebas: 1.Una común para todos los estudiantes de la Universidad que evalúa las competencias básicas para el aprendizaje superior, ética y constitución política, componentes del Núcleo de Formación Rosarista (NFR) que es común a todos los currículos de la Universidad del Rosario. 2. Una específica, que evalúa los contenidos particulares correspondientes a la formación profesional propia de cada programa curricular.

14 VIII. METODOLOGÍA Y PARTICIPANTES URCEAC Facultades Profesores Estudiantes Comités curriculares

15 El Centro de Aseguramiento de la Calidad: es el responsable del proyecto, dirige, coordina, con las facultades y construye las pruebas con base en las preguntas elaboradas por los profesores en cada una de las asignaturas de lo que las facultades establecieron como mitad de carrera y finalmente consolida la información y produce un informe de resultados que remite a comités curriculares de cada facultad para su análisis, retroalimentación y toma de decisiones. Las facultades: definen así mismo las competencias que los estudiantes deben desarrollar en lo correspondiente a su mitad de carrera (competencias básicas, específicas y trasversales (para las asignaturas institucionales)). Los profesores: elaboran un banco de preguntas, las socializan y validan entre colegas para garantizar su calidad. Los estudiantes: que han cumplido con el requisito de aprobar los créditos correspondientes a las asignaturas definidas como mitad de carrera presentan una prueba común que evalúa competencias comunes a todos los programas y una prueba específica que evalúa lo propio de cada carrera. Los Comités Curriculares: evalúan los resultados obtenidos por los estudiantes y realizan la evaluación curricular y ajustes necesarios.

16 IX. Algunos Resultados EJEMPLOS

17 Los resultados se presentan en el siguiente orden: Primero, los correspondientes a la prueba común consolidada la cual agrupa a las competencias básicas para el aprendizaje superior, ética y constitución política. Segundo, los resultados de la prueba específica discriminada por áreas y consolidado del programa El puntaje estándar promedio hace referencia a la conversión de la puntuación directa o puntaje bruto a una escala de unidades iguales con media aritmética en 50 y desviación típica de 10; el porcentaje promedio de respuestas correctas corresponde al porcentaje de respuestas acertadas sobre el total formulado.

18

19

20

21

22 Resultados por programa, por área y por estudiantes En las gráficas, la línea amarilla (porcentaje promedio de la prueba) corresponde al 50% de las preguntas formuladas y la línea vinotinto (porcentaje promedio del programa) corresponde al promedio de respuestas acertadas obtenido por los estudiantes del programa. Los puntos o rombos corresponden al porcentaje obtenido por cada estudiante.

23

24

25 X. Factores que facilitaron su implementación 1.Claridad institucional sobre los aportes del proyecto para la calidad de la educación que se ofrece en la Universidad. 2.Participación y compromiso de Facultades, profesores y estudiantes. 3.Soporte académico y financiero de la Universidad del Rosario  Asignación de presupuesto para el pago de honorarios a los profesores de hora cátedra que elaboraron las preguntas  Capacitación de profesores para la elaboración técnica de las preguntas.

26 XI. Factores que dificultaron su implementación 1.Dificultad y definición de áreas de evaluación 2.Trabajo adicional a la carga de los profesores 3. Dificultad de profesores para elaborar preguntas técnicamente 4.Sistematización del banco de preguntas y análisis de resultados 5.Los estudiantes no se motivan lo suficiente y puede perderse el interés y la credibilidad de los resultados Soluciones: –Pago a profesores de hora cátedra y reconocimiento de tiempo de trabajo a profesores de carrera en su plan de trabajo –Orientación específica y cursos especializados –Cursos para aprender a elaborar preguntas y perspectivas pedagógicas para mejorar las evaluaciones –Compra y manejo de software especializado – Otros incentivos a los estudiantes

27 XII. Aspectos de la experiencia importantes para la discusión Es una experiencia en construcción de la cual la misma Universidad está aprendiendo de sus aciertos y sus errores. Es muy útil para la Universidad del Rosario recibir retroalimentación para validar la experiencia. Para las demás instituciones de Educación superior es una oportunidad para acceder a esta experiencia, que pensamos es innovadora y aporta elementos importantes para la evaluación curricular.

28 XIII. PROYECCION A FUTURO: Contexto interno Ir ampliando y profundizando el estudio de los resultados a medida que se vaya repitiendo la experiencia semestre a semestre, para realizar estudios longitudinales Avanzar en el análisis de variables asociadas al aprendizaje y proyectar estudios para identificar de qué manera intervienen y lo afectan: los profesores, las didácticas, los hábitos de estudio, materiales de consulta, recursos de apoyo, segunda lengua, entre otros. Identificar el valor agregado con relación a la situación de ingreso de cada uno de los estudiantes Intercambiar experiencias con las facultades para ir mejorando la experiencia: evaluar los aciertos y errores reflexionados para perfeccionar su utilización como herramienta de evaluación formativa

29 XII. PROYECCION A FUTURO: Contexto interno Verificación de la validez y la confiabilidad del ECAMI como herramienta de evaluación curricular Establecer mejoras curriculares institucionales a partir de los resultados en la prueba común. Establecer mejoras curriculares en los programas a partir de los resultados en las pruebas específicas. Avanzar aún más en la formación de profesores para la elaboración cada día más técnica y significativa de las preguntas, que integren por ejemplo: las áreas, formulación de casos, solución de problemas interdisciplinarios,

30 XII. PROYECCION A FUTURO: Contexto Externo Divulgación de la experiencia con otras Universidades en el ámbito nacional e internacional para irla mejorando y obtener retroalimentación. Verificación de la validez y la confiabilidad del ECAMI como herramienta de evaluación curricular

31 XIII. RETOS Lograr y sostener la confianza, credibilidad y el compromiso de los estudiantes, profesores, directivos y comunidad académica en torno a los ECAMI. Complementar los resultados de los ECAMI con otros tipos de pruebas que evalúen el saber hacer de los estudiantes en contextos más reales y prácticos. Brindar y recibir mayor retroalimentación a las facultades, los estudiantes y profesores para cada día mejorar e institucionalizar las pruebas. Lograr la coherencia entre los ideales propuestos inicialmente y la práctica de los exámenes

32 GRACIAS