1 Evaluación de competencias del siglo XXI: aprendizajes derivados de la participación de Costa Rica en el proyecto ATC21s Congreso Latinoamericano De Evaluación De Habilidades Ciudadanas Y Socio-emocionales Bogotá, Colombia 3-4 diciembre 2015 Magaly Zúñiga María Eugenia Bujanda Fundación Omar Dengo, Costa Rica

2 Estados Unidos de AméricaInvestigación internacional Alianza internacional para movilizar comunidades educativas, gobiernos y empresas con el fin de promover la incorporación de las habilidades del siglo 21 a las aulas. Estados Unidos de América Finlandia Holanda Singapur Costa Rica Australia Mediante la generación de nuevos enfoques y herramientas de evaluación que ayuden a transformar las prácticas educativas

3 FASE 1: Conceptualización- Marco de competencias del siglo XXIKSAVE Knowledge Skills Attitudes Values Ethics

4 Concepto de competencia en ATC21S“Una acción que una persona puede realizar” También abarca características actitudinales Concepción evolutiva: las competencias no son algo que se tiene o no se tiene; se desarrollan poco a poco y se perfeccionan en el tiempo; por tanto se pueden expresar mediante un continuum evolutivo. En ATC21S, se entiende que la competencia es la posibilidad de la persona para ajustar su desempeño en un cierto ámbito a las demandas del contexto (comprende la calidad y capacidad de transferencia de esa acción en el tiempo y a través de distintos contextos)

5 FASE 2: Descripción de componentes y progresión evolutiva de dos competenciasCapacidad para trabajar como grupo para resolver retos comunes mediante la contribución y el intercambio de ideas, conocimiento o recursos. (Aprendizaje en redes digitales) Capacidad para aprender con medios digitales como las redes: ser capaz de identificar aquellos “expertos” que pueden ayudar, generar una red entre ellos, usar las redes para construir conocimiento y cosas nuevas. Resolución de problemas Colaboración Pensamiento crítico Alfabetización en TIC Responsabilidad social y personal

6 Resolución colaborativa de problemas: DimensionesHabilidades sociales Participación Acción, Interacción, Completar la tarea Toma de perspectiva Responsividad adaptativa, Conciencia de la audiencia Regulación social Negociación, Autoevaluación, Memoria transactiva, Responsabilidad, Iniciativa Habilidades cognitivas Regulación de tareas Análisis, fijación de objetivos, gestión de rec., flexibilidad Construcción de conocimiento Recolección de info., Relaciones, Sistematicidad, Contingencias, Generalizaciones, Hipótesis

7 Progresiones preliminaresDIMENSIÓN SOCIAL Niveles PARTICIPACIÓN Nivel 4 El estudiante inicia y promueve la interacción con su pareja; comparte recursos, información e ideas. Persevera en la solución de la tarea, como se muestra por los intentos y/o múltiples estrategias repetidas. Nivel 3 El estudiante participa activamente en contextos familiares y no familiares. Interactúa con su pareja más (es decir, responde a las señales y solicitudes de comunicación) y comparte información y / o recursos. Nivel 2 El estudiante participa activamente en la tarea cuando le es familiar y / o hay andamiaje. Hay una interacción limitada con la pareja y la que hay se debe a las instrucciones de la tarea. Nivel 1 El alumno participa en la tarea, pero está trabajando con total independencia. La actividad en la tarea se dirige generalmente por las instrucciones del sistema.

8 FASE 3: Desarrollo de las pruebasForma Proceso Pruebas basadas en computadora Dinámicas Simulaciones, juegos… Flujo controlado de información A medida Centradas en capturar el nivel de logro de los estudiantes Diseño de ítems capaces de capturar los componentes específicos de las competencias Construcción de un módulo de calificación automática Diseño de un módulo de resultados, con diversos tipos de reporte automáticos (pensado para ser administrado por los docentes)

9 Resol. col. de problemas. Ej.: Payasos sonrientesEn pareja Comunicación por medio de un chat Ambigüedad Distinta extension y sin límite de tiempo Distintas perspectivas Distintos niveles de dificultad

10 Ejemplos de habilidades sociales y sus indicadores conductuales en la pruebaConducta en la tarea Interacción - Chatear con la pareja Presencia del chat antes de hacer un movimiento Conciencia de la audiencia - Adapta sus contribuciones para incrementar la comprensión de su pareja Número de movimientos de bolas intentados antes de parar y esperar a que la pareja responda Reponsabilidad / iniciativa - Asume responsabilidad por el progreso en la tarea grupal Comunicarse con la pareja antes de que la mitad de las bolas se haya usado Gestión de recursos Se da cuenta de que hay que compartir las bolas y solo usa la mitad Relaciones - Identifica patrones de información Los dos estudiantes llegan a un acuerdo sobre cómo funciona su máquina

11 Módulo de informes en tiempo real para docentes, padres y estudiantes (individuales y grupales)

12 FASE 4: Validación empírica de las pruebasPruebas de concepto (revisión con equipos de docentes de la relevancia de las destrezas su trabajo en el aula) Laboratorios cognitivos (análisis de la funcionalidad de las pruebas y primeras labores de codificación) Pilotos (manual de administración de las pruebas) Aplicación de las pruebas a gran escala (identificación de propiedades psicométricas de las pruebas) Producción de las progresiones de aprendizaje definitivas

13 FASE 5: Difusión de resultados e incidencia políticaTres libros editados por Springer: Marco conceptual Metodología Resultados de la investigación Recursos abiertos disponibles en el sitio web del Proyecto (www.atc21s.org) Progresiones de aprendizaje Módulos de desarrollo profesional para docentes 5 Módulos de desarrollo professional y un MOOC (en Coursera) Banco de pruebas Módulo de traducción (cuatro idiomas) Algoritmos para la calificación automática Módulo de reportes Instalación local de la plataforma Versión portable de la plataforma Permite adaptaciones locales Autonomía en la toma de decisions Se puede vincular a sistemas ya existentes Permite añadir más pruebas Requiere una estructura de apoyo local Sistema flexible de registro Menos susceptible a diferencias entre navegadores (Flash) Todavía no adaptada a dispositivos móviles

14 Objetivos y principales contribucionesEl Capítulo Latinoamericano de ATC21S Objetivos y principales contribuciones Traducir y adaptar las pruebas al español Contribuir a la validación empírica de las pruebas Generar recursos para facilitar a los docentes la incorporación de las habilidades del siglo XXI en sus estrategias de enseñanza – aprendizaje Impulsar políticas públicas para la incorporación de las habilidades del siglo XXI Contribuciones Traducción de la plataforma de evaluación al español Adaptación de las pruebas de Aprender en redes digitales Sitio web y recursos para docentes

15 Sitio web: competencias21 Información sobre las competencias del siglo XXI, cómo se enseñan/aprenden y cómo se evalúan Colección de videos de buenas prácticas Publicación digital Banco de recursos Recursos didácticos para docentes y estudiantes. Portal “Educatico” del MEP

16 Su potencial Es efectivo, escalable adaptable a diferentes comunidades lingüísticas. Facilita una comprensión más precisa y profunda de las habilidades para guiar su aprendizaje Facilita la evaluación y enseñanza de las habilidades en el aula, y el monitoreo de los avances en su desarrollo a nivel de sistema educativo (currículo). Evalúa el desempeño de los estudiantes, identifica brechas en su nivel de competencia y puede mostrar dónde se necesitan cambios en el currículo. El sistema de reportes apoya la toma oportuna de decisiones E El objetivo no es medir el resultado final del aprendizaje, sino identificar con precision el progreso en el aprendizaje y las medidas necesarias para mejorarlo A nivel de aula: rol funcional de la evaluación A nivel de Sistema: rol político de la evaluación

17 Valor y utilidad de las progresiones de aprendizaje (aun sin contar con las pruebas)Las progresiones de aprendizaje son valiosas como instrumentos de observación para los docentes Apoyan la identificación de las metas, las estrategias y los materiales que deben proporcionar a los estudiantes según su zona de desarrollo próximo

18 Habilidades para usar las TIC para aprender: Resultados de aprendizaje esperados por el PRONIE MEP-FOD Establecidos en los “Estándares de desempeño de estudiantes en el aprendizaje con tecnologías digitales”

19

20

21 Construcción de pruebas y progresionesMarco conceptual Dimensión y estándar SEM Validación y calibración de la prueba Se clasifican ítems* Se valida modelo de análisis TCT, AF, TRI (Rasch, 1PL, 2PL y 3PL*) Descripción del nivel de logro Se aproxima el nivel de habilidad y factores asociados 2PL y otros análisis multivariados

22 Prototipo de reporte Prototipo de reportes

23 Factores más influyentes en los niveles de habilidad de los estudiantes egresados de 6to. según dimensión (n: estud.) Productividad Tenencia de computadora en el hogar El nivel de habilidad de los estudiantes se duplica. Conexión a internet en el hogar El nivel de habilidad de los estudiantes aumenta en un 12,8%. Años de participación en el LIE El nivel de habilidad aumenta un 10,7% por año; al acumular 6 años de primaria el incremento alcanza un 64,2%. Ciudadanía y comunicación El nivel de habilidad aumenta un 93,4% El nivel de habilidad de los estudiantes aumenta un 7,2% por cada año; al acumular 6 años de primaria, el incremento alcanza un 43%. Resolución de Problemas e investigación Años de exposición al LIE El nivel de la habilidad de los estudiantes aumenta un 9,7% por cada año expuesto, logrando un acumulado de 58% en 6 años de participación en el Programa. En esta dimensión, según el análisis de regresión, no hay ninguna otra variable que muestre un efecto tan significativo en el nivel de habilidad como los años de participación en el Programa.

24 ¿Cómo pueden los países aprovechar los resultados y aprendizajes de ATC21s?Adoptar objetivos curriculares que enfaticen las habilidades del siglo XXI Enriquecer y apoyar el desarrollo profesional de los docentes (ej.:recursos didácticos) Formular estrategias para incorporar el modelo de ATC21S en los sistemas de evaluación nacionales Usar las pruebas y las progresiones de aprendizaje para informar la produción de materiales didácticos Duplicar o diseñar pruebas similares Añadir pruebas para nuevas habilidades Continuar la investigación sobre el diseño de instrumentos de evaluación innovadores y sobre su influencia en el aprendizaje. Desarrollo de ecosistemas locales de conocimiento y experiencia en la creación de estos nuevos tipos de evaluación (diseño, validación y requerimientos técnicos)