1 El Rol de la Rúbrica en Prácticas de Evaluación Formativa Edgar Picón Jácome Escuela de Idiomas – Universidad de Antioquia Grupo de Investigación Acción y Evaluación en Lenguas Extranjeras, GIAE UdeA - 2013

2 ¿Cómo está la evaluación en Colombia? Los profesores de idiomas no están formados para evaluar (Lopez & Bernal, 2009) Los profesores están confundidos en términos del qué y del cómo (Arias & Maturana, 2005) En la era de la evaluación alternativa seguimos estancados en prácticas evaluativas poco auténticas.

3 Arias & Maturana (2005) ◦ Ante todo fue reiterativa la imprecisa definición del constructo lingüístico.... La falta de definición de las características de las tareas lingüísticas y de sus propósitos de instrucción o de evaluación sumativa o formativa, de medición o valoración, ocasionó la inclusión de aspectos no lingüísticos que terminaron imponiéndose a la hora de tomar decisiones de promoción. (pp. 87).

4 Testing or Assessment? Formal or Informal? Summative or Formative? Pruebas, evaluación continua, evaluación formativa, evaluación sumativa

5 “Tests [pruebas] are prepared administrative procedures that occur at identifiable times in a curriculum when learners muster all their faculties to offer peak performance, knowing that their responses are being measured and evaluated. “ (Brown, 2004: 4) “Assessment is (…) an on-going process bound up with the learning process rather than a single episode that occurs at the end of a teaching unit.” (Shohamy & Imbar, 2006: 4)

6 “Evaluación Informal… comentarios y respuestas incidentales, no planeadas, junto a dirección y otras formas de realimentación espontánea …. evaluación formal se refiere a ejercicios o procedimientos diseñados específicamente…. Son técnicas sistemáticas y planeadas construidas para proveer al profesor y al estudiante una valoración de los logros del estudiante.” (Brown, 2004: 5-6)

7 Sumativo se refiere a eventos en los que el procedimiento evaluativo tiene el propósito principal de medir los logros o la suficiencia con el fin de tomar decisiones. Formativo se refiere a eventos en los que el procedimiento evaluativo tiene el propósito principal de promover el aprendizaje.

8 Formative Assessment = Planned and Systematic Feedback La realimentación (feedback) planeada y sistemática es clave en la evaluación formativa.

9 “La mayor parte de la evaluación en el aula es formativa: …. La clave para dicha condición es la entrega (por parte del profesor) y la internalización (por parte del estudiante) de una realimentación apropiada sobre su desempeño, con la mirada puesta en una futura continuación (o formación) del aprendizaje. “ (Brown, 2004: 6) “El procedimiento evaluativo utilizado dentro de un programa de idiomas dado debe estar directamente relacionado con el currículo si se quiere que la realimentación sea útil.” (Brown & Hudson 1998:26)

10 Formative Assessment- Assessment for Learning Evaluación para el aprendizaje vs. evaluación formativa

11 Black & Jones, 2006, aseguran que “evaluación para el aprendizaje es cualquier tipo de evaluación para la que la prioridad en su diseño es promover el aprendizaje de los estudiantes…” [La evaluación] puede ayudar al aprendizaje si provee … realimentación, … para modificar las actividades de enseñanza y aprendizaje en las cuales [los estudiantes y los profesores] están involucrados. Dicha evaluación se convierte en ‘evaluación formativa’ cuando la evidencia se utiliza para adaptar la enseñanza con el fin de satisfacer las necesidades de aprendizaje. “ (En Lamb, 2010: 100)

12 El feedback en la evaluación formativa es de naturaleza descriptiva; es decir que se refiere a la tarea y al logro del estudiante. Puede ser de dos tipos: ◦ De especificación de logros y mejoras: mastery oriented approach: los profesores retiene el poder ◦ De construcción de los éxitos y la forma de lograrlos: poder y responsabilidad compartida entre el profesor y el estudiante. ( Tunstall & Gipps,1996, en Gipps, 1999)

13 Autonomía del Estudiante “cierto tipo de relación entre el estudiante y el proceso de aprendizaje: control.” (Benson, 2010, p.79) Tres dimensiones: Técnica, sicológica y política (Benson, 1997)

14 “La evaluación para el aprendizaje está diseñada para el desarrollo de las capacidades necesarias para llegar a ser un aprendiz autónomo enfocándose en mejorar el aprendizaje a través de unos mejores procesos de automonitoreo y autoevaluación que lleven a una mejor planeación” (Lamb, 2010: 100-101).

15 Alternative Assessment or Alternatives in Assessment Evaluación alternativa

16 Development of Language Testing Discrete-Point Integrative Language Communicative Performance Alternative Assessment

17 La evaluación alternativa 1. requiere que los estudiantes actúen, creen, produzcan o hagan algo; 2. utiliza contextos reales o simulaciones; 3. permite que los estudiantes sean evaluados en lo que ellos normalmente hacen en clase todos los días; 4. utiliza tareas que representan actividades instructivas y significativas; 5. se enfoca en el proceso tanto como en el producto;

18 La evaluación alternativa 6. activa habilidades de pensamiento complejo y de desarrollo de problemas; 7. provee información tanto de las fortalezas como de las debilidades de los estudiaantes; 8. se asegura que las personas, no las máquinas, califiquen, utilizando el juicio humano; 9. anima el establecimiento abierto de estándares y criterios de evaluación; y 10. requiere que los profesores desempeñen nuevos roles en la enseñanza y en la evaluación.

19 “La evaluación alternativa se basa en la conciencia de que el conocimiento linguistico es un fenomeno complejo conformado por diferentes tipos de lenguaje y que dominar un tipo no es garantía de dominar otros. “ (Shohamy, 1998:241)

20 Darling-Hammond, 1994, asegura que “desde una perspectiva crítica, la evaluación alternativa se ve como un medio para compartir el poder cuando involucra intercambio dialógico y colaborativo entre el evaluador y el evaluado. Ésto permite una mayor equidad y justicia en las pruebas valorando potencialmente la singularidad y la diferencia. ” (In Fox, 2008:101).

21 The Rubric La Rúbrica

22 Definiciones (1) La rubrica:ca: ◦ “ aquellas características de una prueba que proveen la estructura para tareas dadas y que indican como los evaluados deben proceder para llevar a cabo la tarea: la estructura, las instrucciones, la duración, y cómo la lengua será evaluada.” (Bachman & Palmer, 1996, p. 50)

23 Definiciones (1I) La rubrica:ca: ◦ “ una herramienta de evaluación que especifica las expectativas de desempeño y una variedad de niveles en los que los aprendices pueden desempeñar una habilidad en particular” (Mansoor & Grant, 2002, p.33) ◦ “ …no sólo especifica las expectativas de desempeño sino que además provee lineamientos exhaustivos incluyendo todos los detalles necesarios para que los estudiantes completen la tarea exitosamente” (Picón, 2007, p.1)

24 Definiciones (III) El constructo: La Competencia Comunicativa (Savignon, 2001)t Competencia Gramatical: Léxico, morfología, fonología, sintáxis, grafología Competencia Discursiva: Cohesión y coherencia Competencia Socio-Cultural: Contexto, funciones, roles de los participantes, registros, conciencia cultural. Competencia Estratégica: Estrategias comunicativas.

25 Definiciones (IV) La tarea evaluativa: ◦ Respuesta Construida: Requiere que los estudiantes produzcan: ej. La evaluación con base en el desempeño: Requiere que el estudiante lleve a cabo aproximaciones autenticas reales (Brown & Hudson, 1998) ◦ Auténtica: Basada en actividades que representan contextos de la vida real….consistente con las metas curriculares y de la enseñanza (O'Malley & Valdez – Pierce,1996, p. 2)

26 Definiciones (V) La Escala ◦ Con base en criterios ◦ Analítica ◦ Transparente ◦ Flexible  Arias et al.(2009), Picón (2010), Hewitt (1995), Mansoor & Grant (2002). Mertler (2001), Moskal (2000), O'Malley & Valdez –Pierce (1996)

27 Hallazgos de un Estudio de Investigación

28 Inclusión Sistemática de los Estudiantes T: “para ellos [los estudiantes] fue muy importante porque se sintieron incluidos en el proceso, tanto que se socializó qué se iba a evaluar, se les explicó qué era una rúbrica, (….) se les preguntó y se les dijo, se les dio la oportunidad de quitar ó agregar cosas, que de pronto tuvieran modificaciones ó algo”

29 Realimentación Dialógica: Moviéndose hacia una Realimentación Constructiva “ A ver, cuando yo les entregué la hojita con los resultados yo me senté con cada uno, no en el momento de la entrevista sino después, me senté con cada uno y analizamos las anotaciones que yo había hecho. De los diez estudiantes la mayoría me preguntó: ‘¿cómo puedo mejorar eso?’ (….) Yo vi a más de uno después sentado allá en su puesto mirando la hojita.” (T1)

30 La Evaluación Formativa Ocurre Cuando la Enseñanza se Adapta para Maximizar el Aprendizaje: washback T: “Bueno eso es casi como pegarse uno una pelita y analizar mejor el proceso de cada estudiante. Te da mejores bases para dar tus clases después de…después de la aplicación de la rúbrica.”

31 Abriendo Espacio al Pensamiento Crítico ◦ “ (…) saber que te tenés que pedir más como evaluador, como docente. Tenés que darle más argumentos al estudiante y argumentarte vos mismo por qué un estudiante saca un cinco ó un 4, no es simplemente una valorización holística, ya tenés que ir más allá y detallar más las cosas” (T1 )

32 Automonitoreo ◦ “ (…) como yo les escribía, y les decía por ejemplo no pronunciaste esto bien, omitiste tal palabra, entonces los estudiantes se acordaban, estaban de acuerdo con lo que yo les estaba diciendo. Ninguno me dijo eso es mentira, o usted no se acuerda, o usted entendió mal, ninguno se opuso. No tuve ningún inconveniente con eso.” ◦ “ (…) entonces, cuando les iba explicando cómo había sido su desempeño de acuerdo al criterio, ellos eran conscientes de que: ‘sí me equivoque, no dije tal cosa, se me olvidó’, ellos eran conscientes de lo que se les había evaluado.” (T3)

33 ◦ “Al principio me dio dificultad el formato, para clasificar la información (….) las tuve [Dificultades]en el momento de evaluar porque me confundí con lo de los porcentajes (…) me sentí un poco tensionada al principio porque se me hacía difícil categorizar inmediatamente lo que me decían (….) más o menos con el tercer estudiante ya la manejaba y me sentí más cómoda” (T2)

34 ◦ “…no tuve ningún inconveniente, en principio pensé que era complicado porque tenía dos estudiantes y pensé que no iba a tener tiempo de escribir los comentarios para cada uno (…)Todo estaba muy claro, muy organizado, incluso para la suma de los puntajes ya era más fácil porque ya estaban establecidos y se hace muy rápido” (AC)

35 Transparency promotes self-confidencey La transparencia y la experiencia utilizando la rúbrica afectó positivamente la realimentación en la medida que los profesores lograron auto confianza.

36 Conclusiones: 1 ◦ El proceso democrático que los profesores siguen en la presentación y adapatación de la rúbrica abre espacio para la presencia de una evaluación formativa a través de la implementación de realimentación sistemática. De igual manera, la evaluación formativa permite el desarrollo de la autonomía de los estudiantes a través del desarrollo del pensamiento crítico, el auto monitoreo y la auto evaluación.

37 Conclusiones: 2 ◦ Debido a sus percepciones iniciales de que el proceso es demorado y dificil los profesores experimentan sentimientos de ansiedad e incomodidad cuando se enfrentan a la tarea de diseñar/adaptar rúbricas. Sin embargo, a medida que aclaran conceptos y desarrollan las habilidades necesarias para utilizar el instrumento, ganan autoconfianza, disminuyen esos sentimientos negativos y desarrollan actitudes positivas, lo cual redunda en una realimentación demejor calidad.

38 Conclusiones: 3 ◦ La interacción entre algunas cualidades de la evaluación fue evidente en el análisis. Por un lado, el desarrollo de la autoconfianza se apoyó en la transparenncia de la rúbrica puesto que hizo más facil para ellos la evaluación. Por otro lado, a medida que los profesores invierten menos tiempo en la interpretación y la calificación la viabilidad se incrementa. Finalmente, el uso de la rúbrica permite que tenga lugar un impacto positivo a través de una realimentación descriptiva.

39 Conclusiones: 4 Necesitamos revisar en qué medida las rúbricas permiten que los profesores se hagan concientes del constructo que evalúan y cómo conectan la enseñanza y la evaluación. De igual manera es importante estudiar cómo nuevos enfoques de enseñanza y distintas variedades de la lengua afectan el constructo de la evaluación de manera que los profesores desarrollen prácticas evaluativas útiles y válidas.

40 Evaluación Formativa-Enseñanza-Autonomía Al inicio A medida que los profesores ganan experiencia Conocimiento y habilidades TransparenciaCriterios claros Feedback de calidad Sentimientos negativos Falta de confianzaFalta de claridad Democratic Practices

41 Thanks! Contact information [email protected]