1 La regulación educativa: evaluar para mejorar Pascal Detroz, IFRES-ULg

2 1. Una definición de la evaluación

3 Conceptualización de la evaluación  Evaluar es recoger información acerca de la cual nos formaremos un juicio de valor, con el fin de tomar decisiones (Stufflebeam, 1981)  Existen varias funciones de evaluación  Existen varios modelos de evaluación

4 2. Es el ser humano un buen evaluador?

5 Sesgos relacionados con nuestras percepciones

6 Sesgos relacionados con nuestras interpretaciones  La psicología social ha evidenciado que: Por ejemplo: el egocentrismo implícito. Le damos más importancia y nos sentimos más atraídos por las personas, lugares y actividades que tienen letras de nuestro nombre y números de nuestra fecha de nacimiento (Koole et al., 2001; Pelhal et al., 2002 et 2011; Jones et al. 2004). Otro ejemplo: El ego totalitario (Greenwald, 1980). La necesidad de un concepto estable de uno mismo es tan intensa, que actúa como un dictador que controla la información y reescribe la historia otorgándole una cierta ventaja.

7 Sesgos ligados a la acción

8 Estamos conscientes de nuestras debilidades  Somos profesores! Sabemos evaluar!

9 Sesgos en NUESTRAS evaluaciones? El mismo examen corregido varias veces por el mismo sujeto que corrige, pero sin que él se de cuenta. El mismo examen corregido por varios sujetos. El mismo examen es colocado entre varios exámenes en posiciones distintas. El mismo examen es colocado entre varios exámenes cuyos valores están más o menos dispersos. El mismo examen es corregido por varios grupos de sujetos que corrigen, a quienes se les ha proporcionado información complementaria acerca del estudiante.

10 Sesgos en NUESTRAS evaluaciones?  Somos profesores universitarios! Sabemos evaluar! Agazzi (1967). Para seis materias, si correctores anotan una serie de exámenes (sobre 20). La nota máxima es 10. He aqui los resultados: 6 notas insuficientes Desacuerdos6 notas suficientes Versión latina 40 %50 %10 % Composición francesa 21 %70 %0 % Inglés 37 %47 %16 % Matemáticas 44 %36 %20 % Filosofía 9 %81 %10 % Física 37 %50 %13 %

11 Sesgos en NUESTRAS evaluaciones? Resultados de investigación:  La calidad formal de las pruebas  La ortografía y la gramática  La extensión del texto  Texto manuscrito vs. texto dactilografiado  El efecto de contraste o de contexto  La fidelidad intra-corrector

12 Sesgos en NUESTRAS evaluaciones? Resultados de investigación:  La experiencia del sujeto que corrige  El estado de ánimo del sujeto que corrige  La fidelidad inter-correctores  El género (masculino/femenino) del sujeto evaluado  La etnia del estudiante  El efecto “halo” sobre el origen social de los estudiantes.

13 Sesgos en NUESTRAS evaluaciones? Resultados de investigación:  El efecto de estereotipo o de inercia  La distribución forzada (ley de Posthumus)

14 Sesgos en MIS evaluaciones?  Será cierto en el caso de mis colegas, pero no en mi caso! - La mayoría de la gente sobrevalora sus aptitudes generales, particularmente sus habilidades mentales y sociales (Pajares et Kranzler, 1995; Regan et al., 1995 ; Alicke et Govorun, 2005) - Los individuos menos competentes para realizar una tarea son aquellos que más se sobre-estiman (Paulus et al. 2003) - Informados sobre estos sesgos, la mayoría de los participantes se consideran menos afectados que los otros Van Boven et al., 2003)

15 Conclusiones preliminares  Evaluar a los estudiantes es una tarea compleja que requiere de sólidas competencias científicas (docimológicas). Contrariamente a nuestra intuición, somos evaluadores muy subjetivos, sobre todo cuando nos involucramos emocionalmente, que es lo que sucede cuando evaluamos a nuestros estudiantes o cuando evaluamos a nuestros hijos.  Necesitamos por lo tanto de herramientas y de métodos!

16 3. Dos modelos de evaluación que deben ser articulados: la regulación cibernética y la regulación sistémica

17 La regulación cibernética

18

19 En educación:

20 La regulación cibernética  Es necesaria para regular un sistema que involucra un programa y normas de calificación pre- establecidas, que es el caso de los sistemas educativos para los que existe un curriculum que debe ser respetado.  Es lo que el proyecto ha permitido realizar: se ha brindado información a las instancias que toman las decisiones, a los directores, a profesores y estudiantes.  Les corresponde ahora a esos actores, regular el sistema conforme a las expectativas de sus programas.

21 La regulación cibernética Los criterios de calidad que deben ser considerados en este tipo de regulación son:  La claridad de los objetivos del programa  La calidad de la medida de rendimiento escolar que se busca lograr  La calidad de la comparación objetivos-rendimiento.  Es exactamente lo que las herramientas del CEDAPE, asociadas a las de la Dirección Departamental de Educación (DDE) permiten lograr en un nivel de excelencia.

22 La regulación cibernética es indispensable, pero… La regulación cibernética es una regulación en sistema cerrado. La divergencia entre los objetivos y los rendimientos escolares son errores que el programa debe recuperar. Es bastante mecánica, y deja finalmente poco espacio para que todos los actores educativos puedan emanciparse.

23 La regulación sistémica

24  La regulación sistémica concibe también ciertos objetivos y un programa pre-determinado. Sin embargo, el error está considerado en este caso como un “plus” de significados acerca de la manera en la que funciona el conjunto del sistema.  En el error se halla una riqueza que la regulación quiere explotar, no simplemente suprimir.

25 La regulación sistémica  El momento de la regulación (comparación objetivo - rendimiento) es el momento en el cual todos los actores involucrados en el sistema van a decidir de manera conjunta la continuación del programa.  En este caso, la regulación cuestiona el programa, pero también los objetivos que se pretenden lograr, las normas, los valores del sistema.  Este modelo permite esta divergencia entre objetivos y resultados, puesto que ésta sigue siendo pertinente con relación al proyecto en el que están involucrados todos los actores (estudiantes, maestros, directores, padres de familia, … ). Por lo tanto, el modelo es en este caso un elemento de cohesión del sistema.

26 La regulación sistémica  Los criterios de calidad son:  La claridad de los objetivos del programa  La calidad de la medida de rendimiento  La calidad de la comparación objetivos-rendimiento  Pero está también la capacidad de reinventarse en la relación de aprendizaje, de colaborar en un proyecto común, lo cual requiere de competencias sólidas.  No se trata por lo tanto de un círculo cerrado, sino de un círculo abierto donde todas las negociaciones son posibles.

27 La regulación sistémica  Pero atención: la regulación sistémica no significa la ausencia de una metodología, sino todo lo contrario.  Será necesario triangular la información multiplicando metódicamente las fuentes de datos.  Permite tomar en cuenta la globalidad del sistema y de los individuos, y requiere por lo tanto ser realizada por profesionales en evaluación. No por aquellos que imponen un modelo o una idea, sino por aquellos que permiten la participación de diferentes actores en una perspectiva de evaluación emancipadora. Se trata de un cambio de paradigma que posiciona a los actores de la evaluación en el corazón del proceso.

28 Cibernética o sistémica  Ambas son necesarias en un sistema educativo.  La Ley 070 (Avelino Siñani-Elizardo Pérez) se encuentra más alineada con una regulación sistémica, aunque ésta demanda un rigor metodológico. Los actores de la regulación deberán ser formados para aplicar este tipo de regulación.  Optar por una regulación sistémica no significa renunciar a la regulación cibernética, ya que en los sistemas educativos, los objetivos y el curriculum permanecen centralizados. La verificación de sus logros sigue siendo por lo tanto una necesidad: la recopilación de la información debe seguir siendo de la mejor calidad.  Ambos sistemas de regulación son por lo tanto complementarios y deben ser articulados.

29 Conclusión  Adoptar una buena medida equivale a la opinión de mil expertos.  Sin embargo, una buena medida no significa nada si para los actores de la educación ésta no tiene sentido, y no se apropian de ella.  Para modificar una práctica, es necesario proporcionar a los actores una nueva información, que tenga significado para ellos y que les permita ver la dirección hacia donde deben concentrar sus esfuerzos.