1 Gestión de evaluaciones©2006 KONOCIMIENTO S.A.

2 Mapa de ruta para hoy Quienes somos y qué vamos a hacer:Presentación Consultores y participantes Objetivos a lograr Organización del taller, aspectos administrativos. Sesión #1: Introducción Resumen conclusiones y preguntas

3 Sesión #1 Introducción

4 Evaluaciones y encuestas: QuéLas “evaluaciones”, son herramientas de medición que permiten mejorar la toma de decisiones según el objetivo que persiga. Cuando existe una respuesta objetivamente correcta, hablamos de evaluación. Cuando no existe una única respuesta, objetivamente correcta, hablamos de encuesta. Conocimientos Habilidades Actitudes Opiniones MEDICIÓN Resultados Una encuesta es un tipo específico de evaluación… Análisis Pronóstico Decisiones / Acciones

5 Razones específicas para evaluar (desde la perspectiva del DeptoRazones específicas para evaluar (desde la perspectiva del Depto. De Capacitación) Justificar las inversiones en capacitación. Una evaluación efectiva puede probar que la capacitación no es un gasto neto, sino al contrario, un fuerte contribuyente a los beneficios. Mejorar la toma de decisiones en Capacitación. Una efectiva evaluación puede ayudar a determinar qué cursos comprar o construir internamente, qué medios utilizar, qué proveedores seleccionar, etc. Medición de los participantes del proceso. Una evaluación puede revelar si el Departamento de Capacitación, los desarrolladores, instructores, facilitadores y proveedores entregaron los resultados que prometieron. Demostrar responsabilidad financiera. Una evaluación correcta e integral puede demostrar a ejecutivos, accionistas y empleados que el Depto. De Capacitación es financieramente disciplinado y claramente enfocado en las metas de negocios de la organización. Mejorar la calidad de la Capacitación. Una buena evaluación puede medir la calidad y efectividad de varios aspectos de la Capacitación, tales como; materiales, instructores, salas e infraestructura, técnicas de presentación, etc. William Horton

6 Evaluaciones dentro de un Curso: ¿Por qué queremos evaluar?Malas razones para efectuar una evaluación Cumplir con expectativas… “Es un curso, por tanto debe tener evaluación”. Dar al instructor “poder” sobre el estudiante…”Ponga atención o si no….” Torturar al estudiante. Si la capacitación se supone que sea tortuosa, las evaluaciones pueden asegurar que efectivamente lo sean. Demostrar a la Dirección o Clientes que el curso efectivamente funciona (Probar el éxito de un curso no es malo, pero usar las evaluaciones de un curso para ello, sí lo es). William Horton

7 Evaluaciones dentro de un Curso: ¿Por qué queremos evaluar?Buenas razones para efectuar una evaluación Permitir que la persona tenga un indicador de progreso hacia su meta de aprendizaje. Enfatizar aquello que es importante y motivar al estudiante a enfocarse en ello. Permitir aplicar lo aprendido y de esa forma profundizar / reforzar el proceso. Monitorear el éxito de partes de un curso o de un curso completo de forma que instructores y diseñadores puedan mejorarlo. Certificar que los estudiantes han adquirido el dominio (“Mastery”) de ciertos conocimientos o habilidades para efectos legales, laborales o personales.

8 Características de un buen proceso de evaluaciónCuando se diseña un plan de evaluaciones de cualquier tipo, es bueno Considerar las siguientes características: Un buen proceso de evaluación debe ser: Flexible y adaptable Factible de utilizar en diversas circunstancias o adaptar con facilidad. Simple y fácil de implantar Confiable Mide o predice con exactitud Económico

9 Perspectivas de las evaluacionesEl espectro de perspectivas ¿Estamos interesados en un curso o en los efectos del aprendizaje A nivel de la Sociedad? Perspectiva Micro Perspectiva Macro Para un componente De un curso Para un curso Para un conjunto de Cursos (Currículum) Para una empresa Para una industria A nivel de la Sociedad En la perspectiva micro, estamos interesados en resultados concretos relacionados con los Objetivos de aprendizaje de un curso. Desde una visión macro, nos puede preocupar un amplio rango de resultados con objetivos organizacionales o políticos.

10 Temporalidad de las evaluaciones Perspectiva CursoUna evaluación puede efectuarse en tres puntos principales: Previo a la ejecución de un curso, Durante su desarrollo, Después de concluido el curso. Estos tres puntos utilizan las mismas técnicas básicas de evaluación, Pero de formas diferentes.

11 Temporalidad de las evaluaciones Perspectiva CursoAntes Durante Después Producto de Capacitación (o Curso) Planes - Predice el éxito Del Proyecto / curso. - Mide Stock Competencias - Califica el producto De Capacitación. - Mide aprendizaje - Mide el éxito Del Proyecto / Curso. - Mide desempeño Punto de vista económico / de mercado. Punto de vista aprendizaje / Desempeño.

12 Evaluación interna Vs. externa¡Los procesos internos existen para producir resultados externos! Evaluación Interna Procesos Evaluación Externa Resultados Una evaluación interna ayuda a mejorar los procesos de desarrollo y administración con el objetivo de hacer las funciones más eficientes. Una evaluación externa busca mejorar los resultados del proceso (Producto) como percibido o experimentado por Clientes o usuarios (Internos o externos).

13 Planificación del proceso de evaluaciónAntes de comenzar a escribir una prueba, examen o encuesta: Documente el POR QUÉ: Razonar respecto a los objetivos que buscamos lograr… ¡ Escriba estos objetivos!. Documente el QUÉ: Conocimientos, habilidades, opiniones, actitudes. Defina la estrategia de Calificaciones (¿Nos sirven las notas… para qué?)

14 Planificación del proceso de evaluaciónOtros aspectos relevantes para planificar: ¿Cómo se va a “calificar” la evaluación?: Respuestas evaluadas por una máquina (Perception), Respuestas evaluadas por una persona (Perception), Cada estudiante se auto – califica, explicando el por qué. Cada estudiante es calificado por sus compañeros de clases. Los estudiantes son evaluados por un tutor designado (Compañero de trabajo con mayores Conocimientos, experiencia, etc.).

15 Planificación del proceso de evaluaciónOtros aspectos relevantes para planificar: ¿Cuándo se entregará el feedback? Después de cada pregunta. Después de finalizar la evaluación. ¿Cuánto tiempo debería durar la evaluación? ¿Será factible volver a rendir la evaluación (es decir, permitir más de un intento)?. ¿Preguntas fáciles o difíciles? ¿Cuántos formatos o tipos de pregunta diferentes emplearemos? Si es una encuesta…¿Será ramificada? ¿Qué pasa si hay problemas técnicos? (Procedimiento) Instrucciones y “reglas” de las evaluaciones (Ver Job Aid).

16 Niveles de evaluación El Modelo KirkpatrickEs uno de los modelos de evaluación más robustos. Fue creado en 1959 por Donald Kirkpatrick. Comenzando desde el Nivel 1, cada nivel mide consecuencias del aprendizaje a más largo / amplio alcance.

17 Nivel 1 Respuesta o ReacciónMide la reacción inmediata a la Capacitación: ¿Les gustó? ¿Completaron el curso? ¿Los materiales eran adecuados? ¿La sala y equipos? ¿El instructor dominaba la materia? ¿El instructor se comunicaba clara y correctamente? Etc.

18 Nivel 2 Aprendizaje Intenta medir cuánto aprendieron realmente los estudiantes. ¿Qué competencias adquirieron al finalizar la actividad de Capacitación?. Habilidades específicas desarrolladas, Conocimientos, Actitudes, Creencias

19 Nivel 3 Desempeño Trata de medir el grado en el cual los estudiantes aplican lo aprendido en sus trabajos (o vida privada). Transferencia de aprendizaje. ¿Podemos usar post test para esta medición?. ¿Cómo mediría Ud. Si tuviera recursos ilimitados?.

20 Nivel 4 Resultados Intenta medir el logro de las metas de negocios como resultado de la actividad de Capacitación. ¿Se cumplieron las metas de negocios? ¿Fue la Capacitación una inversión valiosa de recursos organizacionales?

21 Análisis de niveles y característicasRaramente usada Utilización Frecuente Alta Dificultad de desarrollarla Baja Alto Valor del resultado Bajo

22 Nivel 1 Evaluaciones de respuestaLa evaluación de Nivel 1 mide la respuesta del estudiante a la actividad de Capacitación. ¿Qué nos dice?: ¿Cumplió el curso con las expectativas del participante? ¿La experiencia fue emocional e intelectualmente satisfactoria? ¿Creen los estudiantes que se beneficiaron del curso? ¿El estilo de presentación fue adecuado? (Relator, materiales, actividades).

23 Nivel 1 Evaluaciones de respuestaRazones para realizar una evaluación Nivel 1: Mejorar el curso a futuro Comparar con otros cursos / proveedores / relatores / medios. Identificar estudiantes poco motivados (y a malos proveedores / relatores). Reconocer problemas de percepción y frustraciones de los estudiantes para eventuales acciones correctivas. Intento (no muy potente) de predecir el logro de los objetivos (Niveles 2, 3, 4).

24 Nivel 1 Técnicas para medir respuestaControl de acceso y navegación si curso es e-Learning. Asistencia y participación si es tradicional. Uso de encuesta al finalizar el curso incluyendo una sección de retro alimentación y sugerencias. Grupo de enfoque con participantes del curso (después de efectuado). Foro de discusión electrónico (Intranet).

25 Nivel 1 Ejemplo ¿Errores o mejoras?....

26 Nivel 3 Desempeño Intenta medir el desempeño en el trabajo. Se denomina también “Aplicación”. Se hace poco, entre otras cosas porque demanda una gran cantidad de recursos (horas hombre y/o $$). ¿En qué grado los estudiantes aplican lo aprendido en el contexto de sus propios trabajos?. ¿Cuánto mejor se desempeñan en sus trabajos como resultado de la Capacitación?. ¿Aplican lo aprendido oportuna y apropiadamente?

27 Nivel 3 Desempeño Razones para realizar una evaluación Nivel 3:Cuando la brecha entre conocer y hacer es crítica para el éxito del negocio. Cuando la Capacitación está directamente orientada a mejorar el desempeño en el puesto de trabajo (Contenidos técnicos, duros). Si la aplicación al trabajo ha sido un problema detectado y no resuelto en el pasado. Para aislar factores que ocasionan que no se produzca la transferencia hacia el trabajo.

28 Nivel 3 Desempeño Identificación de factores de bloqueo por medio de una evaluación nivel 3: Motivación. Creencia errónea respecto a aplicabilidad en el ambiente de trabajo (“esto no sirve…”). Eventos que podrían “gatillar” la aplicación al trabajo. ¿Recuerdan procedimientos específicos, hechos o principios en el contexto del ambiente de trabajo?.

29 Nivel 3 Técnicas para medir respuestaObservación directa del comportamiento en el trabajo. Recolectar opiniones de aquellos que están en posición de observar. Análisis de datos “duros”: Registro de ventas, Registros de calidad, Registros de reclamos, Registros de seguridad, Etc…(dependiendo de la materia que se trate). Utilizar grupo de control (Sin capacitación) y comparar registros de desempeño (si es posible). Análisis de tendencias de desempeño (¡Uff!). Estructurar planes de acción y monitorearlos. Uso de simuladores (ej. Vuelo, Cajeros Banco, Centrales telefónicas).

30 Nivel 3 Algunas conclusionesRecuerde que: A menos que la Capacitación mejore el desempeño en el trabajo, es de cuestionable valor. Muchas empresas miden regularmente el desempeño como parte de sus esfuerzos por mejorar la calidad y productividad. Las evaluaciones regulares (¿anuales?) del desempeño son una buena base para análisis y decisión respecto de las actividades de capacitación a efectuar. Conectar evaluación de desempeño con Capacitación a la hora de definir la oferta de cursos o actividad es un buen primer paso, no obstante, puede que sirva poco, si no hay monitoreo de lo que sucede con el desempeño después de finalizado un curso.

31 Nivel 4 Resultados A los alumnos les encantó su curso, aprendieron todo lo que se les enseño y además lo aplicaron perfectamente bien en el trabajo….pero….

32 Nivel 4 Resultados No habrá fondos para efectuar nuevamente el programa, pues las utilidades de la empresa han disminuido….

33 Resumen Las “evaluaciones”, son herramientas de medición que permiten mejorar la toma de decisiones según el objetivo que persiga. Se requiere planificación y objetivos claros para asegurar óptimos resultados de un proceso de evaluación. Nunca está demás preguntarse por qué se evalúa algo. Si la respuesta es: “Siempre se ha hecho así”… Preocúpese. Un buen proceso de evaluación debe ser Flexible y adaptable, fácil de implantar, confiable, y económico. Perspectiva, temporalidad y tipo (Interna/ externa) son atributos claves de una evaluación. Recuerde los aspectos importantes a planificar y organice con ellos una agenda de trabajo. El modelo de Kirkpatrick especifica 4 niveles para las evaluaciones en capacitación: Reacción, Aprendizaje, Desempeño, y Resultados.

34 ….What’s next… En la próxima sesión revisaremos en profundidad el Nivel 2: Evaluaciones de aprendizaje….

35 Evaluaciones Nivel 2: AprendizajeSesión #2 Evaluaciones Nivel 2: Aprendizaje

36 Evaluaciones Nivel 2 AprendizajeIntentan medir lo que el estudiante aprendió: ¿Se cumplieron los objetivos de aprendizaje del curso?. Ayudan a identificar hechos específicos, conceptos, habilidades, actitudes y creencias que los estudiantes aprendieron en el curso. Pueden ayudar también a identificar en qué medida el contenido del curso, presentación y estructura fueron adecuados para un óptimo proceso de aprendizaje.

37 Evaluaciones Nivel 2 Aprendizaje – Cómo medirUna evaluación nivel 2 efectiva debe examinar el contenido correcto en el momento oportuno. El aprendizaje, medido sólo al final del proceso de Capacitación, si bien es común, no es la mejor forma de asegurar buenos resultados. Mediciones tanto al comienzo como en diversas instancias durante el desarrollo del curso, generarán suficiente retroalimentación e incentivará a los alumnos a realizar los esfuerzos necesarios en los contenidos que específicamente se requieren.

38 Evaluaciones Nivel 2 Aprendizaje – Cómo medirBaddeley (1990) y otros han encontrado que sin reforzamiento, los niveles de conocimiento caen dramáticamente una vez concluida la Capacitación (80%-90% en 6 semanas). El aprendizaje realmente adquirido (que las personas sí podrán utilizar en su trabajo), debe ser medido entre 6 y 9 semanas “Post tests diferidos) después de haber concluido la Capacitación.

39 Evaluaciones Nivel 2 Técnicas para medir aprendizajeEvaluaciones (antes, durante, después), Actividades y ejercicios “en clases”, tareas (“fuera de clases”). Proyectos de desarrollo con culminación en ambiente de trabajo (aplicación “real). Simulaciones del ambiente de trabajo. Juegos de aprendizaje. Las evaluaciones son una de entre varias alternativas para medir aprendizaje

40 Evaluaciones Nivel 2 Un método general de evaluación“TERMINAL” “HABILITANTES” Mapa Objetivos - Contenidos Objetivo Específico 1 Objetivo Específico 2 Objetivo general Objetivo Específico 3 Objetivo Específico 4 Estructura del curso Objetivo Específico 5 Recuerde que son los objetivos los que determinan los contenidos, y que Ud. Medirá el logro de los objetivos, por medio de los contenidos.

41 Evaluaciones Nivel 2 Un método general de evaluaciónEjemplo de estructura de un curso: Módulos Lecciones Tópicos En este esquema Se requiere mediciones A 3 niveles (a lo menos).

42 Evaluaciones Nivel 2 Un método general de evaluaciónTópico: Tiene un objetivo específico y medible asociado. Es muy concreto. Se le llama también “Objeto de aprendizaje”. Lección: Acumula varios tópicos que agregan aprendizaje hacia un objetivo más general. Módulo: Acumula lecciones. Curso: Conjunto estructurado de módulos. Tiene objetivos del nivel más general. ¿Quién sabe escribir objetivos?

43 Derivando Objetivos Comportamientos medibles y observablesCuando describa una acción observable, debe enfocarse en utilizar verbos precisos. Observable No - observable Escribir la fórmula para la ley de Ohm Resolver un problema de flujo de trabajo Completar el formulario para un cliente nuevo. Conocer la ley de Ohm Pensar críticamente Estar familiarizado con el servicio a clientes

44 Derivando objetivos ¿Dónde comenzar? Consolidando tareasTerminal ¿Dónde comenzar? Comience consolidando tareas y organizándolas en Objetivos Terminales (Curso) y Objetivos Habilitantes (Módulo, lección, tópico). Objetivos Habilitantes

45 Derivando objetivos Criterios para objetivosLos objetivos deben estar relacionados en varias formas. Los objetivos deben ser completos: Cada sub-tarea necesaria para la meta final debería ser representada. Sólo deben formalizarse los objetivos necesarios para lograr la meta final. Objetivos redactados de forma distinta, pero que básicamente son redundantes, deberían ser eliminados.

46 Derivando objetivos Criterios para objetivosObjetivos triviales, tales como aquellos que identifican habilidades pre requisitos, especialmente las muy básicas, no deben ser incluidos. El lenguaje utilizado debe ser claro, fluído, y NO ambiguo. Deben incluirse los principales componentes de un objetivo de comportamiento: Condición, Comportamiento y Criterio.

47 Escribiendo objetivos - FormatosFormato de Mager Comportamiento Condición Criterio Utilizando Microsoft Word, sin manuales, el estudiante formateará una hoja de estilo correctamente, de acuerdo con los estándares establecidos en el documento de evaluación.

48 Evaluaciones Nivel 2 Un método general de evaluaciónSugerencias: Para este esquema, efectúe evaluaciones con calificación (y sin retroalimentación), sólo a nivel de módulos. Lecciones y tópicos deben incluir auto evaluaciones con retroalimentación. Desarrolle (complementariamente) un examen final para el curso completo. Compare resultados con respecto a las evaluaciones de módulos. Lleve a cabo un post test diferido 6 – 9 semanas después de concluido el curso. Compare resultados con los de módulos y curso. Planifique acciones de refuerzo de acuerdo a los resultados que obtenga.

49 Construcción de la evaluaciónCuando se diseña una evaluación a un nivel más general (Lección, módulo, curso), nos encontramos con más objetivos específicos a ser medidos, que van conformando el objetivo más general. Es una buena práctica asignar ponderadores (importancia relativa) a cada uno de estos objetivos de forma de tenerlos muy en cuenta para la construcción de la evaluación…. Objetivo Importancia (Ponderación) 1 33% 2 3 34% Total = 100%

50 Construcción de la evaluaciónObjetivo Importancia V/F(1) Alt.(2) Mult.(4) CO (3) 1 33% 3 4 2 34% Total = 100% 9 12 6 Para cada tipo de pregunta diferente, abarque todos los objetivos de acuerdo a su importancia. Determine el número de preguntas de cada tipo que mejor se acomode a la importancia de los objetivos (recuerde que cada tipo tiene usos diferentes). Tenga presente que selección múltiple es más difícil (para usted y los alumnos). Defina los puntajes individuales para cada tipo de pregunta (mismo tipo, mismo puntaje). Construya las preguntas tipo por tipo utilizando su mapa de Objetivos – Contenidos (otros prefieren objetivo a objetivo). Debe haber cierto grado de consistencia entre la importancia de los objetivos y el número de preguntas relacionadas con cada uno, o entre la importancia de los objetivos y el puntaje asignado a las preguntas orientadas a cada uno.

51 Construcción de la evaluaciónPara producir una evaluación consistente y bien estructurada: Puede tomar el número de preguntas como base para respetar la importancia de los objetivos (objetivo más importante, incluyo más preguntas que apunten a él), o Puede tomar el puntaje de la pregunta como base para respetar la importancia de cada objetivo, en cuyo caso es mejor tener el mismo número de preguntas por cada objetivo. Es importante tener una estructura lógica, y ser consistente con ella (respetarla) a lo menos a nivel del mismo curso o programa. No hay una única forma “óptima” de construcción de una evaluación.

52 Diseño efectivo de preguntas Tipos más comunesVerdadero / falso (Sí / No), Selección de 1 opción entre varias (alternativa), Selección de más de 1 opción de entre varias (Selección múltiple), Completación de oraciones, Ensayo, Pareos, Marcar lugar correcto (imágenes) Ver Job Aid #2

53 Diseño efectivo de preguntas Verdadero / FalsoRequieren que los estudiantes decidan entre dos alternativas, mutuamente excluyentes. Sea cuidadoso en su uso, pues pueden alentar la especulación. Diséñelas de forma que requieran más raciocinio que especulación. Diseñe varias para el mismo contenido, de forma de minimizar la probabilidad de acierto al azar. Cada frase que diseñe sobre el mismo sujeto, estructúrela de manera diferente, de modo que algunas veces la respuesta correcta sea Verdadero y otras veces Falso. Escriba la sentencia en términos neutrales, de forma que no implique una respuesta. Nunca haga preguntas del tipo sí/no llamándolas verdadero/falso. ¿El rango de frecuencias en UHF Comienza donde termina el de VHF? ¿El rango de frecuencias en UHF Comienza donde termina el de VHF? Sí No Verdadero Falso

54 Diseño efectivo de preguntas Verdadero / FalsoNo requiere siempre usar sí/no o Verdadero/falso, cualquier binario opuesto funciona: Un positrón es: Materia Anti materia

55 Diseño efectivo de preguntas Verdadero / Falso¡Estadísticas al rescate!: Penalice la especulación: Respuesta correcta = 1 puntos Sin respuesta = 0 punto Respuesta incorrecta = -1 punto. Requiera puntajes más altos: La probabilidad de tener “buenas” 5 de 10 especulando = 50%. La probabilidad de tener un 80% correcto es sólo 5%. Incluya más preguntas de este tipo que de otro. Si incluye 20 preguntas de este tipo, la probabilidad de obtener 80% o más es menor a 1%.

56 Diseño efectivo de preguntas Múltiples opcionesLas preguntas de tipo Múltiples opciones muestran una lista de respuestas para que los estudiantes seleccionen. Son fáciles de construir y de entender, pero “tientan” a algunos estudiantes a adivinar más que a pensar. Existen dos tipos principales: Selección de una alternativa (Alternativas) Selección de múltiples alternativas (Selección múltiple).

57 Diseño efectivo de preguntas Múltiples opcionesAlternativas (sólo 1): Requiere escoger sólo una alternativa de entre varias disponibles (y sólo una es correcta). Se utiliza para preguntas con una sola respuesta correcta: Reconocer miembros de clases específicas, Reconocer una de entre varias causas de un problema, Orden / Superlativos de un grupo: Peor, más grande, más alto o más bajo.

58 Diseño efectivo de preguntas Múltiples opcionesSelección múltiple (Varias): Permite que el estudiante escoja varias respuestas de entre una lista de opciones disponibles. Se utiliza cuando hay más de una respuesta correcta. Las evaluaciones de tipo selección múltiple son más complejas (destreza intelectual) que las de tipo verdadero/falso o alternativas. Requieren hacer una serie de juicios relacionados: Determinar elementos que reúnen un mismo criterio, Decidir si una regla aplica, Hacer una serie rápida de decisiones sí/no, Determinar ejemplos o contra ejemplo de un principio o teoría.

59 Diseño efectivo de preguntas Ensayo / Ingreso de texto cortoRequieren que el estudiante digite la respuesta a la pregunta. Las respuestas deberían ser cortas, breves, para preguntas muy específicas. Se utiliza para recordación de: Términos técnicos o de negocio, Números de partes, Abreviaciones, Vocabulario (lenguaje extranjero)

60 Diseño efectivo de preguntas Ensayo / Ingreso de texto cortoRespuesta más amplia, intenta evaluar comprensión global, estructuración de ideas respecto al sujeto de que se trate. Sólo cuando el evaluador es humano.

61 Retroalimentación de una evaluaciónRecuerde que puede decidir entregar retroalimentación a nivel de cada pregunta o a nivel de la evaluación completa. Para retroalimentación negativa use términos neutrales (como “incorrecto”). Puede utilizar también “Lo siento” o “No se preocupe” y alentar al alumno a continuar. Miremos el siguiente ejemplo....

62 Resultados evaluación final Módulo “Z”Retroalimentación de su desempeño en el examen del Módulo Z: Usted Reprobó El examen. Obtuvo 6 respuestas correctas de 10. Esto NO es aceptable. Requiere a lo menos 7 de 10. Quizás usted no puso atención mientras estudiaba la lección o no Tiene los conocimientos pre requisitos necesarios para este curso. En cualquier caso, debe repetir este examen y lograr un resultado Aceptable o será definitivamente REPROBADO.

63 Evitando las trampas Políticas y procedimientosSiempre habrá alguien (o varios) que harán trampa. Aún profesionales de alto nivel. Algunas veces incluso, quienes conocen las respuestas. Hacer trampa impide al estudiante tener la oportunidad de comprobar qué tan bien domina el contenido del proceso de aprendizaje

64 Evitando las trampas Políticas y procedimientosSólo si conocemos los verdaderas razones por las cuales un estudiante / adulto / en ambiente de trabajo hace trampa, podemos tomar acciones para desincentivarlo a ello… ¿Por qué hace trampa? El resultado de un examen afecta sus oportunidades de desarrollo profesional, Vergüenza de obtener un bajo resultado, Pérdida percibida de status ¿Evaluarme a mí?, Enojo con la empresa, el curso o el instructor, Sienten que hacer trampa es más desafiante y divertido, a la vez que se demuestra mayor inteligencia que la del enemigo…Instructor…

65 Evitando las trampas Políticas y procedimientos¿Cómo hacen trampa? Otros (que dominan la materia) contestan la evaluación, Utilización de recursos no permitidos (Libros, “papelitos”, calculadoras, etc.), Preguntar a otros que están tomando la misma evaluación, Culpar al computador, problema de conexión u otro de tipo técnico, de forma de tener más tiempo y preguntar a quienes ya rindieron la evaluación.

66 Evitando las trampas Políticas y procedimientos – Reduciendo el problemaProbablemente nunca se pueda eliminar completamente este problema, pero puede intentarse reducirlo a un mínimo razonable. Existen 3 estrategias principales al respecto: Método de confianza, Método de barreras, Método de amenazas.

67 Evitando las trampas Reduciendo el problema – Método de la confianzaEn este enfoque, se eliminan los incentivos no necesarios para hacer trampa y luego, se confía en los estudiantes. La base de este enfoque descansa en recordar a los estudiantes que ellos son los responsables de su propio aprendizaje y que en realidad sólo pueden hacerse trampa a sí mismos. Se declara públicamente la confianza en el estudiante.

68 Evitando las trampas Reduciendo el problema – Método de la confianzaDECLARACIÓN DE CONFIANZA “Confiamos en que seguirá todas las reglas e indicaciones consideradas como necesarias de cumplir para este curso. Los métodos de enseñanza – aprendizaje y evaluaciones han considerado que todos somos adultos y responsables de nuestro propio aprendizaje. Entregamos las evaluaciones a distancia en formato electrónico con el objetivo primario de que le sirvan como indicador de progreso.” Si siente que las evaluaciones son poco claras o injustas, le solicitamos nos lo haga saber, ciertamente consideraremos sus comentarios. Registraremos los resultados de las evaluaciones, pero no intentaremos detectar si ha habido trampa de algún tipo.

69 Evitando las trampas Reduciendo el problema – Método de la confianzaCon posterioridad a un recordatorio de este tipo, deben tomarse acciones para reducir el incentivo a hacer trampa: Disminuir la dificultad de las evaluaciones (agregar preguntas muy fáciles de modo que nadie obtenga 0 punto.). Reducir la importancia de las calificaciones. Disminuir la participación de las evaluaciones sobre el resultado total de un curso (Considere participación en discusiones, actividades de equipo, proyectos y otras evidencias de desempeño). Permita que en las evaluaciones se puedan consultar diversos recursos (Internet, apuntes, etc…).

70 Evitando las trampas Reduciendo el problema – Método de barrerasEn este enfoque, la idea es lograr que sea imposible (o casi) hacer trampa. Se construyen barreras entre comportamiento apropiado e inapropiado, Puede no ser totalmente exitoso, pero a lo menos disminuirá el tamaño del problema.

71 Evitando las trampas Reduciendo el problema – Método de barrerasAcciones: Cada nueva evaluación incluye nuevas preguntas, Selección aleatoria de preguntas, Orden aleatorio de las opciones de respuesta, Utilice “supervisores” para evaluaciones de alta importancia. No deje evidencia de las respuestas dentro del código de la página Web.

72 Evitando las trampas Reduciendo el problema – Método de amenazasSe castiga a quien es sorprendido haciendo trampa. Requiere de autoridad sobre el estudiante. Se tangibiliza por medio de una política fuerte y clara que establece que cualquier tipo de trampa no será tolerada, sino más bien castigada (democión, suspensión, despido). ¿En qué situaciones / empresas será esto factible?

73 Evitando las trampas Reduciendo el problema – AutenticaciónEl método más común es la utilización de un “Proctor” o Supervisor (en Chileno…cuidador de prueba). Otro método es incluir al comienzo preguntas tipo ensayo que denoten que la persona “correcta” está contestando la evaluación.

74 Evitando las trampas ConclusionesUtilice más que sólo evaluaciones formales con nota: Evaluaciones formales con calificación, Evaluaciones tipo “libro abierto”, Evaluaciones sin nota, Actividades, Juegos, Puzzles, Proyectos de investigación, Evaluaciones tomadas por equipos en vez de individuos. Probablemente el método de la confianza con algo del método de barreras sea la solución más plausible en Capacitación laboral.

75 Resumen Gran parte de las evaluaciones que diseñamos, corresponden al Nivel 2 (Aprendizaje). Las evaluaciones de aprendizaje intentan medir lo que el estudiante realmente aprendió (Piense en hacer evaluaciones 2 meses después de terminado un curso y compare con los resultados del curso). Para un mejor resultado del proceso de aprendizaje, es recomendable aplicar evaluaciones en diferentes partes del curso, más que sólo al final. Objetivos  Contenidos  Evaluaciones... Recuerde el método básico para construir preguntas efectivas. La confianza debe unirse a robustos procedimientos y mecanismos que desincentiven el hacer trampas en las evaluaciones.

76 What’s Next… En la siguiente sesión comenzaremos el aprendizaje de la herramienta Perception.