1 Taller 4 PRTE 640

2 Evaluación La evaluación interna es realizada por los mismos integrantes del proyecto, y puede incluirse como un procedimiento de monitoreo permanente. Una modalidad característica de evaluación interna es la auto-evaluación. La evaluación externa es llevada a cabo por profesionales o expertos que no participan del proyecto. Puede estar a cargo de equipos de supervisión, de organismos del Estado o de cooperación internacional, entre otros.

3 Evaluación Los dos tipos de evaluación aportan importantes contribuciones. La evaluación externa aporta objetividad e independencia, mientras que la interna permite profundizar en función del conocimiento de la gestión y desarrollo del proyecto.

4 Evaluación La evaluación debe estar prevista desde la planificación del proyecto y debería dar comienzo antes de que comiencen las acciones, e incluso podría ser necesaria una instancia de evaluación durante la fase de planificación del proyecto. Se evalúa tomando el proyecto desde el principio, mirando todas sus partes.

5 La dimensión temporal de la evaluación ¿Cuándo se evalúa?En la etapa de planificación del proyecto: para definir el problema a resolver, seleccionar la realidad a evaluar, conocer el escenario para la implementación del proyecto y elaborar los objetivos. Las evaluaciones de esta etapa suelen llamarse ex-ante, cuando se trata de conocer la factibilidad para la implementación del proyecto.

6 Inmediatamente antes de su implementación: para tener información de base (Línea de base o Punto Cero), que constituya una referencia para medir los cambios producidos por las acciones realizadas a partir de la implementación del proyecto, y de qué modo operan sobre los beneficiarios directos.

7 Durante la etapa de ejecución:Para monitorear el curso de las acciones. Cuando se efectúan cortes temporales durante el desarrollo del proyecto. Suelen llamarse evaluaciones intermedias y se les da el nombre de “momento I, II, III” y así sucesivamente para ordenar los resultados en relación con la evolución del proyecto.

8 Una vez finalizado el plazo previsto de ejecución: para valorar los efectos del proyecto en el corto y mediano plazo (resultados e impactos).

9 En general, se denomina evaluación de resultados, a la medición que se realiza al momento del cierre del proyecto y de impactos o ex-post, pasado un período, en el que se pueda medir si los cambios se mantuvieron en el tiempo, y qué efectos finales produjeron sobre la población, en relación con los objetivos últimos o más generales buscados por el proyecto.

10 ¿Qué se evalúa? De acuerdo a su contenido la evaluación podrá ser de:Factibilidad Línea de base Diagnóstico o Proceso Resultados Impactos

11 La evaluación supone un proceso que también atraviesa por diferentes etapas:Una etapa de diseño o planificación Describir la realidad a evaluar. Definir los objetivos de la evaluación. Construir una matriz de evaluación o matriz de indicadores. Describir la metodología que se empleará para recolectar la información. Elaborar un cronograma de actividades. Un momento de ejecución o trabajo de campo El procesamiento y análisis de la información recolectada La presentación de resultados, para luego dar paso a la toma de decisiones.

12 Otros Modelos de Evaluación

13 La Evaluación asegura que todos los objetivos de aprendizaje se han cumplido y el objetivo del curso o adiestramiento se ha logrado. Un buen sistema de evaluación formativa proporciona información valiosa para el alumno, la gestión, y, en última instancia, el diseñador instruccional.

14 La mayoría de las decisiones de formación, tales como añadir, eliminar o modificaciones a los programas de formación se basan en la información recopilada durante la fase de evaluación. Las evaluaciones también ayudan a establecer prioridades en las necesidades de formación a nivel de organización.

15 Como resultado de la evaluación, los recursos se pueden desplazar desde un menor impacto en los objetivos de curso o adiestramiento al desarrollo que tiene que ver con la relación costo-beneficio más prometedora. En otras palabras, la evaluación se asegura de que los programas de capacitación mejoren el rendimiento, que es el objetivo final de todos los cursos de forma efectiva y eficiente.

16 La fase de evaluación consta de dos partes: formativa y sumativaLa fase de evaluación consta de dos partes: formativa y sumativa. La evaluación formativa se produce en todas las fases del proceso de diseño y se asegura de que el curso de formación se mantiene en la pista mientras se está desarrollando. Algunas de las preguntas que los diseñadores de instrucción deben preguntarse a medida que evalúan cada fase del modelo como (ADDIE) son:

17 Análisis: Es esto un problema de formaciónAnálisis: Es esto un problema de formación? ¿Qué deben los alumnos ser capaces de hacer para asegurar el cambio deseado en el rendimiento? Diseño: Qué deben aprender los participantes que les permitan cumplir el objetivo? ¿Son todos los objetivos medibles y observables? Desarrollo: ¿Qué actividades e interacciones tendrán como resultado el rendimiento requerido? Implementación- Hace que los estudiantes se convierten en ejecutantes?

18 La evaluación sumativaDurante la evaluación formativa, los diseñadores instruccionales deben llevar a cabo el método de entrega, el contenido y opiniones de usabilidad. La evaluación sumativa, por otro lado, es el procesador de la revisión de un curso después de la implementación. Mide resultados de la formación en cuanto a las opiniones de los alumnos sobre el curso, los resultados de evaluación, desempeño en el trabajo, y el retorno de la inversión (ROI) de la organización.

19 Cuatro niveles de evaluación: Donald KirkpatrickNivel 1: Nivel de Reacción Nivel 2: Nivel de Aprendizaje Nivel 3: Nivel de Comportamiento Nivel 4: Resultados

20 Nivel de Reacción La reacción es el primer nivel de evaluación. Es la forma más fácil de evaluar cualquier programa de entrenamiento. En este nivel, se entera de lo que los estudiantes piensan acerca de la formación.

21 Nivel de Reacción La reacción se mide a través de encuestas, cuestionarios y retroalimentación verbal. Es una manera bastante barata para reunir información sobre la calidad del curso. Este nivel de evaluación se lleva a cabo inmediatamente después del evento de capacitación.

22 Nivel de Reacción Donald Kirkpatrick sugiere preguntar por los sentimientos de los alumnos en todos los aspectos del curso, incluyendo contenido y presentación métodos. También recomienda hacer la reacción de anónimo para fomentar la retroalimentación honesta. Al crear preguntas de evaluación, considerar la inclusión de preguntas abiertas que permiten a los estudiantes a poner sus sentimientos y actitudes hacia el curso por escrito.

23 Nivel de Aprendizaje El aprendizaje es el segundo nivel de evaluación. Se evalúa el grado en que los estudiantes obtuvo conocimientos y habilidades y si se enteraron de lo que se esperaba de ellos. Pre-tests y post-tests son herramientas típicas utilizadas para evaluar el aprendizaje.

24 Nivel de Aprendizaje Sin embargo, si el curso está pensado para principiantes, no hay necesidad de un pre-test. En su lugar, usted debe evaluar los educandos de diferentes maneras a lo largo de todo el curso. Por ejemplo, puede crear un juego o simulación que permita a los estudiantes evaluar sus conocimientos, habilidades y actitudes de una manera interactiva.

25 Nivel de ComportamientoEl tercer nivel de evaluación mide el grado en que el cambio en el comportamiento que realmente ocurrió. Mide si los estudiantes aplican los conocimientos y habilidades que adquirieron en el entrenamiento para su trabajo.

26 Nivel de ComportamientoSiempre que sea posible, es importante medir el comportamiento antes y después para determinar si el cambio se llevó a cabo. Para asegurar resultados más precisos, Kirkpatrick sugiere dar tiempo suficiente para que se produzca un cambio.

27 Nivel de ComportamientoLuego, realizar encuestas o entrevistas con los alumnos, preguntar por su gestión, y entrevistar en el área laboral. Antes de sacar la conclusión de que no se ha producido el cambio deseado, tenga en cuenta que varios factores pueden contribuir a un comportamiento particular. Por ejemplo, a pesar de que los participantes hayan aprendido mucho en el curso, su supervisor puede no haberles dado la oportunidad de aplicar sus nuevos conocimientos y habilidades.

28 Nivel de ComportamientoAdemás, debido a la falta de recompensas en el puesto de trabajo, los estudiantes pueden ser simplemente desmotivados para utilizar lo aprendido en la sesión de entrenamiento. A pesar de que las entrevistas y grupos focales pueden proporcionar una gran cantidad de datos valiosos, la práctica recomendada consiste en realizar encuestas para medir el verdadero cambio en el comportamiento.

29 Ser capaz de proporcionar respuestas anónimas es la clave para una retroalimentación honesta, sobre todo cuando se trata de un cambio en el comportamiento. Las encuestas le permitirá obtener la retroalimentación que usted necesita sin intimidar a los participantes formación.

30 Resultados Los resultados son el cuarto nivel de evaluación. Este último nivel es la razón principal para tomar el curso de capacitación y es considerado el más importante de todos los niveles. Mide si el desempeño del empleado ha mejorado como resultado de completar la formación, y si la organización se benefició de ella. Al igual que el tercer nivel, el cuarto nivel de la evaluación debe ser medido antes y después de la sesión. También es recomendable medir los resultados en varias ocasiones después de la formación.

31 Resultados Antes de la medición de los resultados, sin embargo, es necesario medir el tercer nivel y determinar si se ha producido el cambio deseado en la conducta. Si no se ha producido el cambio en el comportamiento llevar a cabo el cuarto nivel de la evaluación no es necesario.

32 Resultados Algunas maneras de recopilar información para el nivel de los resultados de la evaluación incluyen la realización de un seguimiento en las evaluaciones de necesidades, entrevista con los gerentes, líderes de grupos focales, y el envío de encuestas.

33 Nivel 5: Modelo ROI Otros teóricos tomaron el proceso de evaluación de Kirkpatrick para modificar la versión original ajustándola a los cambios. Jack Phillips añadió un quinto paso para los cuatro niveles de evaluación ya existentes en Kilpatrick. Su quinto nivel se conoce como Retorno-de-Inversión o ROI.

34 Nivel 5: Modelo ROI En este paso se comparan los beneficios del programa en términos monetarios con los costos del programa. De acuerdo con Phillips, el retorno de la inversión se debe medir entre tres y doce meses después de la capacitación.

35 ROI La evaluación del retorno de la inversión es, en esencia, una conversión del Nivel 4 en resultados con valor monetario y la comparación del valor monetario con el costo de la capacitación. En el cálculo de retorno de la inversión, usted debe tener en cuenta el análisis, diseño, desarrollo, costos de implementación y de evaluación, así como la adquisición y los gastos generales.

36 ROI Las entrevistas con los supervisores y los gerentes pueden proporcionar una estimación para los cálculos en la evaluación ROI. En algunos casos, sin embargo, puede que se tenga que revisar los datos existentes para obtener resultados más precisos. La siguiente es la fórmula para calcular el ROI: ROI% = Beneficios - Los costos de Formación x 100 = Costos de Entrenamiento

37 Evaluación de Desarrollo

38 Pruebas Alfa Las pruebas alfa son pruebas de la interfaz para confirmar que el curso funciona como debería. Las pruebas alfa revelan las palabras mal escritas, direcciones ambiguas, enlaces rotos, interacciones poco desarrolladas, y el audio no sincronizado y vídeo. Se realiza la prueba estando el desarrollador del proyecto presente. Es un tipo de evaluación interna

39 Piloto o prueba Beta La segunda fase de la prueba se conoce como piloto o pruebas beta. Durante este tiempo, el curso se libera a un pequeño grupo de participantes voluntarios que sean objetivos, entre ellos los expertos del tema, a fin de garantizar su calidad y funcionalidad. Es importante que los participantes de la prueba piloto eviten hacer cambios sobre el terreno a los problemas que encuentran. Los cambios sugeridos se registran

40 Piloto o prueba Beta Se solicita a los participantes que se centran en el curso en sí mismo y que elaboren un registro de errores de todos los temas del curso o adiestramiento. Una vez que la prueba piloto se ha completado, los diseñadores instruccionales y participantes de pruebas se reúnen para discutir los cambios deseados.

41 (texto, letra, audio, gráfico, navegación, entre otros)Plantilla Nombre evaluador Módulo Título de la pantalla Tipo de error (texto, letra, audio, gráfico, navegación, entre otros) Explicación Asignado a: Fecha

42

43 Sección 508

44 La Sección 508 es parte de la Ley de Rehabilitación de 1973 modificada en De acuerdo con el artículo 508, toda la tecnología electrónica y de información debe ser accesible por las personas con discapacidad. En otras palabras, todos los cursos de aprendizaje en línea deben cumplir con las necesidades de las personas con discapacidad visual, auditiva, y motora.

45 El apartado Web-based Intranet and Internet Information and Applications de la Sección 508 fija las pautas que debe cumplir una página web en Estados Unidos para que se considere accesible. La accesibilidad Web engloba diferentes tipos de discapacidades, tales como problemas visuales, auditivos, físicos, cognitivos, neurológicos y del habla.

46 La salida de la mayoría de los cursos de aprendizaje en línea, incluso los creados con herramientas rápidas como Flash, no son compatibles con la Sección 508. Por lo tanto, para cumplir con los estándares de accesibilidad, los profesionales deben tener en cuenta otras formas de cumplir con la ley. Algunas de estas formas incluyen lo siguiente:

47 Proporcionar un texto equivalente para todo elemento no textual;Ofrecer subtítulos sincronizados para todos los archivos de audio y vídeo; Asegurar que toda la información presentada con colores también esté disponible sin color; Evitar elementos que parpadean, ya sean textos, gráficos, u objetos; La identificación de los encabezados de fila y columna para todas las tablas; Proporcionar una página de sólo texto con información equivalente a la de la versión no-texto; Adición de texto alternativo para todas las imágenes; El diseño de la navegación accesible y consistente;

48 En adición hay unos requerimientos para cada formato de archivo: Word, Power Point, Excel, PDF entre otros.

49 Hay muchas tecnologías de asistencia disponibles para dar cabida a las personas con discapacidad y darles la oportunidad de beneficiarse de los cursos de e-learning. Por ejemplo, JAWS (Job Access with Speech) es un lector de pantalla que permite a los usuarios con discapacidad visual leer la pantalla con una salida de texto a voz o en una pantalla Braille actualizable.

50 Existen dispositivos de ampliación de la pantalla, y el software de reconocimiento de voz como Dragon Naturally Speaking, todos ayudan a las personas con discapacidades visuales o de movimientos para recibir una experiencia similar a la de los estudiantes que toman la versión interactiva del curso.

51 Recursos Telecentros para todos HHS.gov Web accessibility techniques