1 Redacción de Preguntas para Exámenes y Planilla de Especificaciones NUED 671 UMET – Centro de Aguadilla Preparado por: Lourdes Méndez PhD, MSN Programa de MS Enfermería Universidad Metropolitana Centro de Aguadilla

2 Objetivos Al finalizar la conferencia sobre redacción de preguntas para exámenes y planilla de especificaciones los estudiantes podrán: 1- Planificar la construcción de una prueba para el salón de clases utilizando la planilla de especificaciones. 2- Redactar correctamente los ejercicios a incluír en una prueba objetiva. 3- Revisar una pruebas tomando en consideración los pasos de la planilla de especificaciones y los principios a seguir al redactar los ejercicios.

3 Qué es la evaluación? Un proceso para interpretar datos cuantitativos y cualitativos con relación a unos criterios previamente establecidos, para emitir un juicio o tomar decisiones. Logro de objetivos

4 Cómo se lleva a cabo el proceso de Evaluación?Preparando unos instrumentos con diferentes propósitos. Pruebas diagnósticas Pruebas para verificar progreso del estudiante durante el transcurso del curso Pruebas para determinar el logro de objetivos al final del curso. Todas deben tener ejercicios que ayuden al maestro a evaluar la ejecución del estudiante.

5 Qué tipos de pruebas preparar?Subjetivas expresar lo que sabe, sus opiniones, experiencias y sentimientos. Examen de discusión: Preguntas de Ensayo Objetivas Dedicar tiempo a leer, pensar. Escribir muy poco. Cierto o Falso Llena los blancos Selección múltiple

6 Características de la PruebaEncabezamiento: solo información necesaria Nombre, fecha, # estudiante. Identificación de la prueba Examen Parcial #1 Instrucciones: claras y precisas Escritas en el examen Incluír el valor total de la prueba o valor de cada parte. Especificar dónde se contesta y cómo se contesta

7 Características de la PruebaContenido: organizado Por temas Por nivel de dificultad Redacción de premisas en la prueba De lo simple a lo complejo

8 Cómo redactar preguntas para pruebas objetivas?Ejercicio de cierto o falso; correcto o incorrecto -Aseveración para que el estudiante indique si es afirmativa o negativa a lo estudiado Principios 1-Debe tener una declaración que sea absolutamente cierta o falsa. 2-El vocabulario no debe sugerir la respuesta correcta. 3-La prueba no debe ser toda de cierto y falso. 4-Redacte la pregunta no la copie de libros.

9 Cómo redactar preguntas para pruebas objetivas?Ejercicio de cierto o falso; correcto o incorrecto 5-Cada pregunta debe presentar una idea aislada de las anteriores. 6-El uso de frases como: generalmente, siempre, nunca, a veces, jamás crea ambigüedad en la aseveración. 7-Evite que las aseveraciones ciertas sean mas largas que los falsos y viceversa. 8-Cada pregunta debe ser lo mas directa posible. 9-Mantenga un balance entre cantidad de ciertos y falsos. 10-Cada pregunta debe presentar una sola idea. Se debe añadir complejidad en niveles secundarios y subgraduados pidiendo que explique porque es falso.

10 Ejercicios de PracticaPorqué esta incorrecta la pregunta de la izquierda y porqué esta correcta la de la derecha? INCORRECTO CORRECTO Los padres son necesarios en la educación de sus hijos y débiles en su estilo de enseñanza. Los padres son necesarios en la educación de sus hijos y su estilo de enseñanza debe ser democrático. Tiene mitad cierta y mitad falsa.

11 Ejercicios de PracticaPorqué esta incorrecta la pregunta de la izquierda y porque esta correcta la de la derecha? INCORRECTO CORRECTO 1- Cristóbal Colón descubrió a América. 2- Si el descubrió a América, entonces podemos aceptar que él era un visionario. 2- Cristóbal Colón era un visionario. Hace referencia a la premisa anterior

12 Ejercicios de PracticaPorqué esta incorrecta la pregunta de la izquierda y porque esta correcta la de la derecha? INCORRECTO CORRECTO 1- Ninguno de las pasos del proceso de enfermería es innecesario. 1- Los pasos finales del proceso de enfermería son innecesarios. Presenta ambiguedad

13 Cómo redactar preguntas para pruebas objetivas?Ejercicio de llena blancos -Ejercicio en donde se controla la tendencia a adivinar. -Se diferencia del cierto o falso en que el estudiante tiene que completar el blanco con una respuesta. Principios 1-Debe usar aseveraciones que se completen con una frase, número, símbolo único. 2-Especifique el grado de precisión que se espera.

14 Cómo redactar preguntas para pruebas objetivas?Ejercicio de llena blancos 3- Evite omitir tantas palabras de la aseveración que haya que adivinar la idea. 4-No coloque el blanco al inicio de la oración. 5-Evite que la pregunta dependa de otro para su respuesta.

15 Ejercicios de PracticaPorqué esta incorrecta la pregunta de la izquierda y porqué esta correcta la de la derecha? INCORRECTO CORRECTO 1- El presidente de Estados Unidos durante la segunda guerra mundial se llamaba__________________. 2- El presidente nació en el estado de _________________. 2- El presidente de los Estados Unidos durante la segunda guerra mundial era del estado de________________.

16 Ejercicios de PracticaPorqué esta incorrecta la pregunta de la izquierda y porque esta correcta la de la derecha? INCORRECTO CORRECTO 1- La __________ se obtiene contando_______en________y multiplicando por 10. 1-La velocidad cardiaca se obtiene contando el número de R en seis segundos y multiplicando por________.

17 Cómo redactar preguntas para pruebas objetivas?Pareo Varias premisas y varias respuestas en dos columnas, simultáneamente. Columna de la izquierda las premisas y columna derecha las respuestas. Principios 1-Ambas columnas deben estar en la misma página. 2-Todas las premisas en un pareo deben girar alrededor del mismo tema.

18 Cómo redactar preguntas para pruebas objetivas?Pareo 3-La mayor información debe ir en la columna de la izquierda. 4-No incluya menos de 8 ni mas de 15 premisas en cada columna. 5- Indique claramente al estudiante si cada premisa responde a una sola respuesta, a dos o mas. 6- Es preferible colocar el espacio en blanco para la respuesta al lado de los números que identifican la columna izquierda.

19 Ejercicios de PracticaVerifique en el siguiente pareo y conteste si cumple con el principio homogeneidad. ___ ___2. Juan Ponce de León ___3. Agueybaná ___4. Vieques primer gobernador de Puerto Rico producto agrícola insurrección contra los españoles isla al este de Puerto Rico primer poblado bajo dominio español año en que Colón descubrió a Puerto Rico cacique indio

20 Cómo redactar preguntas para pruebas objetivas?Ejercicios de selección múltiple Consiste de una premisa o raíz que sirve de base y una serie de opciones para seleccionar la correcta Es considerado como el mejor ejercicio. Se presta para medir todos los niveles de pensamiento de Benjamin Bloom.

21 Cómo redactar preguntas para pruebas objetivas?Ejercicios de Selección Múltiple Principios 1- La premisa debe ser lo mas corta posible. 2- La premisa debe establecer el problema con toda claridad. 3- Es preferible expresar la premisa en forma positiva. 4- Evite usar en la raíz palabras, frases o ideas que lleven a la mejor alternativa.

22 Cómo redactar preguntas para pruebas objetivas?Ejercicios de selección múltiple 5- Todas las alternativas deben ser creíbles. 6- Todas las alternativas deben ser homogéneas 7- Es preferible no utilizar alternativas como: ninguna de las anteriores, todas las anteriores, alternativa a y c. 8- Evite que las alternativas correctas sigan un patrón.

23 Cómo redactar preguntas para pruebas objetivas?9- Pueden escribirse varias premisas relacionadas luego de presentar una grafica, un párrafo, un mapa o un diagrama; pero deben presentar una idea independiente. 10- Debe ser usado para detalles e información importante.

24 Cómo redactar preguntas para pruebas objetivas?Ejercicios de selección múltiple Ejemplo de estructura Premisa: _____________________

25 Ejercicios de PracticaObserve estos dos items de selección múltiple: 1- El item de selección mútiple es considerado el mejor, porque puede medir todos los niveles de pensamiento de Benjamín Bloom: conocimiento, comprensión, aplicación, análisis, síntesis y evaluación; pero, puede ser difícil de construir, especialmente si se trata de los últimos dos niveles de pensamiento. Se puede decir entonces que: a. Reduce grandemente la posibilidad de adivinar b. Puede probar gran cantidad de material en poco tiempo c. Es difícil construír buenos items de selección múltiple d. Se corrigen fácilmente con rápidez y objetividad

26 Ejercicios de Practica2- El item de selección múltiple es el que goza de mas prestigio entre todos los items de evaluación, pero tiene una desventaja porque: a. Mide todos los niveles de pensamiento de Bloom, excepto, los últimos dos. b. Puede hacer énfasis en la memoria c. El lector lento puede tener problemas d. Es difícil de construir, especialmente si son de síntesis y de evaluación.

27 Ejercicios de PracticaAnalize los dos items anteriores en cuanto a semejanzas y diferencias. A. Ventajas B. Desventjas

28 Cómo redactar preguntas para pruebas objetivas?Ejercicios de Jerarquización Serie de sucesos, hechos o partes de una estructura, de forma desordenada que el estudiante debe ordenar de acuerdo con las instrucciones o criterios que se indican.

29 Cómo redactar preguntas para pruebas objetivas?Ejercicios de Jerarquización Principios 1- Utilizar aspectos del contenido que se puedan ordenar en cierto orden lógico. 2- Establecer el criterio o base para la secuencia. 3- La cantidad de sucesos, eventos o aspectos a ordenar varia. -Elemental- no mas de 5-6 -Secundaria y pos secundaria- no mas de 10

30 Ejercicio de Practica Coloque en orden de prioridad los pasos a realizar al ofrecer CPR. Utilice los números del 1 al 6 para indicar lo primero que hará hasta el último paso. ___ a. Evite ventilar excesivamente ___ b. Comprima a una velocidad de 100/min. ___ c. Ofrezca ventilaciones efectivas que permitan que el pecho se eleve. ___ d. Limite las interrupciones a menos de 10 segundos. ___ e. Permite que el pecho se eleve luego de cada compresión. ___ f. Inicie compresiones en 10 segundos luego de reconocer que esta en arresto cardiaco.

31 A tomar en cuenta antes:Planificar Propositos Población Tamaño Nivel de dificultad/discriminación Formato Objetivos vs Subjetivos

32 Planificación de la PruebaEstrategia utilizada para valorar resultados de aprendizaje. Utilizada en ambientes didácticos y clínicos. Clave para el éxito será: Desarrollar prueba válida y confiable. A continuación los pasos a seguir para lograr el éxito.

33 Propósito de la Prueba Determinar conocimientos previos (pre-prueba)Ubicar el nivel de conocimientos que se tiene Evaluar progreso académico Usado como evaluación formativa Adjudicar nota final Usado como evaluación sumativa

34 Propósito de la Prueba Otros propósitos:Proveer estructura a los estudiantes Medir efectividad de la enseñaza del profesor Oportunidad para discutir racionales para respuestas Crear conciencia de fortalezas y debilidades

35 Población a ser ExaminadaDeterminará el tipo de formatos a usar. Tamaño de la prueba. Tiempo necesario para contestar la prueba. Procedimiento para asignar la puntuación. Características generales del grupo a ser examinado: Nivel de lectura, agudeza visual, salud, experiencias previas en otros exámenes.

36 Tamaño de la Prueba El tamaño de la prueba esta relacionada a:el propósito de la prueba, las habilidades de los estudiantes, el formato de las partes usadas, cantidad de tiempo disponible para la prueba, confiabilidad deseada para las puntuaciones de la prueba.

37 Tamaño de la Prueba Confiabilidad es incluir la mayor cantidad de ejercicios posibles del contenido a ser examinado. Ejercicios que requieren del análisis, llegar a conclusiones o brindar una respuesta toman mucho tiempo. Preferible preparar menos pruebas de ese tipo si el tiempo es fijo. Lo preferible será dar exámenes de menos contenido y mas frecuentes.

38 Dificultad y DiscriminaciónLa dificultad dependerá de la complejidad de la tarea, la habilidad del estudiante para contestar, y la calidad de la enseñanza. Dificultad moderada para determinar logro relativo del estudiante. En exámenes de selección múltiple, de 4 alternativas, entre 62 y 100 la deben tener correcta.

39 Dificultad y DiscriminaciónPara poder discriminar conocimiento o habilidad del estudiante es necesario variar el nivel de dificultad de los ejercicios de la prueba. Ejemplos Memoria Análisis Aplicación

40 Formato de los EjerciciosUna prueba debe proveer información acerca de las habilidades o conocimientos del estudiante, no sobre las destrezas de ellos tomando o contestando ciertos tipos de exámenes. Pruebas con variedad de formatos de ejercicios provee al estudiante formas variadas para demostrar su competencia.

41 Criterios para Seleccionar FormatosBasado en factores tales como: Resultados del aprendizaje a ser evaluados Destrezas especificas a ser medidas Nivel de habilidad del estudiante

42 Criterios para Seleccionar FormatosEjemplo: Discutir las ventajas y desventajas de alimentación con botella o lactancia. Selección múltiple no aplica, porque no permite evaluar habilidad de organizar y expresar ideas sobre el tema. Una pregunta de discusión permite al estudiante formular sus propias respuestas, tomando en consideración conocimiento previo y expresar sus ideas escribiéndolas.

43 Criterios para Seleccionar FormatosNo limitar variedad de formas de examinar ni la creatividad al evaluar el aprendizaje del estudiante. Utilizar selección múltiple y múltiples respuestas; NCLEX está incluyendo este tipo de formato. No mas de tres formatos diferentes por examen; esto requiere que el estudiante cambie de destreza. Tamaño del examen y nivel del aprendiz.

44 Ejercicios Subjetivos u ObjetivosMito: algunos formatos de ejercicios evalúan mas objetivamente al estudiante que otros. Ej. cierto y falso, pareo y selección múltiple La objetividad no se encuentra en el tipo pregunta o contenido sino en la forma en que se dan los puntos. Ej. para esos formatos se prepara una clave con números y letras

45 Ejercicios Subjetivos u ObjetivosOtros tipos de formatos requieren del juicio del evaluador para determinar cuan correcto o incorrecto se contestaron. Por lo tanto, están sujetos a variabilidad y esto es lo que los hace subjetivos.

46 Tipos de Pruebas Prueba de criterioConstruido e interpretado de acuerdo a conjunto específico de resultados del aprendizaje. Útil para medir dominio de una materia Propósito es adjudicar una nota.

47 Tipos de Pruebas Prueba Normativa o EstandarizadaConstruida e interpretada para clasificar los estudiantes. Basadas en medir el contenido de acuerdo a una tablas de especificaciones. Útil para medir diferencia en ejecutoria entre los estudiantes. Total individuos 156 Total puntos 100 15 con 70-75=10% 16 con 50-60=11% 24 con 65-69=15% 79 con 0-50=50% 22 con 60-64=14% Notar: nadie saco >75; pero15 con 90% percentila

48 Tabla de EspecificacionesPropósito Asegurar que la prueba sirve para el propósito que fue construido. Siendo una muestra representativa del contenido instruccional y los resultados de aprendizaje. A continuación los pasos para construir la tabla de especificaciones:

49 Tabla de EspecificacionesPaso 1 Definir los resultados de aprendizaje específicos a ser medidos. Estos resultados se obtienen de los objetivos de la unidad y del curso. Especifican las tareas que el estudiante debe poder llevar a cabo al terminar la clase. Taxonomía de Bloom sirve de guía Anderson y Krathwohl revisaron la taxonomía de Bloom.

50

51 Revisión de Taxonomía de Bloom

52

53 Tabla de EspecificacionesDefine la dimensión de conocimiento como: hechos, conceptos, procedimientos y metacognición. Definen la dimensión cognoscitiva como: recordar, entender, aplicar, analizar, evaluar y crear. En enfermería se añaden otras destrezas del proceso cognoscitivo como: Pensamiento crítico Juicio clínico Toma de decisiones clínicas

54 Tabla de EspecificacionesLas partes del examen deben incluir estos procesos y una mezcla de los procesos cognoscitivo. Dando énfasis en las destrezas de pensamiento elevado. Razón 1: Promueven la retención y transferencia de conocimiento. Razón 2: Preparan para exámenes de reválida donde el énfasis es en la aplicación y el análisis.

55 Tabla de EspecificacionesPaso 2 Determinar el contenido instruccional a ser evaluado y el peso a ser asignado a cada area. Se aconseja diseñar un bosquejo del contenido También usar como indicador del peso el tiempo invertido enseñando ese material.

56 Tabla de EspecificacionesContenido Tiempo de Enseñaza (%) # de Ejercicios/Sección * I. Agentes antipsicóticos 25 10 II. Agentes antiansiolíticos III. Agentes antidepresivos IV. Agentes antimaníacas V. Agentes antiparkinson Totales 12.5 100 5 40 Formula * % de tiempo en enseñanza x Total de # de ejercicios = # de ejercicios/sección

57 Tabla de especificacionesPaso 3 Identificar las áreas de contenido en una columna Ubicar los resultados de aprendizaje en línea hortizontalmente Agrupar bajo cada resultado de aprendizaje el número de preguntas construídas de acuerdo al peso del contenido

58 Tabla de EspecificacionesResultados* (Contenido+) Memoria (20%) Conocer (40%) Aplicar (40%) Total Agentes Antipsicóticos(25%) Agentes Antiansiolíticos(25%) Agentes Antidepresivos(25%) Agentes Antimaníacas(12.5%) Agentes Antiparkinson(12.5%) Totales 2 1 8 4 16 10 5 40 Tabla de Especificaciones *Determinado arbitrariamente por el nivel de enseñanza + Determinado por el tiempo de enseñanza

59 Tabla de Especificaciones Usando el Proceso de EnfermeríaResultados (Contenido) Memoria (20%) Conocer (40%) Aplicar Total Valoración (40%) 6 4 16 Diagnóstico (10%) 1 3 -- Planificación (10%) 2 Intervenciones (20%) 8 Evaluación (20%) Totales 5 40

60 Tabla de Especificaciones Incluyendo Áreas de Contenido del NCLEXResultados (Contenido) Memoria (%) Conocer Aplicar Total I. Seguridad II. Promoción de Salud III. Integridad Psicosocial IV. Integridad Fisiológica V. Proceso de Enfermería VI. Caring VII. Comunicación y Doc. VIII. Autocuidado IX. Enseñanza y Aprendizaje

61 Preguntas

62 Taller de Practica Cada participante analizará una prueba a la luz del conocimiento adquirido sobre la tabla de especificaciones. Cada participante preparará un tabla de especificaciones para un futuro examen a ofrecer en uno de los cursos que ofrece.

63 Bibliografía Billings, D. & Halstead, J. (2012). Teaching in Nursing: A guide for faculty. 4ta ed. St. Louis, Missouri: Elsevier, Saunders. Oermann, M. & Gaberson, K. (2009). Evaluation and Testing in Nursing Education. New York, N.Y.: Springer Publishing Company. Medina,M.& Verdejo, Ada (2001). Evaluación del Aprendizaje Estudiantil. 3ra ed. San Juan, P.R.: Isla Negra Editores. Ortíz, E. (2010). Módulos Instruccionales: cómo redactar ejercicios de evaluación para pruebas objetivas y subjetivas? Santo Domingo, República Dominicana: Editora Universitaria Universidad Autónoma de Santo Domingo.

64 Otras Referencias Taxonomía de Bloom Formato para planificar lección con Taxonomía de Bloom revisada taxonomy+planning framework&FORM=HDRSC2#view= detail&id=FF26FCD7A78EA1BBC3CEEA9BF2B9A506C48EC01C&selectedIndex=1