1 Propuesta metodológica para la evaluación de la calidad docente e investigadora: Propuesta metodológica para la evaluación de la calidad docente e investigadora: Planteamiento y experimentación Antonio Pulido Julián Pérez Almería, 19/20 de junio de 2003

2 Fases de la aplicación 1)Listado de actividades a valorar en un profesor universitario 2)Ponderación de actividades por un panel de expertos 3)Análisis de ponderaciones: peculiaridades y sesgos 4)Elaboración del banco de datos sobre curricula de profesores universitarios 5)Transformación de banco de curricula a banco de datos de indicadores 6)Simulación de resultados según ponderaciones alternativas 7)Análisis de simulaciones, ordenaciones de profesores y umbrales de calidad

3  Hemos considerado 54 actividades agrupadas en 12 componentes y 3 grandes bloques  Bloque 1: Investigación  Publicaciones  Proyectos de investigación  Congresos  Transferencia de resultados  Formación de investigadores  Premios y distinciones Actividades a valorar en un profesor universitario

4  Bloque 2: Docencia  Clases y tutorías  Programas y material docente  Participación en actividades docentes  Bloque 3: Gestión  Gestión de la investigación  Gestión de la docencia  Otras tareas de gestión

5 Ponderaciones de primer y segundo nivel

6 Ponderaciones finales ordenadas (porcentajes del total) Actividad% 1Coordinación de las Asignaturas6,3 2Tutorías6,2 3Resultados de las Asignaturas6,0 4Calificación en encuestas de alumno5,9 5Artículos en revistas internacionales3,8 6Libros científicos o monografías3,4 7Capítulos de libros científicos3,1 8Artículos en revistas nacionales2,8 9Elaboración Material Docente2,6 10Libros de texto2,5

7 Actividad% 11Elaboración de programas2,4 12Incorporación Internet Docencia2,3 13Dirección Grupos de Inv.2,3 14Responsable Proy. Internacionales2,2 15Uso de SW/TI en Docencia2,2 16Documentos de trabajo2,1 17Responsable Proyectos Nacionales2,1 18Decano o Equipo Decanal2,1 19Organización de Congresos2,0 20Participación Proy. Internacionales1,9 Ponderaciones finales ordenadas (porcentajes del total)

8 Actividad% 21Tesis Dirigidas1,9 22Part. en comisiones investigación1,9 23Part. Comisiones de Trabajo1,9 24Participación Proyectos Nacionales1,7 25Formación de nuevos profesores1,7 26Otras tareas de Gestión Académica1,6 27Cursos de Doctorado1,5 28Part. proy. de innovación docente1,5 29Otros Proyectos1,4 30Tesinas y Proyectos Fin de Carrera1,4 Ponderaciones finales ordenadas (porcentajes del total)

9 Actividad% 31Pub. sobre calidad docente1,4 32Cursos de Máster1,3 33Part. Comisiones calidad docencia1,3 34Otros Cursos de Postgrado1,2 35Ponencia Congreso Internacional1,1 36Patentes Internacionales1,0 37Ponencia Congreso Nacional0,9 38Comunicación Congreso Int.0,9 39Patentes Nacionales0,9 40Contratos Empresas Privadas0,8 Ponderaciones finales ordenadas (porcentajes del total)

10 Actividad% 41Contratos con las AAPP0,8 42Comunicación Congreso Nacional0,7 43Póster Congreso Internacional0,7 44Dictámenes e Informes0,7 45Premios Internacionales0,7 46Póster Congreso Nacional0,6 47Premios Nacionales0,6 48Part. órganos asesores a empresas0,6 49Publicaciones en prensa periódica0,6 50Desarrollo iniciativas de Internet0,6 Ponderaciones finales ordenadas (porcentajes del total)

11 Actividad% 51Pertenencia Asoc. Científicas Int.0,5 52Actividades de difusión0,5 53Pertenencia Asoc. Científicas Nac.0,4 54Otras Distinciones0,4 Ponderaciones finales ordenadas (porcentajes del total)

12 Composición del panel de expertos para ponderación de expertos para ponderaciónSexo Total N (%) MujerHombre Grandes áreas N% fila% col.N% fila% col. Ciencias Experimentales 1321.030.24979.045.462 (41.1) Ciencias Sociales y Humanidades 1241.427.91758.615.729 (19.2) Economía 1830.041.94270.038.960 (39.7) Total 4328.5100.010871.5100151 (100)

13 Composición del banco de datos de curricula de profesores datos de curricula de profesoresInvestigaciónDocenciaConjunta Grandes áreasN%N%N% Ciencias Naturales 7650%2858%2231% Ciencias Sociales y Humanidades 3523%1225%1825% Economía6342%817%3244% Total174100%48100%72100%

14 Paso del dato del curriculum a índices simples y a indicador de calidad = Nota obtenida por el individuo m en la actividad k- ésima, de la componente j-ésima del bloque i-ésimo = Nota máxima de todos los individuos observados = Ponderación otorgada a la actividad ijk obtenida como ponderación en cadena Wi*Wij* Wijk = Índice de calidad/esfuerzo del profesor m

15  Escasa relación entre esfuerzo docente e investigador  ¿Un buen investigador no necesariamente es un buen docente y viceversa?  ¿Los profesores que se centran más en investigación dedican menos tiempo a la docencia?  Posible relación entre algunas actividades docentes y algunas actividades investigadoras  Los profesores mejor valorados por sus clases parecen tener alguna relación con premios recibidos, realización de proyectos o formación de postgrado Resultados docencia/investigación

16  De los 10 profesores más valorados en su conjunto (13 actividades) según ponderaciones de expertos, sólo la mitad están entre los 10 primeros en valoración de alumnos  De los 10 profesores con menor nota global sólo uno se encuentra en ese grupo por la encuesta a alumnos. Incluso la mitad pertenecen al 50% de los más valorados en encuestas  La valoración de profesores por parte de los alumnos muestra relación con el esfuerzo en material educativo y la cantidad de clases impartidas Resultados docencia

17  Existen grandes diferencias en la ordenación de profesores según que se consideren, 1) el conjunto de actividades, 2) sólo publicaciones, 3) sólo transferencia de resultados (contratos y patentes), 4) proyectos y congresos  De los 50 investigadores mejor valorados en conjunto, 42 (el 84%) estarían en la lista de los mejor valorados por publicaciones  Los 50 investigadores peor clasificados en conjunto, también se encontrarían en ese grupo en cuanto a publicaciones  La participación de Economía en los investigadores de cabecera es proporcionalmente similar a las otras áreas (Ciencias y Tecnología o Sociales y Humanidades)  Los más afectados en la ordenación son la mayoría de profesores con nota intermedia y además según edades y años de experiencia (años desde título de doctor) Resultados investigación

18  La evaluación de calidad es imprescindible, debe garantizar un proceso transparente y debe proporcionar a los afectados la información y estímulos para su progresivo perfeccionamiento  Las Agencias de Evaluación deberían considerar diversos aspectos de la actividad de un profesor a fin de evitar injusticias comparativas  Es necesario realizar una evaluación pormenorizada de la relación entre actividades que conducen a la calidad conjunta en docencia e investigación  La ponderación de actividades de un profesor universitario no tiene una solución única, dependiendo del entorno, objetivos institucionales y los propios fines de la evaluación Principales conclusiones

19 Propuesta metodológica para la evaluación de la calidad docente e investigadora: Propuesta metodológica para la evaluación de la calidad docente e investigadora: Planteamiento y experimentación Antonio Pulido Julián Pérez Almería, 19/20 de junio de 2003