1 LA EVALUACIÓN DE LA CALIDAD DE LOS SERVICIOS UNIVERSITARIOSPablo Arranz Val Director de la Unidad Técnica de Calidad Universidad de Burgos 25 de abril de 2006
2 Índice Contexto de la Calidad de los Servicios¿Por qué y Para qué evaluar? Situación actual de las Universidades La evolución histórica de los Planes de Calidad El Proceso de Evaluación Experiencia en la Evaluación de los Servicios en la Universidad de Burgos
3 Contexto de la Calidad de los ServiciosUNIVERSIDAD DOCENCIA INVESTIGACIÓN GESTIÓN
4 Contexto de la Calidad de los Servicios Servicios ComplementariosLA GESTIÓN CENTROS Servicios de Apoyo SERVICIOS Servicios Complementarios IMPORTANTE Definir adecuadamente la UNIDAD DE EVALUACIÓN
5 Contexto de la Calidad de los Servicios ¿A qué Calidad nos referimos ?Control de Calidad Inspección Garantía de Calidad ISO Calidad Total MODELO EFQM Excelencia
6 Contexto de la Calidad de los ServiciosModelo EFQM El Modelo EFQM indica que la SATISFACCIÓN del usuario y del personal y el impacto en la sociedad se consiguen mediante un liderazgo que dirija la política y estrategia, la gestión de las personas, los recursos y los procesos hacia la excelencia en los resultados de la organización (Unidad Administrativa o Servicio)
7 Contexto de la Calidad de los Servicios PRINCIPIOS DE LA CALIDADImplicación y compromiso de los órganos de gobierno tanto de la Universidad como del Centro: liderazgo y coherencia. Orientación al cliente, tratando de adaptarse a sus necesidades y expectativas, tanto implícitas como explícitas. Proceso continuo de aprendizaje, innovación y mejora. Desarrollo e implicación de las personas, Dirección basada en proceso y hechos con una gestión por indicadores, con la finalidad de medir y controlar las actividades que se van realizando, así como los resultados obtenidos.. Desarrollo de alianzas con todo tipo de agentes, pues basándose en la confianza mutua entre las partes se obtiene un beneficio mutuo para todos. Orientación hacia los resultados, pues la excelencia se fundamenta en la obtención de resultados satisfactorios para todos los grupos de interés de la Universidad Responsabilidad social de la Universidad que vaya más allá del mero cumplimiento del marco legal que suponga un mayor compromiso y dar respuesta a las expectativas de la sociedad
8 Contexto de la Calidad de los ServiciosComparación ISO 9000 / Modelo EFQM ISO 9000 EFQM Organización enfocada al Cliente Orientación hacia los resultados Orientación al cliente Liderazgo Liderazgo y constancia en los objetivos Enfoque basado en Procesos Gestión por procesos y hechos Enfoque del Sistema hacia la Gestión Participación del Personal Desarrollo e implicación de las personas Mejora Continua Aprendizaje, Innovación y Mejora continuos Relación mutuamente beneficiosa con el Proveedor Desarrollo de Alianzas Enfoque hacia la Toma de Decisiones Responsabilidad Social
9 Por qué y Para qué evaluarLos gobiernos otorgan a las Universidades autonomía de gestión y exigen como contrapartida una rendición de cuentas (accountability) con el fin de demostrar que las decisiones y acciones de la Universidad están dirigidas a la mejora de la calidad.
10 Por qué y Para qué evaluarControlar el gasto público. Ajustar la eficiencia y la calidad. La internacionalización reclama niveles de calidad contrastados. Aumentar la aportación al desarrollo nacional: económico, social y cultural. Detectar debilidades ocasionadas por la fase de expansión del sistema. Mejorar los servicios ofertados por la Universidad a los usuarios/clientes e informarlos. Ofrecer evidencia de su calidad a la sociedad. Garantizar el buen funcionamiento de una institución compleja. Incrementar la implicación de las personas.
11 Por qué y Para qué evaluarEl modelo de evaluación debe ser coherente con las características del sistema a evaluar: Igualdad de tratamiento a las instituciones: sistemas de calidad orientados a que ningún programa esté por debajo de estándares mínimos de calidad. Variabilidad en las instituciones (competitividad): sistemas de calidad que aporten juicios comparativos.
12 Por qué y Para qué evaluarEl sistema de calidad propuesto hasta ahora ha tenido un carácter mixto: asegurar una calidad suficiente para todos e incrementar, a través de la diversidad y comparación, la calidad del conjunto del sistema.
13 Por qué y Para qué evaluarNosotros lo hacemos bien ¿Alguien me puede dar una evidencia? quejas reclamaciones datos resultados de encuestas La gente dice que lo hacemos bien ¿?
14 Los servicios públicos son más complejosSituación actual de las Universidades Los servicios públicos son más complejos “No decide” “No se le tiene en cuenta” Quien financia Quien decide Al cliente/usuario “No cobra en función de lo que produce”
15 Situación actual de las UniversidadesDIFERENCIAS EN LOS CLIENTES/USUARIOS No pagan directamente. No son clientes puros (¿usuarios?). No aprecian la calidad-coste. No pagan en función del consumo. Clientes cautivos. ¿Podemos ocuparnos menos de ellos? Peligroso
16 Situación actual de las UniversidadesOrganización compleja y rígida. Cultura “funcionarial”. “Influencia política” importante. “Poca capacidad” de decisión. Pocas herramientas de motivación. Prevalece lo urgente sobre lo importante. Cultura “bioprofesional”. La información “no llega”/”No existe” comunicación fluida.
17 ¿Por qué hay que cambiar?Situación actual de las Universidades ¿Por qué hay que cambiar? La situación actual es más compleja. Expectativas han cambiado. Competitividad. Aspectos: Éticos, legales, profesionales, de eficiencia, de equidad y de solidaridad. ¿Es el 99% lo suficientemente bueno? Hacienda perdería mas de 2 millones de documentos/año. coches de los matriculados en España durante el año 2005 llevarían matrícula “incorrecta”. 198 bebés serían entregados a padres equivocados cada año en España
18 Situación actual de las UniversidadesY DESPUÉS DE ÉSTO, NOS VOLVEMOS A PREGUNTAR: ¿POR QUÉ HAY QUE CAMBIAR? Hay que incorporar la cultura de la calidad. Medir y mejorar es por sí sólo un argumento suficientemente contundente para hacerlo. Reconocer el trabajo bien hecho
19 La Evolución histórica de los Planes de CalidadAños ´80: Actividades inconexas, encuestas a estudiantes, ... : Programa Experimental de Evaluación de la Calidad del Sistema Universitario. (Inclusión tangencial de servicios) : Proyecto Piloto Europeo para la Evaluación de la Enseñanza. Finales 1995: Comienza el Plan Nacional de Evaluación de la Calidad de las Universidades (PNECU). : Convocatorias PNECU (Incluyen Servicios) (02): II PCU (Incluyen servicios, pero….) : PEI (ANECA) (Inclusión tangencial de servicios) A la gran actividad evaluadora espontánea y poco sistemática que se generó en los finales 70 y, sobre todo, tras la aprobación de la LRU, básicamente con encuestas a los estudiantes, siguieron algunos programas de evaluación más sistemáticos, hasta llegar al PNECU a finales de 1995, que es el primer eslabón de la misma cadena en la que se entiende el II PCU
20 Evaluación Universitaria: EVOLUCIÓNLa Evolución histórica de los Planes de Calidad Evaluación Universitaria: EVOLUCIÓN Rendición de cuentas: Demandas estudiantes Herramienta de mejora profesorado Rendición de cuentas y mejora: Interés gestores y responsables “Evaluación institucional” Informal Formal A la gran actividad evaluadora espontánea y poco sistemática que se generó en los finales 70 y, sobre todo, tras la aprobación de la LRU, básicamente con encuestas a los estudiantes, siguieron algunos programas de evaluación más sistemáticos, hasta llegar al PNECU a finales de 1995, que es el primer eslabón de la misma cadena en la que se entiende el II PCU
21 El Proceso de EvaluaciónAUTOEVALUACIÓN EVALUACIÓN EXTERNA FORTALEZAS Y DEBILIDADES PLAN DE MEJORAS CON SEGUIMIENTO
22 El Proceso de EvaluaciónFASES DEL DESARROLLO DEL PROCESO DE EVALUACIÓN LECTURA DETALLADA DEL PROTOCOLO RECOPILACION DE INFORMACION DISTRIBUCION INTERNA DEL TRABAJO REDACCION DEL PRIMER BORRADOR DIFUSION DEL DOCUMENTO (Servicio, Universidad) ELABORACION DEL INFORME DE AUTOEVALUACION
23 El Proceso de EvaluaciónCOMO EMPEZAR DESCRIPCIÓN DEL SERVICIO IDENTIFICACIÓN DE ACTIVIDADES ESTABLECIMIENTO DE INDICADORES APLICACIÓN DEL MODELO
24 El Proceso de EvaluaciónDESCRIPCIÓN DEL SERVICIO A) DESCRIPCION ORGANIGRAMA SITUACION DEL SERVICIO DENTRO DE LA UNIVERSIDAD HITOS Y CAMBIOS IMPORTANTES EN LA EVOLUCION DEL SERVICIO PRESUPUESTO B) RECURSOS HUMANOS Nº DE PERSONAS QUE PRESTAN EL SERVICIO RELACIONES ENTRE LOS MIEMBROS DEL SERVICIO RELACIONES CON OTROS SERVICIOS RELACIONONES CON LA DIRECCION FORMACION Y RECONOCIMIENTO C) RECURSOS METERIALES/INFRAESTRUCTURAS ESPACIOS EQUIPAMIENTOS MEDIOS INFORMATICOS
25 El Proceso de EvaluaciónIDENTIFICACIÓN DE ACTIVIDADES IDENTIFICACION DE ACTIVIDADES SELECCION DE LOS PROCESOS CLAVES DESCRIPCION Y DOCUMENTACION DE LOS PROCESOS CLAVES ESTABLECIMIENTO DE INDICADORES DE ACTIVIDAD: indicadores de desempeño Porcentajes ..(expedientes, facturas, visitas, atención cliente, nominas....) Tiempos/plazos DE SATISFACCIÓN: indicadores que miden la satisfacción del usuario Reclamaciones/quejas Premios/felicitaciones Resultados de encuestas o grupos focales COSTES DE NO CALIDAD: Desperdicios Cartas devueltas Errores PLANES DE MEJORA FORTALEZAS DEBILIDADES MEJORAS
26 La evaluación interna (Autoevaluación)El Proceso de Evaluación La evaluación interna (Autoevaluación) Elemento clave de fiabilidad y utilidad de la evaluación: Implica agentes internos. Favorece institucionalización. Provee información completa y veraz. Contextualiza la evaluación. Genera cultura de evaluación. Incita a la mejora continua. Necesariamente ha de concluir con un listado de fortalezas y debilidades con sus correspondientes propuestas de mejora.
27 El Proceso de EvaluaciónLa evaluación Externa Elemento clave de la validez de la evaluación: Es garantía de independencia. Aporta credibilidad al proceso. Legitima y valida el autoinforme. Aporta juicios no implicados. Aporta motivación extrínseca. Refuerza autoestima de agentes internos. “Apoya la implantación” de propuesta de mejora. Necesariamente ha de concluir con un listado de fortalezas y debilidades con sus correspondientes propuestas de mejora.
28 El Proceso de EvaluaciónLa evaluación Externa Madrid, 10 de marzo de Francisco Marcellán, director de la (ANECA), aseguró que la firma del acuerdo con el Club Excelencia en Gestión (CEG) para ofrecer a las universidades el modelo de evaluación European Foundation for Quality Management (EFQM), parte del principio de que las instituciones de Educación Superior son “libres, autónomas y responsables de sus propias estrategias”. Destacó asimismo la voluntad de cada universidad de “hacer bien las cosas”. Marcellán afirmó que con esta iniciativa ANECA gana “en credibilidad y confianza, al aportar a las instituciones una herramienta útil” y señaló la necesidad de desarrollar instrumentos que sean una referencia internacional, como el modelo EFQM. Por su parte, Eduardo Montes, presidente del CEG, única entidad representante de las organizaciones españolas ante la EFQM, destacó que este modelo va más allá de la evaluación, ya que se trata de una “filosofía de dirigir”. Subrayó también que es “tremendamente útil y práctico” y que “ha demostrado resultados muy buenos en el mundo empresarial”.
29 El Proceso de EvaluaciónPlan de Mejoras, plan de actuación, plan estratégico Elemento clave para el “éxito”: Hay que implicar a “todos”. Secuenciar actuaciones. Ir ganando agentes activos. Vender los logros. Explicar los cambios/retrasos/adelantos. BÁSICO EL SEGUIMIENTO. FUNDAMENTAL LA INCENTIVACIÓN.
30 Experiencia en la Evaluación de los Servicios en la UBU
31 Los diferentes modelos de evaluaciónModelo EFQM en la UBU Ventajas e Inconvenientes del modelo Servicios Evaluados Principales fortalezas y debilidades en los Servicios Reflexión sobre el proceso de Evaluación Consecuencias
32 Diferentes modelos de evaluación
33 LA UBU DECIDE EVALUAR LOS SERVICIOS: Modelo Genérico del Consejo de Coordinación Universitaria para la evaluación de los Servicios
34 Por qué este modelo?? Aspectos genéricosMODELO DEL CONSEJO DE UNIVERSIDADES (Basado en la EFQM):Examen global, sistemático y regular de las actividades y resultados de una organización, comparándolos con un Modelo de Referencia (EFQM Excellence Model) Aspectos genéricos Diagnóstico de la excelencia en la gestión Identificación de Puntos Fuertes y Áreas de Mejora Soporte a la definición de Planes de Acción Base objetiva de comparación con otras organizaciones externas a la Universidad o internas Medida de la progresión en el tiempo Formación e Implicación del personal Opción a presentación a un Reconocimiento externo (Sellos CGC, EFQM Levels of Excellence, etc.)
35 Ventajas e Inconvenientes del ModeloDisponer de un modelo institucional para realizar la evaluación Útil para detectar áreas de mejora Comparación a lo largo del tiempo Posibilidad de comparación con otros servicios Enfoque global: seguimiento de una sistemática Posibilidad de Certificación Inconvenientes: Ambigüedad en algunos criterios. Repetitivos Terminología difícil de comprender Lentitud en el proceso Requiere una buena formación previa Modelo menos implementado como sistema de certificación frente a la ISO
36 Ventajas e Inconvenientes del ModeloÚtil tanto para la autoevaluación como para la evaluación externa Útil para la mejora continua Importancia de los resultados que deben estar basados en evidencias Mira el progreso en el tiempo Integra la planificación de la mejora continua en la vida de las unidades Inconvenientes: Los servicios universitarios no suelen contar con presupuesto propio (dificultad para determinar los resultados financieros) Restricciones en los procesos de selección de las personas No se percibe un impacto directo de los servicio en la Sociedad
37 Ventajas e Inconvenientes del ModeloSe requiere: SISTEMATIZACIÓN: de los procesos AUTOMATIZACIÓN: de la información DISCIPLINA: en el seguimiento continuado
38 Servicios Evaluados en la UBU
39 Fortalezas y debilidades del ProcesoReflexionar sobre los fines y procedimientos del Servicio Documentar procesos Programar objetivos Establecimiento de planes de comunicación Generación inquietudes Orientación hacia la mejora continua Acceder a la certificación del Servicio Debilidades: Proceso muy lento Incremento de la carga de trabajo En ocasiones falta de implicación tanto del personal de servicio como de los máximos responsables Falta de formación en el modelo Falta de dirección para desarrollar el proceso, no se asume como algo propio del servicio
40 Reflexión global sobre el procesoEL PROCESO HA PERMITIDO: La recogida de información y opinión de los diferentes agentes La mejora del sistema de información El incremento de la sensibilidad por la mejora El fomento de la discusión y el intercambio de ideas sobre el funcionamiento La elaboración de informes de evaluación La elaboración de planes de actuación para cada unidad evaluada La Cofinanciación de propuestas de mejora Premios a las mejores prácticas
41 CONSECUENCIAS Mejora de la gestiónIdentificación de manera estructurada las actividades de los servicios Documentar procesos Elaboración de planes estratégicos Incremento de la preocupación por el cliente Realización de encuestas de satisfacción Elaboración de cartas de servicios Establecimientos de buzones de sugerencias (S.personal, acedémica, informática, biblioteca (miras por si hubiese otros) Realización de encuestas de clima laboral Reconocimientos Obtención de premios y reconocimientos Certificación de Servicios
42 CONSECUENCIAS DOCUMENTACIÓN DE PROCESOS: Servicios que han documentado sus procesos Biblioteca Gestión Académica Gestión Económica Personal y Retribuciones Contabilidad, Presupuestos e Investigación Informática y Comunicaciones
43 Han realizado encuestas de satisfacción:CONSECUENCIAS Han realizado encuestas de satisfacción: Biblioteca Gestión Académica Proyecto piloto global de satisfacción de los servicios de la UBU Han realizado encuestas de clima laboral: Gestión Académica
44 Elaboración de cartas de serviciosCONSECUENCIAS Elaboración de cartas de servicios Tienen carta de Servicios: Gestión Académica Gestión Económica Biblioteca
45 Obtención de premios y reconocimientosCONSECUENCIAS Obtención de premios y reconocimientos Premios a las Mejores Prácticas: Gestión Académica: Primer Premio de Gestión Por la acción: “Elaboración y difusión de la Carta de Servicios e implementación de actividades para la consecución de los compromisos adquiridos” Biblioteca: Por la acción: “Diseño, Creación y Desarrollo de la Intranet de la Biblioteca como herramienta de comunicación, información y gestión para el personal de la Biblioteca Universitaria
46 La UBU ha conseguido para la Biblioteca:CONSECUENCIAS La UBU ha conseguido para la Biblioteca: El Certificado de Calidad de los Servicios de Biblioteca de las Universidades. (Convocatoria 2004).
47 En la actualidad la Gerencia trabaja en:CONSECUENCIAS En la actualidad la Gerencia trabaja en: Elaboración del Plan Estratégico de la Gerencia Gestión por procesos: Formación al PAS: con % de asistencia Documentación: con 103 procesos documentados
48 GRACIAS POR SU ATENCIÓN NUESTROS DATOS: DIRECCIÓN: Unidad de CalidadGRACIAS POR SU ATENCIÓN NUESTROS DATOS: DIRECCIÓN: Unidad de Calidad. Edificio Biblioteca Universitaria 2ª Planta. Plz. de la Infanta Dña. Elena s/n BURGOS TELEFONOS: / / /