1 Escucha Ciudadana: Estudio sobre la percepción de la calidad del Servicio de Atención Ciudadana del Gobierno vasco para Zuzenean Dirección de Atención Ciudadana del Gobierno Vasco Julio, 2010 BI Informe de Resultados D17-02

2 OBJETIVOS METODOLOGÍA INFORME DE RESULTADOS MODELO DE MEDICION DE LA VOZ DE LA CIUDADANÍA

3 Objetivos El objetivo principal de la presente investigación es el de crear un modelo de medición de mejora continua dirigido a recoger la voz de la ciudadanía, en relación a sus necesidades de servicio y expectativas con la Administración Vasca. Para ello se alcanzan los siguientes objetivos: Las necesidades reales de las personas que acuden al Servicio de Atención Ciudadana (Zuzenean): Información, derivación, trámite, queja… Conocimiento de experiencias, expectativas y necesidades, situaciones de buenas y malas experiencias con la Administración. Definición de las expectativas básicas. Priorización de las expectativas. Definición del cuadro de expectativas. Definición del Modelo de Medición de la Voz de la Ciudadanía, el cual dará las pautas para conocer el grado de cumplimiento y su evaluación, así como la evolución de las expectativas de la ciudadanía. Paralelamente, se da solución técnica para recoger información de los distintos canales de atención a la ciudadanía.

4 OBJETIVOS METODOLOGÍA INFORME DE RESULTADOS MODELO DE MEDICION DE LA VOZ DE LA CIUDADANÍA

5 (CUALITATIVO- CUANTITATIVO AGENTES)Metodología FASE 1 (DOCUMENTAL) FASE 2 (CUALITATIVO- CUANTITATIVO AGENTES) FASE 3 (CUANTITATIVO) FASE 4 (INFORME) Este informe ha sido realizado siguiendo todas las instrucciones marcadas por la Norma Internacional de Calidad en Investigación de Mercados UNE-ISO 20252

6 Ficha Técnica Metodología METODOLOGÍA Encuesta telefónica UNIVERSOPersonas usuarias del servicio de atención telefónica y presencial de Zuzenean MUESTREO Muestreo por cuotas MUESTRA Se han realizado 404 encuestas, obteniendo la siguiente distribución: Muestra Real Atención presencial: 286 Atención telefónica: 118 Muestra Teórica Atención presencial: 219 Atención telefónica: 185 PONDERADORES Con el fin de ajustar la muestra obtenida al universo, se han establecido unos índices de ponderación (obtenidos con la siguiente fórmula: muestra teórica / muestra real). Ponderadores Atención presencial: 0,7657 Atención telefónica: 1,5678 ERROR MUESTRAL ±4,9 para un NC 95%

7 Ficha Técnica Metodología FECHAS Del 05 al 07 de julio de 2010. EQUIPOEncuestadores profesionales de Append. El equipo de encuestadores se ha conformado por un total de 10 personas. LUGAR Call Center de Append CONTROLES Control de entendimiento del cuestionario en el briefing a los encuestadores. Control in situ de las encuestas telefónicas. Control de un 5% a través de escucha remota Control de consistencia estadística de los datos principales CUESTIONARIO Se adjunta modelo en CD anexo

8 Ficha Técnica Metodología METODOLOGÍA Encuesta on line UNIVERSOAgentes trabajadores del Servicio de Atención Ciudadana de Zuzenean MUESTREO Censal MUESTRA Se han conseguido 70 encuestas válidas. ERROR MUESTRAL ±6,4 para un NC 95% FECHAS Del 28 de mayo al 19 de junio de 2010. CUESTIONARIO Se adjunta modelo en CD anexo

9 Ficha Técnica METODOLOGÍA Dinámicas de grupo. UNIVERSOUsuarios de Zuzenean ÁMBITO Comunidad Autónoma de Euskadi Nº DE GRUPOS 4 Dinámicas de grupo. 2 en Bilbao 1 en San Sebastián 1 en Vitoria-Gasteiz CONTACTACIÓN La contactación ha sido telefónica, sobre bbdd facilitada por Zuzenean en el caso de los grupos de Bilbao y Donostia y personal a la puerta de la oficina en el caso de Vitoria-Gasteiz INCENTIVO Se ha gratificado a los participantes en el estudio con 30 euros. FECHAS 13 y 25 de mayo de 2010

10 INFORME DE RESULTADOS: cuantitativo personas usuariasOBJETIVOS Análisis de la herramienta METODOLOGÍA Utilización del servicio Conocimiento de Zuzenean INFORME DE RESULTADOS: cuantitativo personas usuarias Medición de tiempos MODELO DE MEDICION DE LA VOZ DE LA CIUDADANÍA Cumplimiento de expectativas

11 Análisis de la herramientaAnálisis de componentes principales Un método idóneo para desarrollar este modelo, es el ANÁLISIS FACTORIAL DE COMPONENTES PRINCIPALES, ya que resume las relaciones principales entre las variables perdiendo poca información, de manera que permite detectar variables que pueden ser omitidas simplificando el análisis sin perder poder explicativo de manera significativa. Es decir, esta técnica de resumen de datos se utiliza para extraer factores latentes entre grandes cantidades de variables como las utilizadas. En este marco, el análisis logra un doble objetivo: 1.- Detectar posibles variables que aportan poco a la explicación del fenómeno, y que por tanto son susceptibles de ser eliminadas del cuestionario siguiendo un criterio economicista. 2.- Detectar las relaciones internas entre las variables utilizadas, con el objetivo de definir los factores en las que se agrupan. Esto debe permitir contrastar si es adecuada la tradicional asignación de las variables a los factores preexistentes, y por tanto si las variables utilizadas realmente se asocian al fenómeno medido. Paralelamente a este análisis se ha realizado un análisis de validez de la escala utilizada con el objetivo de: Validar las escalas de medición de la satisfacción. Comprobar qué atributos medidos pueden ser prescindibles (teniendo en cuenta los resultados de los análisis de correspondencias) sin restar validez a la escala y cuáles, eliminándolos, mejoran la calidad de la escala.

12 Análisis de la herramientaAnálisis de componentes principales: atención presencial Una vez realizado este análisis se obtiene que: El cuestionario es una herramienta bien construida que responde al esquema de la persona usuaria a la hora de medir el cumplimento de sus expectativas con la atención presencial. El fenómeno quedaría resumido en cinco factores que explican un 73,08% de la varianza (con un KMO de 0,897):

13 Análisis de la herramientaAnálisis de componentes principales: atención telefónica Una vez realizado este análisis se obtiene que: El cuestionario es una herramienta bien construida que responde al esquema de la persona usuaria a la hora de medir el cumplimento de sus expectativas con la atención telefónica. El fenómeno quedaría resumido en cuatro factores que explican un 79,05% de la varianza (con un KMO de 0,924):

14 Análisis de la herramientaAnálisis de componentes principales En síntesis Como se confirmaba al inicio de este análisis, el cuestionario es una herramienta óptima para la medición de la satisfacción de las personas usuarias del servicio de Zuzenean. Si bien, a fin de optimizar el cuestionario, podrían ser eliminados los siguientes items, sin temor a que la herramienta pierda validez, por contar con una comunalidad baja, es decir, una baja contribución a la satisfacción y baja correlación con los factores construidos: Del cuestionario a usuarios de atención presencial: P12.4. Amplitud del horario de atención al público P12.2. Tiempo de espera hasta ser atendido P15.1. Eficacia del servicio en la resolución de los motivos por los que acudió P15.3. Suficiencia de la oficina para resolver el motivo de su visita Del cuestionario de usuarios de atención telefónica: P12.5. Intimidad y confidencialidad a los/as usuarios/as P13.7. Adaptación a su idioma P14.5. Calidad de la documentación que le dieron para realizar su gestión P17. Servicio de Zuzenean A continuación, con el fin de profundizar más en la efectividad de la herramienta, y antes de comprobar la validez de las escalas, un segundo paso es la detección de la no respuesta en cada uno de los items para determinar una solución en aquellos casos en los que el porcentaje sea elevado.

15 Análisis de la herramientaAnálisis de No respuesta: atención presencial No se es consciente Desconocimiento No procede

16 Análisis de la herramientaAnálisis de No respuesta: atención telefónica Desconocimiento No procede

17 Análisis de la herramientaAnálisis de validez de la escala Del análisis, por un lado, de componentes principales y, por otro, del análisis de no respuesta, se obtiene que los siguientes items son susceptibles de ser eliminados. Del cuestionario a usuarios de atención presencial: P12.4. Amplitud del horario de atención al público P12.2. Tiempo de espera hasta ser atendido P15.1. Eficacia del servicio en la resolución de los motivos por los que acudió P15.3. Suficiencia de la oficina para resolver el motivo de su visita P15.5. Actitud de los agentes frente a sugerencias y reclamaciones P11.2. Adaptación de la oficina a personas con movilidad reducida P11.4. Visibilidad del cartel del horario de atención al público P15.2. Facilidad para conocer el estado de su expediente Del cuestionario de usuarios de atención telefónica: P12.5. Intimidad y confidencialidad a los/as usuarios/as P13.7. Adaptación a su idioma P14.5. Calidad de la documentación que le dieron para realizar su gestión P17. Servicio de Zuzenean P12.5. Intimidad y confidencialidad a los/as usuarios P15.2. Facilidad para conocer el estado de tramitación de su expediente P14.6. Asesoramiento sobre las opciones que más le convenían Con el objetivo de comprobar que la omisión de los mismos no afecta a la escala de medición, se realiza un análisis de validez de escalas por cada una de las modalidades de atención. Se obtiene así que, de modo global, tanto para el cuestionario de atención etlefónica como para el cuestionario de atención presencial, la escala de medición tiene una calidad óptima. 1.- Proceso de contratación (Alpha: 0,9026): Ninguna variable mejora el modelo al ser eliminada, es decir, todas contribuyen a explicarlo ya que al eliminarlas el Alpha obtenido es inferior al que se obtiene al incluirlas. Es un factor con alta validez interna. 2. Producto (Alpha: 0,9440): prescindiendo de P11B. Las franquicias del producto, mejoraría mínimamente el modelo (0,9442) Atención presencial: Alpha 0,9580. Análisis factorial Análisis no respuesta Atención telefónica: Alpha: 0,9785. Análisis factorial Análisis no respuesta

18 INFORME DE RESULTADOS: cuantitativo personas usuariasOBJETIVOS Análisis de la herramienta METODOLOGÍA Utilización del servicio Conocimiento de Zuzenean INFORME DE RESULTADOS: cuantitativo personas usuarias Medición de tiempos MODELO DE MEDICION DE LA VOZ DE LA CIUDADANÍA Cumplimiento de expectativas

19 P4. ¿Cómo conoció el servicio de Atención Ciudadana Zuzenean?Informe de resultados UTILIZACIÓN DEL SERVICIO P4. ¿Cómo conoció el servicio de Atención Ciudadana Zuzenean? Base: 404

20 INFORME DE RESULTADOS: cuantitativo personas usuariasOBJETIVOS Análisis de la herramienta METODOLOGÍA Utilización del servicio Conocimiento de Zuzenean INFORME DE RESULTADOS: cuantitativo personas usuarias Medición de tiempos MODELO DE MEDICION DE LA VOZ DE LA CIUDADANÍA Cumplimiento de expectativas

21 CONOCIMIENTO DE ZUZENEANInforme de resultados CONOCIMIENTO DE ZUZENEAN P5. ¿Sabe si Zuzenean tiene un servicio de atención telefónica? Base ponderada: Base real: 286 20,1% sobre el total de personas usuarias de la atención presencial P6. ¿Cuál es el nº de atención telefónica de Zuzenean? Base ponderada: Base real: 140

22 P7. ¿Conoce la página web de Zuzenean?Informe de resultados CONOCIMIENTO DE ZUZENEAN P7. ¿Conoce la página web de Zuzenean? Base: 404 33,42% sobre total personas usuarias de Zuzenean P8. ¿La ha utilizado? Base ponderada: Base real: 169

23 CONOCIMIENTO DE ZUZENEANInforme de resultados CONOCIMIENTO DE ZUZENEAN P9.1. ¿Conoce los horarios de atención telefónica que tiene Zuzenean? P9.2. ¿Conoce los horarios de atención presencial que tiene Zuzenean? Base: 404 Base: 404 Base ponderada: Base real: 70 Base ponderada: Base real: 227

24 INFORME DE RESULTADOS: cuantitativo personas usuariasOBJETIVOS Análisis de la herramienta METODOLOGÍA Utilización del servicio Conocimiento de Zuzenean INFORME DE RESULTADOS: cuantitativo personas usuarias Medición de tiempos MODELO DE MEDICION DE LA VOZ DE LA CIUDADANÍA Cumplimiento de expectativas

25 MEDICIÓN DE TIEMPOS: atención telefónicaInforme de resultados MEDICIÓN DE TIEMPOS: atención telefónica P18. ¿Cuántas llamadas tuvo que realizar para contactar con el servicio? Media 2,16 llamadas P19. Aproximadamente, ¿cuántos segundos estuvo a la espera hasta que finalmente le atendieron? Media 38,5 segundos

26 MEDICIÓN DE TIEMPOS: atención presencialInforme de resultados MEDICIÓN DE TIEMPOS: atención presencial P20. Aproximadamente, ¿cuántos minutos estuvo de espera desde que llegó al servicio hasta que finalmente le atendieron? 51,8% Media 18,72 minutos

27 P21. Este tiempo le pareció a Ud....Informe de resultados MEDICIÓN DE TIEMPOS P21. Este tiempo le pareció a Ud.... Atención presencial Atención telefónica 6,1 segundos 21 segundos 118,6 segundos Quienes opinan que ha sido excesivo, plantean 49,7 segundos como adecuados 38,7 minutos 4,81 minutos Quienes opinan que ha sido excesivo, plantean 12,47 minutos como adecuados 12,81 minutos Base ponderada: Base real: 286 Base ponderada: 185 Base real: 118

28 Informe de resultados MEDICIÓN DE TIEMPOS En la misma llamadaP23. ¿Cuánto tiempo tardó el servicio de Zuzenean en resolver el motivo de su visita/llamada? En la misma llamada Media 42,53 días: Telefónica: 47,1 días Presencial: 40,7 días Media 6,94 minutos: Telefónica: 4,8 min Presencial: 8,7 min Tardaron días Base ponderada: Base real: Base ponderada: Base real:

29 P24. Este tiempo le pareció a Ud.... En la misma llamada/visitaInforme de resultados MEDICIÓN DE TIEMPOS P24. Este tiempo le pareció a Ud.... En la misma llamada/visita Tardaron días 3,66 días 27,36 minutos 4,46 minutos 78,26 días Quienes opinan que ha sido excesivo, plantean 12,3 minutos como adecuados 14,95 días Quienes opinan que ha sido excesivo, plantean 16,8 días como adecuados 6,21 minutos Base ponderada: Base real: 278 Base ponderada: 71 Base real: 80

30 INFORME DE RESULTADOS: cuantitativo personas usuariasOBJETIVOS Análisis de la herramienta METODOLOGÍA Utilización del servicio Conocimiento de Zuzenean INFORME DE RESULTADOS: cuantitativo personas usuarias Medición de tiempos MODELO DE MEDICION DE LA VOZ DE LA CIUDADANÍA Cumplimiento de expectativas

31 CUMPLIMIENTO DE EXPECTATIVAS: Atención presencialInforme de resultados CUMPLIMIENTO DE EXPECTATIVAS: Atención presencial EFICACIA DEL SERVICIO Bastante por encima Muy por encima Lo que esperaba Bastante por debajo Muy por debajo PERSONAL Bastante por encima Muy por encima Lo que esperaba Bastante por debajo Muy por debajo

32 ADECUACIÓN INSTALACIONESInforme de resultados CUMPLIMIENTO DE EXPECTATIVAS: Atención presencial ADECUACIÓN INSTALACIONES Bastante por encima Muy por encima Lo que esperaba Bastante por debajo Muy por debajo COMODIDAD Bastante por encima Muy por encima Lo que esperaba Bastante por debajo Muy por debajo

33 CUMPLIMIENTO DE EXPECTATIVAS: Atención presencialInforme de resultados CUMPLIMIENTO DE EXPECTATIVAS: Atención presencial SERVICIO GENERAL Bastante por encima Muy por encima Lo que esperaba Bastante por debajo Muy por debajo OTROS Bastante por encima Muy por encima Lo que esperaba Bastante por debajo Muy por debajo

34 CUMPLIMIENTO DE EXPECTATIVAS: Atención telefónicaInforme de resultados CUMPLIMIENTO DE EXPECTATIVAS: Atención telefónica EFICACIA DEL SERVICIO Bastante por encima Muy por encima Lo que esperaba Bastante por debajo Muy por debajo

35 CUMPLIMIENTO DE EXPECTATIVAS: Atención telefónicaInforme de resultados CUMPLIMIENTO DE EXPECTATIVAS: Atención telefónica TRATO Bastante por encima Muy por encima Lo que esperaba Bastante por debajo Muy por debajo PROFESIONALIDAD Bastante por encima Muy por encima Lo que esperaba Bastante por debajo Muy por debajo

36 CUMPLIMIENTO DE EXPECTATIVAS: Atención telefónicaInforme de resultados CUMPLIMIENTO DE EXPECTATIVAS: Atención telefónica Bastante por encima Muy por encima Lo que esperaba Bastante por debajo Muy por debajo TIEMPOS OTROS Bastante por encima Muy por encima Lo que esperaba Bastante por debajo Muy por debajo

37 Cumplimiento de expectativas en la web de ZuzeneanInforme de resultados CUMPLIMIENTO DE EXPECTATIVAS: Atención web Cumplimiento de expectativas en la web de Zuzenean Bastante por encima Muy por encima Lo que esperaba Bastante por debajo Muy por debajo

38 OBJETIVOS METODOLOGÍA INFORME DE RESULTADOS MODELO DE MEDICION DE LA VOZ DE LA CIUDADANÍA

39 Aspectos a tener en cuentaAntes de comenzar con la definición y el desarrollo del Modelo de Medición de la Voz de la ciudadanía, cabe realizar una serie de reflexiones derivadas de los diferentes análisis: Validez de la herramienta para medir las expectativas de las personas usuarias. En general, cumplimiento de las expectativas de las personas usuarias. Déficits en la notoriedad y conocimiento de algunos aspectos del Servicio de Zuzenean, con el objetivo de que sean tomados como posibles áreas de mejora de cara a mejorar la capacidad de valoración de la ciudadanía: Necesidad de dar a conocer los horarios de atención al público. Necesidad de aportar notoriedad al servicio de atención telefónica. Necesidad de aportar notoriedad a la página web de Zuzenean como fuente de información. Necesidad de dar notoriedad a Zuzenean como una entidad propia, responsable de la atención ciudadana, con el fin de que se asocien los servicios obtenidos por la ciudadanía a este servicio. Necesidad de dar a conocer los servicios que ofrece Zuzenean.

40 Definición de los indicadoresItems de medición La elección y decisión de inclusión o no de los diferentes items se derivan de: -Análisis estadísticos. -Información obtenida por otras vías como las opiniones de los propios agentes o el discurso cualitativo de los propios usuarios. -Necesidad de medición de indicadores: compromisos adquiridos a través de las cartas de servicio. En general, el cuestionario es una herramienta consistente. Son pocos los items que se recomienda eliminar. Dos items en encuestación telefónica, debido a que no procede y a que tienen poco peso en la explicación de las expectativas de los usuarios: -Intimidad y confidencialidad a los/as usuarios/as. -Calidad de la documentación que le dieron para realizar su gestión. A pesar de que, del análisis de componentes principales y de la no respuesta se dan otros items con poco peso, se recomienda su mantenimiento debido a que su no pertinencia pueden deberse a: No conocimiento (caso de horarios de atención al público, adaptación de las oficinas a personas con movilidad reducida). No procede (facilidad para conocer el estado de su expediente, asesoramiento…). Deben mantenerse por necesidad de medición de compromisos (tiempo de espera hasta ser atendido).

41 Definición de los indicadoresItems de medición A continuación se enumeran los 30 indicadores de expectativas en atención presencial: P14.3. Coherencia de la información P14.4. Calidad de la información P14.2. Utilidad de la información P14.5. Calidad de la documentación que le dieron para realizar su gestión P14.1. Exactitud de la información que le dieron (sin errores) P14.6. Asesoramiento sobre las opciones que más le convenían P15.6. Tiempo total empleado en la resolución de los motivos de acudir a Zuzenean P15.2. Facilidad para conocer el estado de tramitación de su expediente P15.7. Resultado final de la gestión P13.6. Capacidad de diálogo y comunicación de la persona que le atendió P13.2. Trato de igual a igual P11.5. Señalización de la oficina (en la calle y dentro de la oficina) P13.1. Amabilidad y respeto con el que le trataron P13.5. Cualificación, preparación de la persona que le atendió, para darle un buen servicio P13.4. Preocupación e interés de la persona que le atendió, por solucionar la cuestión que haya ido a tratar P15.5. Actitud de los agentes frente a sugerencias y reclamaciones P13.3. Claridad y facilidad de entender a la persona que le atendió, cuando le informaba P13.7. Adaptación a su idioma P11.3. Condiciones ambientales de la oficina (limpieza, orden, temperatura, iluminación, ruido, etc.) P11.4. Visibilidad del cartel del horario de atención al público P11.2. Adaptación de la oficina a personas con movilidad reducida P12.5. Intimidad y confidencialidad a los/as usuarios/as P11.1. Instalaciones de la oficina: espacio físico, asientos, aseos, teléfono público… P12.3. Orden y eficacia en la organización de las colas de espera en la oficina P17. En general, el servicio de Zuzenean P12.6. Tiempo dedicado en su consulta P12.4. Amplitud del horario de atención al público P12.2. Tiempo de espera hasta ser atendido. P15.1. Eficacia del servicio en la resolución de los motivos por los que acudió P15.3. Suficiencia de la oficina para resolver el motivo de su visita.

42 Definición de los indicadoresItems de medición A continuación se enumeran los 24 indicadores de expectativas en atención telefónica: P14.2. Utilidad de la información P15.1. Eficacia del servicio en la resolución de los motivos por los que llamó P14.3. Coherencia de la información P15.7. Resultado final de la gestión P14.4. Calidad de la información P14.1. Exactitud de la información que le dieron (sin errores) P15.3. Suficiencia de la oficina para resolver el motivo de su llamada P15.6. Tiempo total empleado en la resolución de los motivos de acudir a Zuzenean P15.2. Facilidad para conocer el estado de tramitación de su expediente P14.6. Asesoramiento sobre las opciones que más le convenían P13.1. Amabilidad y respeto con el que le trataron P13.2. Trato de igual a igual P13.3. Claridad y facilidad de entender a la persona que le atendió, cuando le informaba P13.4. Preocupación e interés de la persona que le atendió, por solucionar la cuestión que haya ido a tratar P13.6. Capacidad de diálogo y comunicación de la persona que le atendió P13.5. Cualificación, preparación de la persona que le atendió, para darle un buen servicio P15.5. Actitud de los agentes frente a sugerencias y reclamaciones P12.2. Tiempo de espera hasta ser atendido P12.1. Nº de llamadas a la atención telefónica necesarias para ser atendido P12.6. Tiempo dedicado en su consulta P12.4. Amplitud del horario de atención al público P13.7. Adaptación a su idioma P17. En general, el servicio de Zuzenean

43 MODELO DE MEDICIÓN DE LA VOZ DE LA CIUDADANÍAA continuación se desarrolla el Modelo de Medición de la Voz de la Ciudadanía, que se resume en 5 fases en las que se desarrollan diferentes metodologías: Fase 1: Definición de objetivos. Fase 2: Realización de encuestas telefónicas a población general. Fase 3: Realización de encuestas telefónicas a personas usuarias del servicio. Fase 4: Realización de dinámicas de personas usuarias. Fase 5: Revisión de la validez de la herramienta MODELO DE MEDICIÓN DE LA VOZ DE LA CIUDADANÍA Definición de objetivos Encuesta Telefónica a población CAPV Encuesta a personas usuarias de Zuzenean Dinámicas de personas usuarias Revisión del Modelo de Medición En páginas siguientes se describe detalladamente cada una de las fases, con sus objetivos y las cuestiones claves de su desarrollo.

44 Definición de objetivosModelo de Medición de la Voz de la Ciudadanía Definición de objetivos Fase 1: Definición de objetivos. En esta fase previa se terminará de concretar los objetivos específicos de información que más interesan a las personas responsables del proyecto, y se trabajará conjuntamente con la Dirección de Atención Ciudadana en el diseño y revisión del cuestionario y guiones a utilizar en las encuestas y dinámicas a realizar. Esta fase tiene como objetivo fundamental conocer de primera mano los cambios efectivos que se hayan realizado en el servicio, desde diferentes aspectos: -Nuevos servicios creados: objetivos de dichos servicios, público al que se dirigen, etc. -Cualquier cambio (de diversa naturaleza) que se haya realizado en el servicio: ej. aumento o disminución de personal, cambios en la organización de la atención, etc. -Aspectos tenidos en cuenta en la carta de servicios El conocimiento previo de estas cuestiones permitirá ajustar el cuestionario a las nuevas necesidades de información, modificar o introducir nuevos items para recoger la opinión acerca de estos cambios y, de cara al análisis del informe, permitirá prestar especial atención a la comparativa por años, así como comprender los motivos de dichas variaciones.

45 Encuesta Telefónica a población CAPVModelo de Medición de la Voz de la Ciudadanía Fase 2: Realización de encuestas telefónicas a población general. Esta metodología tiene como principal objetivo conocer cuáles son las expectativas que la ciudadanía, en general, tiene hacia un servicio de atención ciudadana, independientemente de que lo haya utilizado o no. Así, se recogerán tanto las opiniones de quienes tienen una opinión ya formada de este tipo de servicios, por haber acudido a ellos y, por otro lado, se contará con las opiniones de aquellas personas que aún no han tenido ninguna experiencia pero que sí cuentan con unas expectativas previas. Los items a medir serán, en todo caso, los mismos que se utilicen en la encuesta de percepción o satisfacción del servicio y que han sido definidos a partir del anterior análisis. Metodología: encuesta telefónica. Universo de estudio: población general CAPV Muestra: 400 encuestas Distribución muestral: por cuotas, con selección aleatoria del individuo Cuotas: por zona geográfica, sexo y edad Periodo temporal: una ola de medición cada 3 años. Error muestral: ±4,9 para un NC 95% Información a recabar: -Expectativas de la población respecto a las cuestiones predefinidas. -Otras cuestiones genéricas como: Notoriedad de Zuzenean, utilización del servicio, etc. Encuesta Telefónica a población CAPV

46 Modelo de Medición de la Voz de la CiudadaníaFase 3: Realización de encuestas a usuarios de Zuzenean. Esta metodología tiene como principal objetivo conocer la percepción o satisfacción de las personas usuarias del Servicio de Atención Ciudadana Zuzenean, tanto en la modalidad telefónica como presencial. Para recoger las opiniones tanto del servicio de atención telefónica como de atención presencial, son posibles diferentes modelos de encuestación, dependiendo de las posibilidades existentes de recogida de registros: OPCIÓN A: Encuesta telefónica a las personas usuarias del servicio de atención presencial. Para ello, habría un proceso de recogida de teléfonos en las propias oficinas de atención, previo a la encuestación, bajo cumplimentación de una hoja de permiso por parte de las personas atendidas. OPCIÓN B Encuesta presencial a usuarios del servicio de atención presencial de Zuzenean, a la salida de las oficinas. USUARIOS DEL SERVICIO DE ATENCIÓN PRESENCIAL OPCIÓN C Encuesta telefónica a hogares de las personas usuarias del servicio de atención telefónico 012. Para poder cumplir con esta opción, se debería también recoger registros en las oficinas de atención telefónica previo consentimiento de las personas atendidas. USUARIOS DEL SERVICIO DE ATENCIÓN TELEFÓNICA

47 Modelo de Medición de la Voz de la CiudadaníaOPCIÓN D Derivación a un call center de encuestación de la llamada una vez ha sido atendida, previa petición de permiso a la persona, para realizarle la encuesta de valoración del servicio. OPCIÓN E Utilizar los informantes de las encuestas de opinión de la atención presencial para pedirles información acerca de la atención telefónica en el caso de que la hayan utilizado en, como máximo, los dos últimos meses. El planteamiento metodológico en lo que se refiere a la distribución muestral se mantendría idéntico en todos los casos. Es decir, se pretende recoger una muestra representativa y que permita un análisis de resultados por modalidad de encuestación óptima para poder realizar comparativas. Los diferentes modelos presentan pros y contras que habría que tener en cuenta a la hora de decidirse por uno u otro modelo.

48 Encuesta a personas usuarias de ZuzeneanModelo de Medición de la Voz de la Ciudadanía Metodología: encuesta telefónica y/o presencial. Universo de estudio: usuarios del Servicio de Atención Ciudadana Zuzenean. Ámbito geográfico: 3 Oficinas de Atención y teléfono de Atención 012. Muestra: 600 encuestas Distribución muestral:. Por cuotas, aproporcional marcando un mínimo de entrevistas en cada Oficina y atención telefónica. Elección aleatoria simple sobre usuarios de los diferentes tipos de oficina. Cuotas: por modalidad de atención. Dentro de la modalidad presencial, se tendrán en cuenta cuotas por oficina: Mínimo de 75 encuestas por oficina y 100 encuestas por servicio de atención telefónica. El resto de las encuestas se repartirá por oficinas y atención telefónica proporcionalmente a la afluencia recogida el mes anterior. Se ponderarán los resultados en función del peso de cada una de las oficinas. En caso de que la encuestación se realice de forma telefónica, Recogida de teléfonos: en cada oficina, para cada una de las olas de medición, se recogerán un mínimo de 10 registros por cada 1 de las encuestas a realizar. La recogida de datos se realizará a lo largo del mes anterior a la encuestación. El mismo procedimiento se realizarían para la recogida de los registros de usuarios de la encuestación telefónica. Encuesta a personas usuarias de Zuzenean

49 Encuesta a personas usuarias de ZuzeneanModelo de Medición de la Voz de la Ciudadanía Periodo temporal: reparto de la encuestación a lo largo de dos olas de medición anuales. Error muestral: ±4 para un NC 95% Información a recabar: -Satisfacción con los diferentes aspectos del servicio (items predefinidos en el presente análisis). -Medición de tiempos. -Medición del conocimiento y valoración de novedades introducidas en el servicio, para conocer el feed-back de las personas usuarias. Análisis que se realizarán: Además de la medición de items, uno a uno, la encuesta de percepción debe servir para tener una visión de conjunto del servicio y clarificar cuáles son las áreas que requieren acciones de mejora. Por ello, se debe tener en cuenta la inclusión de los siguientes análisis: -Evolución de la satisfacción a lo largo de los diferentes años analizados. -Significatividad estadística de las diferencias de los resultados entre diferentes años. -GAPs o distancia entre las expectativas y la satisfacción de los usuarios. -Delimitación de Áreas de Mejora, teniendo en cuenta la percepción de los usuarios, en contraste con las expectativas hacia un servicio de este tipo. -Índice de Percepción de Calidad Agregado: para cada modalidad de atención, se resume, en un solo dato, la satisfacción con cada uno de los aspectos analizados, en relación con lo esperado. Encuesta a personas usuarias de Zuzenean

50 Modelo de Medición de la Voz de la CiudadaníaFase 4: Realización de dinámicas de personas usuarias de Zuzenean. En el análisis de la herramienta realizado, las dinámicas de grupo tenían como objetivo principal servir de base para la realización del posterior cuestionario. Así, se indagó en las expectativas sobre el servicio, conocimiento del mismo y se profundizó en cómo los usuarios entienden el servicio. Las dinámicas de usuario que se proponen, tienen el planteamiento contrario; partir de las encuestas realizadas y de sus resultados, como base para indagar en las siguientes cuestiones: Motivos de posibles cambios en la evolución de la satisfacción de los usuarios con el servicio. Indagar en las áreas de mejora resultantes del análisis de resultados, para conocer los motivos y las posibles acciones desde el punto de vista de los usuarios. Tantear opiniones acerca de nuevos servicios o cambios en la organización de la atención de Zuzenean. Obtener información cualitativa de servicios emergentes como la e-administración, dirigiendo así las dinámicas también a personas cuya información es difícil de recoger de manera cuantitativa. Servir de plataforma de difusión de mejoras planteadas por la Dirección de Atención Ciudadana a partir de los resultados del estudio, para conocer reacciones, posibles mejoras, fórmulas de comunicación al resto de la ciudadanía, etc. Etc. PROFUNDIZAR EN LA PERCEPCIÓN DEL SERVICIO ESTADO CONVERSACIONAL CON EL USUARIO

51 Dinámicas de personas usuariasModelo de Medición de la Voz de la Ciudadanía Metodología: dinámicas de grupo. Universo de estudio: personas usuarias del Servicio de Atención Ciudadana Zuzenean, que han participado en la fase de encuestación. Ámbito geográfico: 3 Oficinas de Atención y teléfono de Atención 012. Muestra: 3 dinámicas de grupo con 10 participantes. Cuotas: cada uno de los grupos se definirá en función las necesidades de información que se planteen, utilizando como informantes a aquellas personas que hayan contestado a la encuesta y que respondan al perfil requerido (ej. personas insatisfechas con alguna dimensión del servicio, personas que solicitan más servicios, personas que utilizan e-administración, etc.). Contactación de participantes en las dinámicas: la encuesta de satisfacción de usuarios incluirá una pregunta de permiso para contactarles posteriormente de cara a una posible participación en las dinámicas de grupo. Dinámicas de personas usuarias

52 Revisión del Modelo de MediciónModelo de Medición de la Voz de la Ciudadanía Revisión del Modelo de Medición Fase 5: Revisión de validez de la herramienta. Con el fin de asegurarse de que el cuestionario y los items que en ellos se incluyen se mantienen como herramienta válida para conocer la percepción de las personas usuarias de Zuzenean, debe realizarse periódicamente (cada dos años) una revisión de la misma a partir de diferentes técnicas estadísticas como las realizadas en la presente investigación: -Análisis de no respuesta. -Análisis de componentes principales. -Análisis de consistencia estadística de los datos principales. -Análisis de validez de la escala. Con los resultados de esta revisión, a partir de las dinámicas de usuarios se indagará en posibles inconsistencias, cuestiones que precisan un matiz o explicación cualitativa, etc.

53 Modelo de Medición de la Voz de la CiudadaníaPor tanto, el objetivo de este Modelo de Medición de la Voz de la ciudadanía es el de mantener un estado conversacional continuado con la ciudadanía para, a partir de ella desarrollar acciones de mejora que se medirán posteriormente en función de la percepción de la propia ciudadanía y de lo que espera del servicio.

54 Madrid Anabel Segura, 11 Edifio Albatros – A – 4ª planta 28108 Alcobendas - Madrid Telf.: Zaragoza Josefa Amar y Borbón, 2 - 3ºA 50001 Zaragoza Telf.: Bilbao Alda. Recalde, 1 1º A 48009 Bilbao Telf.: Vitoria Paraguay, 23 - bajo 01012 Vitoria-Gasteiz Telf.: Santander Lealtad, 14, 2º Santander Telf.: Logroño Ruavieja, ª planta 26001 Logroño Telf.: Web: