1 Interacción persona-ordenador Evaluación
2 Introducción La evaluación es una parte básica en el diseño de un sistema centrado en el usuario Sin hacer ningún tipo de evaluación es imposible conocer si un sistema cumple las expectativas de los usuarios y se adapta a su contexto social, físico y organizativo En este tema conoceremos diferentes métodos de evaluación, cómo y dónde se realiza un test de usabilidad y cómo se analizan sus resultados
3 Objetivos Introducir la usabilidad como conceptoSaber qué es la evaluación Conocer los diferentes métodos de evaluación Aprender a realizar evaluaciones Valorar el coste de su aplicación Saber cómo obtener conclusiones y cómo mejorar la usabilidad del sistema evaluado
4 Contenido El diseño centrado en el usuario La usabilidad La evaluaciónMétodos de evaluación Coste de la usabilidad Laboratorio de usabilidad
5 Diseño centrado en el usuario
6 La usabilidad Medida en la que un producto se puede usar por determinados usuarios para conseguir objetivos específicos con efectividad, eficiencia y satisfacción en un contexto de uso especificado [ISO] Efectividad: precisión y plenitud con que los usuarios alcanzan los objetivos. Asociado a: Facilidad de aprendizaje, tasa de errores, facilidad de recuerdo Eficiencia: precisión y plenitud / recursos empleados Satisfacción: comodidad y actitud positiva en el uso del producto Es un factor subjetivo
7 La usabilidad Un sistema es usable si los usuarios pueden hacer rápida y fácilmente sus tareas La usabilidad descansa en cuatro puntos: Una aproximación al usuario: usabilidad significa centrarse en el usuario Un amplio conocimiento del contexto de uso: las personas utilizan los productos para incrementar su productividad El producto ha de satisfacer las necesidades del usuario: los usuarios son personas ocupadas que tratan de realizar tareas Son los usuarios, y no los diseñadores o desarrolladores, quienes determinan cuándo un producto es fácil de usar
8 La usabilidad BeneficiosTener en cuenta la usabilidad en el diseño permite: Reducción de los costes de producción Evitando el rediseño y reduciendo los cambios posteriores Reducción de los costes de mantenimiento y apoyo Los sistemas usables requieren menos entrenamiento y soporte Reducción de los costes de uso Los sistemas usables mejoran la productividad Mejora en la calidad del producto Importante en un mercado competitivo que demanda productos de fácil uso
9 La evaluación Conjunto de metodologías y técnicas que analizan la usabilidad de un sistema interactivo en diferentes etapas del ciclo de vida Aplicar los métodos de evaluación de la usabilidad permite crear mejores productos y ayudar a los usuarios a realizar sus tareas más productivamente
10 La evaluación Aspectos a considerarCoste Personas que lo realizarán Etapas del ciclo de vida
11 Métodos de evaluación Indagación Inspección Test
12 Métodos de evaluación IndagaciónLa información acerca de los gustos y necesidades del usuario y la identificación de requisitos es indispensable en una etapa temprana del desarrollo En este tipo de métodos se trabaja hablando con los usuarios, observándolos, usando el sistema en el trabajo real, obteniendo respuestas a preguntas verbalmente o por escrito
13 Métodos de evaluación IndagaciónMétodos de indagación: Observación de campo Grupos de discusión dirigidos (focus groups) Estudio de campo proactivo Entrevistas Cuestionarios Grabación del uso (logging) Card Sorting
14 Métodos de evaluación - Indagación Observación de campoEn la observación de campo los ingenieros en factores humanos van al lugar de trabajo de usuarios representativos y los observan trabajando para entender cómo están utilizando el sistema para lograr sus tareas y qué clase de modelo mental tienen sobre él Este método se puede utilizar en las etapas iniciales del desarrollo y en la etapa de prueba del producto
15 Métodos de evaluación - Indagación Observación de campoRecursos: preguntas: entrevistar a los usuarios en su trabajo observar la manera en que utilizan el producto Posteriormente se realiza el análisis
16 Métodos de evaluación - Indagación Grupo de discusión dirigidoTécnica de recolección de datos donde se reúne de 6 a 9 usuarios para discutir aspectos relacionados con el sistema Un ingeniero de factores humanos hace las veces de moderador que tiene que preparar la lista de aspectos a discutir y recoger la información que necesita de la discusión Esto puede permitir capturar reacciones espontáneas del usuario e ideas que evolucionan en el proceso dinámico del grupo Aplica a mediado y finales del desarrollo
17 Métodos de evaluación - Indagación Técnicas de interrogaciónLa mejor manera de saber si un sistema se adapta a los requisitos es interrogar al usuario Esto permite tener directamente el punto de vista del usuario y por tanto encontrar opciones no contempladas en el diseño problemas información es subjetiva difícil conseguir alternativas en el diseño, porque el usuario no tiene experiencia Los dos tipos mas importantes son: Entrevistas Cuestionarios
18 Métodos de evaluación - Indagación EntrevistasEntrevistar a los usuarios respecto a su experiencia en un sistema interactivo resulta una manera directa y estructurada de recoger información. Permiten extraer información sobre las preferencias del usuario, impresiones y actitudes Pueden ayudar a encontrar problemas no previstos en el diseño Para que la entrevista sea lo más efectiva posible, ha de ser preparada con antelación, con todo un conjunto de preguntas básicas. El revisor puede adaptar la entrevista al entrevistado y obtener el máximo beneficio
19 Métodos de evaluación - Indagación CuestionariosEl cuestionario es menos flexible que la entrevista, pero puede llegar a un grupo más numeroso y se puede analizar con más rigor Tipos de cuestionarios: Pre-test Información y perfil de los participantes Post-tarea Recoger opiniones y valoraciones de cada tarea Post-test Recoger opiniones y valoraciones después de que los participantes completen las tareas
20 Cuestionarios Tipos de preguntasGeneral Preguntas que ayudan a establecer el perfil de usuario y su puesto dentro de la población en estudio. Incluye cuestiones como edad, sexo, ocupación, lugar de residencia y otras Abierta Preguntas útiles para recoger información general subjetiva. Pueden dar sugerencias interesantes y encontrar errores no previstos
21 Cuestionarios Tipos de preguntasEscalar Permite preguntar al usuario sobre un punto específico en una escala numérica Ejemplo: El diseño de los iconos es comprensible poco mucho Opción múltiple Se ofrecen una serie de respuestas y se pide responder a una de las opciones o a varias ¿Qué tipo de software has utilizado? - Tratamiento de texto - Hoja de cálculo - Bases de datos - Contabilidad
22 Cuestionarios Tipos de preguntasOrdenada Se presentan una serie de opciones que hay que ordenar Ejemplo: Ordena la utilidad de cómo ejecutar una acción: (1 la más útil, 2 la siguiente, etc. 0 si no se utiliza) Por iconos Selección de menú Doble click
23 Cuestionarios EjemploCuestionario post-tarea ¿Ha sido fácil completar la tarea? Comentarios: ¿Has utilizado el manual para completar la tarea? Sí ____ No _____ Si has utilizado el manual, ¿la información ha sido fácil de encontrar? Comentarios: ¿La información que encontraste en el manual ha sido fácil de utilizar? Comentarios: Fácil Normal Muy fácil Difícil Muy difícil Fácil Normal Muy fácil Difícil Muy difícil Fácil Normal Muy fácil Difícil Muy difícil
24 Métodos de evaluación - Indagación Grabación del uso (log)El log implica tener en el ordenador una ampliación del sistema que recoja automáticamente estadísticas sobre el uso detallado del sistema Es útil porque muestra cómo los usuarios realizan su trabajo real y porque es fácil recoger en forma automática datos de una gran cantidad de usuarios que trabajan bajo diversas circunstancias Datos recogidos: Frecuencia de uso de cada característica del sistema Frecuencia de aparición de mensajes de error Frecuencia de uso de la ayuda en línea …
25 Métodos de evaluación Indagación Inspección Test
26 Métodos de evaluación InspecciónUnos evaluadores inspeccionan o examinan aspectos relacionados con la usabilidad de la interfaz Los inspectores de la usabilidad pueden ser: especialistas en usabilidad consultores de desarrollo de software con experiencia en guías de estilo de interfaces usuarios finales con conocimientos del dominio Métodos de inspección más importantes: Evaluación heurística Recorridos de la usabilidad plural Recorridos cognitivos Inspección de estándares
27 Métodos de evaluación - Inspección Evaluación heurísticaconsiste en analizar la conformidad de la interfaz con unos principios reconocidos de usabilidad (la "heurística") mediante la inspección de varios evaluadores expertos Se recomienda utilizar de tres a cinco evaluadores Cada uno emite un informe o comunica sus comentarios a un observador debe durar 1 a 2 horas, pudiéndose dividir en varias sesiones si la interfaz es muy compleja
28 Métodos de evaluación - Inspección Evaluación heurística10 reglas heurísticas de usabilidad (Mollich y Nielsen) 1. El estado del sistema debe ser siempre visible 2. Utilizar el lenguaje de los usuarios 3. Control y libertad para el usuario 4. Consistencia y estándares 5. Prevención de errores 6. Minimizar la carga de la memoria del usuario 7. Flexibilidad y eficiencia de uso 8. Diálogos estéticos y de diseño minimalista 9. Ayudar a los usuarios a reconocer, diagnosticar y recuperarse de los errores 10. Ayuda y documentación
29 Métodos de evaluación - Inspección Recorrido de la usabilidad pluralgrupo compuesto por usuarios, desarrolladores, expertos en usabilidad se utilizan prototipos cada participante escribe las acciones de la tarea que están desarrollando comparten las anotaciones
30 Métodos de evaluación - Inspección Recorrido cognitivoEl recorrido cognitivo implica a un grupo de evaluadores que han de examinar la interfaz realizando un conjunto de tareas y evaluando su comprensión y facilidad de aprendizaje La interfaz está normalmente en forma de prototipo Esta técnica es idónea en la etapa del diseño
31 Métodos de evaluación - Inspección Recorrido cognitivoDatos iniciales: Diseño de la interfaz (prototipo de papel o de software) Escenario Tareas a realizar (documento de análisis de tareas) Población de usuarios y contexto de uso
32 Métodos de evaluación - Inspección Recorrido cognitivoEjecución: Selección de una tarea Ejecución de las acciones de cada tarea Para cada acción el usuario tratará de realizar la selección adecuada El sistema debe realizar la realimentación correspondiente Hemos de percibir el éxito y ver que vamos en el camino de resolver la tarea
33 Métodos de evaluación - Inspección Inspección de estándaresEste método se realiza por medio de un experto en un estándar de la interfaz que puede ser de facto o de iure El experto realiza una inspección minuciosa a la interfaz para comprobar que cumple en todo momento y globalmente todos los puntos definidos en el estándar
34 Métodos de evaluación Indagación Inspección Test
35 Métodos de evaluación TestUsuarios representativos realizan sus tareas usando el sistema (o un prototipo) y los evaluadores observan los resultados Tipos de métodos: Medida de prestaciones Test remoto Pensando en voz alta Interacción constructiva Test retrospectivo Método del conductor
36 Métodos de evaluación - Test Medida de prestacionesCaracterísticas: Los participantes representan usuarios reales Los participantes tienen que hacer tareas reales Se observa y se registra lo que los participantes hacen y dicen Se analizan los datos, se diagnostican problemas reales y se recomiendan cambios Es importante la selección de las tareas a evaluar: Tareas que demuestren problemas de usabilidad Tareas sugeridas por la propia experiencia Tareas que los usuarios harán con el producto Tareas que son difíciles de recuperar después de un error
37 Medida de prestaciones Cómo medir la usabilidad¿Qué es lo que se puede medir? Medidas de rendimiento: contar las acciones y los comportamientos que se puedan ver Medidas subjetivas: percepciones de las personas, opiniones y juicios
38 Medidas de rendimiento Ejemplostiempo para completar una tarea tiempo consumido en menús de navegación tiempo consumido en ayuda en línea tiempo en buscar información en un manual tiempo invertido en recuperarse de errores número de opciones de menú erróneos número de opciones incorrectas en cajas de dialogo número de selección de iconos incorrectos número de teclas de función mal seleccionadas número de llamadas a la ayuda número de pantallas de ayuda en línea número de veces que se consulta el manual observaciones de frustración observaciones de confusión observaciones de satisfacción
39 Medidas subjetivas EjemplosRelaciones de facilidad de uso del producto facilidad de aprender el producto facilidad de hacer una determinada tarea facilidad de instalar el producto facilidad de encontrar información en el manual facilidad de comprender la información utilidad de los ejemplos de ayuda Preferencias o razones de la preferencia de una versión previa sobre un producto de la competencia de la manera como estamos haciendo las tareas ahora Predicciones de comportamiento ¿Comprará el producto? Comentarios espontáneos Estoy totalmente perdido Ha sido fácil No comprendo el mensaje
40 Medidas de rendimiento Medir una tareaExcelente Aceptable Inaceptable Tarea1 tiempo por la tarea <3 min 3-5 min > 5 min recuperación de un error <1 min > 1 min ayuda en línea 1 2-3 min > 3 min
41 Medida de prestaciones Resultados del testUn test de prestaciones genera una cantidad importante de datos: Lista de problemas que han surgido durante la realización del test Datos cuantitativos de tiempo, errores y medidas de rendimiento Datos cuantitativos de valoraciones subjetivas y cuestionarios post- tarea y post-test Comentarios de los participantes de las grabaciones Notas escritas y comentarios del equipo de test Datos generales de los participantes, de sus perfiles o de cuestionarios de pre-test El objetivo es encontrar problemas reales en el producto y en el proceso de desarrollo del mismo
42 Métodos de evaluación - Test Pensando en voz altaSe pide a los usuarios que expresen en voz alta sus pensamientos, sentimientos y opiniones mientras interaccionan con el sistema Es muy útil en la captura de un amplio rango de actividades cognitivas Modelo mental Terminología Si intervienen dos usuarios a la vez se tiene el método de interacción constructiva es más natural pero gasta el doble de usuarios
43 Métodos de evaluación - Test Otros métodosTest retrospectivo Se graba en vídeo la sesión de test y se revisa posteriormente con el usuario. Permite obtener más comentarios, pero se tarda el doble o más Método del conductor El evaluador conduce al usuario en la dirección correcta mientras éste usa el sistema. El usuario puede preguntar cualquier aspecto relacionado con el sistema Este método se utiliza con usuarios inexpertos y permite descubrir sus necesidades de información
44 Métodos de evaluación ResumenInspección Evaluación heurística Recorridos cognitivos Inspección de estándares Indagación Observación de campo Grupos de discusión dirigidos Estudio de campo proactivo Entrevistas Cuestionarios Grabación del uso Test Medida de prestaciones Test remoto Pensando en voz alta Interacción constructiva Test retrospectivo Método del conductor
45 Métodos de evaluación En el ciclo de vidaRequisitos Desarrollo Uso 1.1 Evaluación heurística x x 1.2 Recorrido cognitivo x x 1.3 Inspección de estándares x 2.1 Observación de campo x x 2.4-5 Entrevistas, Cuestionario x x 3.1 Medida de prestaciones x x 3.3 Pensando en voz alta x x x
46 Costo de la usabilidad El costo es un aspecto importante a tener en cuenta al decidir entre los diferentes métodos de evaluación de la usabilidad Criterios para determinar el coste de un método de evaluación de la usabilidad: Personal necesario, número de usuarios, expertos en usabilidad y desarrolladores de software Tiempo necesario para recogida de datos y análisis Necesidad de coordinación, si el método requiere que los participantes estén presentes simultáneamente
47 Coste de la usabilidad Clasificación de costoBajo Evaluación heurística Medio Recorrido cognitivo Inspección por características Observación de campo Entrevistas Grabación de uso Estudio de campo proactivo Cuestionarios Lista de chequeo basado en escenarios Alto Focus group Medida de prestaciones Pensar en voz alta
48 Laboratorio de usabilidadEs un espacio especialmente adaptado para la realización de test de usabilidad Permite realizar cómodamente la fase de recogida de datos de los participantes en el test Dispone normalmente del siguiente equipamiento: Cámaras de control remoto Micrófonos inalámbricos Mesa de mezcla digital Escáner de entrada Grabadora VHS
49 Laboratorio de usabilidad FijoLaboratorio de usabilidad de Microsoft
50 Laboratorio de usabilidad Móvil
51 Principios … Guías de EstiloSimpson, Preece, Mandel, Dix, IBM Directrices Estándares De iure: ISO, ANSI, IEEE, W3C De facto: Sistema X-Windows, lenguaje C, Normas CUA Guías de Estilo Comerciales: Apple, Common User Access, IBM OS/2, DOS Windows Corporativas
52 Principios y directrices PrincipiosUn principio es una sentencia en un sentido muy amplio que normalmente está basada en la investigación hecha de cómo las personas aprenden y trabajan Están basados en ideas de alto nivel y de aplicación muy general. Por ejemplo: Asistencia: asistir al usuario en la realización de las diferentes tareas No especifican métodos para obtener sus objetivos. Son bastante abstractos
53 Principios y directrices DirectricesLas directrices recomiendan acciones basándose en un conjunto de principios de diseño. Son más específicas y requieren menos experiencia para entenderlas e interpretarlas que los principios Ejemplo relacionado con el principio de asistencia: Proporcionar ayuda contextual para cada opción y objeto sobre el que pueda posicionarse el cursor Las directrices son objetivos más específicos que los especialistas en IPO concretan a partir de los principios para usuarios, entornos y tecnologías diferentes Permiten asegurar consistencia en un sistema o familia Fundamental para las empresas de desarrollo de software
54 Estándares Los estándares pueden ser:Un estándar es un requisito, regla o recomendación basada en principios probados y en la práctica. Representa un acuerdo de un grupo de profesionales oficialmente autorizados a nivel local, nacional o internacional Los estándares pueden ser: Locales Nacionales Internacionales De iure: ISO, ANSI, IEEE, W3C De facto: Sistema X-Windows
55 Guías de estilo Para asegurar la consistencia de las diferentes partes de un sistema o de una familia de sistemas es fundamental para los desarrolladores basar sus diseños en un conjunto de principios y directrices Por este motivo es tan importante para las organizaciones que desarrollan software disponer de una guía que puedan seguir sus desarrolladores Estas guías se denominan guías de estilo y varían mucho en sus objetivos Comerciales: Apple, Common User Access, IBM OS/2, DOS Windows Corporativas
56 Guías de estilo Apple (1985)
57 Guías de estilo Apple (hoy)Guías de diseño: Introduction to Apple Human Interface Guidelines
58 Guías de estilo para la Web W3CEl W3C (Consorcio World Wide Web) alberga la Iniciativa de Accesibilidad Web (WAI), patrocinada por varias organizaciones Juegan un papel importante para crear sitios web accesibles WAI ofrece tres guías diferentes: Web Content Accessibility Guidelines (WCAG) Authoring Tool Accessibility Guidelines (ATAG) User Agent Accessibility Guidelines (UAAG)
59 Guía Web sitios gubernamentales Chile Capítulo 2: Aplicación de Estándares Capítulo 3: Diseño de Interfaces e Interacción Capítulo 5: De la Usabilidad a la Utilidad Evaluación Eurística Evaluación de usuarios
60 Conclusiones La evaluación es una parte muy importante del diseño y ha de hacerse durante todo el ciclo de vida Su objetivo es probar la funcionalidad y usabilidad del diseño, identificar y rectificar problemas Puede hacerse en el laboratorio o en el puesto de trabajo del usuario y en general es importante una participación activa por parte del usuario