1 Ingeniería Web: Marco de Medición y Evaluación de CalidadCurso de Posgrado Universidad Nacional de San Luis / La Rioja / Catamarca Ingeniería Web: Marco de Medición y Evaluación de Calidad Metodología WebQEM Fases, Modelos y Herram. Método Heurístico Conclusiones Contenidos Parte IV Dr. Luis Olsina GIDIS_Web, Dpto. de Informática, Facultad de Ingeniería, UNLPam © 2007 GIDIS_Web

2 Esquema Una Metodología de Inspección: WebQEMOtro Método: Método Heurístico Conclusiones

3 Taxonomía de Métodos de EvaluaciónClase de Método Taxonomía de Métodos de Evaluación Tipo de Método Tipo de Automatización Nivel de Esfuerzo -- Testing -- Inspección -- Consulta, ... -- Análisis de Log Files -- Evaluación Heurística -- Evaluación de Características, ... Fase -- Requerimientos -- Captura -- Análisis -- Recomendaciones -- Manual -- Semi-Automático -- Automático -- Fácil de Usar, Aprender -- Efectivo, Preciso -- Rango de Aplicabilidad

4 Ejemplo de Método de EvaluaciónClase de Método WebQEM Tipo de Método Tipo de Automatización Nivel de Esfuerzo -- Inspección -- Evaluación de Características y atributos Fase -- Análisis -- Recomendaciones -- Manual -- Automático -- Medianamente Fácil de Usar -- Efectivo

5 Motivaciones No había una Metodología Cuantitativa ampliamente reconocida para la evaluación de WebApps, en el tipo de Métodos de Inspección por Características. Al menos hasta WebQEM (2000) WebQUAL, 2QCV2Q ... Los procesos de Evaluación y Medición para que sean efectivos requieren no sólo soporte metodológico sino también tecnológico.

6 Problemática en la Evaluación¿La Evaluación de la Calidad, está basada en modelos y métricas de calidad, o está librada a la intuición y subjetividad de los evaluadores? ¿Los procedimientos de valoración de atributos y características, están centrados en modelos de agregación y métodos cuantitativos de cálculo, o en modelos cualitativos?

7 Problemática en la Evaluación¿Las decisiones fundamentales de la evaluación están centradas y dirigidas por el juicio de expertos, o por el juicio de los usuarios? ¿El ente a valorar, puede ser considerado simple o complejo, desde el punto de vista de la evaluación? ¿Cuáles son los componentes objetivos y subjetivos en el proceso de evaluación? ¿Los subjetivos pueden ser minimizados?

8 Propuesta de WebQEM Evaluar y Comparar la Calidad de Artefactos Webmás o menos complejos Basada en Modelos y Métricas de calidad Modelo de Calidad ISO (modelo mixto) Cuantificar atributos directos e indirectos Basada en modelos de Agregación de Atributos y Características Modelo de cálculo meramente aditivo Modelo de cálculo multi-atributo no lineal

9 Propuesta de WebQEM Centrada en el juicio de evaluadores expertos en el dominio Permita Trazabilidad en el proceso de evaluación Favorezca seguimiento y justificación de resultados Propuesta de Metodología Integral, Sistemática y Cuantitativa centrada en principios de IS para evaluar la Calidad de Aplicaciones Web “Si no sabemos dónde estamos parados un mapa no ayuda” Evaluar, para realizar recomendaciones

10 Propuesta de WebQEM: Fases“Si no sabemos dónde estamos parados un mapa no ayuda” Definición de los Requerimientos de Calidad Metas de Evaluación Perfil de Usuario (gerente, desarrollador, visitante) Definición de Requisitos No-funcionales Evaluación Elemental Considerando etapas de Diseño e Implementación Evaluación Parcial/Global Conclusión de la Evaluación Considerando Recomendaciones

11 Fases de WebQEM

12

13 El Modelo de Calidad ISO 9126-1Software Quality Reliability Suitability Accuracy Interoperability Security Compliance Functionality Maturity Fault Tolerance Recoverability Understandability Learnability Operability Attactiveness Time behaviour Resource utilization Analysability Changeability Stability Testeability Adaptability Instalability Co-existence Replaceability Usability Efficiency Maintainability Portability Characteristics Subcharacteristics

14 Usabilidad Usability : “The capability of the software product to be understood, learned, used and attractive to the user, when used under specified conditions” Comparación de Subcaracterísticas

15 Características y SubcaracterísticasUsabilidad Comprensión Global del Sitio Ayuda y Retroalimentación Aspectos de Interface Aspectos Estéticos Funcionalidad Búsqueda y Recuperación Navegación y Exploración Funciones y Contenido Específicos del Dominio (E-commerce, Museos, Universidades ...) Confiabilidad Enlaces Páginas Compatibilidad de Navegadores Eficiencia Performance Accesibilidad

16 Características y AtributosUsabilidad Comprensión Global del Sitio Esquema de Organización Global Tabla de Contenidos Mapa del Sitio Indices (Alfabéticos, Temáticos, Híbridos ...) Visita Guiada (convencional y/o virtual) Mapa de Imagen Aspectos de Interfaces y Estéticos Permanencia y Estabilidad en la Presentación de los Controles Principales Controles Directos Controles Indirectos Estabilidad Mantenimiento del Color de los Enlaces

17 Características y AtributosConfiabilidad Enlaces Enlaces Rotos Enlaces Inválidos Enlaces no Implementados Páginas Páginas Muertas Páginas bajo Construcción Errores de Ortografia

18 Atributos y Métricas Porcentaje de Enlaces Rotos de un SitioPorcentaje de Presencia de la propiedad ALT.

19 Evaluación Elemental Panorama

20 X = #Enlaces_Rotos / #Total_Enlaces_del_SitioMétrica Web y Criterio Elemental Métrica Porcentaje de Enlaces Rotos X = #Enlaces_Rotos / #Total_Enlaces_del_Sitio Indicador de Calidad Elemental IE = 1 (or 100%) si X = 0; IE = 0 (or 0%) si X >= X max ; otherwise IE = (X – X) / X si 0 < X < X donde X es algún umbral superior acordado, tal como 0.03

21 Preferencias de Calidad ElementalCaso de Estudio de E-bookstore

22 Evaluación Global Panorama

23 Evaluación Global Modelos de PuntajeModelo de Puntaje Aditivo (T.Gilb) Indicador Global =  (Peso componente x Indicator elemental) IG/P = P1 IE Pn IEn Modelo de Puntaje Lógico Multi-criterio (LSP) (Weighted Power Mean Model - J. Dujmovic) IG/P (r) = (P1 IE r1 + P2 IE r Pm IE r m) 1/ r Simultaneidad (“y lógico”) Reemplazabilidad (“o lógico”) Neutralidad

24 Evaluación Parcial: Modelo Aditivo 2.3 Specific Functionality and Contents for E-learning .…………………………………………………….. Virtual Learning Environment Features (for a WbIS) <.0.35> (?) Synchronous Communication and Collaboration Resources <0.40> (44.63) Class Session Palette <0.20> (60.00) Participation/Collaboration Mechanisms <0.25> (62.50) Hand Raising <0.25> (0) Class Member List <0.20> (100) Synchronized Web Navigation <0.15> (100) Assistant Instructor Participation <0.20> (50) Workgroup Facility <0.25> (70) Synchronous Resources. <0.25> (68.00) Streaming Slides <0.20> (0) Streaming Video <0.20> (100) Shared Applications (e.g., Whiteboard) <0.20> (50) Audio/Video Conference <0.20> (90) Chat <0.20> (100) Virtual Lab <0.30> (0.00) = * * * * * 100 = 68 %

25 Modelos de Estructuración y PuntajeLímites del Modelo de Agregación Meramente Aditivo Número limitado de componentes para la evaluación. peso promedio de cada componente es 1/n (o 100/n %). Imposibilidad de modelar requerimientos obligatorios. Imposibilidad de modelar requerimientos simultáneos. Imposibilidad de modelar requerimientos suficientes. Malgasto en el esfuerzo de la evaluación.

26 Modelo LSP con 17 Operadores Lógicos

27 Modelo LSP - Mecanismo de Agregación

28 Actividades en el Proceso de AgregaciónSelección del tipo de relación lógica entre elementos y/o componentes: es decir, cabe preguntarse: ¿es la relación entre las entradas con una polarización lógica conjuntiva, disyuntiva o neutra? Selección del tipo de función conforme a la relación de entradas entre elementos y/o componentes: es decir, la cuestión básica a considerar consiste en decidir ¿es la relación de entradas simétrica o asimétrica? Selección del operador conforme al nivel de intensidad de la polarización lógica Selección de la importancia relativa de cada entrada conforme a los requerimientos (esto es, la selección de los pesos)

29 Preferencias de Calidad Global

30 Consideraciones FinalesLos desarrollos Web tienen cada vez más complejidad añadida y están creciendo rápidamente Orientación a Documentación y a Funcionalidad de Aplicación Sin embargo, las prácticas recientes para desarrollos Web han sido mas bien ad-hoc Y el aseguramiento y el control de la calidad han sido, por lo general, procesos poco tenidos en cuenta. Urge un cambio de paradigma para minimizar la crisis en la Web Web QEM realiza un aporte ingenieril mediante el uso de un enfoque disciplinado y cuantitativo que se adecua a la evaluación, comparación, análisis y recomendaciones de la calidad Web

31 Consideraciones FinalesDescribimos las fases y actividades principales y los procedimientos para realizarlas. Fase de Definición y Especificación de los Requerimientos de Calidad Determinación de Metas y Perfil de Usuario Selección del Modelo de Calidad Modelo fijo de Calidad Defina su propio modelo Modelo mixto de Calidad Especificación del Arbol de Requerimientos Arbol de Requerimientos reusable para Dominios Web

32 Consideraciones FinalesFase de Diseño e Implementación de la Evaluación Elemental Criterios de Evaluación para cada Atributo Cuantificable Valores y Rangos Tipos de Criterios de Preferencia Elemental Marco Descriptivo (Plantillas) de Características y Atributos Favorece la creación de documentos hiperenlazados Modelo de Trazabilidad Recolección de datos Manual y Automático Website_MA

33 Consideraciones FinalesFase de Diseño e Implementación de la Evaluación Global Selección de un Modelo Cuantitativo que permita derivar y calcular Subcaracterísticas y Características de más alto nivel Modelo meramente aditivo, lineal Modelo no-lineal multiatributo, LSP Fortalezas y Debilidades Cálculo Automático WebQEM_Tool

34 Consideraciones FinalesFase de Análisis de Resultados y Recomendaciones Web-site QEM permite Comprender El estado del arte de Sitios Web Operativos Subcaracterísticas y Atributos Ausentes Problemas de Diseño (Interface, Navegación, Contenido, Performance, Funcionalidad ...) Requerimientos Pobremente Implementados Especificar y Controlar Requerimientos de Calidad para Nuevos Proyectos Web-site QEM permite realizar Recomendaciones para Mejorar la Calidad de Productos Web

35 Referencias Olsina L., 2000, “Metodología Cuantitativa para la Evaluación y Comparación de Calidad de Sitios Web”, Tesis doctoral defendida en Abril del 2000, Facultad de Ciencias Exactas, UNLP, La Plata. Olsina L., Papa, M.F., Souto, M.E., Rossi, G.; 2001, “Providing Automated Support for the Web Quality Evaluation Methodology”, Proceed. of the Fourth Workshop on Web Engineering, at the 10th International WWW Conference, Hong Kong, pp 1-11.

36 Referencias Olsina L., Rossi G., 2002, Measuring Web Application Quality with WebQEM, IEEE Multimedia, Vol. 9, Nº 4, pp Olsina, L.; Lafuente, G.J; Rossi, G.; 2000, E-commerce Site Evaluation: a Case Study, LNCS of Springer-Verlag; 1st International Conference on Electronic Commerce and Web Technology, London, UK.

37 Esquema Una Metodología de Inspección: WebQEMOtro Método: Método Heurístico Conclusiones

38 El Método de Evaluación HeurísticaClase de Método Evaluación Heurística Tipo de Método Tipo de Automatización Nivel de Esfuerzo -- Inspección -- Basada en Guías Heurísticas Fase -- Análisis -- Recomendaciones -- Manual -- Automático -- Fácil de Usar -- Efectivo en Costos -- Impreciso

39 Método de Evaluación HeurísticaEn Evaluación Heurística uno o más evaluadores (expertos en el dominio) evalúan independientemente un sitio Web, usando una Lista de Heurísticas. Heurísticas en el sentido de guías venidas de expertos Principios, Rule of Thumbs (Reglas Prácticas) Evaluación Heurística, es la tarea de estimar el estado de Usabilidad al aplicar RP establecidas y derivar un puntaje para el sitio basado en cuan próximo se cumplimentan los requerimientos establecidos (J. Nielsen).

40 Método de Evaluación HeurísticaEn Evaluación Heurística el resultado del proceso de evaluación es típicamente una lista de posibles problemas de Usabilidad; esto es, violaciones RoT. Los evaluadores luego de evaluar independientemente el sitio Web, determinan y asocian grados de severidad para cada potencial problema de Usabilidad.

41 Método de Evaluación HeurísticaEvaluación Heurística es el método de inspección más informal aunque efectivo en costos. Con frecuencia, con RoT contradictorias!!! Es un método rápido de aplicar, barato, fácil de usar.

42 Guías Heurísticas Heurísticas para el atributo Texto de PáginaUsers prefer pages with more content as opposed to breaking content over multiple pages (Landesman and Schroeder 2000). Keep text short; use 50% less text than in print publications (Nielsen 2000). Break text up into smaller units on multiple pages (Flanders 1998; Nielsen 2000). Heurísticas para el atributo Título de Página Use no more than 64 characters (Berners-Lee 1995). Use 2-6 words (40-60 characters) (Flanders 1998). Use different page titles for each page (Nielsen 2000).

43 Guías Heurísticas Heurísticas para el atributo Longitud del Texto del Enlace Use 2-4 words in text links (Nielsen 2000). Use links with 7-12 “useful" words (Sawyer and Schroeder 2000). Heurísticas para el atributo Banner de Propaganda Ads afect the user experience; integrate ads with content (Klee and Schroeder 2000). Usability dictates that ads should be eliminated (Nielsen 2000). Ads increase credibility (Kim and Fogg 1999).

44 Guías Heurísticas (segun Tate et al)An Advocacy Web Page is one sponsored by an organization attempting to influence public opinion (that is, one trying to sell ideas). URL frequently ends in .org. Criterion #1: AUTHORITY Is it clear what organization is responsible for the contents of the page? Is there a link to a page describing the goals of the organization? Is there a way of verifying the legitimacy of this organization? That is, is there a phone number or postal address to contact for more information? (Simply an address is not enough.) Is it clear whether this is a page from the national or local chapter of the organization? Is there a statement giving the organization's name as copyright holder?

45 Guías Heurísticas (segun Tate et al)Criterion #2: ACCURACY Are the sources for any factual information clearly listed so they can be verified in another source? (If not, the page may still be useful to you as an example of the ideas of the organization, but it is not useful as a source of factual information). Is the information free of grammatical, spelling, and typographical errors? (These kinds of errors not only indicate a lack of quality control, but can actually produce inaccuracies in information.)

46 Guías Heurísticas (segun Tate et al)Criterion #3: OBJECTIVITY Are the organization's biases clearly stated? If there is any advertising on the page, is it clearly differentiated from the informational content? Criterion #4: CURRENCY Are there dates on the page to indicate: When the page was written? When the page was first placed on the Web? When the page was last revised? Are there any other indications that the material is kept current?

47 Guías Heurísticas (segun Tate et al)Criterion #5: COVERAGE Is there an indication that the page has been completed, and is not still under construction? Is it clear what topics the page intends to address? Does the page succeed in addressing these topics, or has something significant been left out? Is the point of view of the organization presented in a clear manner with its arguments well supported?

48 Referencias Alexander, J.; Tate, M., 1999, “Web Wisdom: How to Evaluate and Create Information Quality on the Web”, Lawrence Erlbaum Pub., 1999. Nielsen, J., Molich, R; Snyder, C; Farrel, S; 2001, “E-Commerce User Experience”, Nielsen Norman Group.

49 Esquema Una Metodología de Inspección: WebQEMOtro Método: Método Heurístico Conclusiones

50 Conclusiones Web Engineering is concerned with the establishment and use of sound scientific, engineering and management principles and disciplined and systematic approaches to the successful development, control, deployment and maintenance of high quality WebApps within budgetary constraints Debemos seleccionar los métodos y prácticas apropiadas en el momento adecuado con el fin de Asegurar la Calidad de WebApps One size does not fit all needs and preferences … however, we ought to use some of them!