1 Ingeniería Web: Marco de Medición y Evaluación de CalidadCurso de Posgrado Universidad Nacional de San Luis / La Rioja / Catamarca Ingeniería Web: Marco de Medición y Evaluación de Calidad Componentes de la Evaluación Procesos Medición-Evaluación Taxonomía de Métodos/Técnicas Contenidos Parte III Dr. Luis Olsina GIDIS_Web, Facultad de Ingeniería, UNLPam, La Pampa - Argentina TE Ext. 6501 © 2007 GIDIS_Web

2 Esquema Componentes de la Evaluación Procesos de EvaluaciónTaxonomía de Métodos y Técnicas

3 Beneficios de la EvaluaciónComprender, Analizar (los atributos de un ente) Controlar (la calidad del producto, …) Predecir (el tiempo y costo de un proyecto) Mejorar (la calidad de un producto, proceso …) Conceptos Medibles (Factores) Calidad, Calidad en Uso, Productividad, Costo … Fases del Ciclo de Vida del Software Exploración, Desarrollo, Mantenimiento.

4 Componentes en la EvaluaciónRequerimientos de Evaluación Metas, Restricciones (Seguridad, Disponibilidad, etc.) Especificación de Requisitos, Definición de Criterios, Técnicas, Métricas, Indicadores… Captura de Datos Recolección de Datos Automática, Semiautomática, Manual Análisis Técnicas Estadísticas, Visualización Gráfica, Tablas, etc. Interpretación de los datos. Recomendaciones Doc. de Conclusiones, Propuestas de Mejora

5 Esquema Componentes de la Evaluación Procesos de Medición/EvaluaciónTaxonomía de Métodos y Técnicas

6 Estándares ISO sobre Medición…Diversos Estándares (principalmente ISO) tratan sobre el modelo de calidad de software (ISO 9126), el proceso de medición (ISO 15939), el proceso de evaluación (ISO 14598) otros Con frecuencia, no existe un claro consenso entre los mismos términos en diferentes documentos o, a veces, términos ausentes Necesidad de una Ontología para el dominio de Métricas e Indicadores (y Procesos de Medición/Evaluación)

7 Modelo de Medición (ISO/IEC 15939)

8 Proceso de Evaluación Los Procesos para Evaluación de la ISO que pasaremos a describir, son en su especificación original suficientemente genéricos y abstractos personalizables a las distintas necesidades del proceso de evaluación de calidad de artefactos de software y artefactos Web Los Procesos para Evaluación no prescriben ni recomiendan métodos ni procedimientos específicos para realizar las actividades sino que representan un marco conceptual genérico.

9 Proceso de Evaluación Fases o etapas fundamentales del Proceso de Evaluación definido en el Estándar ISO 9126 del 1991. Definición de Requerimientos de Calidad Preparación de la Evaluación Ejecución de la Evaluación

10 Proceso de Evaluación ISO 9126-1991

11 Niveles de Aceptabilidad en ISO 9126

12 Proceso de Evaluación Fases o etapas fundamentales del Proceso de Evaluación definido en el Estándar ISO del ‘98. Establecimiento de los Requerimientos de Evaluación Especificación de la Evaluación Diseño de la Evaluación Ejecución de la Evaluación, y Conclusión de la Evaluación

13 Proceso de Evaluación ISO 14598-5

14 Proceso de Evaluación ISO 14598-51 Establecimiento de los Requerimientos de Evaluación. Objetivo: el propósito de este proceso es describir las metas de la evaluación. Tales metas se relacionan con el uso del artefacto en consideración de uno o varios puntos de vista de usuario y los riesgos asociados El dominio de la aplicación del producto a evaluar debe ser considerado; aspectos críticos como seguridad, económicos, legales o de contexto deben ser tomados en cuenta.

15 Proceso de Evaluación ISO 14598-51. Nombre de los Subprocesos para Establecimiento de los Requerimientos de Evaluación . 1.1  Proposición de los requerimientos por parte del solicitante 1.2  Declaración del grado de cobertura en la evaluación por parte del solicitante 1.3  Soporte del solicitante en analizar la meta de la evaluación y en describir los requerimientos con el evaluador 1.4  Explicación del grado de confianza y rigor de la evaluación al evaluador 1.5  Acordar los requerimientos de evaluación

16 Proceso de Evaluación ISO 14598-52 Especificación de la Evaluación. Objetivo: este proceso consiste en definir el alcance de la evaluación y las mediciones a realizarse en los atributos del artefacto a evaluar y sus componentes. El nivel de detalle de la salida (el documento de especificación de la evaluación) debe ser tal de modo que se asegure la repetitividad y reproducibilidad del proceso

17 Proceso de Evaluación ISO 14598-52. Nombre de los Subprocesos para Especificación de la Evaluación. 2.1 Analizando la descripción del producto 2.2 Especificando las mediciones 2.3 Verificando las especificaciones producidas en consideración con los requerimientos

18 Proceso de Evaluación ISO 14598-53 Diseño de la Evaluación. Objetivo: consiste en documentar los métodos y procedimientos a utilizar por el evaluador para realizar las mediciones y verificaciones contenidas en el documento de especificación de la evaluación. El evaluador producirá como resultado de este proceso el plan de la evaluación que describe los recursos necesarios (humanos, materiales, tecnológicos, etc.) y la distribución y asignación de los mismos a las actividades.

19 Proceso de Evaluación ISO 14598-53. Nombre de los Subprocesos para Diseño de la Evaluación. 3.1 Documentando los métodos y procedimientos de evaluación y produciendo un plan 3.2 Programando las actividades conforme a los recursos disponibles

20 Proceso de Evaluación ISO 14598-54 Ejecución de la Evaluación. Objetivo: el objetivo de este proceso consiste en obtener los resultados al realizar todas las acciones para medir y verificar el producto conforme a los requerimientos de evaluación, según lo especificado y planeado. Al final del proceso se completan los registros de evaluación y el borrador del informe de evaluación.

21 Proceso de Evaluación ISO 14598-54. Nombre de los Subprocesos para Ejecución de la Evaluación. 4.1 Administrando los componentes del producto provistos por el solicitante 4.2 Administrando los datos producidos por la evaluación (incluyendo registros e informes) 4.3 Administrando las herramientas necesarias por la evaluación 4.4 Administrando las acciones de evaluación fuera del sitio acordado 4.5 Administrando los requerimientos surgidos por el uso de técnicas específicas

22 Proceso de Evaluación ISO 14598-55 Conclusión de la Evaluación. Objetivo: este proceso consiste en la revisión del borrador entre las partes (solicitante y evaluador) y en poner a disponibilidad los documentos finales. Subproceso 5.1 Revisión conjunta del informe de evaluación:

23 Proceso de Evaluación Comentarios FinalesProceso de Evaluación suficientemente genérico y abstracto Especifica detalladamente, a procesos y subprocesos, entradas, salidas, y puntos de control para cada uno de los cinco procesos. No prescribe ni recomienda, metodologías, métodos, técnicas ni herramientas específicas para realizar las actividades sino que representan un marco conceptual genérico.

24 Esquema Componentes de la Evaluación Procesos de EvaluaciónTaxonomía de Métodos y Técnicas

25 Clases de Métodos de EvaluaciónCategorías de Métodos Testing Inspección Consulta (Inquiry) Modelado Analítico Simulación Los Métodos y Técnicas a Aplicar pueden ser: Cuantitativos versus Cualitativos Automáticos, Semiautomáticos o Manuales Desde Fácil a Difícil de Usar y Aprender

26 Tipos de Métodos de EvaluaciónTipos de Métodos y Técnicas Protocolo Thinking Aloud Análisis de Log Files Evaluación Heurística Revisión de Guías Inspección de Características y Atributos En cumplimiento de estándares (ISO 9126) Entrevistas Cuestionarios Análisis Cognitivo de Tareas Modelos Programables de Usuario, …

27 Taxonomía de Métodos de EvaluaciónClase de Método Taxonomía de Métodos de Evaluación Tipo de Método Tipo de Automatización Nivel de Esfuerzo -- Testing -- Inspección -- Consulta, ... -- Análisis de Log Files -- Evaluación Heurística -- Evaluación de Características, ... Fase -- Requerimientos -- Captura -- Análisis -- Recomendaciones -- Manual -- Semi-Automático -- Automático -- Fácil de Usar, Aprender -- Efectivo, Preciso -- Rango de Aplicabilidad

28 Ejemplo de Método de EvaluaciónClase de Método Bobby Tipo de Método Tipo de Automatización Nivel de Esfuerzo -- Inspección -- Revisión de Guías Fase -- Captura -- Análisis -- Recomendaciones -- Automático -- Fácil de Usar, Aprender -- Efectivo

29 Descripción de Métodos de EvaluaciónSe prueba la relevancia, consistencia, precisión, etc. de los contenidos Testing de Contenido Se testean componenetes de software, revisando el código o simplemente la funcionalidad a partir de entradas/salidas Testing de Código, Caja Negra y Caja Blanca Los testers y usuarios no están en el mismo lugar físico Testing Remoto El tester o el software analiza el registro de datos, que refleja lo que el usuario hizo Análisis de Web Log Files Cuán rápido es el sistema? Y con carga? Y llegado a niveles de stress? Testing de Performance del Sistema Extensión del anterior, en donde el tester pregunta al usuario Protocolo de Realizar Preguntas Los usuarios conversan en voz alta durante el test, por ejemplo durante un test de Interface de Usuario. Protocolo Thinking Aload Descripción Tipo de Método: TESTING

30 Técnicas de Evaluación para TestingTesting de Performance del Sistema métricas como Tiempo de Respuesta, Rendimiento, etc. Testing de Performance del Usuario métricas como Tiempo para Completar una Tarea, Tasa de Exito para Completar Tareas (Success Rate) Análisis de Web Log Files métricas como Visitas por Páginas, Páginas por Visita Otras Técnicas de Testing

31 Descripción de Métodos de EvaluaciónLos evaluadores valoran atributos de características para analizar la conformidad con estándares (ISO, CMM) Inspección de Estándares Los evaluadores miden al ente a partir de atributos y características (Usabilidad, etc.) Inspección de Características Se reúne un equipo de inspectores (tester, desarrollador,etc.) y chequean un producto Inspección Formal Los expertos identifican violaciones a una lista de heurísticas . Es un método informal Evaluación Heurística Los evaluadores (expertos) chequean la conformidad del producto con un conjunto due guías establecidas. Revisión de Guías Descripción Tipo Método: INSPECCION

32 Técnicas de Evaluación para InspecciónRevisión de Guías, Por ej., Guías de Accesibilidad WAI Evaluación Heurística, Por ej., J. Nielsen Inspección de Características Por ej., ISO 9126, métricas para Confiabilidad, Eficiencia, etc. WebQEM Otras Técnicas de Inspección

33 Descripción de Métodos de EvaluaciónTipo de Método: CONSULTA Descripción Observación de Campo, Entrevista Contextual Los evaluadores visitan el lugar de trabajo de los usuarios y observan su trabajo. Puede entrevistar a los mismos Entrevista Es una sesión de discusión ente el usuario y el entrevistador. Estructurada, o no Cuestionarios Es un instrumento de medición para captar por ej. Satisfacción del usuario, etc. Feedback del Usuariuo Es un medio por el cual el usuario deja sus comentarios y sugerencias Grupos Focalizados Grupo de cinco a diez usuarios, donde se discuten aspectos del producto. El evaluador juega el rol de moderador

34 Técnicas de Evaluación para Consulta (Inquiry)Entrevistas Estructuradas, Semiestructuradas Surveys Cuestionarios Abiertos, Cerrados, etc. Retroalimentación de Usuarios Otras Técnicas de Consulta