1 ” Manejo de incidentes, Gestión de operaciones y soporte a usuarios” Roberto Pinedo Director ----------------------------------------------------- Marco Vera Jefe División Tecnología y Desarrollo
2 Agenda 1.Manejo de incidentes y soporte de usuarios a)Organigrama de Equipo Operaciones b)Clasificación de Incidentes c)Flujo Incidentes y soporte Usuarios d)Indicadores de incidentes y mantenciones 2012 e)Cola de mantenciones evolutivas - Correctivas f)Proyección de mantenciones g)Comportamiento resolución de incidentes h)Promedio escalamiento incidentes i)Worflow de Incidentes 2.Gestión de operaciones a)Ingeniería de Sistemas b)Tipos de Incidentes tratados c)Actividades realizadas d)Sitios administrados 3.Plan de recuperación de desastre a)Metodología de DRP b)Metodología de Riesgo c)Definiciones básicas de Riesgo d)Definiciones avanzadas de Riesgo
3 Agenda 1.Manejo de incidentes y soporte de usuarios a)Organigrama de Equipo Operaciones b)Clasificación de Incidentes c)Flujo Incidentes y soporte Usuarios d)Indicadores de incidentes y mantenciones 2012 e)Cola de mantenciones evolutivas - Correctivas f)Proyección de mantenciones g)Comportamiento resolución de incidentes h)Promedio escalamiento incidentes i)Worflow de Incidentes 2.Gestión de operaciones a)Ingeniería de Sistemas b)Tipos de Incidentes tratados c)Actividades realizadas d)Sitios administrados 3.Plan de recuperación de desastre a)Metodología de DRP b)Metodología de Riesgo c)Definiciones básicas de Riesgo d)Definiciones avanzadas de Riesgo
4 Manejo de Incidentes / Organigrama de Equipo Operaciones
5 Agenda 1.Manejo de incidentes y soporte de usuarios a)Organigrama de Equipo Operaciones b)Clasificación de Incidentes c)Flujo Incidentes y soporte Usuarios d)Indicadores de incidentes y mantenciones 2012 e)Cola de mantenciones evolutivas - Correctivas f)Proyección de mantenciones g)Comportamiento resolución de incidentes h)Promedio escalamiento incidentes i)Worflow de Incidentes 2.Gestión de operaciones a)Ingeniería de Sistemas b)Tipos de Incidentes tratados c)Actividades realizadas d)Sitios administrados 3.Plan de recuperación de desastre a)Metodología de DRP b)Metodología de Riesgo c)Definiciones básicas de Riesgo d)Definiciones avanzadas de Riesgo
6 Manejo de Incidentes / Clasificación de incidentes TOP DE CLASIFICACION DE INCIDENTES 1. MODIFICACIÓN DE DATOS CRITIICOS Razones Sociales Nombres de Empresa Rut Tipos de Empresa [Naturales / Jurídicas] Giros. 2. CLAVES O LOGIN Desbloqueo Cuentas 3. ORDEN DE COMPRA Errores en Flujo de Creación y Recepción del proceso por parte del Proveedor y Comprador. Incluyen Errores por datos y Aplicativo 4. LICITACIONES Errores en Flujo de Creación y Recepción del proceso por parte del Proveedor y Comprador. Incluyen Errores por Datos y Aplicativo TOP DE CLASIFICACION DE INCIDENTES 1. MODIFICACIÓN DE DATOS CRITIICOS Razones Sociales Nombres de Empresa Rut Tipos de Empresa [Naturales / Jurídicas] Giros. 2. CLAVES O LOGIN Desbloqueo Cuentas 3. ORDEN DE COMPRA Errores en Flujo de Creación y Recepción del proceso por parte del Proveedor y Comprador. Incluyen Errores por datos y Aplicativo 4. LICITACIONES Errores en Flujo de Creación y Recepción del proceso por parte del Proveedor y Comprador. Incluyen Errores por Datos y Aplicativo
7 Agenda 1.Manejo de incidentes y soporte de usuarios a)Organigrama de Equipo Operaciones b)Clasificación de Incidentes c)Flujo Incidentes y soporte Usuarios d)Indicadores de incidentes y mantenciones 2012 e)Cola de mantenciones evolutivas - Correctivas f)Proyección de mantenciones g)Comportamiento resolución de incidentes h)Promedio escalamiento incidentes i)Worflow de Incidentes 2.Gestión de operaciones a)Ingeniería de Sistemas b)Tipos de Incidentes tratados c)Actividades realizadas d)Sitios administrados 3.Plan de recuperación de desastre a)Metodología de DRP
8 Manejo de Incidentes / Flujo incidentes y soporte usuarios CIERRE DE INCIDENTE MANTENCION Base de Datos.NET Proveedores Compradores Ciudadano Nivel 1 Mesa de Ayuda Nivel 1 Mesa de Ayuda Nivel 2 División Clientes Nivel 2 División Clientes Nivel 3 Operaciones Nivel 3 Operaciones Vías: Teléfono Formulario Correo Transparencia SLA -SLA Máximo de 6 Hrs para aquellos casos que se relacionan con la entrega de claves, creación/modificación de usuarios o Unidades de Compra/Proveedora. -SLA Máximo de 10 Hrs para el resto de los incidentes. -SLA Incidencia VIP atención inmediata ? ? -SQL STUDIO -Ambiente Pruebas -SLA -VISUAL STUDIO -TFS -SHAREPOINT QA Desarrollo de Mantenciones -Express. -Despliegue en producción inmediata no dependiente. -SCRIPT, SP, ASPX, WEB CONFIG, HTML. -Normal. -Despliegue en producción dependiente de Módulos Transaccionales. -.NET. NIVEL 1 (CALL CENTER) -Dotación de 40 personas. -Resolución de incidentes de baja complejidad o usabilidad. NIVEL 2 (AREA DE CLIENTES) -Dotación de 5 personas. -Resolución de incidentes de media y alta complejidad mayormente asociados a procesos comerciales (LC, Ofertas, OC) NIVEL 3 (AREA DE OPERACIONES) -Dotación de 4 Analistas, 1 Supervisor, 4 Ingenieros de Sistemas, 3 Desarrolladores y Jefe de Operaciones. -Resolución de incidentes por Base de Datos. -Desarrollo de soluciones Express y Normales en incidencias transversales por aplicativo.
9 Agenda 1.Manejo de incidentes y soporte de usuarios a)Organigrama de Equipo Operaciones b)Clasificación de Incidentes c)Flujo Incidentes y soporte Usuarios d)Indicadores de incidentes y mantenciones 2012 e)Cola de mantenciones evolutivas - Correctivas f)Proyección de mantenciones g)Comportamiento resolución de incidentes h)Promedio escalamiento incidentes i)Worflow de Incidentes 2.Gestión de operaciones a)Ingeniería de Sistemas b)Tipos de Incidentes tratados c)Actividades realizadas d)Sitios administrados 3.Plan de recuperación de desastre a)Metodología de DRP
10 INCIDENTES GESTIONADOS POR OPERACIONES -Peak mas alto de incidentes corresponde a 1273 -Promedio Diario de Incidentes Gestionados es de 45. -Promedio Mensual de Incidentes Gestionados es de 960. -Comunicación Directa con el área de Mantenciones para Reportar Incidencias Criticas y Vip. -Gestión de Analistas Considera Solución de errores por Base de Datos. -Gestión de Desarrolladores Considera Solución Por Líneas de Código. INCIDENTES GESTIONADOS POR OPERACIONES -Peak mas alto de incidentes corresponde a 1273 -Promedio Diario de Incidentes Gestionados es de 45. -Promedio Mensual de Incidentes Gestionados es de 960. -Comunicación Directa con el área de Mantenciones para Reportar Incidencias Criticas y Vip. -Gestión de Analistas Considera Solución de errores por Base de Datos. -Gestión de Desarrolladores Considera Solución Por Líneas de Código. MANTENCIONES DE DESARROLLO INGRESADAS -Peak mas alto Mantenciones Ingresadas es de 54. -Promedio Mensual de Mantenciones Ingresadas es de 36. -Coordinación (Comité) con Otras Áreas para Categorizar Criticidad de Mantenciones. MANTENCIONES DE DESARROLLO INGRESADAS -Peak mas alto Mantenciones Ingresadas es de 54. -Promedio Mensual de Mantenciones Ingresadas es de 36. -Coordinación (Comité) con Otras Áreas para Categorizar Criticidad de Mantenciones. MANTENCIONES DE DESARROLLO FINALIZADAS -Peak mas alto Mantenciones en producción es de 60. -Promedio Mensual de Desarrollos es de mes es de 30. MANTENCIONES DE DESARROLLO FINALIZADAS -Peak mas alto Mantenciones en producción es de 60. -Promedio Mensual de Desarrollos es de mes es de 30. Manejo de Incidentes / Indicadores de incidentes y mantenciones 2012
11 Agenda 1.Manejo de incidentes y soporte de usuarios a)Organigrama de Equipo Operaciones b)Clasificación de Incidentes c)Flujo Incidentes y soporte Usuarios d)Indicadores de incidentes y mantenciones 2012 e)Cola de mantenciones evolutivas - Correctivas f)Proyección de mantenciones g)Comportamiento resolución de incidentes h)Promedio escalamiento incidentes i)Worflow de Incidentes 2.Gestión de operaciones a)Ingeniería de Sistemas b)Tipos de Incidentes tratados c)Actividades realizadas d)Sitios administrados 3.Plan de recuperación de desastre a)Metodología de DRP
12 - Grafico (1) indica la cantidad neta en espera de la cola de mantenciones y segmentada por tipo Evolutivo y Correctivo. - Grafico (2) con indica cantidad de mantenciones desde que se genero el proceso. - Grafico (3) con diseño de barras indica la cantidad neta en espera de la cola de mantenciones. - Grafico (4) con diseño circular indica el detalle porcentual de la cola de mantenciones diferenciando los tipos “Evolutivos” (controles de cambio a la aplicación productiva) y “Correctivos” (errores de la aplicación productiva). - Grafico (1) indica la cantidad neta en espera de la cola de mantenciones y segmentada por tipo Evolutivo y Correctivo. - Grafico (2) con indica cantidad de mantenciones desde que se genero el proceso. - Grafico (3) con diseño de barras indica la cantidad neta en espera de la cola de mantenciones. - Grafico (4) con diseño circular indica el detalle porcentual de la cola de mantenciones diferenciando los tipos “Evolutivos” (controles de cambio a la aplicación productiva) y “Correctivos” (errores de la aplicación productiva). Mantenciones 2012 Ingresadas409 Finalizadas319 Pendientes (*)90 Manejo de Incidentes / Cola de mantenciones Evolutivas - Correctivas
13 Agenda 1.Manejo de incidentes y soporte de usuarios a)Organigrama de Equipo Operaciones b)Clasificación de Incidentes c)Flujo Incidentes y soporte Usuarios d)Indicadores de incidentes y mantenciones 2012 e)Cola de mantenciones evolutivas - Correctivas f)Proyección de mantenciones g)Comportamiento resolución de incidentes h)Promedio escalamiento incidentes i)Worflow de Incidentes 2.Gestión de operaciones a)Ingeniería de Sistemas b)Tipos de Incidentes tratados c)Actividades realizadas d)Sitios administrados 3.Plan de recuperación de desastre a)Metodología de DRP
14 Manejo de Incidentes / Proyección de mantenciones
15 Agenda 1.Manejo de incidentes y soporte de usuarios a)Organigrama de Equipo Operaciones b)Clasificación de Incidentes c)Flujo Incidentes y soporte Usuarios d)Indicadores de incidentes y mantenciones 2012 e)Cola de mantenciones evolutivas - Correctivas f)Proyección de mantenciones g)Comportamiento resolución de incidentes h)Promedio escalamiento incidentes i)Worflow de Incidentes 2.Gestión de operaciones a)Ingeniería de Sistemas b)Tipos de Incidentes tratados c)Actividades realizadas d)Sitios administrados 3.Plan de recuperación de desastre a)Metodología de DRP
16 Base de Conocimiento (Base of Knowledge) Nivel 1 Mesa de Ayuda Nivel 1 Mesa de Ayuda Nivel 2 División Clientes Nivel 2 División Clientes Nivel 3 Operaciones Nivel 3 Operaciones Patrones de Comportamiento (Indican Tendencias) Lecciones Aprendidas (Equipo de Trabajo) Resolución Equipo SWAT (Mejora Continua) Manejo de Incidentes / Comportamiento resolución de incidentes
17 Agenda 1.Manejo de incidentes y soporte de usuarios a)Organigrama de Equipo Operaciones b)Clasificación de Incidentes c)Flujo Incidentes y soporte Usuarios d)Indicadores de incidentes y mantenciones 2012 e)Cola de mantenciones evolutivas - Correctivas f)Proyección de mantenciones g)Comportamiento resolución de incidentes h)Promedio escalamiento incidentes i)Worflow de Incidentes 2.Gestión de operaciones a)Ingeniería de Sistemas b)Tipos de Incidentes tratados c)Actividades realizadas d)Sitios administrados 3.Plan de recuperación de desastre a)Metodología de DRP
18 Manejo de Incidentes / Promedio escalamiento incidentes Flujo de Ingreso de Incidentes 2012 Escalados Nivel 1 - 3 Escalados Nivel 2 - 3 Total Incidentes Cantidad10.05049010.540 Porcentaje95%5%100% Nivel 1 Mesa de Ayuda Nivel 1 Mesa de Ayuda Nivel 2 Clientes Nivel 2 Clientes Nivel 3 Operaciones Nivel 3 Operaciones 960 incidentes promedio al mes se escalan entre el nivel 1 (mesa de ayuda) y Operaciones. 45 incidentes promedio al mes se escalan entre el nivel 2 (división de clientes) y Operaciones. 15 incidentes promedio al mes, procesados por operaciones son solucionados por el área de mantenciones.
19 Agenda 1.Manejo de incidentes y soporte de usuarios a)Organigrama de Equipo Operaciones b)Clasificación de Incidentes c)Flujo Incidentes y soporte Usuarios d)Indicadores de incidentes y mantenciones 2012 e)Cola de mantenciones evolutivas - Correctivas f)Proyección de mantenciones g)Comportamiento resolución de incidentes h)Promedio escalamiento incidentes i)Worflow de Incidentes 2.Gestión de operaciones a)Ingeniería de Sistemas b)Tipos de Incidentes tratados c)Actividades realizadas d)Sitios administrados 3.Plan de recuperación de desastre a)Metodología de DRP
20 Manejo de Incidentes / Worflow de Incidentes
21 Agenda 1.Manejo de incidentes y soporte de usuarios a)Organigrama de Equipo Operaciones b)Clasificación de Incidentes c)Flujo Incidentes y soporte Usuarios d)Indicadores de incidentes y mantenciones 2012 e)Cola de mantenciones evolutivas - Correctivas f)Proyección de mantenciones g)Comportamiento resolución de incidentes h)Promedio escalamiento incidentes i)Worflow de Incidentes 2.Gestión de operaciones a)Ingeniería de Sistemas b)Tipos de Incidentes tratados c)Actividades realizadas d)Sitios administrados 3.Plan de recuperación de desastre a)Metodología de DRP
22 Proveedor de Servicios Plataforma Windows 2008 Server R2. SQL SERVER 2008 R2 PHP, Joomla Servicios de Monitoreo Monitoreo Ingeniería de Monitoreo Aseguramiento de la plataforma. Servicio a Usuarios Servicios a Usuarios Instalaciones a distintos ambientes. Actualizaciones Mantenciones Accesos Ambiente de QA Servidor Web Servidor de Aplicaciones Ambiente de Pre-Producción Servidor Web Servidor de Aplicaciones Ambiente Productivo Servidores Web (8) Servidor de Aplicaciones (5) Ingeniería de Sistemas Gestión de Operaciones / Ingeniería de Sistemas
23 Agenda 1.Manejo de incidentes y soporte de usuarios a)Organigrama de Equipo Operaciones b)Clasificación de Incidentes c)Flujo Incidentes y soporte Usuarios d)Indicadores de incidentes y mantenciones 2012 e)Cola de mantenciones evolutivas - Correctivas f)Proyección de mantenciones g)Comportamiento resolución de incidentes h)Promedio escalamiento incidentes i)Worflow de Incidentes 2.Gestión de operaciones a)Ingeniería de Sistemas b)Tipos de Incidentes tratados c)Actividades realizadas d)Sitios administrados 3.Plan de recuperación de desastre a)Metodología de DRP
24 TOP DE CLASIFICACION DE INCIDENTES -Otros 1- Accesos de Datos 2- Problemas de Accesos a BBDD 3- Revisión de Sitio de QA 4- Actualización de BBDD. 5-Carga y Ejecución de Script en Producción 6- Ejecución de Script de BBDD en Producción 7 - Problemas de Accesos 8- Ejecutar Querys 9-Carga de Script en TestQA -10- Despliege en TestQA TOP DE CLASIFICACION DE INCIDENTES -Otros 1- Accesos de Datos 2- Problemas de Accesos a BBDD 3- Revisión de Sitio de QA 4- Actualización de BBDD. 5-Carga y Ejecución de Script en Producción 6- Ejecución de Script de BBDD en Producción 7 - Problemas de Accesos 8- Ejecutar Querys 9-Carga de Script en TestQA -10- Despliege en TestQA Subidas a Producción -Express. -139 Subidas de SCRIPT, SP, ASPX, WEB CONFIG, HTML. -Normal. -96 subidas a producción de Módulos Transaccionales. Gestión de Operaciones / Tipos de Incidentes tratados
25 Agenda 1.Manejo de incidentes y soporte de usuarios a)Organigrama de Equipo Operaciones b)Clasificación de Incidentes c)Flujo Incidentes y soporte Usuarios d)Indicadores de incidentes y mantenciones 2012 e)Cola de mantenciones evolutivas - Correctivas f)Proyección de mantenciones g)Comportamiento resolución de incidentes h)Promedio escalamiento incidentes i)Worflow de Incidentes 2.Gestión de operaciones a)Ingeniería de Sistemas b)Tipos de Incidentes tratados c)Actividades realizadas d)Sitios administrados 3.Plan de recuperación de desastre a)Metodología de DRP
26 Soporte de Servicio Asegurar, Alinear, Mejorar, Solicitudes Soporte de Servicio Asegurar, Alinear, Mejorar, Solicitudes Monitoreo Alertar, Analizar, Elaborar Métricas Monitoreo Alertar, Analizar, Elaborar Métricas Supervisión Medir, Asegurar, Supervisar Supervisión Medir, Asegurar, Supervisar Servicio a Proyectos Planificar, Distribuir, Subir Servicio a Proyectos Planificar, Distribuir, Subir Servicio TI a las Áreas de la Institución Definición y uso de SLAs. Mejorar el rendimiento y la rentabilidad de TI. Alinear con los procesos del negocio. Monitorear los procesos transaccionales. Monitorear los servicios operacionales del proveedor. Analizar las tendencias y el uso real de ellas. Prevenir posibles caídas del sistema. Elaborar métricas que permitan evaluar la capacidad real y su impacto en la calidad de servicio. Medir el rendimiento de la infraestructura. Uso de SLAs. Supervisar al proveedor de servicio. Planes de Contingencia. Disaster Recovery. Mejora Continúa Racionalizar el uso de la infraestructura TI. Redistribuir los recursos, para asegurar la capacidad suficiente de los servicios críticos, si fuese necesario. Planificar la demanda a corto y largo plazo. Puestas en marcha de proyectos en los distintos ambientes. ISO 27000 Continuidad Operacional Mejora Continua Procesos Metodología Ingeniería de Sistemas Gestión de Operaciones / Actividades realizadas
27 Gestión de Operaciones Directorio de Operaciones Infraestructura Tiempos de respuesta. Uptime = 99,6 Bitácora de contingencias
28 Discos de Estado Solido Discos de Fibra de Canal Discos SATA TOTAL = 90 TeraBytes libres después de redundancia. 520 Servidores Virtuales + 8 fiscos (32 Hojas Blade Matrix) + HP 3PAR Storage
29 Arquitectura de 3PAR
30 DesarrolloQ&A Pre Producción ProducciónFormación Adjuntos Notificaciones Email corporativo Impresión corporativa Administración Proxy Active Directory MPCMFast DBFast DBFast DBFast DBFast TFS
31 Tiempos de respuesta, muestra 3 últimos meses. Aumento de conexiones concurrentes Se agregan dos nuevos servidores web y uno remoting.
32 Los tiempos de respuesta se mantienen entre 0 y 1,5 segundos, a excepción de lo siguiente: InteracciónTiempo Respuesta Máximo. Tiempo Respuesta Mínimo Acción Ficha Electrónica 2,41Se mejoró en 100% con la programación de la ficha ligth.
33 Ser precursores de nueva tecnología nos ha traído un costo…. “Tipos de contingencia” IncidenteImpactoAcciones para evitar que el evento ocurra nuevamente. (LECCIONES APRENDIDAS) Cantidad de Certificados de Indisponibilidad Caída de PlataformaDown-TimeCambio de diseño en infraestructura de DC. 20 Falla en accesoDown-TimeEliminación de redundancia de balanceadores. 15 Problemas enlace Internet LentitudFail-Over enlace secundario0 Error de operación de firewall Synapsis. Lentitud general del portal Se reforzó con Synapsis, que estos trabajos deben ser programados. El proveedor restructuró el equipo de trabajo. 1 Error de operación (Infraestructura de storage) Synapsis. Lentitud en adjuntar archivos. En análisis de causa. Synapsis escalo con proveedor HP. Se implementó alerta en Nagios. 25
34 Gestión de Plataforma Transaccional, certificados de indisponibilidad
35 Site de Respaldo Modelo para catástrofes, que permite operar mientras se levanta el site principal. Implementación en Windows AZURE.
36 Agenda 1.Manejo de incidentes y soporte de usuarios a)Organigrama de Equipo Operaciones b)Clasificación de Incidentes c)Flujo Incidentes y soporte Usuarios d)Indicadores de incidentes y mantenciones 2012 e)Cola de mantenciones evolutivas - Correctivas f)Proyección de mantenciones g)Comportamiento resolución de incidentes h)Promedio escalamiento incidentes i)Worflow de Incidentes 2.Gestión de operaciones a)Ingeniería de Sistemas b)Tipos de Incidentes tratados c)Actividades realizadas d)Sitios administrados 3.Plan de recuperación de desastre a)Metodología de DRP
37 Gestión de Operaciones / Sitios administrados SitioDescripción http://www.chilecompra.clSitio Corporativo y de noticias. http://www.mercadopublico.clSitio de transaccional del estado. http://www.analiza.clSitio de inteligencia de negocios http://cemanager.chilecompra.clSitio de Centros Empresariales del estado. http://formacion.chilecompra.clsitio de cursos de capacitación. http://capacitacion.chilecompra.clsitio de capacitación del porta http://transparencia.chilecompra.clSitio de solicitud ciudadana. http://tribunaldecompras.clSitio de demandas judiciales hacia los organismos públicos, referidos a compras públicas.
38 Agenda 1.Manejo de incidentes y soporte de usuarios a)Organigrama de Equipo Operaciones b)Clasificación de Incidentes c)Flujo Incidentes y soporte Usuarios d)Indicadores de incidentes y mantenciones 2012 e)Cola de mantenciones evolutivas - Correctivas f)Proyección de mantenciones g)Comportamiento resolución de incidentes h)Promedio escalamiento incidentes i)Worflow de Incidentes 2.Gestión de operaciones a)Ingeniería de Sistemas b)Tipos de Incidentes tratados c)Actividades realizadas d)Sitios administrados 3.Plan de recuperación de desastre a)Metodología de DRP
39 Plan de recuperación de desastre / Metodología de DRP
40 Agenda 1.Manejo de incidentes y soporte de usuarios a)Organigrama de Equipo Operaciones b)Clasificación de Incidentes c)Flujo Incidentes y soporte Usuarios d)Indicadores de incidentes y mantenciones 2012 e)Cola de mantenciones evolutivas - Correctivas f)Proyección de mantenciones g)Comportamiento resolución de incidentes h)Promedio escalamiento incidentes i)Worflow de Incidentes 2.Gestión de operaciones a)Ingeniería de Sistemas b)Tipos de Incidentes tratados c)Actividades realizadas d)Sitios administrados 3.Plan de recuperación de desastre a)Metodología de DRP
41 Plan de recuperación de desastre / Metodología de Riesgo
42 Gracias.