1 Procesos y Procesadores en Sistemas DistribuidosM.C. Juan Carlos Olivares Rojas Julio, 2009
2 Agenda 3.1 Procesos y procesadores conceptos básicos.3.2 Hilos y multihilos. 3.3 Modelos de procesadores. 3.4 Asignación de procesadores. 3.5 Coplanificación. 3.6 Tolerancia a fallos. 3.7 Sistemas distribuidos de tiempo real.
3 Procesos Un proceso es un programa en ejecución.Todos los procesos tienen asociados un espacio de direcciones en memoria, registros y el contador de programas. Un programa para poderse ejecutar necesita estar en memoria principal. Los procesos son dependientes del sistema operativo.
4 Procesos El espacio de direcciones se compone además de direcciones para almacenar datos, código, la pila y el heap (montículo). Toda la información de los procesos en los SOs se guardan el PCB (Process Control Block) que es un arreglo o lista ligada que indica la descripción de cada uno de los procesos.
5 Procesos Los procesos tienen asignados un identificador de procesos (PID), el cual es la forma en que el SO trabaja con los procesos. La finalidad del administrador de procesos es realizar una buena administración (planificación) del tiempo de CPU. Los procesos presentan tres estados básicos: Ejecución, Listo y Bloqueado.
6 Ejecución de un Proceso
7 Lista de Procesos
8 Procesos Un proceso está en ejecución cuando tiene acceso real al tiempo de CPU. Un proceso está listo cuando se puede ejecutar, es decir, por algún motivo se suspendió para dejar ejecutar otro proceso Un proceso está bloqueado cuando está en espera de algún recurso (E/S) o de que ocurra un evento.
9 Procesos
10 Procesos Estos procesos pueden trabajar de manera cooperativa para la resolución de un problema muy particular. Para ello necesitan comunicarse entre sí y a lo que a nivel de SO se llama IPC (Inter Process Communication). La parte más importante de la comunicación entre procesos es sin duda la transferencia de mensajes entre los diversos procesos.
11 IPC La transferencia de mensajes puede llevarse acabo en base a dos primitivas, enviar y recibir, que se pueden aplicar a casi cualquier recurso como a los archivos (leer y escribir). La comunicación entre procesos IPC se debe dar a través del kernel del Sistema Operativo.
12 Procesador Un procesador o mejor conocido como microprocesador es la unidad de hardware que se encarga de procesar los datos que están almacenados en una computadora para producir cualquier tipo de información de interés para los usuarios. Un microprocesador se compone de una Unidad Lógica-Aritmética (ALU) que se encarga de las operaciones básicas dadas a través de microprogramación.
13 Procesador También se compone de una unidad de control encargada de la sincronización de todas las operaciones y de áreas de almacenamiento principal llamadas registros y memoria caché. La problemática principal es que existe una confusión muy amplia entre lo que es un sistema distribuido, un sistema multiprocesamiento, un sistema paralelo, etc.
14 Clasificación de SD Una de las clasificaciones más aceptadas es la de Flynn, la cual se basa en dos características esenciales: el número de flujos de instrucciones y el número de flujo de datos. La clasificación es la siguiente: Una computadora con un sólo flujo de instrucciones y un flujo de datos (SISD, Single Instruction Single Data). Computadoras con monoprocesador.
15 Clasificación de SD Computadoras con un flujo de instrucciones y varios flujos de datos (SIMD, Single Instruction Multiple Data). Procesadores vectoriales. Computadoras con múltiples flujos de instrucciones y varios flujos de datos (MIMD, Multiple Instruction Multiple Data). Concepto de SD (no implementada como tal)
16 Clasificación SD Los sistemas MIMD se subdividen en dos grupos:Máquinas multiprocesadores. Existe un espacio de direcciones virtuales, compartido por todos los CPU del sistema. Sistemas multicomputadoras. Cada máquina tiene su propia memoria en particular.
17 Clasificación SD Las categorías anteriores puede clasificarse de acuerdo a la red de comunicación con la que se interconectan los CPU, en las siguientes categorías: Tecnología de bus La tecnología de conmutador
18 Otras clasificaciones de SDEn todos los sistemas de equipo de cómputo, algunas máquinas están fuertemente acopladas, mientras que otras están débilmente acopladas. A continuación se muestran cuatro categorías de sistemas de cómputo, en base al acoplamiento y tipo de conexión.
19 Otras clasificaciones de SDMultiprocesadores con base en buses. Multiprocesadores con conmutador. Multicomputadoras con base en buses. Multicomputadoras con conmutador.
20 Otras clasificaciones de SDEn base al acoplamiento del software con el hardware los SD se dividen en: Software débilmente acoplado en hardware débilmente acoplado. LAN Software fuertemente acoplado en hardware débilmente acoplado (multicomputadoras). SD Software fuertemente acoplado en hardware fuertemente acoplado. Sistemas Tiempo Compartido y Servidores Dedicados.
21 Cómputo Distribuido La distribución del cómputo puede realizarse de diversas formas de acuerdo a su grado de acoplamiento en: Fuertemente acopladas: Multiprocesadores (memoria compartida). UMA (Uniform Memory Acces) Débilmente acopladas: Multicomputadoras (memoria privada). NUMA (Non Uniform Memory Access)
22 Sistemas multiprocesadoresSon sistemas que tienen dos o más procesadores (CPU), comparten las misma memoria (espacio de direcciones). Los sistemas multinúcleos es la nueva tendencia en el desarrollo de sistemas multiprocesadores. En un solo chip se tienen varios procesadores (no es nada nuevo bajo el sol). HyperThreading es la optimización de procesos concurrentes. En un solo procesador se tiene replicado los registros para aumentar el rendimiento en la ejecución de hilos simultáneos.
23 Sistemas multiprocesadoresTarjeta madre Tarjeta madre CPU 1 CPU 2 CPU n … CPU N1 Nn … Memoria Memoria Modelo Tradicional se comparte el mismo bus de datos. Los micros deben sincronizarse para evitar cuellos de botella e interbloqueos. Multinúcleos la sincronización se realiza de mejor manera. Se consume menos energía pero se disipa más calor. Modelo de n procesadores Modelo de n núcleos
24 Sistemas multicomputadorasSon sistemas donde cada unidad de proceso es autónoma e independiente de las demás pero trabajan de manera conjunta. La interconexión de unidades de proceso se hace a través de redes de computadora de preferencia de altas velocidades. Este es el concepto más estandarizado de un SD.
25 Agenda 3.1 Procesos y procesadores conceptos básicos.3.2 Hilos y multihilos. 3.3 Modelos de procesadores. 3.4 Asignación de procesadores. 3.5 Coplanificación. 3.6 Tolerancia a fallos. 3.7 Sistemas distribuidos de tiempo real.
26 Concurrencia El término concurrencia indica que se tienen dos o más procesos al mismo tiempo en el mismo lugar; esto no implica que se estén ejecutando al mismo tiempo (paralelismo). El término concurrencia se ha utilizado para indicar que se ejecutan dos o más actividades quasi-paralelamente. En sistemas monoprocesadores esto se logra a través de esquemas de multitarea real y cooperativa.
27 “Granularidad” del paralelismoCuando queremos explotar el paralelismo, podemos hacerlo en niveles de detalle distintos: Instrucciones de máquina Sentencias de un lenguaje de programación Módulos dentro de un programa Programas ejecutables completos Grano fino grano grueso
28 “Granularidad” del paralelismoEl programador debe saber con qué “grano” debe trabajar ante cada problema y no trabajar en niveles de detalle inferior. Ej. si trabajamos con Ada o Java, estamos en el nivel de “módulos”: Concurrencia basada en hilos (threads) no deberíamos perder el tiempo buscando sentencias simples que se pueden ejecutar en paralelo crear un hilo nuevo para ejecutar una única instrucción no hace ganar tiempo, incluso puede tardar más.
29 ¿Dónde se encuentra la concurrencia?En el hardware (la herramienta para construir sistemas informáticos): ejecución paralela de instrucciones funcionamiento paralelo de los periféricos procesadores múltiples sistemas distribuidos En la Naturaleza (los sistemas que modelamos cuando hacemos ingeniería de software) ¿ejemplos?
30 Concurrencia inherente o potencialHay sistemas que en los que forzosamente se dan actividades simultáneas. p.ej. GUI; red de cajeros automáticos; etc. Concurrencia potencial: Hay sistemas o problemas que se pueden resolver de forma secuencial, pero en los que se puede aprovechar la concurrencia p.ej. para aumentar el rendimiento. P.ej. multiplicar dos matrices, ordenar un vector…
31 Concurrencia Unix Los subprocesos se crean con fork()#include
32 fork() if (pid == -1) perror(“Error al crear proceso”); else {/*Proceso hijo*/ /*Proceso padre*/ }
33 Procesos Padre e Hijos
34 Terminación de procesosCuando un proceso termina devuelve un valor de retorno al proceso padre. Todos los procesos tienen un proceso padre. Este código de retorno puede ser consultado a través de la variable de entorno $? La forma más fácil de salir es devolver un código de retorno (e.g., return 0).
35 Terminación de procesosOtra forma de salir es a través de exit(), realiza aparentemente el mismo comportamiento, ayuda a desbloquear procesos en espera. La función atexit() permite definir una función que se ejecutará al finalizar un programa.
36 Terminación de procesosA el código de estado de un proceso formalmente se llama señal. Un proceso huérfano es aquel que se ha quedado sin padre. Un proceso zombi es aquel que se ha quedado ocupando una posición de la tabla de descriptor de procesos.
37 wait() En algunas ocasiones un proceso padre necesita esperar a que sus hijos termine. Para ello necesita sincronizarse los procesos. La función que nos permite parar un proceso hasta que termine otro es wait pid = wait(&estado);
38 wait() Algunas macros que nos ayudan en este proceso son: WIFEXITEDWEXITSTATUS WIFSIGNALED WTERMSIG WCOREDUMP
39 Más sobre procesos Un ejemplo de clonación de procesos es la ejecución de la función system() que nos permite ejecutar una llamada al sistema, generalmente un comando de la shell. hijo = getpid(); Padre = getppid(); Grupo = getpgrp();
40 Identificadores de usuario y de grupoEn muchas ocasiones no sólo es necesario conocer los identificadores de procesos sino conocer los usuarios y los grupos. uid_t getuid(); /*usuario real*/ uid_t geteuid(); /*usuario extendido*/ gid_t getgid(); gid_t getegid();
41 Variables de entorno En algunos casos es necesario compartir algunos valores entre aplicaciones, esto se puede hacer a través de la variable de entorno. Las variables de entorno pueden verse con el comando env (ambiente). Muchos comandos muestran información a través de este entorno.
42 Variables de entorno Hay algunas variables disponibles en la mayoría de los sistemas como HOME, SHELL, TERM, PATH. Pueden accederse de manera individual haciendo eco en la pantalla con echo. char *valor = getenv(“TERM”);
43 Variables de entorno char *var1 = “VARIABLE=valor”putenv(var1); /*Coloca una variable en el entorno*/ La función sleep() permite dormir un proceso una cantidad determinada de milisegundos.
44 Señales 10 SIGBUS 11 SIGSEGV 12 SIGSYS 13 SIGPIPE 14 SIGALARMDefinidas en
45 Señales int kill(pid, sig) sirve para mandar una señal de un proceso a otro. pid > 0 proceso; pid = 0 a todos los procesos que pertenecen al mismo grupo. La función signal sirve para capturar una señal y realizar una función con ella.
46 Señales main() { void sigint_handler();if(signal(SIGINT,sigint_handler)== SIG_ERR) perror(“Error en la señal”); …….. } void sigint_handler(int sig) { printf(“señal recibida”);
47 Hilos Son procesos ligeros ya que no se duplican completamente, sólo duplican su segmento de código. Por tal motivo, comparten datos fácilmente, la desventaja es que ocurren muchos problemas del tipo “race conditions”, pero al igual que IPC se soluciona con mecanismos como regiones críticas, zonas de exclusión mutua, etc.
48 Hilos Los hilos son procesos ligeros a diferencia de los procesos hijos, los hilos sólo replican el segmento de código, por lo que comparten datos entre otros hilos haciendo mejor uso de la memoria. La problemática con los hilos es que cada sistema operativo implementa sus hilos de manera distinta. Por ejemplo existen los hilos POSIX, los hilos C de Mach, los hilos en Windows, etc.
49 Threads Implementation
50 Web Server Process
51 Hilos PThreads (POSIX Threads) es la biblioteca para la creación de hilos más implementada en sistemas *X. Se utiliza la biblioteca pthread por lo que algunos compiladores ya la incluyen de manera predeterminada sino habrá que indicar su uso: gcc … -lpthread int pthread_create(pthread_t *thread, const pthread_attr_t *attr, void *(*start_routine)(void *), void *arg) Creates a new thread of execution. int pthread_detach(pthread_t thread) Marks a thread for deletion. int pthread_equal(pthread_t t1, pthread_t t2) Compares two thread IDs. void pthread_exit(void *value_ptr) Terminates the calling thread. int pthread_join(pthread_t thread, void **value_ptr) Causes the calling thread to wait for the termination
52 Hilos Crear hilos: int pthread_create(pthread_t *thread, pthread_attr_t *attr, void * (*start_routine)(void *), void *arg) Esperar la finalización de hilos: int pthread_join(pthread_t th, void **thread_return)
53 Hilos No guardar estado del hilo: int pthread_detach(pthread_t h)Salir de un hilo: pthread_exit(void *retval) Biblioteca a utilizar: #include
54 Hilos typedef struct parametros { }; void *funcion(parametros *p) { }int id; char *nombre }; void *funcion(parametros *p) { printf(“%s %d”, p->cadena, p->id); pthread_exit(&(p->id)) }
55 Hilos Referencia asi mismo: Yo = pthread_self(); /*Demás funciones*/Enviar una señal a un hilo: pthread_kill(pthread_t hilo, int señal); Los hilos no están tan extendidos por que existen muchas variantes: hilos mach, hilos solaris, Gthreads, etc.
56 Hilos Mutex: pthread_mutex_init(pthread_mutex_t *mutex, const pthread_mutex_attr_t *attr) int pthread_mutex_lock(pthread_mutex_t *mutex) int pthread_mutex_lock(pthread_mutext_t *mutex) int pthread_mutext_destroy(pthread_mutext_t *mutex)
57 Hilos En general los hilos en Java debido a su portabilidad binaria son idénticos en todas las plataformas. Existen dos formas básicas de implementar procesos: heredar de la clase Thread o bien implementar la interfaz Runnable. En general en el método public void run() se agrega la funcionalidad del hilo.
58 Hilos Si se heredo de la clase Thread el hilo debe crearse de la siguiente forma: Thread hilo = new Thread(new Objeto()); El método Thread.sleep(ms); permite dormir un proceso n cantidad de milisegundos.
59 Hilos En general se ejecuta el hilo poniendo el método start(), e.g.: hilo.start(); Otros métodos de los hilos son: isAlive() para determinar si un hilo está con vida, el metodo stop()* finaliza un hilo, el método suspend()* lo suspende, el método resume() reanuda un proceso y join() espera a que finalice un proceso especificado.
60 Hilos Se pueden asignar prioridades a los hilos con el método setPriority(), en donde la prioridad puede ser MIN, MAX y NORM_PRIORITY. El método yield() cede prioridad, mientras que el método setDaemon(true) hace que un hilo sea demonio.
61 Hilos Los demonios son hilos que pueden correrse sin depender de otros procesos. Se utilizan mucho para la programación de servicios del sistema. Se pueden crear grupos de hilos con la clase GroupThread para un mejor manejo.
62 Agenda 3.1 Procesos y procesadores conceptos básicos.3.2 Hilos y multihilos. 3.3 Modelos de procesadores. 3.4 Asignación de procesadores. 3.5 Coplanificación. 3.6 Tolerancia a fallos. 3.7 Sistemas distribuidos de tiempo real.
63 Modelos de ProcesadoresEn un sistema distribuido, con varios procesadores, un aspecto fundamental del diseño es cómo se los utiliza Los procesadores distribuidos se pueden organizar de varias formas: Modelo de estación de trabajo. Modelo de la pila de procesadores. Modelo híbrido.
64 3.3 Modelos de Procesadores3.3.1 De estación de trabajo. 3.3.2 De pila de procesadores. 3.3.3 Híbrido.
65 Modelo de Estación de trabajoEl sistema consta de estaciones de trabajo (PC) dispersas conectadas entre sí mediante una red de área local (LAN). Pueden contar o no con disco rígido en cada una de ellas. Los usuarios tienen: Una cantidad fija de poder de cómputo exclusiva. Un alto grado de autonomía para asignar los recursos de su estación de trabajo.
66 Modelo de Estación de TrabajoUso de los discos en las estaciones de trabajo: Sin disco: Bajo costo, fácil mantenimiento del hardware y del software, simetría y flexibilidad. Gran uso de la red, los servidores de archivos se pueden convertir en cuellos de botella.
67 Modelo de Estación de TrabajoCon disco: Disco para paginación y archivos de tipo borrador: Reduce la carga de la red respecto del caso anterior. Alto costo debido al gran número de discos necesarios.
68 Modelo de Estación de TrabajoLos aspectos clave en el uso de las estaciones de trabajo inactivas son: ¿Cómo encontrar una estación de trabajo inactiva?. ¿Cómo lograr que un proceso remoto se ejecute de forma transparente?. ¿Qué ocurre si regresa el poseedor de la máquina?.
69 Modelo de Estación de TrabajoGeneralmente se considera que una estación de trabajo está “inactiva” cuando se dan ambas condiciones: Nadie toca el ratón o el teclado durante varios minutos. No se ejecuta algún proceso iniciado por el usuario.
70 Modelo de Estación de TrabajoLos algoritmos para localizar las estaciones de trabajo inactivas se pueden dividir en dos categorías: Controlados por el servidor y Controlados por el cliente. La localización de estaciones de trabajo en sí no es problemático, el problema radica en la sincronización de procesos entre las diferentes estaciones de trabajo.
71 Modelo de Pila de ProcesadoresSe dispone de un conjunto de cpu que se pueden asignar dinámicamente a los usuarios según la demanda . Los usuarios no disponen de estaciones de trabajo sino de terminales gráficas de alto rendimiento. No existe el concepto de propiedad de los procesadores, los que pertenecen a todos y se utilizan compartidamente.
72 Modelo de Pila de ProcesadoresEste modelo basa su funcionamiento en la teoría de colas. En general este modelo puede reducir significativamente el tiempo de espera al tener una sola cola de procesadores a repartir. La capacidad de cómputo se puede gestionar de mejor forma si se tiene micros con mayores capacidades.
73 Modelo Híbrido Combina las mejores características del modelo de estación de trabajo y de pila de procesadores teniendo un mejor desempeño en las búsquedas y mejor uso de los recursos.
74 Agenda 3.1 Procesos y procesadores conceptos básicos.3.2 Hilos y multihilos. 3.3 Modelos de procesadores. 3.4 Asignación de procesadores. 3.5 Coplanificación. 3.6 Tolerancia a fallos. 3.7 Sistemas distribuidos de tiempo real.
75 Asignación de procesadoresSon necesarios algoritmos para decidir cuál proceso hay que ejecutar y en qué máquina . Para el modelo de estaciones de trabajo: Decidir cuándo ejecutar el proceso de manera local y cuándo buscar una estación inactiva. Para el modelo de la pila de procesadores: Decidir dónde ejecutar cada nuevo proceso.
76 3.4 Asignación de Procesadores3.4.1 Modelos y algoritmos con sus aspectos de diseño e implantación.
77 Modelos de asignación Generalmente se utilizan las siguientes hipótesis: Todas las máquinas son idénticas (o al menos compatibles en el código); difieren a lo sumo en la velocidad. Cada procesador se puede comunicar con los demás.
78 Modelos de Asignación Existen dos estrategias de asignación:No migratorias: Una vez colocado un proceso en una máquina permanece ahí hasta que termina. Migratorias: Un proceso se puede trasladar aunque haya iniciado su ejecución. Permiten un mejor balance de la carga pero son más complejas.
79 Modelos de Asignación Los algoritmos de asignación intentan optimizar:Uso de las cpu: Maximizar el número de ciclos de cpu que se ejecutan para trabajos de los usuarios. Minimizar el tiempo de inactividad de las cpu. Tiempo promedio de respuesta: Minimizar no los tiempos individuales de respuesta sino los tiempos promedio.
80 Modelos de Asignación Tasa de respuesta:Minimizar la tasa de respuesta, que es el tiempo necesario para ejecutar un proceso en cierta máquina dividido por el tiempo que tardaría en cierto procesador de referencia. Los principales aspectos a tomar en cuenta en el diseño de algoritmos de asignación de procesos son los siguientes: Algoritmos deterministas vs. heurísticos.
81 Modelos de Asignación Algoritmos centralizados vs. distribuidos.Algoritmos óptimos vs. subóptimos. Algoritmos locales vs. globales. Algoritmos iniciados por el emisor vs. iniciados por el receptor.
82 Modelos de Asignación En general son muchos aspectos que se deben considerar para la generación de algoritmos de asignación de procesadores, por ejemplo, que el micro este conciente de su carga de trabajo implica una serie de mediciones que pueden ser realmente inciertas. Los algoritmos de asignación en primera instancia deben buscar la estabilidad del sistema.
83 Agenda 3.1 Procesos y procesadores conceptos básicos.3.2 Hilos y multihilos. 3.3 Modelos de procesadores. 3.4 Asignación de procesadores. 3.5 Coplanificación. 3.6 Tolerancia a fallos. 3.7 Sistemas distribuidos de tiempo real.
84 Planificación de ProcesosLa planificación de procesos es la etapa más importante del administrador de procesos ya que se encarga de administrar la disponibilidad del uso de CPU. Los planificadores no importando su complejidad deben respetar los siguientes elementos: equitatividad, eficiencia, tiempo de respuesta, retorno, volumen de producción.
85 Calendarizador de Procesos
86 Planificación de ProcesosLa problemática con este tipo de administración es que los recursos son únicos e imprendecibles. Por este motivo el planificador trata de estimar algunas características. Un planificador no sabe cuanto tiempo tardará en ejecutarse un proceso y si este en algún momento se bloquea por alguna petición de entrada o de salida.
87 Planificación de ProcesosPor este motivo un planificador debe de asignar un tiempo predeterminado llamado Quantum para la ejecución de procesos. Un proceso puede ser interrumpido por otro proceso cuando este último requiera de una atención inmediata. Esto da origen a planificadores don prioridades.
88 Planificación de ProcesosEl planificador de procesos se encarga de mantener el contexto de cada una de las aplicaciones para poder realizar multitarea. Existen diverso algoritmos de planificación de tareas: El algoritmo de round robin (torneo) Planificación por prioridad Colas múltiples
89 Planificación de ProcesosPrimero el trabajo más corto Planificación garantizada Planificación por loteria Planificación por niveles En los Sistemas Dstribuidos, generalmente cada micro hace su propio administración local.
90 Coplanificación Después de tener un modelo de procesamiento y de un algoritmo de asignación de procesadores, el siguiente gran reto es la administración conjunta de los tiempos de uso de CPU de los procesos de forma global. Para poder realizar esto, se necesita de algoritmos de planificación y métodos de comunicación más eficiente. A continuación se describen algunos algoritmos de coplanificación.
91 Coplanificación El algoritmo de Ousterhout toma en cuenta los patrones de comunicación entre los procesos durante la planificación.Debe garantizar que todos los miembros del grupo se ejecuten al mismo tiempo. Se emplea una matriz conceptual donde:Las filas son espacios de tiempo.Las columnas son las tablas de procesos de los procesadores.
92 Coplanificación Cada procesador debe utilizar un algoritmo de planificación Round Robin. Todos los procesadores ejecutan el proceso en el espacio “0” durante un cierto período fijo.Todos los procesadores ejecutan el proceso en el espacio “1” durante un cierto período fijo, etc.
93 Coplanificación Se deben mantener sincronizados los intervalos de tiempo. Todos los miembros de un grupo se deben colocar en el mismo número de espacio de tiempo pero en procesadores distintos. A continuación se describe un cómputo paralelo y coplanificación de procesos
94 ¿Es el cómputo paralelo un sistema distribuido?Sí y No. Depende de la implementación. Los objetivos de la programación en paralelo de acuerdo con [5] son: Reducir el tiempo de procesamiento utilizado por un algoritmo convencional Reducir la complejidad del algoritmo Se trata de aprovechar mejor el hardware. Geometría redes paralelas. Son rectas que nunca se intersectan. Visualmente en infinito parecen estarlo. Rectas paralelas comparten la misma pendientes El objetivo es distinto. En un SD el objetivo es que muchos usuarios trabajen en forma conjunta y los sistemas paralelos cuya meta es lograr la máxima rapidez de un problema. El procesamiento en paralelo implica tener dos o más procesadores trabajando en forma conjunta sobre el mismo problema, de manera que sea posible la reducción de su tiempo de solución.
95 Cómputo Paralelo
96 Analogía con el Tráfico de una Autopista ¿Qué se puede lograr con el paralelismo?La carga llega mucho más rápido! Resultado: Mejora la tasa de trabajos! Ahora, podemos poner una troca en cada carril… Explotar los múltiples núcleos… Vamos a dividir en 4 trocas más pequeñas… Cuatro hilos independientes Suponer que tenemos un convoy largo de carga: troncos de madera… Una aplicación no paralelizada Automated Animation Click for 1 truck Click for 4 trucks Click for 4 trucks on 4 lanes Click for drive Click to advance
97 Analogía con el Tráfico de una Autopista Planificación del Sistema OperativoEl Sistema Operativo no puede romper una aplicación en hilos… Planificador del SO (Selecciona el carril) 4 3 2 Automated animation Click to move truck Click to move yellow car Click to move green car Click to advance 1 Debe esperar la troca. El SO piensa Carril 2 Carril 1 … solo puede planificar hilos existentes.
98 Paralelismo A P1 Homoparalelismo B P2 A B C D C P3 D P4 A P1 B P2Homoparalelismo: dividir las tareas en varias cargas iguales, A1, A2, A3, A A1 A2 A3 A4 Heteroparalelismo: dividir las tareas en partes iguales AAA, B, CC, DDDD B P2 Hetereoparalelismo A B C D C P3 D P4
99 Paralelismo El problema del paralelismo radica en que muchos algoritmos no pueden paralelizarse (son serializable o secuenciales) [6]. Existen dos tecnologías para realizar paralelismo: PVM (Parallel Virtual Machine) [7] MPI (Message Parking Interface) [8][9][10]
100 Algoritmo paralelos for(int i = 0; i < 4; i++) { }aleatorio(i); } aleatorio(1) micro1 aleatorio(2) micro2 aleatorio(3) micro3 aleatorio(4) en espera Compilador optimizado. Sistemas Operativos optimizados
101 Algoritmos paralelos Conviene No conviene
102 Algoritmos paralelos Instrucciones como while son más difíciles de paralelizar por que depende de la condición. No siempre los compiladores pueden paralelizar de manera automática un algoritmo. En algunas ocasiones se invierte más tiempo tratando de paralelizar un algoritmo que ejecutándolo de manera secuencial.
103 Algoritmos paralelos //Procesador uno //Procesador unofor( i=0; i
104 Algoritmos paralelos ¿Por qué no se puede paralelizar? A[0] = C;Por que el segundo proceso depende del resultado del primero. Si se puede si se encuentra un algoritmo que permita encontrar el valor de a[N/2] directo. A[0] = C; //Procesador uno for( i=1; i
105 Caso práctico MPI Existen diversas implementaciones de MPI: LAM/MPI, MPICH, MPICH2, OpenMPI MPI se puede programar en C o Fortran. El primer paso es tener nuestro programa paralelo y asegurarnos de que está corriendo el demonio de MPI: mpd –ncpus=procesadores & mpdtrace -1
106 Caso Práctico MPI Se debe compilar el programa:mpicc holamundo.c –o holamundo Se debe de correr el proceso idicando el número de procesadores: mpirun –np 10 ./holamnudo
107 Holamundo.c en MPI #include
108 Esquema de un programa en MPI/*Cabecera de MPI*/ #include
109 Esquema de un programa en MPIif(quiensoy == root) { /*Inicialización estrructuras repartidor Reparte tareas Espera resultados Visualiza resultados*/ } else /*recibe la tarea realiza cálculos manda resultados*/ /*Finaliza el programa*/ MPI_Finalize(); exit(0); MPI_abort(MPI_Comm comunicador, int error); MPI_CHAR, MPI_SHORT, MPI_INT, MPI_LONG, MPI_UNSIGNED_CHAR, MPI_UNSIGNED_SHORT, MPI_UNSIGNED_LONG, MPI_UNSIGNED, MPI_FLOAT, MPI_DOUBLE, MPI_LONG_DOUBLE, MPI_BYTE, MPI_PACKED
110 Paralelización Multiplicación de MatricesPrograma secuencial de multiplicación de matrices en Java o C. Programa concurrente, partir del hecho de que se puede poner un hilo en ejecución para multiplicaciones no dependientes.
111 Agenda 3.1 Procesos y procesadores conceptos básicos.3.2 Hilos y multihilos. 3.3 Modelos de procesadores. 3.4 Asignación de procesadores. 3.5 Coplanificación. 3.6 Tolerancia a fallos. 3.7 Sistemas distribuidos de tiempo real.
112 Tolerancia a Fallas La tolerancia a falla en sistemas con multiprocesamiento puede lograrse a través de una buena sincronización entre procesos (IPC). Los IPC de POSIX son: cola de mensajes, tuberías, semáforos y memoria compartida (discutida en la siguiente unidad). Los IPC se ejecutan a nivel de kernel y no a nivel de usuario.
113 Tuberías Las tuberías nos permiten redireccionar el flujo de salida de un proceso para ser la entrada de otro. A nivel de comandos se puede realizar con el operador | (pipe). Por ejemplo ls –l | more, hace que la salida del comando –ls sea la entrada de more, por lo que se verá pantalla por pantalla la información
114 Tuberías Se pueden utilizar tuberías desde los procesos.int pipe(tuberia); int tuberia[2]; tuberia[0] tuberia[1]
115 Tuberías Al dejar de utilizar una tubería, esta se debe de cerrar en sus dos extremos: close(pipe). Por un extremo de la tubería se lee, y por el otro se escribe. Ya depende de la lógica del programa ubicar que lado escribe y que lado lee. En general, primero se escribe y luego se lee. Se utiliza la biblioteca unistd.h*
116 Tuberías Para escribir en una tubería se realiza lo siguiente: write(tuberia[1], mensaje, strlen(mensaje)+1). Para leer: read(tuberia[0], mensaje, MAX) Las tuberías no son bidireccionales, sólo van en un sentido, pero se pueden utilizar dos tuberías para pasar mensajes en ambas direcciones.
117 Tuberías Las tuberías utilizadas sólo están disponibles para los descendientes de un proceso que lo crean. Por este motivo, no están disponible para otros procesos. Las tuberías entre procesos iguales se les llama sin nombre. El otro tipo de tuberías tienen nombre y generalmente se les llama FIFO.
118 Tuberías Las tuberías con nombre se manejan igual que las tuberías sin nombre con la salvedad de que presentan un nombre que ocupa una entrada de directorio. Se trabajan igual que un archivo sólo que se bloquea cuando un proceso escribe en la tubería.
119 Tuberías Para crear una tubería con nombre desde shell se debe ejecutar: mknod fifo_1 p Desde programación las tuberías con nombre se crean: mknod(“tubo”, S_IFIFO | permisos, 0) Las comunicaciones vistas hasta ahora son half-duplex. Se puede utilizar un poll o select para realizar comunicación full-duplex
120 Semáforos Los semáforos son mecanismos que permiten sincronizar procesos. Todos los mecanismos IPC tienen una entrada en una tabla especial con una llave definida por el usuario. Los posibles valores de la llave son IPC_PRIVATE, IPC_CREATE, IP_EXECL, entre otros.
121 Semáforos Cada entrada de la tabla tiene un registro de permisos (rw), información de estado y llamadas de control. Las llaves son del tipo key_t. Para crear una llave se utiliza: #include
122 Llaves key_t llave; if((llave= ftok(“/etc/ntp.conf”, ‘A’) == (key_t)-1) /*Error al crear la llave*/ ipcs se utiliza para ver los mecanismos ipc asignados (-q, -m, -s, -b) ipcrm se utiliza para liberar recursos (-q msqid, -m shmid, -s semid)
123 Semáforos Es un mecanismo para prevenir colisiones cuando uno o más procesos solicitan simultáneamente un recurso. Dijsktra los define como un objeto tipo entero en los cuales se puede aplicar dos operaciones: P (Proberen, comprobar) y V (Verhogen, incrementar), donde P sirve para obtener el recurso y V para liberarlo.
124 Semáforos Las operaciones sobre un semáforo son semget para crear un semáforo o habilitar uno existente, semctl para realizar operaciones de control e inicialización, semop para realizar operaciones P y V. #include
125 Semáforos int llave, semid;if((llave= ftok(“auxiliar”, ‘K’)) ==(key_t)-1) /*Tratamiento del error*/ if((semid= semget(llave, 4, IPC_CREAT | 0600)) == -1) /*Error al crear el semáforo*/
126 Semáforos int semctl(semid, semnum, cmd, arg) union semun{ }arg;int val; struct semid_ds *buf; ushort *array; }arg; Las opciones de control son: GETVAL, SETVAL, GETPID, GETNCNT, GETZCNT, GETALL, SETALL, IPC_STAT, IPC_SET
127 Semáforos ushort asem; asem[0]=5; asem[1]=3; asem[2]=4; asem[3]=8; semctrl(semid, 0, SETALL, asem) valor = semctrl(semid, 3, GETVAL, 0) int semop(semid, sops, nsops) struct sembuf *sops;
128 Semáforos struct sembuf{ ushort sem_num; short sem_op; short sem_flg;}; Si semop es negativo se decrementará (P), si se incrementa (V) y si es 0 no hace nada. Las banderas son: IPC_WAIT, IPC_NOWAIT, SEM_UNDO
129 Semáforos struct sembuf operacines[4]; Operaciones[0].semnum = 1; Operaciones[0].sem_op = -1; Operaciones[0].sem_flg = 0; Operaciones[1].semnum = 4; Operaciones[1].sem_op = 1; Operaciones[1].sem_flg = 0; semop(semid, operaciones, 2);
130 Colas de mensajes La filosofía de las colas de mensajes es similar a las tuberías, pero con mayor versatilidad. Una cola es una estructura de datos gestionada por el kernel, en la cual varios procesos pueden escribir sobre ella. El sincronismo para evitar colisión lo realiza el kernel.
131 Colas de mensajes #include
132 Colas de mensajes Los comandos de control son: IPC_STAT, IPC_SET, IPC_RMID. Por ejemplo: msgctrl(msqid, IPC_RMID, 0); Las operaciones básicas de una cola de mensajes son enviar y recibir los mensajes que se realizan con las siguientes funciones: int msgsnd(msqid, msgp, msgsz, msgflg); int msgrcv(msqid, msqp, msgtyp, msgflag);
133 Cola de mensajes El parámetro msgtyp indica el tipo de mensaje que se desea leer: 0 para el primer mensaje, > 0 el primer mensaje de tipo msgtyp que haya en la cola, <0 lee el primer mensaje que sea menor o igual al valor absoluto de msgtyp y además sea el mensaje más pequeño de los que hay.
134 Cola de mensajes struct{ long tipo; char cadena[20]; }mensaje; strcpy(mensaje.cadena, “SD1”); mensaje.tipo = 1; longitud = strlen(mensaje.cadena) if(msgsnd(msqid,&mensaje,longitud,0)==-1) /*Err*/ if(msgrcv(msqid,&mensaje,longitud,1,0) ==-1) /*Er*/
135 Agenda 3.1 Procesos y procesadores conceptos básicos.3.2 Hilos y multihilos. 3.3 Modelos de procesadores. 3.4 Asignación de procesadores. 3.5 Coplanificación. 3.6 Tolerancia a fallos. 3.7 Sistemas distribuidos de tiempo real.
136 Sistemas de tiempo realSon sistemas para poder ejecutar satisfactoriamente tareas que han de completarse en un plazo prefijado de tiempo (ej. sistemas de control industrial, sistemas multimedia, sistemas de misión crítica). Se caracterizan porque los procesos tienen que ejecutar en instantes predeterminados.
137 Clasificación de STR Existen dos tipos de STR:Crítico (rígido): para tareas que siempre deben cumplir los plazos de terminación. Adecuados para la industria. Muy simples, incompatibles con tiempo compartido, memoria virtual, etc. No crítico (flexible): intentan cumplir los plazos, pero no los garantizan al 100%. Adecuados para multimedia, etc.
138 Ejemplo de STR Aeronave Carro
139 Sistemas Embebidos de TR
140 Aplicaciones de los STRDominio Industrial Controlador de la planta Robot para tratamiento de material peligroso Uso militar Sistema de reconocimiento de blancos automático Sistema de guiado de misiles y navegación Sistemas altamente críticos Plantas nucleares Sistemas de aviónica
141 Sistemas de Tiempo RealLos tipos de tiempo pueden ser: Los de plazo fijo se ejecutan una vez en un instante determinado. Los periódicos se ejecutan cada cierto tiempo. Los sistemas en tiempo real críticos tienen asignada una franja de tiempo que no pueden rebasar.
142 Sistemas de Tiempo RealSuelen tener pocos procesos en estado de listo a fin de que no se retrase la ejecución de los mismos. Se introducen retardos en la ejecución, como puede ser la memoria virtual, puesto que la paginación puede producir retrasos inadmisibles para el proceso. Los STR son altamente tolerante a fallas manejados por el sistema.
143 Arquitecturas de Tiempo RealSistema en Tiiempo Real Distribuido. Arqutecturas homogeneas o heterogeneas. Redes de area local, y topologias de red. Protocolos de comunicaciones:Ethernet, Token Ring Modelo OSI. Redes FFDI, X-25, ATM. Otras Computadoras Comunicaciones E/S Digital Software de Tiempo-Real Microcontroladores y sistemas embebidos. DSP’s, PLC’s. Buses de multiprocesadores:VMEBUs,Multibus,FutureBus Arquitecturas RISC, Transputers. Uniprocesadores, Multiprocesadores. Memorias chache, DMA’s. Reloj E/S Analógico Computadora (HW) Medio Ambiente Otras E/S
144 Ejemplo de un sistema en tiempo real.Actividades en una computadora de automobil. C=10ms. T=40ms. D=40ms. C=4ms. T=20ms. D=5ms. Control de Velocidad Control de Frenado C=40ms. T=80ms. D=80ms. Control de combustible C=10ms. T=40ms. Otro software no-critico C=tiempo de computo (peor caso), T=Periodo de ejecucion, D=Plazo de respuesta
145 Solucion Ciclica. no critico combustible-2 com busti ble-3 76 476 4 no critico velocidad frenado combustible-2 14 64 com busti ble-1 vel. * implica descomponer actividades grandes en varias ejecuciones. 60 20 com busti ble-3 vel. 24 54 frenado combustible-2 velocidad 44 40
146 Solucion Concurrente. La solucion concurrente es mas simple de disenar y modificar. task body speed is begin loop speed_measurement; next:=next+0.2 sleep_until_next; end loop end speed task body brake is begin loop control_brakes; next:=next+0.2 sleep_until_next; end loop end speed task body fuel is begin loop fuel_injection; next:=next+0.2 sleep_until_next; end loop end speed task body non_critical is begin loop perform computation; end loop end speed
147 Sistemas Distribuidos de TRSon totalmente más complejos debido a la gran heterogeneidad de sus componentes. Debido a esta problemática son poco los Sistemas Operativos Distribuidos de Tiempo Real aunque muchos SO de Tiempo Real (ej. SO de dispositivos empotrados) tienen capacidad de comunicación distribuida.
148 Sistemas Operativos de TREl problema de la distribución radica en los tiempos de latencia de los mecanismos de comunicación distribuida (sockets, RPC, middlewares, etc.) dado que no hay una garantía de servicio y más si se enfoca en redes públicas como la Internet. En la práctica la gran mayoría de los Sistemas Operativos Distribuidos de Tiempo Real se llegan a implementar en sistemas multiprocesadores.
149 Sistemas Operativos Distribuidos de TRLa mayoría de los sistemas operativos distribuidos de tiempo real caen en el área de multimedia (QNX) y de los sistemas empotrados (Symbian). Los sistemas de navegación son otro claro ejemplo de SOTR.
150 SOD de Tiempo Real Estos sistemas deben de ser totalmente determinísticos y predecibles. Otro tópico que es un gran reto en este tipo de sistema es la seguridad y en específico el control de acceso. El balanceo de cargas de trabajo es de suma importancia para el uso eficiente del sistema
151 SOD de Tiempo Real La concurrencia y sincronización de procesos es aún más complicada (un recurso que es utilizado por un proceso debe de ser liberado automáticamente para que otro proceso más crítico pueda trabajar inmediatamente). La selección de hardware es más compleja. La caracterización (medición de tiempos) de estos sistemas es compleja y no muy exacta.
152 SOD de Tiempo Real El uso de SOD de Tiempo Real tiene que ser manejado con las aplicaciones, ya que de lo contrario no tendría una utilidad práctica; por este motivo, es necesario la adaptación de herramientas como: compiladores, utilerías, base de datos y software de sistema.
153 Referencias Liberty, Jesse, Horvarth, David (200). Aprendiendo C++ para Linux en 21 Días. México, Prentice Hall. Márquez, Francisco (1994). Unix Programación Avanzada. Estados Unidos, Addison-Wesley.
154 Referencias Colouris, George, Dollimore, Jean, Kindberg, Tim (2001). Sistemas Distribuidos Conceptos y Diseño. 3a. Edición. España, Pearson Addison-Wesley. Horstmann, Cay, Cornell, Gary (2006). Core Java 2 Volumen II Carácterísticas Avanzadas. España, Perason Prentice Hall.
155 Referencias Deitel, Harvey, Deitel, Paul (2004). Java Como Programar. Quinta Edición. México, Pearson Prentice Hall. Márquez, Francisco (2004). UNIX Programación Avanzada. Tercera edición, México, Alfaomega Ra-Ma.
156 Referencias Froufe, Agustín, Jorge, Patricia (2004). J2ME Java 2 Micro Edition Manual de usuario y tutorial. México, Alfaomega. Firtman, Maximiliano (2004). Programación de celulares con Java. Argentina, MP Ediciones. Ruíz, Diego (2005). C# La guía total del programador. Argentina, MP Ediciones.
157 Referencias Tanenbaum, Andrew (1996). Sistemas Operativos Distribuidos. México, Prentice Hall. Tanenbaum, Andrew, Van Steen, Maarten (2006). Distributed Systems Principles and Paradigms. Estados Unidos, Pearson Prentice Hall. Mejía, P. (2009), Curso de Sistemas de Tiempo Real, CINVESTAV, México.
158 Referencias J. Senn, “Análisis y Diseño de Sistemas de Información”, 2da. Edición, McGraw-Hill, México, 1992, ISBN: A. Tanenbaum, et al., “Sistemas Operativos. Diseño e implementación”, 2da. Edición, Prentice Hall, México, 1998, ISBN: Aguas, N. (2009) Procesos y Procesadores en Sistemas Distribuidos.