1 Departamento de ElectrónicaMultimedia en Internet Primera parte: Conceptos, Audio y vídeo (Segunda Parte: Datos y Práctica) Dr. Agustín J. González Departamento de Electrónica Senacitel 2004

2 Contenido (Primera parte)Conceptos Aparición de audio y vídeo en Internet Algo sobre protocolos en Internet Transmisión de voz en Internet Transmisión de video en Internet Aspectos no cubiertos Aplicaciones:MBone, VRVS, Realnetworks, WindowsMedia, QuickTime streaming Server, FFMPEG Senacitel Multimedia en Internet

3 Conceptos y origen ¿Qué es mutlimedia?Interacción Hombre-computador involucrando texto, gráficos, voz, y vídeo (http://computing-dictionary.thefreedictionary.com/Multimedia) Adj. Que utiliza conjunta y simultáneamente diversos medios, como imágenes, sonidos y texto, en la transmisión de información. Dic. de la Real Academia Española, “Uno debería hablar de multimedia sólo cuando medios continuos y discretos son utilizados.” R. Steinmetz & K.Nahrstedt. El término se ha relajado y algunos hablamos de “multimedia” aún en presencia de sólo un medio continuo. Por ejemplo: la radio en Internet. Senacitel Multimedia en Internet

4 Términos relacionadosDownload y reproducción: Acceso a un contenido almacenado, el cual es bajado antes de su reproducción. Streaming de contenido en vivo: el contendido es generado en ese momento. Se dice también sincrónico. Streaming de contenido almacenado: Reproducción a medida que el contenido es recibido. No se genera copia local. Ej. Televisión, radio por IP, videoconferencia, video streaming. Interactivo: dos usos: Podemos hacer pausa, rebobinar, adelantar etc. Cuando hay interacción entre los dos extremos: video conferencia, telefonía IP. Senacitel Multimedia en Internet

5 Aparición de audio y vídeo en Internet¿Qué las hizo posible? Aumento del desempeño de computadores Crecimiento de la Internet en ancho de banda y # de máquinas Desafíos / requerimientos Potencia de procesamiento y ancho de banda Escalabilidad: llegar a un gran número de usuarios. Heterogeneidad: en anchos de banda (LAN/modem), en sistemas operativos(WinXX/Linux), en formatos de compresión (MPEG/H263) Entrega de datos “en tiempo real” En perspectiva En 1992 se efectuó la primera transmisión de audio multipunto (Marzo) y vídeo (Noviembre) Senacitel Multimedia en Internet

6 Recursos Requeridos por Audio/VídeoSenacitel Multimedia en Internet

7 Processor Performance IncreaseFuente: Dr. David Patterson University of Virginia Distinguished Lecture Series, May 19,1998. Senacitel Multimedia en Internet

8 Crecimiento de la Internet (hasta 2002)Senacitel Multimedia en Internet

9 Recursos Requeridos por Audio y VídeoProcesamiento + ancho de banda + conectividad Senacitel Multimedia en Internet

10 Aplicaciones multimediaLas aplicaciones de las redes son la razón de ser de las redes de computadores. Lo ideal sería tener BW infinito, 0 retardo, y no perder datos. Como esto no es posible, cuando desarrollamos una aplicación debemos elegir alguno de los protocolos disponibles. ¿Cómo hacemos esta elección? Debemos estudiar los servicios ofrecidos por los protocolos de transporte. Senacitel Multimedia en Internet

11 Algo sobre Protocolos en Internet

12 Capas de protocolos y sus funcionesModelo OSI Aplicación Presentación Sesión Transporte Red Enlace Física Modelo TCP/IP Aplicación Red Acceso Transporte Programa TCP UDP IP ICMP OSPF ARP HSSI PPP SLIP X.21 EIA Funciones Funciones de red especializadas: Transferencia de archivo, correo electrónico, terminales virtuales ... Formateo de datos, conversión de códigos de carácter, cifrado básico Negociación y establecimiento de una conexión con otro nodo Provisión de datos end-to-end Ruteo de paquetes de extremo a extremo Transferencia entre nodos adyacentes de unidades direccionables (frames) y verificación de errores Transmisión de datos binarios sobre las redes de comunicación Senacitel Multimedia en Internet

13 Encapsulación de datos en distintas capasDatos de usuario Datos de aplicación App1 header Header TCP Segmento TCP Header IP Diagrama IP Header ethernet 14 20 Trailer 4 Frame Ethernet 46 a 1500 bytes aplicación TCP IP Driver Ethernet Senacitel Multimedia en Internet

14 Servicios Provistos porTCP Servicio confiable No hay errores Datos en orden Orientado a la conexión flujo continuo de datos unidad mínima: byte Para sobreponerse a pérdidas se usan retransmisiones lo cual tiene impacto en retardo. Existe mecanismos de control de flujo que reduce throughput ante congestión. UDP Servicio No confiable Hay pérdida de paquetes Orden de llegada no garantizado Servicio de datagrama bloques independientes El paquete llega todo o nada --- Senacitel Multimedia en Internet

15 Pérdida de paquetes UDP en InternetEntre Virginia y California (EEUU), Valparaíso Sin Routers 13 Hops 18 Hops Satélite Senacitel Multimedia en Internet

16 Tiempo de ida y vuelta (RTT) en InternetEntre Virginia y California (EEUU), Valparaíso Sin Routers 13 Hops 18 Hops Satélite Senacitel Multimedia en Internet

17 Pérdida de paquetes seguidos en InternetMediciones entre Inglaterra y Francia a las 8:00 am y 4 pm 4%, 45 min 16% 45 min Senacitel Multimedia en Internet

18 Pérdida de paquetes UDP en InternetEntre UTFSM (Valparaíso) y U. Berkeley y MIT (EEUU) Senacitel Multimedia en Internet

19 Tiempo de ida y vuelta (RTT) en InternetEntre UTFSM (Valparaíso) y U. Berkeley y MIT (EEUU) Senacitel Multimedia en Internet

20 Transmisión de voz en Internet

21 Análisis de la transmisión de audio en InternetEl sonido es una onda generada por la perturbación de la presión en el ambiente (onda de presión). Los humanos oímos sonidos entre 20 y 20 [KHz] El micrófono es el transductor sonido a señal eléctrica, cuya señal es discretizada en tiempo y en amplitud. Onda de presión Senacitel Multimedia en Internet

22 Senacitel 2004 Multimedia en InternetSonido/voz Digital Podemos reducir datos si el muestreo se reduce: para voz basta 8 KHz, para captar nuestro rango audible se usa 44.1 KHz. Manejamos sólo valores discretos para la amplitud. Para una buena calidad de voz niveles (213) son suficientes. Si el salto discreto lo hacemos pequeño para valores pequeños y grande para los mayores, el número de niveles se puede reducir a 256 niveles (8 bits) por muestra. Se consigue así un error de cuantización parejo para todo el rango.(G.711) 8.192 256 Senacitel Multimedia en Internet

23 De ondas de presión a paquetesSenacitel Multimedia en Internet

24 Proceso inverso:paquetes a onda de presióntiempo Tarjeta Sonido Conversión Digital/Análoga Número enteros Descompresión Hardware o Procesador Acomodo de paquetes perdidos Recepción Voltaje Senacitel Multimedia en Internet

25 Compresión/codificaciónUna vez que cada muestra de sonido es digitalizada, se acumula entre 20 a 40 ms de voz (160 a 320 muestras), se comprimen y estructura un paquete para su transmisión. La compresión es la eliminación de redundancia y eventualmente información “poco” relevante. Objetivo es reducir ancho de banda o almacenamiento . 1 min => El silencio es redundancia: no se transmite. Senacitel Multimedia en Internet

26 Ideas usadas en compresiónDos estrategias: Codificar la forma de onda Modelar el tracto bucal En lugar de enviar cada muestra codificada, enviar sólo las diferencias que al ser menores se pueden representar con menos bits. Usando las muestras previas predecir la siguiente y enviar la diferencia entre la predicción y la señal real. ADPCM (G.726) Adaptive Differential Pulse Code Modulation Senacitel Multimedia en Internet

27 Ideas usadas en compresiónDescomponer la señal como la suma de un conjunto de frecuencias preestablecidas y enviar la amplitud de cada una de ellas. G.722 Sub-Band Adaptive Differential Pulse Code Modulation (SB-ADPCM) Senacitel Multimedia en Internet

28 Ideas usadas en compresiónModelar analíticamente el tracto vocal (aparato fonador) y enviar los parámetros que mejor se ajustan el modelo al trozo de señal. Similar al anterior enviando también la señal de error entre lo obtenido con el modelo y lo real. Code Excited Linear Prediction (CELP) G.728 Low Delay Code Excited Linear Prediction (LD-CELP) G.729 Conjugate Structure Algebraic Code Excited Linear Prediction (CS-ACELP) Senacitel Multimedia en Internet

29 Contenido sensible al tiempo:Introducción de marcas de tiempoEl sonido es una señal continua, si cada muestra es recibida podremos mantener la relación temporal del contenido. Sin embargo, la eliminación del silencio, la pérdida de paquetes, la necesidad de sincronización con otros medios obligan incorporar marcas de tiempo en cada paquete para su posterior reproducción en forma sincronizada. Las marcas de tiempo permiten también estimar las variaciones de retardo en la red y ajustar el retardo de reproducción. Senacitel Multimedia en Internet

30 Servicio ofrecido por InternetBest-effort: Mejor esfuerzo, básicamente no garantiza nada. Principales problemas: retardo variable y pérdidas de paquetes. Ejemplo: One-way delay para una ruta en Internet Senacitel Multimedia en Internet

31 ¿Cómo hacemos frente al retardo y pérdidas?Retardo: Se iguala usando un buffer como “colchón”. Transmisión de paquetes Recepción de Retardo Nuevo Retardo Buffer Buffer Senacitel Multimedia en Internet

32 ¿Cómo hacemos frente a las pérdidas?Básicamente: agregar redundancia inteligentemente o atenuar su efecto. Retransmisiones (TCP) sólo son posibles en casos no interactivos. En éstos usamos UDP. Opciones sin agregar información extra: Introducir ruido en lugar del paquete perdido Repetir el paquete previo Entrelazar los datos, así la pérdida no es consecutiva. Opciones agregando redundancia (Forward Error Correction): Usar códigos correctores por ejemplo cada n paquetes enviar uno de paridad de los n primeros. En cada paquete enviar una versión de menor calidad del anterior. Senacitel Multimedia en Internet

33 Estructura de la trama: Real Time ProtocolRTP es un protocolo que estandariza el formato de los paquetes de contenido multimedia en Internet (audio, video y otros). Ofrece servicios Identificación del tipo de contenido del paquete Números de secuencia Marcas de tiempo No ofrece: Garantía de llegada a tiempo Calidad de servicio Entrega de paquetes en orden Senacitel Multimedia en Internet

34 Resumen de audio en InternetOnda de presión Presión tiempo Muestreo Conversión Análogo/Digital Número enteros Codificación Confección de paquete Transmisión RTP audio Ethernet IP UDP tiempo Voltaje Presión Conversión Digital/Análoga Buffer Ethernet IP UDP RTP audio Recepción Decodificación Senacitel Multimedia en Internet

35 Senacitel 2004 Multimedia en InternetContenido Conceptos Aparición de audio y vídeo en Internet Breve sobre protocolos en Internet Transmisión de voz en Internet Transmisión de video en Internet Aspectos no cubiertos Aplicaciones:MBone, VRVS, Realnetworks, WindowsMedia, QuickTime streaming Server, FFMPEG Senacitel Multimedia en Internet

36 Transmisión de vídeo en Internet

37 Análisis de la transmisión de video en InternetVemos en forma continua la luz reflejada por los objetos. El vídeo son secuencias discretas de imágenes. Luz Conversión de Armado de paquetes Captura formato y Compresión Transmisión Digitalización RTP Y: brillo Cb,Cr:color Senacitel Multimedia en Internet

38 Senacitel 2004 Multimedia en InternetCaptura de vídeo Si proviene de una cámara grabadora (No webcam), ésta genera 30 cuadros por segundo en formato NTSC. La tarjeta muestrea y obtiene las componentes de luminancia y crominancia para cada pixel. Las resoluciones son típicamente múltiplos o sub-múltiplos de 320x240 para NTSC. Senacitel Multimedia en Internet

39 Senacitel 2004 Multimedia en InternetConversión de formato El ojo humano distingue mejor la intensidad de la luz o brillo que el color, por ello cada cuadro es almacenado con 1/4 de la resolución para cada componente de color. Intensidad Crominancia del azul y rojo Senacitel Multimedia en Internet

40 Senacitel 2004 Multimedia en InternetCompresión Se trata de eliminar la redundancia y aquello imperceptible para el ojo. Redundancia Espacial: como con imágenes hay zonas regulares Temporal: cuadros seguidos son parecidos Psicovisual: no vemos los detalles Pasos en la compresión: Preparación del cuadro Procesamiento del cuadro Compactación sin pérdida Cuantización Espacio de colores a usar, submuestreo Valores más relevantes se " discretizan" Nuevo espacio Senacitel Multimedia en Internet

41 Ideas usadas en la compresiónNo necesitamos 30 fps, 10 pude bastar. En muchos casos resoluciones de 320*240 basta. Cada cuadro o frame se subdivide en cuadrados de 8x8 pixeles. Como notamos más los valores promedios que los detalles, éstos son codificados con mayor precisión, los detalles con menor precisión o son eliminados. Se toman diferencias del cuadrado con respecto al cuadro anterior. Como la imagen se pudo correr, se busca el cuadro en un entorno (predicción del movimiento). Senacitel Multimedia en Internet

42 Consideraciones de la redCada cuadro no cabe en un paquete, entonces se agrupan varios rectángulos autónomos. Como hay pérdida de paquetes debemos enviar cada cierto rato cuadros comprimidos como imágenes (Intra) Senacitel Multimedia en Internet

43 Senacitel 2004 Multimedia en InternetEl Receptor Básicamente hace la operación inversa. El despliegue se hace en el monitor (RGB) por ello se ocupa mucha CPU en la descompresión y el cambio de formato de cada pixel. Hay alto movimiento de datos en los buses internos del computador que pueden frenar el sistema. El audio generalmente debe esperar al video para reproducción sincrónica. Senacitel Multimedia en Internet

44 Aspectos no cubiertos sobre audio y vídeoSincronización intra-stream: proceso de reproducir el contenido respetando su dependencia temporal. Sincronización inter-stream: proceso de reproducir un contenido respetando la dependencia temporal con otro. Mezcla de múltiples contenidos de audio. Conferencias entre más de dos. Herramientas para programar aplicaciones multimedia. (Segunda Parte) Senacitel Multimedia en Internet

45 Senacitel 2004 Multimedia en InternetAplicaciones Para video conferencia: MBone, VRVS, NetMeeting, Messenger, ..... Para video streaming: RealNetworks, Windows Media, QuickTime streaming Server, FFMPEG Senacitel Multimedia en Internet

46 Senacitel 2004 Multimedia en InternetAplicaciones MBone rat: robust audio tool Vic: video conferencie tool Soporte IPv6 ! Senacitel Multimedia en Internet

47 Senacitel 2004 Multimedia en InternetVIC Senacitel Multimedia en Internet

48 Senacitel 2004 Multimedia en InternetVRVS Virtual Rooms VideoConferencing System Es un sistema distribuido que establece su propia red entre nodos (reflectores) distribuidos a lo largo del planeta. Es una red sobre la actual Internet (e Internet2). Su principal ventaja es la facilidad de uso. Los usuarios ven salas virtuales en las cuales se pueden reunir con audio, video, y datos a través de VNC (Virtual Network Computing) Senacitel Multimedia en Internet

49 Senacitel 2004 Multimedia en InternetReal Networks Existen versiones para varios sistemas operativos (Solaris, Linux, Windows, etc.) Usado por canales de televisión difusión de videos etc.. Radio UTFSM Clases en línea desde Berkeley: Herencia Canal 13 TVN Senacitel Multimedia en Internet

50 Senacitel 2004 Multimedia en InternetWindows Media Player Sólo para usuarios Windows. Varias radios y canales de televisión ya lo usan: Radio Coorperativa Canal 13 TVN Senacitel Multimedia en Internet

51 Proyecto Red de Distribución de Contenidos para MiClaseIdea: Usar videos en las clases de una escuela 10 Mbps 256 kbps 128 kbps LAN 100 Mbps Senacitel Multimedia en Internet

52 Proyecto difusión de video en Valpo.UTFSM-REUNA-UFRO: usó RealNetworks Reuna Videos Servidor Real Cliente Real UTFSM UFRO Internet Valparaíso Temuco Santiago Senacitel Multimedia en Internet

53 Senacitel 2004 Multimedia en InternetSolución a nivel de red Colegio Luterano Concordia Colegio Leonardo Murialdo UTFSM Red Inalámbrica en la V Región Senacitel Multimedia en Internet