COPYRIGHT © 2012 ALCATEL-LUCENT. ALL RIGHTS RESERVED. Jose Javier Garcia Aranda

Author: Catherina Sevilla

0 downloads 0 Views

1 COPYRIGHT © 2012 ALCATEL-LUCENT. ALL RIGHTS RESERVED. Jose Javier Garcia Aranda email: [email protected][email protected] Marina Gonzalez Casquete 22 Octubre 2013 Codificación logarítmica: Calidad wavelet a precio de DPCM Hiparco de Nicea

3 COPYRIGHT © 2012 ALCATEL-LUCENT. ALL RIGHTS RESERVED. 3 Retos para un posible nuevo algoritmo No debe estar sujeto a patentes ( JPEG2000 y fractales tienen patentes asociadas que limitan su difusión) Mejorar el ratio de compresión de forma significativa sobre algoritmos estándar basados en DCT ( JPEG), wavelets (JPEG2000), fractales y otros (predictivos como WebP) Compresión mayor y con menor coste computacional que los más avanzados (como wavelets, la compresión fractal, la compresión basada en redes neuronales y/o el video H264) Permitir relacionar secuencias de imágenes con un bajo coste computacional, evitando así el tiempo invertido en el cálculo de vectores de movimiento (para vídeo)

7 COPYRIGHT © 2012 ALCATEL-LUCENT. ALL RIGHTS RESERVED. 7 LHE: Logarithmical Hopping Encoding LHE permite compresión estadística (huffman) de los hops, ya que los hops más pequeños aparecen un 90% Cuantos más tipos de hops, mas calidad, aunque también aumentan los bpp (Bit Per Pixel) Más de 8 tipos de hops + hop nulo no aportan significativamente más calidad

8 COPYRIGHT © 2012 ALCATEL-LUCENT. ALL RIGHTS RESERVED. 8 Asignación de códigos a los hops Puesto que un pixel se parece al anterior ( x-1), el hop mas frecuente será el hop nulo Redundancia H Redundancia V Puesto que un pixel se parece al anterior ( y-1), el siguiente hop mas frecuente será el hop localizado en y-1 Al resto de hops les asignaremos códigos huffman de mayor a menor probabilidad de aparición. Para cualquier imagen, los mas probables son los mas pequeños de modo que la tabla huffman será estática Estrategias mejores pendientes de ser inventadas

9 COPYRIGHT © 2012 ALCATEL-LUCENT. ALL RIGHTS RESERVED. 9 Ejemplo 8 hops + hop nulo 512x512 1.91 bpp LHE 42.11 dB JPEG 40.7dB JPEG2000 42.7dB 512x512 1.91 bpp LHE 42.11 dB JPEG 40.7dB JPEG2000 42.7dB complejidad O(n) nlog(n) >nlog(n) complejidad O(n) nlog(n) >nlog(n)

11 COPYRIGHT © 2012 ALCATEL-LUCENT. ALL RIGHTS RESERVED. 11 Relevancia perceptual Bordes y detalles (suaves y marcados) pero no “pelo” ni “ruido” ni “espuma”. La medida por tanto no puede ser la de la entropía

14 COPYRIGHT © 2012 ALCATEL-LUCENT. ALL RIGHTS RESERVED. 14 Macroblock 32x32 Macroblock 16x16 block 8x8 block 8x8 escalated to 4x4 (ratio 4:1) or 8x4 (ratio 2:1) or 4x8 (ratio 2:1) macroblock 16x16 escalated to 8x4 or 4x8 (ratio 8:1) or 4x4 (ratio 16:1) macroblock 32x32 escalated to 4x8 or 8x4 (ratio 32:1) or 4x4 (ratio 64:1) Mallas: 3 niveles de escalado

15 COPYRIGHT © 2012 ALCATEL-LUCENT. ALL RIGHTS RESERVED. 15 LHE : distintas calidades Todo escalado a malla 2 Minima calidad Calidad mediaMáxima calidad Algunos bloques escalados en malla 2, otros en malla 1 y otros en malla 0, en función de su relevancia perceptual Todos los bloques en malla cero y sin escalar ¿Se podria usar la informacion de mallas para elegir una estrategia de asignación de códigos a los hops más adecuada y así reducir más los bpp? Es posible, aun son posibles muchas mejoras. LHE acaba de nacer

16 COPYRIGHT © 2012 ALCATEL-LUCENT. ALL RIGHTS RESERVED. 16 3 Mallas y reconstrucción 1. Asignacion de escalados según relevancia perceptual 2. escalado y codificación de bloques escalados 3. Reconstrucción por interpolación

21 COPYRIGHT © 2012 ALCATEL-LUCENT. ALL RIGHTS RESERVED. 21 Paralelización y performance LHE parallel processing of NxN pixels in 2N-1 steps. Y left Y top YiYi Tiempos (ms) Tiempos tomados de prototipo java experimental, no optimizado

23 COPYRIGHT © 2012 ALCATEL-LUCENT. ALL RIGHTS RESERVED. 23 Modelo YUV (422 y 420) YUV 420 Y1Y2 Y5Y6 U1 V1 U2 V2 Y3Y4 Y7Y8 Y1Y2 Y5Y6 Y3Y4 Y7Y8 U1 V3 U4 V2 U3 V1 U2 V4 YUV 422 crominanciaU[i]=128+(-147*red - 289*green + 436* blue)/1000; //funcion de crominanciaU crominanciaV[i]=128+ (615*red – 515*green -100*blue)/1000; //funcion de crominanciaV luminancia[i]=(red*299+ green*587 + blue*114)/1000;

31 COPYRIGHT © 2012 ALCATEL-LUCENT. ALL RIGHTS RESERVED. 31 Video Encoding network Video Decoding Entre que un jugador realiza una acción y ve sus efectos en la pantalla pasan al menos: 2 x latencia red + latencia encoder + latencia decoder Como norma general se aprecia que 60 ms de latencia de red (en el caso de 30-40vms de latencia de codificación/decodificación) es el límite para una experiencia de juego satisfactoria independientemente del tipo de juego Game server 123456 Cloud gaming:Latency composition

32 COPYRIGHT © 2012 ALCATEL-LUCENT. ALL RIGHTS RESERVED. 32 La estimación de movimiento es un proceso con una alta complejidad de cálculo y a menudo representa 2/3 del coste computacional en la codificación de vídeo. Actualmente, muchas de las investigaciones dentro el campo de la codificación de vídeo se centran en buscar algoritmos que puedan realizar más eficientemente la estimación de movimiento. Vectores de movimiento En cloud gaming (o aplicaciones de video interactivo) solo va a haber frames I y frames P, no frames B. Por tanto los vectores se calculan sólo a partir del frame/s anteriores y no posteriores.

33 COPYRIGHT © 2012 ALCATEL-LUCENT. ALL RIGHTS RESERVED. 33 Hops logarítmicos temporales (T-hops) Las metricas sobre los T-Hops ahora no nos dicen cuanta relevancia tiene la información, sino cuánto ha cambiado la información “Target frame” “last frame”

34 COPYRIGHT © 2012 ALCATEL-LUCENT. ALL RIGHTS RESERVED. 34 video codificado en T-hops Podemos representar una secuencia de video con T-HOPS. Si el movimiento es brusco se pierden los detalles. Cuando se estabiliza empiezan a verse los detalles, pues los nuevos saltos mas pequeños van refinando en el tiempo la imagen

36 COPYRIGHT © 2012 ALCATEL-LUCENT. ALL RIGHTS RESERVED. 36 Estimación LHE de Vectores “caja 1” Macrobloque 32x32 “caja 2” “caja 1” “caja 2” Si la caja2 conserva el centro de gravedad de cada hop mas o menos en el mismo lugar relativo, es que el vector ha sido bien estimado y se puede usar para el siguiente fotograma. SI por el contrario se ha desplazado, actualizamos el vector para estimar el siguiente fotograma. Si ha cambiado mucho, lo despreciamos y asignamos V=0 Calculamos el centro de gravedad de los hops de cada tipo, al tiempo que estamos haciendo la codificacion de los T-hops Last frame + T-hops = target frame + V 1 2 Last frame + V + T-hops’ = target frame + V’ v

37 COPYRIGHT © 2012 ALCATEL-LUCENT. ALL RIGHTS RESERVED. 37 Estimación LHE de Vectores Estimación correcta. Información resultante nula Estimación correcta. Presencia de información en las areas “nuevas” Estimación incorrecta en un bloque

38 COPYRIGHT © 2012 ALCATEL-LUCENT. ALL RIGHTS RESERVED. 38 Video con LHE: conclusiones Podemos representar una secuencia de video con T-HOPS. Si el movimiento es brusco se pierden los detalles. Cuando se estabiliza empiezan a verse los detalles, pues los nuevos saltos mas pequeños van refinando en el tiempo la imagen Los T-HOPS tienen una altísima redundancia espacial, mayor aun que los Hops espaciales, por lo que son fácilmente compresibles con técnicas de escalado similares Los T-HOPS permiten calcular vectores de movimiento sin apenas coste computacional, lo que permitiría tiempos de codificación cercanos al 1ms, con alta compresión LHE, por lo tanto se presenta como una alternativa superior a DCT en calidad y computacionalmente y a la vez como una técnica de codificación de vídeo ultra rápida para aplicaciones de video interactivo (cloud gaming, videoconf…) LHE necesita desarrollarse mucho más. Acaba de nacer y puede mejorar mucho tanto en imagen fija como en video, aplicando nuevas ideas que están por inventar, mejorando la asignación de códigos a los hops, robusteciendo el calculo de vectores, etc [email protected] [email protected]

COPYRIGHT © 2012 ALCATEL-LUCENT. ALL RIGHTS RESERVED. Jose Javier Garcia Aranda

Recommend Documents