1 Propiedades curiosas de los espacios de alta dimensiónpropiedades curiosas de los espacios de alta dimension

2 propiedades curiosas de los espacios de alta dimensionIntroduccion Utiliza la geometria euclidea y cartesiana para examinar las propiedades de los espacios de alta dimensión, como varían respecto de nuestras intuiciones en baja dimensión y como afecta esto al análisis de los datos propiedades curiosas de los espacios de alta dimension

3 propiedades curiosas de los espacios de alta dimensioncontenidos Propiedades geometricas, asimptoticas y estadísticas Propiedades asintóticas de las estadisticas de primer y segundo orden Implicaciones para la clasificacion supervisada experimentos propiedades curiosas de los espacios de alta dimension

4 El volumen de un hipercubo se concentra en las esquinasEl volumen de una hiperesfera de radio r en dimension d, y de un hipercubo de lado r en dimensión d. La fraccion de volumen ocupada por la hiperesfera inscrita en el hipercubo tiende a cero cuando crece la dimension. propiedades curiosas de los espacios de alta dimension

5 propiedades curiosas de los espacios de alta dimensionDeducción: el volumen de los hipercubos se concentra en las esquinas al aumentar la dimensión. propiedades curiosas de los espacios de alta dimension

6 El volumen de una hiperesfera se concentra en la costra exteriorFracción del volumen de una hiperesfera ocupado por una hiperesfera inscrita de radio infinitesimalmente menor propiedades curiosas de los espacios de alta dimension

7 El volumen de una hiperelipsoide se concentra en la costra exteriorEcuación de la hiperelipsoide volumen Fraccion del volumen inscrito propiedades curiosas de los espacios de alta dimension

8 Conclusiones para datos de alta dimensiónEl espacio de alta dimension esta casi vacio: los datos están en un subespacio. Los datos pueden proyectarse al subespacio sin pérdida de información significativa Concentración de los datos con distribución normal en la cola, y con distribución uniforme en las esquinas Se dificulta la estimación porque los vecindarios están vacios propiedades curiosas de los espacios de alta dimension

9 propiedades curiosas de los espacios de alta dimensionExperimento: generación de datos multidimensionales y examen de su histograma propiedades curiosas de los espacios de alta dimension

10 propiedades curiosas de los espacios de alta dimension

11 propiedades curiosas de los espacios de alta dimension

12 Conclusiones del experimentoSe muestran los histogramas de las distancias a cero y de los cuadrados de las distancias a cero. Se observa que los datos en alta dimensión se alejan de cero y se concentran en capas externas de la distribución. propiedades curiosas de los espacios de alta dimension

13 propiedades curiosas de los espacios de alta dimensionLas diagonales son casi ortogonales a todos los ejes (en alta dimension) Coseno del angulo de la diagonal a un eje. Importancia de este resultado: cualquier proyección de un cluster de datos en una diagonal destruirá información discriminante. propiedades curiosas de los espacios de alta dimension

14 propiedades curiosas de los espacios de alta dimensionEl numero de muestras necesario para el entrenamiento crece con la dimensión Para clasificadores lineales crece linealmente con la dimension, cuadraticamente para los cuadráticos y exponencialemente para los no paramétricos (redes neuronales). Fenómeno de hughes: el rendimiento del clasificador decrece con la dimensión a menos que el numero de muestras sea infinito. propiedades curiosas de los espacios de alta dimension

15 Las proyecciones lineales tienden a seguir distribuciones normalespropiedades curiosas de los espacios de alta dimension

16 propiedades curiosas de los espacios de alta dimensionExperimento: examina el histograma de una proyección en un eje arbitrario de datos simulados a partir de una distribución uniforme y datos de una clase de AVIRIS hiperespectral. Otros experimentos muestran que distribuciones mezcla de gausianas se colapsan en una unica normal. propiedades curiosas de los espacios de alta dimension

17 propiedades curiosas de los espacios de alta dimensionLo mismo para datos que provienen de dos clases, se observa que se pierde la discriminación en dos clases. propiedades curiosas de los espacios de alta dimension

18 Propiedades asintoticas de los estadisticos de primer y segundo ordenBasada en la distancia de Battharyya, que bajo la asunción de normalidad toma la forma propiedades curiosas de los espacios de alta dimension

19 propiedades curiosas de los espacios de alta dimensionExperimento 1 Datos de dos clases, 500 ptos por clase. Predominio de los segundos momentos propiedades curiosas de los espacios de alta dimension

20 propiedades curiosas de los espacios de alta dimensionAl aumentar la dimensión aumenta la importancia de la componente de covarianza de la distancia de Bhattaryya. propiedades curiosas de los espacios de alta dimension

21 propiedades curiosas de los espacios de alta dimensionExperimento 2 El enfasis discriminante esta en las medias, por tanto el clasificador basado en el más cercano funciona mejor. Se refleja en la distancia de Bhattaryya en la influencia creciente con la dimensión para el componente de la media. propiedades curiosas de los espacios de alta dimension

22 propiedades curiosas de los espacios de alta dimension

23 propiedades curiosas de los espacios de alta dimensionDerivacion de cotas de importancia de las componentes de la distancia de Bhattaryya Caso 1: mayor influencia de las varianzas propiedades curiosas de los espacios de alta dimension

24 propiedades curiosas de los espacios de alta dimension

25 propiedades curiosas de los espacios de alta dimensionComponente de las medias en la distancia de Bhattaryyya propiedades curiosas de los espacios de alta dimension

26 propiedades curiosas de los espacios de alta dimensionComponente de covarianzas en la dist. Bhatt. Define una cota superior del ratio de los componentes: propiedades curiosas de los espacios de alta dimension

27 propiedades curiosas de los espacios de alta dimensionTomando el limite cuando crece la dimensión propiedades curiosas de los espacios de alta dimension

28 propiedades curiosas de los espacios de alta dimensionCaso 2: dominan los componentes de diferencia de las medias propiedades curiosas de los espacios de alta dimension

29 propiedades curiosas de los espacios de alta dimension

30 propiedades curiosas de los espacios de alta dimension

31 propiedades curiosas de los espacios de alta dimensionExperimento real Datos de AVIRIS en Indian Pines. Descarta las bandas de absorción atmosferica y procesa 200 bandas. Datos tomados en el comienzo de la estación, las plantas sólo cubren el 5% del area. El arado puede dejar mucho, moderado o poco residuo del año pasado. Los tipos de suelo cambian bastante. Por todo ello el 95% del area presenta bastante variabilidad mientras que las plantas tienen una signatura muy similar. propiedades curiosas de los espacios de alta dimension

32 propiedades curiosas de los espacios de alta dimension

33 propiedades curiosas de los espacios de alta dimensionReduccion de dimensiones de 200 a 22 Metodo basado en la frontera de decisión Analisis discriminante 2 metodos de projection pursuit Extracción de características mediante decision boundary o analisis discriminante. Clasificadores Maxima verosimilitud Idem con umbral de 2% ECHO propiedades curiosas de los espacios de alta dimension

34 propiedades curiosas de los espacios de alta dimension

35 propiedades curiosas de los espacios de alta dimensionExperimento 2 Define 4 clases Realiza dos tipos de reducciones de dimensiones: DA de 200 a3 PP de 200 a 22 seguido de DA de 22 a 3 propiedades curiosas de los espacios de alta dimension

36 propiedades curiosas de los espacios de alta dimension