1 Módulo 2: Midiendo la ExactitudCarlos López Vázquez
2 Plan Error, Exactitud y Precisión Definiendo estándaresInformando sobre la Calidad Midiendo y Verificando Análisis de Sensibilidad
3 Error, Exactitud y PrecisiónSi no se lo mide, no se lo puede administrar Tiene implicancias: Sobre el dato final Sobre el proceso productivo Sobre las habilidades de las personas Cada tipo de dato es específico, pero hay reglas generales
4 Definiendo estándaresFuente: Foote and Huebner Especificar criterios desde el principio Para datos espaciales y no espaciales Tópicos a considerar: Niveles de error admisible Diccionarios, tesauros Criterios de clasificación Criterios para Datos Criterios para Procedimientos Tres pasos:
5 1: qué exigir Especificar criteriosMucha exactitud cuesta Poca exactitud cuesta Requisitos son propios del proyecto Ir hacia atrás: desde el output a los inputs Requerirán Análisis de Sensibilidad
6 El proyecto no puede salir a pesar de la gente2: entrenar a la gente No alcanza con exigir el éxito Deben conocerse los objetivos Debe capacitarse para lograrlo Deben saber para qué se hace así El proyecto no puede salir a pesar de la gente
7 3: verificar procesos y resultadosAplique un control regular El Control puede ser por lotes continuo Aplicarlos A proveedores externos Internamente ¡No sea complaciente!
8 Plan Error, Exactitud y Precisión Definiendo estándaresInformando sobre la Calidad Midiendo y Verificando Análisis de Sensibilidad
9 Informando sobre la CalidadSiempre debe estar escrito En documentos independientes Dentro de los datos Incluir Cómo, Cuándo, Dónde,… Asignar a un responsable Documentar preserva la inversión Los datos sobreviven más de lo esperado Típico es 50~100 años Y después vendrán los arquéologos… Explicar que un dato sin documentar perderá rápidamente su valor; los datos “duran” entre 50 y 100 años y los expertos normalmente no viven tanto
10 Plan Error, Exactitud y Precisión Definiendo estándaresInformando sobre la Calidad Midiendo y Verificando Análisis de Sensibilidad
11 Midiendo y VerificandoLa realidad manda… Comparar en campo si es posible Comparar contra otra fuente más precisa si existe Existen ensayos específicos por tipo de dato Se aplican tests paramétricos y no paramétricos
12 Cualquiera sea el test…Deberá ser científicamente creíble Basado en estadística, medidas o ambas Repetible por otros Deberá costar algo razonable Costo en dinero Costo en tiempo Ampliamente aceptable Basado en estándares profesionales, nacionales y/o internacionales
13 NSSDA: National Standard for Spatial Data Accuracy (1998)Veremos uno… NSSDA: National Standard for Spatial Data Accuracy (1998)
14 NSSDA POSITIONAL ACCURACY HANDBOOK 1999 Identifica un estadístico bien definido para describir resultados de ensayos de exactitud posicional Describe un método para el ensayo de coordenadas o posiciones Provee un lenguaje estandarizado para informar la exactitud No prevee ensayos para variables temáticas o categóricas; sólo cuantitativas
15 Siete pasos Determinar si se requiere exactitud horizontal, vertical o ambas Seleccionar un conjunto de test points Identificar y extraer los homólogos de un conjunto independiente de mejor exactitud Tomar medidas en puntos idénticos a los anteriores
16 Siete pasos (cont) Calcular un estadístico de la exactitud de la posición según corresponda Preparar la declaración de exactitud según el formulario Incluir esa declaración en los metadatos
17 Siete pasos Determinar si se requiere exactitud horizontal, vertical o ambas Seleccionar un conjunto de test points Identificar y extraer los homólogos de un conjunto independiente de mejor exactitud Tomar medidas en puntos idénticos a los anteriores
18 Siete pasos Determinar si se requiere exactitud horizontal, vertical o ambas Seleccionar un conjunto de test points Identificar y extraer los homólogos de un conjunto independiente de mejor exactitud Tomar medidas en puntos idénticos a los anteriores
19 Algunos detalles… ¿Dónde localizar los puntos?POSITIONAL ACCURACY HANDBOOK 1999 ¿Dónde localizar los puntos? Bien definidos, fáciles de medir Intersecciones perpendiculares Monumentos N>20, fallas ≤1 ¿N≤20? Estimación deductiva Evidencia interna Comparación con la fuente
20 Siete pasos Determinar si se requiere exactitud horizontal, vertical o ambas Seleccionar un conjunto de test points Identificar y extraer los homólogos de un conjunto independiente de mejor exactitud Tomar medidas en puntos idénticos a los anteriores
21 Datos ¿independientes?POSITIONAL ACCURACY HANDBOOK 1999 Buscar puntos comunes Exactitud Idealmente >> triple En otro caso… lo que haya (¡si es mejor!) Documentarla en metadatos ¡Usar sólo cifras significativas! Exactitud ~uniforme en área Área ~equivalente
22 Siete pasos (cont) Calcular un estadístico de la exactitud de la posición según corresponda Preparar la declaración de exactitud según el formulario Incluir esa declaración en los metadatos
23 Cálculos en horizontal…POSITIONAL ACCURACY HANDBOOK 1999 Errorx independiente de Errory Errores con distribución Normal No hay outliers ¡Es un test paramétrico! Si:
24 Cálculos en la vertical…POSITIONAL ACCURACY HANDBOOK 1999 Errores con distribución Normal No hay outliers Si:
25 Variables temáticas o categóricasNo contempladas en el NSSDA Es importante hacer foco en: Naturaleza de los errores ¿Se confundieron especies de pinos? ¿Se confundió trigo con vid? Frecuencia de los errores Magnitud de los errores Origen de los errores Algunos serán más graves que otros © Arthur J. Lembo, Jr. Cornell University
26 ¿Cómo medir la Exactitud?Prepare una matriz de confusión Elija N puntos al azar Vea lo que dicen los datos Vea lo que hay en el terreno Cuente los casos Idealmente, todo en Datos Terreno A B C 10 2 3 20 4 1 la diagonal Exactitud global=traza(A)/N
27 ¡No incluir los elementos de la diagonal!Alguna terminología Error por Omisión Def.: Error por columna/total en columna (1.0 - Exactitud del productor) Error por Comisión Def: Error por fila/total en fila (1.0-Exactitud del usuario) ¡No incluir los elementos de la diagonal!
28 Resultados del ejemploExactitud Total: ( )/( )= 40/50 = 80% Exactitud de comisión para la clase A: 10/(10+2+3) = 10/15 = 67% Exactitud de omisión para la clase A: 10/(10+0+4) = 10/14 = 71% Datos Terreno A B C 10 2 3 20 4 1
29 La tabla completa
30 El índice kappa de CohenUna medida de la exactitud observada en comparación con el azar Es un único número (un escalar) El ideal sería 1.0; lo peor sería 0.0 Un valor intermedio 0.83 implica que se están evitando 83% de los errores que cometería una clasificación al azar No está recogido en los estándares Sin embargo se usa… ¿Cómo calcularlo?
31 Ejemplo: qA=15*14/50=4.20 qB=20*23/50=9.20 qC=15*13/50=3.90q=Total=17.3 Calcular “q” para cada caso Def.: q es el número de casos en la diagonal por puro azar qi=sumi(fila)* sumi(col)/N
32 Ejemplo (cont.): ¡Bastante malo! Calcular kappa=0.227 ¡Bastante malo! Calcular kappa Def.: kappa=(traza(A)-q)/(N-q)
33 Un pequeño problema… Se asume que no hay confusión posible al construir la matriz de confusión En la práctica… Absolutamente incorrecto Comprensible, pero incorrecto Razonable, pero podría ser mejor Buena respuesta Absolutamente correcto
34 Digresión: Midiendo Calidad…Estamos revisando los siete pasos Hemos visto algunos tests de Exactitud Algunos estandarizados, otros no Para posición Para atributos Esencialmente controlan Exactitud Pero en Calidad no todo es Exactitud…
35 Otras componentes… Completitud Coherencia lógica Exactitud temporalLinaje Metadatos Componentes más modernas Sin definir totalmente Falta unificar nomenclatura Faltan métricas
36 Ejemplo: Coherencia lógicaRepresentación sin sentido Caminos en el agua Isolíneas que se cortan Puentes sin rutas o sin río Cuencas hidrográficas vs. ríos ¿Cómo lo mediría?
37 Volviendo a los Siete pasos…Calcular un estadístico de la exactitud de la posición según corresponda Preparar la declaración de exactitud según el formulario Incluir esa declaración en los metadatos
38 Declaración de ExactitudPOSITIONAL ACCURACY HANDBOOK 1999 En el estándar se consideran dos formatos: “__ mts de exactitud (horizontal/vertical) al 95% de confianza” “Compilado para tener __ mts de exactitud (horizontal/vertical) al 95% de confianza” Usar (1) si se dispone de datos específicos independientes Usar (2) si se utilizó un procedimiento estándar consistente con el error obtenido
39 Incluyendo la IncertidumbreFalacia de Falsa Precisión Una represa de 1: ,89 m3 La probabilidad de falla es Regla (indefendible…): un décimo de la resolución Población en unidadesdensidad en décimos Simple y popular, ¡pero errónea!
40 Incluyendo Incertidumbre(2)Falacia de Falsa Certidumbre Respuestas “precisas” sin sustento Exacerbado al combinar capas Ni hablar de mezclar escalas Problema extremadamente corriente Lo correcto sería alguno de: resultado+intervalo [peor, típico, mejor] [min,max] con probabilidad X ¿Cómo determinarlo? ¡Permanezca en este canal!
41 Siete pasos (cont) Calcular un estadístico de la exactitud de la posición según corresponda Preparar la declaración de exactitud según el formulario Incluir esa declaración en los metadatos
42 Comunicando… POSITIONAL ACCURACY HANDBOOK 1999 Si hay varias capas, podría requerirse una declaración para cada una de ella Si hay una mezcla inseparable y no ensayada, asignarle el peor nivel de error Si está ensayada, asignarle el nivel obtenido Nunca use más cifras que las de los datos
43 Otras formas de estimar…Si tiene pocos puntos Si la distribución es claramente no-gaussiana ¡No está previsto en el estándar! Use Remuestreo (Bootstrap) Atención: Lo que de allí resulte complementa, pero no sustituye a lo requerido por el estándar
44 Breve introducción al Bootstrap
45 Fuente: Lucila Ohno-Machado¿Porqué Remuestrear? Fuente: Lucila Ohno-Machado En ocasiones no es posible tener muchas muestras de una población En ocasiones no es correcto (o posible) asumir una distribución para una población El objetivo es: Assess sampling variation Ejemplo práctico: EasyDEM®
46 Bootstrap Efron (biostadístico de Stanford ) a finales de los 80’s“Pulling oneself up by one’s bootstraps” Es un enfoque no paramétrico para inferencia estadística Usa cálculos (fuerza bruta) en lugar de resultados asintóticos e hipótesis tradicionales sobre distribuciones Puede usarse para obtener errores estándar, intervalos de confidencia y prueba de hipótesis
47 Ejemplo Adaptado de Fox (1997) “Applied Regression Analysis”Objetivo: Estimar diferencia promedio de respuestas entre Hombre y Mujer Se dispone únicamente de cuatro parejas de observaciones:
48 Observ. Hombre Mujer Differ. 1 24 18 6 2 14 17 -3 3 40 35 5 4 44 41
49 Diferencia promedio Promedio de la muestra es( )/4 = 2.75 Si Y fuese normal, el Intervalo de Confianza CI al 95% sería Problema: no conocemos
50 Estimadores corrientesEl estimador de s es El estimador de la desviación estándar es Asumiendo que la población es normal, podemos usar la distribución-t como
51 Intervalo de Confianza CIm = 2.75 ± 4.30 (2.015) = 2.75 ± 8.66 -5.91 < m < 11.41 ¡¡¡GIGANTESCO!!!
52 Media y varianza de la muestraIdea: usar la distribución Y* de la muestra para estimar la distribución Y de la población y* p*(y*) 6 .25 E*(Y*) = S y* p(y*) = 2.75 V*(Y*) = S [y*-E*]2p(y*) = DE*(Y*)=sqrt(V*(Y*) )=1.745
53 Muestreo con ReemplazoCaso extremo Muestra Y1* Y2* Y3* Y4* * 1 6 6.00 2 -3 3.75 3 5 5.75 .. 100 2.75 101 1.25 … 255 3.5 256 3.00 Sólo hay 256 posibilidades Otro caso extremo
54 Calculando nuevos CI ¡Igual que antes!El promedio de estos 256 promedios es nuevamente 2.75, pero su desviación es ahora (sin “^” porque la desviación ahora no se estima) ¡Igual que antes!
55 ¿Y entonces? ¡Esto ya era sabido! Pero mediante remuestreo o bootstrapLos Intervalos de Confianza pueden ser más precisos Pueden ser calculados para problemas no lineales que no tienen fórmulas de error conocidas
56 La población es a la muestra la muestra es a las remuestraslo mismo que la muestra es a las remuestras En la práctica (a diferencia del ejemplo anterior), no todas las NN remuestras son seleccionadas
57 Léase como “el criterio aplicado a la población”Procedimiento Léase como “el criterio aplicado a la población” 1. Especifique un criterio de muestreo que produzca la muestra que se utilizará Criterio(población) muestra 2. Use esta muestra como si fuese la población (pero con reemplazo) Criterio(muestra) re-muestra1 re-muestra2 etc…
58 Procedimiento(2) 3. Para cada remuestra, calcule el estimador estadístico de su interés 4. Use la distribución de los estimadores de las remuestras para estimar las propiedades de la muestra
59 Atención: Remuetreo no es válido absolutamente para todoNo debe usarse si hay colas “largas” Ej.: estimación del rango
60 Otro ejemplo: Ver si unos datos ajustan al modelo Ver si unos datos ajustan al modelo Confirmar que el proceso está bajo control Tomar muestras al azar y confirmar que es de distribución, parámetros y escala fijos En particular, confirmar CI al 95%
61 ¿Qué hacer primero? 4 gráficosEl primer gráfico (arriba, izquierda) es de los datos vs. Su índice. El segundo (arriba, derecha) es de un dato vs. el siguiente. El tercero (abajo, izquierda) es el histograma y el cuarto (abajo, derecha) es el qq-plot Nótese que en los dos gráficos de abajo se ha asumido distribución normal para comparar; si fuera correcta, el cuarto gráfico sería una recta. No luce como normal...
62 Supongamos Uniforme… Agora sim...
63 Un estimador para C Yi no es normal Aplicaremos remuestreoEstimadores posibles de C Media Mediana Promedio del rango Quizá otros… Buscaremos el de mínima varianza
64 Relativamente dispersoCómo lucen los CI Relativamente disperso Mucho más concentrado C=.507; CI = [.482,.534] C=.499; CI = [.497,.503]
65 Importancia… Lo típico es requerir CI para la mediaCaso normal: hay solución analítica En otros casos no la hay Es donde el bootstrap/resampling muestra su importancia
66 Otros métodos de remuestreoJackknife (sacar de a uno) es un caso especial de bootstrap Remuestreo sin un caso y sin reemplazo (las muestras pasan a tener tamaño n-1) Validación cruzada Divide los datos en entrenamiento y test Generalmente se los usa para estimar intervalos de confianza en predicciones para el modelo “full” (i.e., modelo que usa todos los casos)
67 Recapitulando: Vimos estándares Vimos métricas de ExactitudPosicionales Atributos Cuantitativos, Cualitativos, etc Vimos métodos para medir Exactitud Cuando hay acceso a suficientes valores mejores Cuando son gaussianos Para los otros casos Explicamos e ilustramos Bootstrap Mencionamos Jacknife
68 Plan Error, Exactitud y Precisión Definiendo estándaresInformando sobre la Calidad Midiendo y Verificando Análisis de Sensibilidad
69 Análisis de SensibilidadSiempre hay que Validar los resultados Conjunto de entrenamiento Conjunto de validación ¿Cómo? Depende del Modelo+Datos Datos continuos Analítico (Taylor) Aritmética de Intervalos Datos categóricos Simulación de Monte Carlo Se suele hacer al final… ¡pero puede invalidar todo el proyecto!
70 Cuanto antes mejor… Si el dato no existe con la exactitud requeridaSi no era necesaria tanta exactitud ¡Todo cuesta! Datos pueden ser irrelevantes… Tipo de suelo para estudio eólico Relevancia diferente según el output Producción de energía en kWh-año Costo de la granja eólica en U$S
71 Ejemplo analítico 1 Supongamos ¿Cómo se relaciona V(f) (o Varianza de f) con V(x)? Más en general: i.e. sf = |a|sx Pero vale sólo si la aproximación lineal es buena en el rango del error
72 El coeficiente de correlación r [-1,+1] es 0 si x,y no estánEjemplo analítico 2 Consideremos ahora En general El coeficiente de correlación r [-1,+1] es 0 si x,y no están correlacionadas Nuevamente sólo es válida si la aproximación lineal es buena en el rango del error
73 Otras fórmulas analíticasAhora considérese Resultados similares para Otras fórmulas útiles (sólo créanlo…) Error en el logaritmo es el error relativo El error relativo en x o 1/x es el mismo
74 En general… Hay que estimar las derivadas parcialesMétodos numéricos aproximados: Cociente incremental Uso de números complejos Problema: hay que estimar incremento Δ apropiado Alternativa: uso de la derivada exacta
75 Derivada exacta… Derivación manual Derivación automática PaquetesSólo en casos simples; require lápiz, papel y codificar Derivación automática Variante 1: Generador de nuevo código Variante 2: Sobrecarga de operadores Paquetes ADOL-F/ADOL-C TAPENADE Matlab+ADMAT Otros… Ejemplos
76 Generadores de código Generan automáticamente un segundo código fuente a partir del disponible ADOL-C; ADOL-F; TAPENADE, etc. Derivada exacta; no hay cociente incremental Ejemplo:
77 Sobrecarga de operadoresSólo en ambientes orientados a objetos Ej.: Matlab + ADMAT toolbox Ventajas: Derivada exacta (tampoco hay cociente incremental) Sólo hay un código fuente
78 Pros y Contras: Taylor Ventajas:Es una fórmula analítica Eficaz en términos de CPU Maneja correlación espacial Problemas: se trata de una aproximación ¿Será buena? ¿mala? ¿De dónde saco las derivadas parciales? Es fácil si hay normalidad N(0,) En algunos casos el error no tiene media cero ¿Cómo estimar la correlación espacial del error?
79 Aritmética de IntervalosFuente: B. Schneider También analítico Equivalente a un “peor caso” Notación: Si ai ≤ Ai ≤ Ai [Ai]=[ai, Ai] Ej.: Suma: S=Ai+Bi; [S]=[ai+bi, Ai+Bi] Producto: P=Ai*Bi; [P]=[min(aibi, aiBi , Aibi ,AiBi),max(ídem)] Automatizable C++, F90, etc.
80 Pros y Contras Cotas exactas y estrictas Eficaz en tiempo de CPUQuizá inalcanzables… Estricto es quizá requerido en algunos casos Eficaz en tiempo de CPU No requiere normalidad (ignora PDF) No require diferenciabilidad Problemas: No provee PDF del intervalo No maneja correlación espacial
81 ¿En qué andábamos? Estábamos haciendo un Análisis de Sensibilidad¿Alcanza/no alcanza la Exactitud de los datos disponibles? Vimos Métodos Analíticos Sólo para datos continuos Veremos métodos Estadísticos de Simulación Para datos continuos/categóricos
82 Métodos de Monte Carlo Fuente: Vesna Luzar-Stiffler Def.: Método de MC es cualquier procedimiento que use números aleatorios ¿Números aleatorios? ¿Qué es un número aleatorio? ¿Un número? Secuencia de números aleatorios Tomado de Computational Statistics Course Vesna Luzar-Stiffler, Ph.D. University of Zagreb and CAIR Research Center Zagreb, Croatia Computational Statistics Course Part IMonteCarloBootstrap.ppt
83 La parte aleatoria… Distribución Uniforme 1Todo número en [0,1] tiene la misma probabilidad Fundamental (se usa para otras distribuciones) Para muestreo al azar, etc. ¿Cómo generar una secuencia de números aleatorios? Usar un sistema caótico (moneda, dado, etc.) Usar un proceso inherentemente randómico Usar tablas de números aleatorios Problema: Resultados no reproducibles Impráctico, no confiable (¿sesgos?) Tablas – no suficientemente extensas 1 p(0.3)=p(1)= ...
84 Números seudo-aleatoriosNúmeros pseudo-aleatorios generados con algoritmos No correlacionados, ciclos largos, etc. Ej.: Middle square algorithm (J. Von Neumann, 1946): Para generar una secuencia de enteros de 10 dígitos: Elija uno cualquiera, Elévelo al cuadrado y luego Extraiga los 10 dígitos intermedios y úselos como el siguiente número de la secuencia Por ejemplo: 2 2
85 Seudo-Aleatorios… ¡LOOP!¡No son al azar! Son series totalmente determinísticas y predecibles Lucen como al azar, pero … 2 6100 ↓ 2 2 ¡LOOP! 2
86 Linear congruential method (Lehmer, 1948)In+1 = (a*In + c) mod m I0 = Valor inicial (semilla) a,c ≥ 0, m > I0 , a,c Una mala elección de constantes generará secuencias malas: Ej.: a=c=I0=7, m=10 7,6,9,0,7,6,9,0,... A mod B=resto de dividir A entre B loop
87 Familia popular… RANDU: In+1 = (65539*In) mod 231Se vio que no era bueno RANMAR: In = (a*In-1 + b*In-2) mod m genera series con período 1043 En general se deberían usar generadores conocidos, con propiedades bien documentadas Sin embargo…
88 Para PDF´s no uniformesPuede haber rutinas específicas (ej.: N(0,1)) ¿Otros casos? Método de la probabilidad inversa Calcular Generar t~U(0,1) Evaluar x resulta tener pdf igual a f(s) Hay otros métodos para casos particulares Problemas: pdf’s discretas, eficiencia, etc.
89 Simulación de Monte CarloAparece con las primeras computadoras ( ) Áreas de aplicación incluyen biología, química, informática, análisis de datos econométricos y financieros, ingeniería, ciencia de los materiales, física, ciencias sociales, estadística, etc. La SMC se resume en: Asumiendo un mecanismo para generar datos de su proceso Produzca nuevas instancias de datos simulados Examine estadísticamente los resultados de esas instancias Si se tiene “la” pdfSMC estándar Si no, se usa Remuestreo (que es un pariente cercano) Típicamente medias y varianzas
90 Algunos problemas… SMC plantea gran demanda de CPUVarianza ~1/sqrt(N) Bajar el error un 10% requiere multiplicar por 100 el número de simulaciones Se intenta mejorar esta característica Técnicas de Reducción de Varianza (TRV) Veamos de qué se trata…
91 TRV: Enfoque AntitéticoSe basa en que Si X1 y X2 son independientes, Si se pueden generar X1 y X2 de forma que tengan correlación Cov(X1,X2) negativa puede lograrse que Var(X1+X2) sea menor que si son independientes
92 Ejemplo: Integral (o promedio)Puede ser reformulado como ¿Pero...cómo? donde Xi y Xi’ están correlacionados negativamente y las Yi siguen siendo independientes
93 ¿Cómo lograr correlación negativa?El procedimiento en general es X=F-1(U) donde U~U(0,1) y dF/ds=f(s) Pero U~U(0,1) implica que (1-U)~U(0,1). Por lo que, X´=F-1(1-U) también tiene la misma distribución f(s) que X Si F(s) es monótona (y por lo tanto también F-1(s)) entonces X´ y X tienen correlación negativa
94 Otros trucos… No abundaremos... Si se quiere calcularEn ocasiones es fácil resolver analíticamente la integral y posteriormente hacer la simulación de Monte Carlo en el residuo, logrando No abundaremos...
95 Aspectos importantes en SMCDiseño apropiado Medida de la exactitud del resultado Justificación del número de casos/muestras Selección del generador aleatorio Memoria y tiempo de cálculo Técnica de reducción de varianza Software usado Análisis del resultado (visualización, ajuste por curvas, etc.)
96 En resumen: Como productor: hay estándares para expresar ExactitudPara posición y variables continuas No para variables categóricas Estimación basada en suficientes valores más exactos Alternativamente, usar Bootstrap Como usuario: preocuparse mucho sólo si el problema es sensible
97 ¿Cómo medir Sensibilidad?Hay técnicas informáticas… Simulación Monte Carlo Uso general, no paramétrica, etc. Mucha CPU y tiempo Propagación de errores Sólo funciones diferenciables No requiere simulación Complejas para algunas operaciones GIS típicas Escasa disponibilidad en GIS
98 Módulo 2: Midiendo la ExactitudCarlos López Vázquez