1 Redes Neuronales Artificiales (ANN)

2 Modelos Conexionistas Consideraciones HumanasTiempo de Conmutación de una Neurona Número de Neuronas Conexiones por Neurona Tiempo de reconocimiento de escena Computación Paralela ~0.001s ~1010 ~104-5 ~0.1s

3 Modelos Conexionistas Propiedades de ANNMuchos unidades de conmutación como neuronas Muchas interconexiones pesadas entre unidades Necesidad de procesamiento en paralelo y distribuido Énfasis en el ajuste de pesos automáticamente

4 ¿Cuándo considerar la ANN?La entrada es discreta con muchas dimensiones o continua (ej. sensores) Salida discreta o continua La salida es un vector de valores Posibles datos ruidosos La forma de la función objetivo es desconocida La compresión del modelo no es importante

5 ¿Cuándo considerar la ANN?Ejemplos: Reconocimiento de fonemas hablados Clasificación de Imágenes Predicción financiera

6 Proyecto ALVINN

7 Perceptrón Escrita en notación vectorial

8 Superficie de decisión de un PerceptrónRepresenta algunas funciones útiles Cuáles serían los pesos para representar Algunas funciones no son representables Ej. Funciones no separables linealmente

9 Superficie de decisión de un Perceptrón

10 Regla de entrenamiento del Perceptróndonde donde es el valor objetivo es la salida del perceptrón es una constante pequeña (ej. 0.1) llamada learning rate

11 Adaline (Unidad Lineal)

12 Gradiente DescendentePara entender, considere una unidad linear simple donde Vamos a aprender las wi que minimicen Donde D es el conjunto de ejemplos de entrenamiento

13 Gradiente DescendenteRegla de Aprendizaje

14 Gradiente Descendente

15

16 La regla del perceptron garantiza su convergencia siLos ejemplos de entrenamiento son linealialmente separables La razón de aprendizaje sea suficientemente pequeña

17 La regla de entrenamiento de la unidad lineal usan el gradiente descendente y garantiza su convergencia a hipótesis con el error cuadrático mínimo Dada una razón de aprendizaje sea suficientemente pequeña Aún cuando los datos de entrenamiento sean ruidosos Aun cuando los datos de entrenamiento no sean separables por H

18 Cálculo del Gradiente DescendenteEn modo en lotes Hacer hasta satisfacer Calcular el Gradiente Asignar

19 Cálculo del Gradiente DescendenteEn modo incremental Hacer hasta satisfacer Para cada ejemplo de entrenamiento d en D Calcular el Gradiente Asignar

20 El Gradiente Descendente Incremental puede aproximar al Gradiente Descendente en Lotes si η es suficientemente pequeña

21 Redes Neuronales Multicapa de Unidades Sigmoidales

22

23 Unidad Sigmoidal = y

24 Se puede derivar la regla del Gradiente Descendente para entrenar:Una unidad sigmoidal Redes Neuronales Multicapa  Backpropagation

25 Gradiente del Error de una unidad sigmoidal

26 Pero sabemos que: Asi que:

27