1 Un ejemplo ilustrativoClasificador de frutas (After Hagan, 1994)

2 No espere entender bien estas redes despues de leer este ejemploObjetivos Consideraremos un problema de reconocimiento de patrones simple Mostraremos como puede ser resuelto usando tres arquitecturas diferentes de redes neuronales. No espere entender bien estas redes despues de leer este ejemplo Este ejemplo es simplemente para tener una idea de lo que se puede hacer con las redes neuronales Octubre 2006 PIAI Unicauca

3 Clasificador de manzanas/BananosOctubre 2006 PIAI Unicauca

4 Vectores de prototiposOctubre 2006 PIAI Unicauca

5 Tres aproximaciones Feedforward network Competitive networkEl perceptron Rosenblatt, 1958 Competitive network La red de Hamming Lippman, 1987 Recurrent network La red de Hopfield Hopfield, 1982 F. Rosenblatt, ÒThe perceptron: A probabilistic model for information storage and organization in the brain,Ó Psycho-logical Review, Vol. 65, pp. 386Ð408, 1958. J. J. Hopfield, ÒNeural networks and physical systems with emergent collective computational abilities,Ó Proceedings of the National Academy of Sciences, Vol. 79, pp. 2554Ð 2558, 1982. Octubre 2006 PIAI Unicauca

6 Primera aproximacion El preceptron

7 Perceptron: una sola capaRed Feedforward Perceptron: una sola capa El objetivo del perceptron es clasificar un conjunto de estimulos externos x1, x2, … , xp en una de dos clases C1, C2. Octubre 2006 PIAI Unicauca

8 Separabilidad lineal del perceptronRed Feedforward Separabilidad lineal del perceptron Vemos que la salida del combinador lineal es (la entrada al hard limiter): Tenemos dos regiones de decision separadas por el hiper-plano definido por Octubre 2006 PIAI Unicauca

9 Caso de dos entradas Frontera de decision Red Feedforward Octubre 2006PIAI Unicauca

10 El problema del reconocer una manzana o un banano¿Cuanto valen los pesos? Octubre 2006 PIAI Unicauca

11 El problema del reconocer una manzana o un bananoLa frontera de decision debe separar los vectores prototipo El vector de pesos es ortogonal a la frontera de decision, y debe apuntar en la direccion del vector que produce una salida de 1 Octubre 2006 PIAI Unicauca

12 Prueba de la red perceptronRed Feedforward Prueba de la red perceptron Banana: Apple: “Rough” Banana: Octubre 2006 PIAI Unicauca

13 Segunda aproximacion Red Hamming

14 Red Hamming Red competitivaIt was designed explicitly to solve binary pattern recognition problems (where each element of the input vector has only two possible values Ñ in our example 1 or -1). The number of neurons in the first layer is the same as the number of neurons in the second layer. The objective of the Hamming network is to decide which prototype vector is closest to the input vector. Octubre 2006 PIAI Unicauca

15 Capa feedforward Red competitivaThe feedforward layer performs a correlation, or inner product, between each of the prototype patterns and the input pattern. By adding R to the inner product we guarantee that the outputs of the feedforward layer can never be negative. This is required for proper operation of the recurrent layer. Octubre 2006 PIAI Unicauca

16 Capa recurrente Red competitivaThe recurrent layer of the Hamming network is what is known as a “competitive” layer. The neurons in this layer are initialized with the outputs of the feedforward layer, which indicate the correlation between the prototype patterns and the input vector. Octubre 2006 PIAI Unicauca

17 Tercera aproximacion Red Hopfield

18 Red Hopfield ss Recurrent networkthe Hopfield network actually produces the selected prototype pattern at its output. Octubre 2006 PIAI Unicauca

19 Conclusiones Las tres aproximaciones de redes pueden clasificar la entrada: Feedforward: la salida se calcula directamente de la entrada, sin realimentacion Competitivas: Se efectua una competicion para determinar cual neurona representa el patron mas cercano a la entrada Recurrentes: La salida de la red es realimentada Octubre 2006 PIAI Unicauca

20 Conclusiones: Quedan algunas preguntasEl preceptron: ¿Si las categorias a reconocer no son linealmente separables, ¿como resolver el problema? Red de Haming: ¿Podemos aprender los pesos de la red de Hamming cuando no conocemos los vectores prototipo? Red de Hopfield ¿Cómo sabemos que la red de Hopfield converge? Octubre 2006 PIAI Unicauca

21 Conclusiones El ejemplo mostrado es trivialEl reconocimiento de patrones es un area de aplicación importante de las NNs Sin embargo, en control las NNs son usadas sobretodo como aproximadores de funciones Octubre 2006 PIAI Unicauca

22 Fuente M.T. Hagan, H.B. Demuth, and M. Beale, Neural Network Design, PWS Publishing Co., 1995 Octubre 2006 PIAI Unicauca