1 Fusion de sistemas fuzzy y redes neuronalesTomado de Kwang H. Lee, Division of Computer Science, KAIST

2 FS y NNs: metodos complementariosSistemas fuzzy Facil de representar conocimiento humano: usan terminos linguisticos y reglas if-then no tienen algoritmos de aprendizaje Redes neuronales capacidad de aprendizaje a partir de datos dificultad para la representacion de conocimiento

3 Tipos de fusion de FS y NNsConcatenacion de NNs y FS Redes neuronales que usan sistemas fuzzy Sistemas fuzzy que usan NNs Modificacion de FS con NNs (sistemas neuro-fuzzy) Construccion de funciones de pertenencia con NNs

4 Concatenacion de redes neuronales y sistemas fuzzy

5 Combinacion en paraleloCorreccion de las salida de un FS con una NN FS NN +

6 Combinacion en paralelo: ejemploMecanismo de correccion para una lavadora Fuzzy System Clothes mass (3 values) Clothes quality (4 values) Neural Network Electrical conductivity (5 values) Water flow speed Washing time Rinsing time Spinning time Correction values

7 Combinacion en cascadaLa salida de un sistema es la entrada del otro sistema NN FS

8 Combinacion en cascada: ejemploVentilador electrico japones Fuzzy System NN Ratio of sensor output estimate (b) cascade combination of NN and FS Value corresponding to distance Fan body Remote controller Center sensor(C) Right sensor (R) Left sensor (L) (a) the angle between remote controller and fan

9 Redes neuronales que usan sistemas fuzzy

10 Construccion de NNs con particion fuzzy del espacio de entradaLos metodos en esta categoria usan un FS o una estructura de reglas fuzzy para diseñar la red neuronal En lugar de entrenar una sola NN para todos los datos de entrada-salida, este modelo construye varias redes

11 Construccion de NNs con particion fuzzy del espacio de entradaConstruye un clasificador fuzzy que agrupa (clusters) los dados de entrada-salida dados en varias clases

12 Construccion de NNs con particion fuzzy del espacio de entradaConstruye una NN por clase NNs sobre las particiones fuzzy If X is C1 Then NN1 NN2 NN3 If X is C2 Then If X is C3 Then

13 Training NNs for each classEntrena las NNs con los dados I/O en la clase correspondiente C1 C2 C3 Fuzzy partitions NN1 NN2 NN3 Training NNs for each class Input Space If X is … Then C1 If X is … Then C2 If X is … Then C3 NNi If X is Ci Then

14 Modelo de Takagi y HayashiUn ejemplo de este modelo fue propuesto por Takagi y Hayashi En este modelo se usa una NN para construir un clasificador fuzzy y se propone un metodo para reducir el numero de reglas o de variables de entrada redundantes El modelo se resume a continuacion

15 Modelo de Takagi y HayashiPreparacion de los datos Los datos se dividen en dos grupos: Conjunto de entrenamiento (ntr) : Se usa para construir la NN Conjunto de prueba (nts): Se usa para reducir el # de variables de entrda m

16 Modelo de Takagi y HayashiParticion crisp del espacio de entrada Los datos en el conjunto de entrenamiento se agrupan en r clases mediante un metodo de clustering crisp: Cs( s = 1, 2, …, r ) Los datos pertenecientes a un grupo se denotan:

17 Modelo de Takagi y HayashiDesarrollo del clasificador fuzzy Se construye un clasificador fuzzy usando una red neuronal, NNmem NNmem se entrena usando los nuevos datos, NNmem cambia las fronteras crisp a fuzzy

18 Modelo de Takagi y HayashiDesarrollo de las redes neuronales Se construyen las NNs para cada Cs NNs aproxima a los datos dados que pertenecen a Cs Obteniendose la estructura de reglas fuzzy con redes neuronales

19 Modelo de Takagi y HayashiReduccion de las variables de entrada Se evalua NNs usando el conjunto de prueba (suma de los errores) Se elimina una variable de entrada arbitraria xp Se entrena NNs con los datos sin xp Se evalua el desempeño de la nueva NNsp (suma de los errores) Si , xp puede descartarse Las mismas operaciones se mantienen para las m-1 variables de entrada restante

20 Modelo de Takagi y HayashiLas redes neuronales construyen una estructura de reglas fuzzy

21 Construccion de funciones de pertenencia con redes neuronales

22 Construccion de funciones de pertenencia con NNsEn este metodo se usa una red neuronal para generar unas reglas fuzzy compactas Las reglas fuzzy Se generan hipercubos fuzzy k-dimensionales en el espacio de entrada Se construyen NNs cuyas salidas son los grados que una entrada pertenece a cada regla

23 Construccion de funciones de pertenencia con NNsReglas fuzzy sobre hiper-espacios fuzzy C1 C2 C3 Input Space R1: If X is C1 then Y=F1 R2: If X is C2 then Y=F2 R3: If X is C3 then Y=F3 + Neural Network X F1 F2 F3

24 MFs con NNs: Ejemplo Controlador Hitachi para un rodilloEl sistema produce laminas planas de hierro, system making flat plates of iron, acero o aluminio 20 reglas fuzzy con 20 plantillas estandar de perfiles de superficie Una NN produce el grado en que superficie arbitraria pertenece a cada regla

25 MFs con NNs: Ejemplo NN Controlador Hitachi de un molinoIf scanned shape is Then control A Then control B Then control C Controlling 20 roles Surface shape time NN

26 Sistemas fuzzy que usan redes neuronales

27 Modificacion de FS con NNsEn las redes neuronales ordinarias: Los nodos tienen la misma funcionalidad y estan conectados completamente con los nodos de capas vecinas En la representacion de un FS con una estructura de NN feedforward multicapa: Los nodos tienen diferente funcionalidad y no estan conectados completamente con los nodos de capas vecinas In the ordinary neural networks, nodes have the same functionality and are fully connected to the nodes in the neighboring layers. But in a neuro fuzzy system, nodes have different functionalities and are not fully connected to the nodes in the neighboring layers.

28 Modificacion de FS con NNsLas diferencias surgen del hecho de que: Algunos nodos representan los terminos linguisticos de las variables de entrada Algunos nodos representan los terminos linguisticos de las variables de salida Algunos nodos y conecciones se usan para representar reglas fuzzy In the ordinary neural networks, nodes have the same functionality and are fully connected to the nodes in the neighboring layers. But in a neuro fuzzy system, nodes have different functionalities and are not fully connected to the nodes in the neighboring layers.

29 Modificacion de FS con NNsLos meritos surgen del hecho de que: Es facil añadir conocimiento experto antes del aprendizaje Tiene capacidad de aprendizaje con backpropagation y otros algoritmos Por lo tanto, la convergencia a un minimo local puede no ser tan serio acomo en el caso de NNs ordinarias In the ordinary neural networks, nodes have the same functionality and are fully connected to the nodes in the neighboring layers. But in a neuro fuzzy system, nodes have different functionalities and are not fully connected to the nodes in the neighboring layers.

30 Red neuronal fuzzy Propuesta por Kwak y Lee (‘94) Cinco capas n m l kX1 X2 Xm . L1 Input var. L2 Input var’s term L3 Rule L4 Output var. I11 I12 I13 I21 I22 Im1 Im2 R1 R2 R3 Rr n m l k j Wmn Wlm Wkl Wjk Y T1 T2 Tt Cinco capas 1: nodos de entrada 2: terminos linguisticos de las entradas 3: antecedentes de las reglas 4: consecuente de las reglas 5: nodo de salida con la defuzificacion

31 Red neuronal fuzzy Segunda capa (terminos linguisticos de entrada)

32 Red neuronal fuzzy Tercera capa (antecedentes de las reglas)“IF X1 is I11 and ··· and Xm is Im1 THEN”

33 Red neuronal fuzzy Cuarta capa (consecuentes de las reglas)“IF consecuent part THEN Y is Tt ” un nodo representa un termino linguistico de la variable de salida.

34 Red neuronal fuzzy Bi es el conjunto fuzzy representado por el nodo ijQuinta capa (Defuzificacion) Bi es el conjunto fuzzy representado por el nodo ij en la cuarta capa xi es la salida del nodo

35 Red neuronal fuzzy Quinta capa

36 Red neuronal fuzzy Algoritmo de aprendizaje basado en backpropagationSe encuentran: Los pesos de las conexiones entre las capas 3 y 4 Los parametros en los nodos de las capas 2 y 4

37 Sistema de Inferencia Adaptivo Neuro Difuso (ANFIS)

38 Estructura de la red anfisΠ N y* x1 x2 µ1 µ2 x1 x2

39 Estructura de la red anfisLayer 1 : Each node in this layer is an input node that just passes external signal to the next layer .

40 Estructura de la red anfisLayer 2 : Each node in this layer acts as a membership fun , and its output specifies the degree to which the given xi satisfies the parameters in this layer are referred to as precondition parameters.

41 Estructura de la red anfisLayer 3 : Each node in this layer performs Each node output represents the firing strength of a rule. In fact, other t-norm operators can be used as the node function for the generalized AND function.

42 Estructura de la red anfisLayer 4 : Each node in this layer calculates the normalized firing strength of a rule

43 Estructura de la red anfisLayer 5 : Each node j in this layer calculates the weighted consequent value Parameters , and are to be tuned . Parameters in this layer are referred to as consequent parameters.

44 Estructura de la red anfisLayer 6 : The node in this layer sums all incoming signal to obtain the final inferred result for the whole system .

45 Las reglas en la red anfisR1 : IF x1 is A11 AND x2 is A21 , THEN y = f1 = ao1+a11x1+a21x2 R2 : IF x1 is A12 AND x2 is A22 , THEN y = f2 = ao2+a12x1+a22x2.

46 Inferencia en la red anfis

47 Aprendizaje en la red anfis

48 Aprendizaje en la red anfis

49 Aprendizaje en la red anfis

50 Aprendizaje en la red anfiswhere are the kth training pair , k = 1 , 2 , … P .

51 Aprendizaje en la red anfisTakagi Sugeno FIS Input partitioning LSE + gradient descent training A1 A2 B1 B2 S / x y w1 w4 w1*z1 w4*z4 Swi*zi Swi z P nonlinear parameters linear fixed least-squares steepest descent Forward pass Backward pass MF parameter (nonlinear) Coefficient parameter (linear)

52 Fuente Kwang-Hyung Lee, Fuzzy Theory,Textbook