1 DEEP BELIEF NETWORK (DBN)Aluno: Jean P. J. Conti Disciplina: E.E. Inteligência Computacional 26/06/2017 CPGEI - UTFPR

2 Sumario Arquitetura / Definição DBN Restricted Boltzmann MachineTreinamento DBN Conclusão

3 DBN: Arquitetura Arquitetura similar a uma rede MLPUniversidade de Toronto Classificação / reconhecimento Imagens Algoritmo de treinamento não supervisionado para cada camada. Vanishing gradient problem Relativamente antiga. Ref: A fast learning algorithm for deep belief nets - Geoffrey E. Hinton, Simon Osindero, Yee-Whye Teh.

4 DBN: Arquitetura Arquitetura similar a uma rede MLPUniversidade de Toronto Classificação / reconhecimento Imagens Algoritmo de treinamento não supervisionado para cada camada. Fundamentalista: informações históriicas contábeis e financeiras da empresa. Técnica: Estudos de preços passados para projetar preços e entradas futuras. PARK, C.; IRWIN, S. H. The Profitability of Technical Analysis: A Review. [S.l.], out Ref: A fast learning algorithm for deep belief nets - Geoffrey E. Hinton, Simon Osindero, Yee-Whye Teh.

5 DBN: Arquitetura Arquitetura similar a uma rede MLPUniversidade de Toronto Classificação / reconhecimento Imagens Algoritmo de treinamento não supervisionado para cada camada. Fundamentalista: informações históriicas contábeis e financeiras da empresa. Técnica: Estudos de preços passados para projetar preços e entradas futuras. PARK, C.; IRWIN, S. H. The Profitability of Technical Analysis: A Review. [S.l.], out Ref: A fast learning algorithm for deep belief nets - Geoffrey E. Hinton, Simon Osindero, Yee-Whye Teh.

6 DBN: Arquitetura Arquitetura similar a uma rede MLPUniversidade de Toronto Classificação / reconhecimento Imagens Algoritmo de treinamento não supervisionado para cada camada. Fundamentalista: informações históriicas contábeis e financeiras da empresa. Técnica: Estudos de preços passados para projetar preços e entradas futuras. PARK, C.; IRWIN, S. H. The Profitability of Technical Analysis: A Review. [S.l.], out Ref: A fast learning algorithm for deep belief nets - Geoffrey E. Hinton, Simon Osindero, Yee-Whye Teh.

7 DBN: Arquitetura Arquitetura similar a uma rede MLPUniversidade de Toronto Classificação / reconhecimento Imagens Algoritmo de treinamento não supervisionado para cada camada. Fundamentalista: informações históriicas contábeis e financeiras da empresa. Técnica: Estudos de preços passados para projetar preços e entradas futuras. PARK, C.; IRWIN, S. H. The Profitability of Technical Analysis: A Review. [S.l.], out Ref: A fast learning algorithm for deep belief nets - Geoffrey E. Hinton, Simon Osindero, Yee-Whye Teh.

8 Aprendizado SupervisionadoDBN: Arquitetura Aprendizado Supervisionado Após o treinamento da DBN um ajuste fino pode ser feito com uma base menor. Fundamentalista: informações históriicas contábeis e financeiras da empresa. Técnica: Estudos de preços passados para projetar preços e entradas futuras. PARK, C.; IRWIN, S. H. The Profitability of Technical Analysis: A Review. [S.l.], out Ref: A fast learning algorithm for deep belief nets - Geoffrey E. Hinton, Simon Osindero, Yee-Whye Teh.

9 DBN: Definição Deep Belief Networks (DBN) são conjuntos de Restricted Boltzmann Machines (RBM) formando uma arquitetura de treinamento profunda.

10 RBM: Restricted Boltzmann MachinesRede neural com duas camadas que pode encontrar padrões automaticamente por meio de reconstrução dos dados. São redes bidirecionalmente conectadas. Fazem processamento binário e estocastico entre unidade visíveis e ocultas.

11 RBM: Restricted Boltzmann MachinesRede neural com duas camadas que pode encontrar padrões automaticamente por meio de reconstrução dos dados. São redes bidirecionalmente conectadas. Fazem processamento binário e estocastico entre unidade visíveis e ocultas. Faz o processo retpetidamente para conseguir reconstruir a entrada.

12 RBM: Restricted Boltzmann Machines

13 RBM: Restricted Boltzmann Machines

14 RBM: Restricted Boltzmann Machines

15 DBN: Treinamento Treine o primeiro Layer com RBM que modela a entrada.Use essa primeira camada como modelo para a segunda. (Ativ. Médias, ou Amostras). Treine a segunda camada com RBM levando os dados transformados como exemplo. Faça um ajuste de todos os parâmetros usando treinamento supervisionado.

16 Conclusão A arquitetura das DBNs são semelhantes as MLP.DBNs são stacks de Restricted Boltzmann Machine (RBM) formando uma arquitetura Deep Belief Network. O treinamento utilizando RBM (Restricted Boltzmann Machine) permite extrair padrões automaticamente. Utilização em Classificação e Reconhecimento de Imagens