1 Ekonometryczne modele nielinioweWykład 7 Modele łagodnego przejścia, sieci neuronowe w ekonometrii

2 Literatura Timo Teräsvirta, Specification, Estimation, and Evaluation of Smooth Transition Autoregressive Models, Journal of the American Statistical Association, Vol. 89, No. 425 (Mar., 1994), pp Dick van Dijk, Timo Teräsvirta and Philip Hans Franses, Smooth transition autoregressive models - A survey of recent developments, Econometric Reviews, 2002, vol. 21, issue 1, pp

3 Literatura Marcelo C. Medeiros & Timo Terasvirta, 2001, Statistical methods for modelling neural networks, Textos para discussão 445, Department of Economics PUC-Rio (Brazil). Timo Teräsvirta, Dick van Dijk, Marcelo C. Medeiros, Linear models, smooth transition autoregressions, and neural networks for forecasting macroeconomic time series: A re-examination, International Journal of Forecasting, Volume 21, Issue 4, 2005, pp

4 Literatura Książka: P.H. Frances, D. van Dijk, Non-linear time series models in empirical finance, Cambridge University Press, Cambridge, UK.

5 Przejście z modelu progowego…Model z dwoma reżimami …inaczej zapisany

6 Model STR Smooth Transition (Auto-)Regression

7 Funkcja przejścia G – funkcja logistyczna gdy , to model liniowygdy , to model progowy

8 Funkcja przejścia G – funkcja eksponencjalna gdy , to model liniowy

9 Funkcja przejścia

10 Estymacja Teräsvirta (1994) „conditional least squares”:

11 Estymacja Estymator zgodny i asymptotycznie normalnyProblemy techniczne metody gradientowej: ESTR: silnie skorelowane z parametrami (bez stałej) standardyzuj wykładnik w G przez podzielenie go przez wariancję y ustal startową wartość , np. jeśli algorytm gradientowy nie zbiega, to „grid search” -

12 Estymacja Estymator zgodny i asymptotycznie normalnyProblemy techniczne metody gradientowej: LSTR: do oszacowania i gdy , to model TR (duży błąd oszacowania ) Skaluj parametry startowe (zmniejsz i zwiększ c [??]), podziel wykładnik w G przez odchylenie stand. y Jeśli algorytm gradientowy nie zbiega, to „grid search”- c

13 Estymacja Możliwa estymacja MNK pod warunkiem, że znane

14 Specyfikacja wybór modelu liniowego (np. AR(p))testowanie liniowości modelu (przeciw STR) dla różnych zmiennych przejścia (transition variables) + wybór optymalnej zmiennej przejścia wybór między LSTR i ESTR

15 Testowanie modelu STR HipotezyProblem z parametrami nieidentyfikowalnymi przy H0  niestandardowe rozkłady statystyk testowych Problem z parametrami nieidentyfikowalnymi przy H0  niestandardowe rozkłady statystyk testowych

16 Testowanie modelu STR Luukkonen, Saikkonen, Teräsvirta (1988):Rozwinięcie modelu STR w szereg Taylora wokół Zastosowanie testu LM

17 Testowanie LSTR Szereg Taylora 1. rzędu: Przy H0 …dlatego test LM

18 Testowanie LSTR c.d. Testowanie ( ) równoważne zStandardowy test LM (szczegóły później) Nazywany tutaj: „LM-type test” Problem: kiedy , trzeba usunąć z „testowego” modelu regresji (współliniowość) test nie nadaje się do testowania zmian stałej

19 Testowanie LSTR c.d. Rozwiązanie: szereg Taylora 3. rzędu Test LM bezlub uproszczona wersja: Test LM

20 Testowanie ESTR Rozwinięcie ESTR w szereg Taylora 1. rzędu:lub uwzględniając 2 punkty przegięcia w ESTR – rozwinięcie 2. rzędu:

21 Testowanie ESTR c.d. Test typu LM

22 Obliczanie statystyk LMOszacuj model przy założeniu H0 Oszacuj „testową” regresję: y  x, xz Statystyka: lub w małych próbach:

23 Autokorelacja składnika losowegoNiech Oszacuj model STR i oblicz reszty Oblicz gdzie Oszacuj model liniowy i oblicz R-kwadrat: Rozszerzenie testu Godfreya (1979): H0: brak autokorelacji

24 Test pozostałej nieliniowościModel rozszerzony: H0: lub Zamień G2 na rozwinięcie w szereg Taylora 3. rzędu: Po przekształceniu, H0:

25 Test pozostałej nieliniowościNiech Oszacuj model STR i oblicz reszty Oblicz gdzie Oszacuj model liniowy i oblicz R-kwadrat: Statystyka LM

26 Wybór funkcji przejściaSekwencja testów (statystyki LM): Reguła decyzyjna: Jeśli empiryczny poziom istotności (p-value) najmniejszy dla H02 , to wybierz model ESTR Jeśli empiryczny poziom istotności najmniejszy dla H01 lub H03 , to wybierz model LSTR

27 Źródło: http://kik.pcz.czest.pl/nn/arch.php?art=3Sieci neuronowe Źródło:

28 Sieci neuronowe Model z jedną warstwą ukrytąFunkcja logistyczna F lub inna sigmoidalna

29 Sieci neuronowe Dokładne dopasowanie modelu do danych Prognozowaniemożliwe dowolnie dokładne przybliżenie funkcji ciągłej nie proces generujący dane, ale model przybliżający prawdziwy proces Prognozowanie Ekonomiczna interpretacja zależności? Nie.

30 Identyfikowalność parametrów3 problemy z identyfikowalnością h! permutacji neuronów (funkcji przejścia) ma taką samą wartość funkcji wiarygodności dodatkowo: duża liczba funkcji przejścia Rozwiązanie: restrykcje: odpowiednia specyfikacja modelu

31 Budowa modelu Wybór zmiennych Wybór liczby funkcji przejściawymaga estymacji modelu

32 Budowa modelu Wybór zmiennychprzybliżenie sieci neuronowej przez wielomian k-tego rzędu szacowanie modeli i optymalizacja kryterium informacyjnego: AIC, SBIC

33 Estymacja modelu Metoda Największej Wiarygodnościrównoważna: Nieliniowa MNK Przydatna reparametryzacja

34 Estymacja modelu Wektor parametrówStandaryzowanie zmiennych wejściowych: Var(x)=1 Możliwość „koncentracji” funkcji wiarygodności – tzn. szacowanie parametrów w grupach

35 Estymacja c.d. Przyjmij za znane: Zbuduj macierz Z dla regresji:

36 Estymacja c.d. Szacuj parametry MNK:Parametry szacuj minimalizując sumę kwadratów reszt algorytmy optymalizacji: BFGS, Levenberg-Marquardt

37 Wybór liczby funkcji przejściaMetoda „od małego do dużego” dodawanie neuronów (hidden units) Testowanie czy h+1 neuron zbędny

38 Testowanie funkcji przejściaRozwinięcie modelu w szereg Taylora 3. rzędu: Oszacuj model z h neuronami i oblicz reszty Wyznacz wektor „score” Jeśli i nie są ortogonalne, to oszacuj regresję tych zmiennych i wyznacz reszty

39 Testowanie c.d. Oblicz Oszacuj regresję na i Oblicz reszty oraz

40 Testowanie c.d. Statystyka: W małych próbach:z m stopniami swobody W małych próbach: ma w przybliżeniu rozkład F(m,T-n-m)

41 Ewaluacja modelu Testy aukorelacji, niestabilności parametrówAnaliza prognoz