1 Ekonometryczne modele nielinioweWykład 4 NMNK, MNW, metody gradientowe
2 Literatura W. Greene (2012) Econometric Analysis, rozdz. 7.2 (str ) J. Hamilton (1994) Time Series Analysis, str. 133 – 151 Chung-Ming Kuan (2007) Introduction to Econometric Theory, Institute of Economics, Academia Sinica, rozdział 8 do znalezienia w internecie
3 Nieliniowa metoda najmniejszych kwadratówModel regresji nieliniowej (l zmiennych, k parametrów): Przykład (1): Przykład (2):
4 Interpretacje ekonomiczneWpływ krańcowej zmiany x na y nie zawsze równy wartości parametru
5 Estymator NMNK Estymator minimalizuje sumę kwadratów reszt:Warunek pierwszego rzędu: gdzie:
6 Założenia NMNK Warunkowa średnia dla wynosi: , a różniczkowalnaIdentyfikowalność parametrów: nie istnieje takie, że Składnik losowy:
7 Założenia NMNK 1. i 2. moment z próby dążą do stałych z populacji, a ściśle egzogeniczny wobec Istnieje dobrze zdefiniowany rozkład prawdopodobieństwa dla ,
8 Założenia NMNK Jeśli można policzyć 2. pochodnewzględem parametrów dla danych obserwacji (x i y) i macierz jest dodatnio określona, to minimum funkcji (sumy kwadratów reszt) można znaleźć. Możliwe wiele minimów lokalnych tej funkcji parametry niekoniecznie „jednoznacznie” identyfikowalne (por. założenie 2)
9 Założenia NMNK Powyższe założenie analogiczne do założenia nr 1 w MNK (por. wykład 1): ponieważ dla modelu liniowego:
10 Własności estymatorów NMNKZgodność Asymptotyczna normalność
11 Własności estymatorów NMNKEstymator wariancji odporny na heteroskedastyczność: możliwe też estymatory typu Neweya-Westa Test Walda – analogiczny jak dla MNK:
12 Analogia do (quasi-) MNWEstymator m. kowariancji dla MNW: gdzie:
13 Algorytmy dla NMNK i MNWGrid search dobre wyniki, gdy poszukiwana wartość jednego parametru przydatna jako część innych metod
14 Algorytmy dla NMNK i MNWMetoda „steepest ascent” (albo steepest descent) – najszybszego wzrostu (spadku) wartości startowe wektora parametrów θ: θ0 ustalamy długość kroku przy szukaniu optimum funkcji: szukamy maksimum przy warunkach:
15 Algorytmy dla NMNK i MNWLangrange’an ma postać: Przyrównujemy pochodną po wektorze parametrów do zera: Niech g(θ) oznacza gradient (logarytmu) funkcji wiarygodności po parametrach, to wtedy:
16 Algorytmy dla NMNK i MNWJeżeli , to , czyli: Kolejne kroki: s może być wybrane przy pomocy metody „grid search", tak by maksymalizować wartość L(θ)
17 Algorytmy dla NMNK i MNWMożna wyprowadzić długość kroku i wzór na iteracje przyjmie postać: Problemy: wiele maksimów lokalnych – wypróbuj wiele wartości startowych jeśli hessian H nie jest dodatnio określoną macierzą to algorytm może wskazywać przybliżenia w złym kierunku
18 Algorytmy dla NMNK i MNWMetoda Newtona-Raphsona Szybsza zwykle niż metoda „najszybszego spadku” jeśli spełnione są warunki: istnieją drugie pochodne funkcji L(θ), funkcja L(θ) jest wypukła, tzn. H(θ) jest macierzą dodatnio określoną na całej przestrzeni parametrów
19 Algorytmy dla NMNK i MNWprzybliżenie logarytmu funkcji wiarygodności przy pomocy szeregu Taylora: przyrównujemy pochodną po wektorze parametrów do zera: wyprowadzenie algorytmu: często stosuje się kroki o różnej długości:
20 Algorytmy dla NMNK i MNWMetoda Gaussa-Newtona (tylko dla NMNK) gdzie oznacza gradient funkcji f po parametrach To przybliżenie macierzy H jest dodatnio określone. Można zastosować MNK do wyznaczenia kroku!
21 Algorytmy dla NMNK i MNWKorekty na dodatnią określoność macierzy H używana w algorytmie „Marquardt-Levenberg” (c>0) metoda quasi-Newtona
22 Algorytmy dla NMNK i MNWDavidon-Fletcher-Powell ułatwienie - nie trzeba liczyć hessianu w każdym kroku (jego wartość jest jedynie przybliżana)
23 Algorytmy dla NMNK i MNWZakończenie algorytmu lub po przekroczeniu pewnej liczby kroków
24 Symulowane wyżarzanie -simulated annealingWycięte z: Goffe, Ferrier, Rogers (1994)
25 Symulowane wyżarzanie (2)
26 Symulowane wyżarzanie (3)Kryterium wyboru nowego punktu:
27 Algorytm Neldera-MeadaWycięte z wikipedii (jest też polska wersja językowa) - minimalizacja:
28 Algorytm Neldera-Meada (2)
29 Algorytm Neldera-Meada (3)Standardowe wartości parametrów: