1 Modelowanie i podstawy identyfikacji 2015/2016Identyfikacja – metoda najmniejszych kwadratów  Kazimierz Duzinkiewicz, dr hab. inż. Katedra Inżynierii Systemów Sterowania 1 Modelowanie i podstawy identyfikacji - studia stacjonarne Wykład 9+10 - 2015/2016 Kazimierz Duzinkiewicz, dr hab. Inż. Katedra Inżynierii Systemów Sterowania Identyfikacja – metoda najmniejszych kwadratów – wybrane algorytmy wersji wsadowej

2 Modelowanie i podstawy identyfikacji 2015/2016Identyfikacja – metoda najmniejszych kwadratów  Kazimierz Duzinkiewicz, dr hab. inż. Katedra Inżynierii Systemów Sterowania 2 Identyfikacja - metoda najmniejszych kwadratów Typowa forma zadania estymacji parametrów  Dany jest system dynamiczny, dla którego proponowany jest model matematyczny oparty na doświadczeniu proponującego i który: ▪ zgodny jest ze wszystkimi znanymi prawami rządzącymi zachowaniem się systemu, ▪ pozwala wykorzystać dostępne w systemie pomiary dla porównania zachowania się modelu i systemu ▪ jego struktura spełnia wymagania pozwalające uzyskać pożądaną dokładność ale zawiera szereg niezbyt dobrze znanych parametrów  Należy określić „najlepsze” estymaty wszystkich nieznanych dobrze parametrów tak, aby model matematyczny zapewniał „optymalną estymatę” zachowania systemu

3 Modelowanie i podstawy identyfikacji 2015/2016Identyfikacja – metoda najmniejszych kwadratów  Kazimierz Duzinkiewicz, dr hab. inż. Katedra Inżynierii Systemów Sterowania 3 Każda metoda rozwiązująca zadanie o podanej strukturze – realizacja procesu estymacji Zadania estymacji: bardzo łatwe ...... nierozwiązywalne Podstawa wielu procesów estymacji – metoda najmniejszych kwadratów

4 Modelowanie i podstawy identyfikacji 2015/2016Identyfikacja – metoda najmniejszych kwadratów  Kazimierz Duzinkiewicz, dr hab. inż. Katedra Inżynierii Systemów Sterowania 4 W procesie estymacji z każdą włączoną w ten proces zmienną/wielkością związane są trzy wartości: - wartość prawdziwa (rzeczywista) zmiennej - wartość mierzona zmiennej - wartość estymowana zmiennej - wartość praktycznie nieznana - wartość uzyskiwana z czujnika lub z innego pomiaru, nigdy nierówna wartości prawdziwej, obarczona błędem pomiaru - wartość zmiennej uzyskiwana jako wynik procesu estymacji Co można powiedzieć o tych wartościach? W zadaniu estymacji zmienne x – parametry modelu

5 Modelowanie i podstawy identyfikacji 2015/2016Identyfikacja – metoda najmniejszych kwadratów  Kazimierz Duzinkiewicz, dr hab. inż. Katedra Inżynierii Systemów Sterowania 5 Dwa błędy: 1. Błąd pomiaru (measurement error) wartość prawdziwa wartość mierzona błąd pomiaru 2. Błąd resztkowy (residual error) błąd resztkowy – residuum) wartość mierzonawartość estymowana Co można powiedzieć o tych błędach: - wartość praktycznie nigdy nieznana; mechanizm generujący ten błąd zwykle jest aproksymowany przez pewien znany proces (np. szum gaussowski o zerowej wartości średniej i znanej wariancji σ 2 ; - wartość znana w momencie wyznaczenia wartości estymowanej

6 Modelowanie i podstawy identyfikacji 2015/2016Identyfikacja – metoda najmniejszych kwadratów  Kazimierz Duzinkiewicz, dr hab. inż. Katedra Inżynierii Systemów Sterowania 6 Przykład 1 (aproksymacja szeregu czasowego): Rysunek – wyniki pomiaru pewnego procesu w czasie System bez zewnętrznego wejścia – szereg czasowy Szereg czasowy y(t) Możliwa interpretacja – historia notowań na giełdzie pewnej firmy w okresie 6 miesięcy

7 Modelowanie i podstawy identyfikacji 2015/2016Identyfikacja – metoda najmniejszych kwadratów  Kazimierz Duzinkiewicz, dr hab. inż. Katedra Inżynierii Systemów Sterowania 7 Zadanie – zbudować model y(t) do predykcji perspektyw firmy Dane: Pomiary (np. notowań zamknięcia giełdy), oznaczone dane dla przedziału 6 miesięcy Wymagania: Wartość bezwzględna błędów resztkowych (residuów) |μ| nie większa niż 0.0075: Odchylenie standardowe błędów resztkowych (residuów) σ nie większa od 0.125 Średnia z próby: Wariancja z próby: m – liczba próbek, liczba pomiarów

8 Modelowanie i podstawy identyfikacji 2015/2016Identyfikacja – metoda najmniejszych kwadratów  Kazimierz Duzinkiewicz, dr hab. inż. Katedra Inżynierii Systemów Sterowania 8 Proponowane modele: - czas [miesiące – m] - stałe współczynniki – parametry Modelu 1 - stałe współczynniki – parametry Modelu 2 Ocena: Jak dobrze każdy z proponowanych modeli z „optymalnymi” wartościami współczynników c i oraz d i dokonuje predykcji pomiarów? W statystyce: proces „wpasowywania” krzywej takiej jak np. Model 1 lub Model 2 w posiadane pomiary - regresja

9 Modelowanie i podstawy identyfikacji 2015/2016Identyfikacja – metoda najmniejszych kwadratów  Kazimierz Duzinkiewicz, dr hab. inż. Katedra Inżynierii Systemów Sterowania 9 Załóżmy, że znamy metodę najmniejszych kwadratów i zastosowaliśmy algorytm tej metody do wyznaczenia „optymalnych” wartości współczynników c i Modelu 1 oraz d i Modelu 2 „Optymalne” wartości współczynników c i Modelu 1 „Optymalne” wartości współczynników d i Modelu 2 Modele z „optymalnymi” wartościami współczynników

10 Modelowanie i podstawy identyfikacji 2015/2016Identyfikacja – metoda najmniejszych kwadratów  Kazimierz Duzinkiewicz, dr hab. inż. Katedra Inżynierii Systemów Sterowania 10 Porównanie modeli:

11 Modelowanie i podstawy identyfikacji 2015/2016Identyfikacja – metoda najmniejszych kwadratów  Kazimierz Duzinkiewicz, dr hab. inż. Katedra Inżynierii Systemów Sterowania 11 Porównanie modeli:

12 Modelowanie i podstawy identyfikacji 2015/2016Identyfikacja – metoda najmniejszych kwadratów  Kazimierz Duzinkiewicz, dr hab. inż. Katedra Inżynierii Systemów Sterowania 12 Porównanie modeli: Średnia z próby błędów resztkowych (residuów): Odchylenie standardowe z próby błędów resztkowych (residuów): Konkluzja: Nie mając podstaw przypuszczać istnienia systematycznych błędów w pomiarach stwierdzamy, że Model 1 może być używany do dokładnej oceny zachowania y(t)

13 Modelowanie i podstawy identyfikacji 2015/2016Identyfikacja – metoda najmniejszych kwadratów  Kazimierz Duzinkiewicz, dr hab. inż. Katedra Inżynierii Systemów Sterowania 13 Jaka będzie jakość predykcji y(t) poza przedziałem 0-6m?:

14 Modelowanie i podstawy identyfikacji 2015/2016Identyfikacja – metoda najmniejszych kwadratów  Kazimierz Duzinkiewicz, dr hab. inż. Katedra Inżynierii Systemów Sterowania 14 Kuchnia naszego zadania: Pomiary generowane zgodnie z równaniem Symulacja błędu pomiaru: generator szumu gaussowskiego o zerowej wartości średniej i odchyleniu standardowym σ = 0.1 Propozycja strukturalnie poprawnego modelu: „Optymalne” wartości współczynników x i Modelu 3

15 Modelowanie i podstawy identyfikacji 2015/2016Identyfikacja – metoda najmniejszych kwadratów  Kazimierz Duzinkiewicz, dr hab. inż. Katedra Inżynierii Systemów Sterowania 15 Model strukturalnie poprawny – różnice wartości prawdziwych i wartości estymowanych parametrów Estymowane „optymalnie” wartości współczynników x i Modelu 3 (dane z okresu 0-6m) Prawdziwe wartości współczynników x i Modelu 3 Jedyna przyczyna – błędy pomiarów

16 Modelowanie i podstawy identyfikacji 2015/2016Identyfikacja – metoda najmniejszych kwadratów  Kazimierz Duzinkiewicz, dr hab. inż. Katedra Inżynierii Systemów Sterowania 16 Jaka będzie jakość predykcji y(t) z wykorzystaniem strukturalnie poprawnego modelu z wartościami parametrów estymowanymi w oparciu o dane z okresu 0-6m?

17 Modelowanie i podstawy identyfikacji 2015/2016Identyfikacja – metoda najmniejszych kwadratów  Kazimierz Duzinkiewicz, dr hab. inż. Katedra Inżynierii Systemów Sterowania 17 Wnioski z Przykładu 1  ogromne znaczenie w praktyce estymacji poprawnego strukturalnie modelu matematycznego systemu  zaproponowanie strukturalnie poprawnego modelu jest zadaniem trudnym dla nie – specjalisty z dziedziny aplikacji  pominięte elementy modelu oraz błędy estymacji parametrów modelu mogą prowadzić do błędnych wyników uzyskiwanych z modelu, szczególnie poza obszarami objętymi pomiarami Teoria estymacji może być rozwijana bez zwracania uwagi na konkretne systemy dynamiczne, ale udane zastosowania teorii estymacji prawie zawsze oparte są na łącznym zrozumieniu teorii estymacji i zasad rządzących zachowaniem się rozważanego systemu

18 Modelowanie i podstawy identyfikacji 2015/2016Identyfikacja – metoda najmniejszych kwadratów  Kazimierz Duzinkiewicz, dr hab. inż. Katedra Inżynierii Systemów Sterowania 18 Metoda najmniejszych kwadratów - jednokrotna estymacja liniowa – (linear batch estimation) Założenie: Parametry nieznane Dane: Pomiary (1) Proponowany model: Liniowy względem parametrów (2) - określony zbiór niezależnych funkcji bazowych (3)

19 Modelowanie i podstawy identyfikacji 2015/2016Identyfikacja – metoda najmniejszych kwadratów  Kazimierz Duzinkiewicz, dr hab. inż. Katedra Inżynierii Systemów Sterowania 19 Kryterium jakości doboru wartości estymowanych parametrów – jak dobrze proponowany model dokonuje predykcji pomiarów Argument kryterium – błędy resztkowe (residua) Liczba błędów resztkowych – liczba pomiarów Poszukiwanie: Estymaty nieznanych parametrów Pamiętać należy też: błąd pomiędzy wartością prawdziwą a wartością estymowaną – powody: - błąd pomiaru - niepoprawny wybór wartości parametrów x i, i=1,..., n - niepoprawna struktura modelu – błąd modelowania

20 Modelowanie i podstawy identyfikacji 2015/2016Identyfikacja – metoda najmniejszych kwadratów  Kazimierz Duzinkiewicz, dr hab. inż. Katedra Inżynierii Systemów Sterowania 20 Zależności: - błędy pomiaru: zakładamy na razie, że ich mechanizm nie jest znany i może mieć charakter przypadkowy lub deterministyczny (5) (6) (4) - model pomiaru gdzie - błędy resztkowe Przyjmujemy

21 Modelowanie i podstawy identyfikacji 2015/2016Identyfikacja – metoda najmniejszych kwadratów  Kazimierz Duzinkiewicz, dr hab. inż. Katedra Inżynierii Systemów Sterowania 21 Zależności w zwartej postaci (4a) - wektor wartości mierzonych y - wektor estymowanych wartości parametrów - wektor błędów pomiarów - wektor prawdziwych wartości parametrów - wektor wartości estymowanych y

22 Modelowanie i podstawy identyfikacji 2015/2016Identyfikacja – metoda najmniejszych kwadratów  Kazimierz Duzinkiewicz, dr hab. inż. Katedra Inżynierii Systemów Sterowania 22 Równania (4a) oraz (6a) – równania obserwacji Zależności w zwartej postaci –c.d.: (6a) - wektor wartości mierzonych y - wektor estymowanych wartości parametrów - wektor błędów resztkowych (residuów) Macierz obserwacji

23 Modelowanie i podstawy identyfikacji 2015/2016Identyfikacja – metoda najmniejszych kwadratów  Kazimierz Duzinkiewicz, dr hab. inż. Katedra Inżynierii Systemów Sterowania 23 Przykład 2: rozpuszczalność azotanu sodu w zależności od temperatury Pomiar j Temperatura u j Rozpuszczalnoś ć y j 1066,7 2471,0 31076,3 41580,6 52185,7 62992,9 73699,4 851113,6 968125,1 Proponowany model Funkcje bazowe: Wektor wartości mierzonych y: Wektor wartości estymowanych y: Wektor wartości prawdziwych parametrów: Wektor wartości estymowanych parametrów:

24 Modelowanie i podstawy identyfikacji 2015/2016Identyfikacja – metoda najmniejszych kwadratów  Kazimierz Duzinkiewicz, dr hab. inż. Katedra Inżynierii Systemów Sterowania 24 Równania obserwacji: Wektor błędów pomiaru: Wektor błędów resztkowych:

25 Modelowanie i podstawy identyfikacji 2015/2016Identyfikacja – metoda najmniejszych kwadratów  Kazimierz Duzinkiewicz, dr hab. inż. Katedra Inżynierii Systemów Sterowania 25 Metoda najmniejszych kwadratów – przypadek liniowy Metoda najmniejszych kwadratów Gauss’a proponuje jako optymalny wybór dla wartości nieznanych parametrów, wartość który minimalizuje sumę kwadratów błędów resztkowych (residuów) z (6a)

26 Modelowanie i podstawy identyfikacji 2015/2016Identyfikacja – metoda najmniejszych kwadratów  Kazimierz Duzinkiewicz, dr hab. inż. Katedra Inżynierii Systemów Sterowania 26 Przykład 2: c.d.

27 Modelowanie i podstawy identyfikacji 2015/2016Identyfikacja – metoda najmniejszych kwadratów  Kazimierz Duzinkiewicz, dr hab. inż. Katedra Inżynierii Systemów Sterowania 27

28 Modelowanie i podstawy identyfikacji 2015/2016Identyfikacja – metoda najmniejszych kwadratów  Kazimierz Duzinkiewicz, dr hab. inż. Katedra Inżynierii Systemów Sterowania 28

29 Modelowanie i podstawy identyfikacji 2015/2016Identyfikacja – metoda najmniejszych kwadratów  Kazimierz Duzinkiewicz, dr hab. inż. Katedra Inżynierii Systemów Sterowania 29 1. Możemy napisać - - J jest funkcjonałem Metoda najmniejszych kwadratów  zadanie minimalizacji funkcjonału bez ograniczeń; zadanie minimalizacji bez ograniczeń Co możemy powiedzieć o : Dla danego w oparciu o równania obserwacji funkcjonału J(x) poszukujemy wartości x * dającej minimalną wartość tego funkcjonału

30 Modelowanie i podstawy identyfikacji 2015/2016Identyfikacja – metoda najmniejszych kwadratów  Kazimierz Duzinkiewicz, dr hab. inż. Katedra Inżynierii Systemów Sterowania 30 2. Metoda najmniejszych kwadratów  Funkcja celu ma postać formy kwadratowej Forma kwadratowa gdzie: A - macierz symetryczna

31 Modelowanie i podstawy identyfikacji 2015/2016Identyfikacja – metoda najmniejszych kwadratów  Kazimierz Duzinkiewicz, dr hab. inż. Katedra Inżynierii Systemów Sterowania 31 Przypomnienie z rachunku różniczkowego ? Warunki konieczne i wystarczające, jakie musi spełnić punkt x, aby można było go uznać za dający minimalną wartość funkcjonału wyprowadzane są w oparciu o jego rozwinięcie Taylor’a w otoczeniu punktu x Przypomnienie z rachunku różniczkowego oraz podanie wybranych faktów z teorii optymalizacji - Dodatek A

32 Modelowanie i podstawy identyfikacji 2015/2016Identyfikacja – metoda najmniejszych kwadratów  Kazimierz Duzinkiewicz, dr hab. inż. Katedra Inżynierii Systemów Sterowania 32 Warunki konieczne i wystarczające minimum metody najmniejszych kwadratów Warunek konieczny pierwszego rzędu: Warunek konieczny drugiego rzędu: dla dowolnych dodatnio półokreślona (1) (2)

33 Modelowanie i podstawy identyfikacji 2015/2016Identyfikacja – metoda najmniejszych kwadratów  Kazimierz Duzinkiewicz, dr hab. inż. Katedra Inżynierii Systemów Sterowania 33 Warunek wystarczający drugiego rzędu: dodatnio określona Fakty:  Macierz H T H jest zawsze dodatnio półokreślona (jako macierz symetryczna)  Macierz H T H jest dodatnio określona, jeżeli macierz H ma najwyższy rząd równy n (3)

34 Modelowanie i podstawy identyfikacji 2015/2016Identyfikacja – metoda najmniejszych kwadratów  Kazimierz Duzinkiewicz, dr hab. inż. Katedra Inżynierii Systemów Sterowania 34 Obliczanie wartości estymowanych nieznanych parametrów – układ równań normalnych wynikający z warunku koniecznego pierwszego rzędu Układ równań normalnych Jeżeli macierz H T H jest nieosobliwa - posiada macierz odwrotną - otrzymujemy jawne rozwiązanie optymalnej estymaty (5) (4)

35 Modelowanie i podstawy identyfikacji 2015/2016Identyfikacja – metoda najmniejszych kwadratów  Kazimierz Duzinkiewicz, dr hab. inż. Katedra Inżynierii Systemów Sterowania 35  Jawne rozwiązanie optymalnej estymaty wymaga nieosobliwości macierzy H T H  macierz H T H jest nieosobliwa jeżeli rząd macierzy H wynosi n, czyli liczba liniowo niezależnych równań obserwacji jest większa lub co najmniej równa liczbie poszukiwanych estymat x i Stąd warunek:  zbiór funkcji bazowych powinien być liniowo niezależny Fakty:

36 Modelowanie i podstawy identyfikacji 2015/2016Identyfikacja – metoda najmniejszych kwadratów  Kazimierz Duzinkiewicz, dr hab. inż. Katedra Inżynierii Systemów Sterowania 36 Przykład 3: Prawdziwe wartości parametrów Proponowane zestawy funkcji bazowych

37 Modelowanie i podstawy identyfikacji 2015/2016Identyfikacja – metoda najmniejszych kwadratów  Kazimierz Duzinkiewicz, dr hab. inż. Katedra Inżynierii Systemów Sterowania 37 Przykład 4: rozpuszczalność azotanu sodu w zależności od temperatury Rozwiązanie normalnego układu równań

38 Modelowanie i podstawy identyfikacji 2015/2016Identyfikacja – metoda najmniejszych kwadratów  Kazimierz Duzinkiewicz, dr hab. inż. Katedra Inżynierii Systemów Sterowania 38 Przykład 5: (estymacja parametrów prostego układu dynamicznego) System Dyskretna reprezentacja systemu z przedziałem dyskretyzacji Δt gdzie: Zadanie: określić wartości stałych A D oraz B D wykorzystując zbiór pomiarów dyskretnych oraz

39 Modelowanie i podstawy identyfikacji 2015/2016Identyfikacja – metoda najmniejszych kwadratów  Kazimierz Duzinkiewicz, dr hab. inż. Katedra Inżynierii Systemów Sterowania 39 Jak została zaproponowana reprezentacja dyskretna systemu – - powtórzenie dla tego przykładu z SD Poszukujemy odpowiedzi systemu na dowolne wymuszenie w przedziale czasu [t 0, t) – patrz wykłady z Podstaw automatyki Obiekt u(t) x(t) Dla dowolnego wejścia u(t) określonego w przedziale [t 0,t] odpowiedź systemu

40 Modelowanie i podstawy identyfikacji 2015/2016Identyfikacja – metoda najmniejszych kwadratów  Kazimierz Duzinkiewicz, dr hab. inż. Katedra Inżynierii Systemów Sterowania 40 Przyjmując przedział dyskretyzacji T s możemy policzyć Przemnażamy pierwszą zależność przez i odejmujemy od drugiej Ostatnia zależność po uporządkowaniu

41 Modelowanie i podstawy identyfikacji 2015/2016Identyfikacja – metoda najmniejszych kwadratów  Kazimierz Duzinkiewicz, dr hab. inż. Katedra Inżynierii Systemów Sterowania 41 Zmieniamy zmienną całkowania Otrzymujemy Przyjmując stałość wejścia w przedziale próbkowania ADAD BDBD

42 Modelowanie i podstawy identyfikacji 2015/2016Identyfikacja – metoda najmniejszych kwadratów  Kazimierz Duzinkiewicz, dr hab. inż. Katedra Inżynierii Systemów Sterowania 42 Eksperyment pomiarowy: Na wejście układu w chwili k=1 podano impuls (Dirac’a) o intensywności 100 i następnie obserwowano wyjście przez 101 chwil czasowych z Δt=0.1

43 Modelowanie i podstawy identyfikacji 2015/2016Identyfikacja – metoda najmniejszych kwadratów  Kazimierz Duzinkiewicz, dr hab. inż. Katedra Inżynierii Systemów Sterowania 43 Macierz wartości funkcji bazowych: Równanie obserwacji: lub

44 Modelowanie i podstawy identyfikacji 2015/2016Identyfikacja – metoda najmniejszych kwadratów  Kazimierz Duzinkiewicz, dr hab. inż. Katedra Inżynierii Systemów Sterowania 44 Korzystając z (5): Otrzymamy: Kuchnia naszego zadania: Pomiary generowane były z wykorzystaniem następujących wartości prawdziwych Symulacja błędu pomiaru: generator szumu gaussowskiego o zerowej wartości średniej i odchyleniu standardowym σ = 0.08

45 Modelowanie i podstawy identyfikacji 2015/2016Identyfikacja – metoda najmniejszych kwadratów  Kazimierz Duzinkiewicz, dr hab. inż. Katedra Inżynierii Systemów Sterowania 45 Metoda ważonych najmniejszych kwadratów Poprzednie podejście: jednakowe znaczenie wszystkich pomiarów Ważniejsze te pomiary, które wykonywane są z mniejszym błędem – dołączenie wag pomiarów do metody najmniejszych kwadratów minimalizujące gdzie Znaleźć wartości nieznanych parametrów - symetryczna macierz wag

46 Modelowanie i podstawy identyfikacji 2015/2016Identyfikacja – metoda najmniejszych kwadratów  Kazimierz Duzinkiewicz, dr hab. inż. Katedra Inżynierii Systemów Sterowania 46 Warunek konieczny pierwszego rzędu: (6) Warunek dostateczny drugiego rzędu: dodatnio określona (7) W dodatnio określona

47 Modelowanie i podstawy identyfikacji 2015/2016Identyfikacja – metoda najmniejszych kwadratów  Kazimierz Duzinkiewicz, dr hab. inż. Katedra Inżynierii Systemów Sterowania 47 Jawne rozwiązanie optymalnej estymaty (8) Przykład 5: (nawiązanie do Przykład 1 (aproksymacja szeregu czasowego) Szereg czasowy y(t) Wykorzystanie 31 pomiarów spośród 91 zebranych w okresie 6 miesięcy Powzięto informację, że 3 pierwsze pomiary są obarczone mniejszym błędem niż pozostałe Nie ma informacji o dokładności wartości par pomiarów

48 Modelowanie i podstawy identyfikacji 2015/2016Identyfikacja – metoda najmniejszych kwadratów  Kazimierz Duzinkiewicz, dr hab. inż. Katedra Inżynierii Systemów Sterowania 48 Proponowana macierz wag: Wykorzystujemy Model1: - czas [miesiące – m] - stałe współczynniki – parametry Modelu 1 Pierwsza estymacja: 31 pomiarów Wyniki gorsze niż przy wykorzystaniu dostępnych 91 pomiarów

49 Modelowanie i podstawy identyfikacji 2015/2016Identyfikacja – metoda najmniejszych kwadratów  Kazimierz Duzinkiewicz, dr hab. inż. Katedra Inżynierii Systemów Sterowania 49 Zestawienie wyników estymacji: 1x10 0 1x10 1 1x10 2 1x10 5 1x10 7 1x10 10 1x10 15 (1.0278, 0.8750, 1.9884) (1.0388, 0.8675, 2.0018) (1.0258, 0.8923, 2.0049) (0.9047, 1.0949, 2.0000) (0.9060, 1.0943, 2.0000) (0.9932, 1.0068, 2.0000) (0.9970, 1.0030, 2.0000) Norma błędów resztkowych wymuszanych 3.21x10 -2 1.17x10 -2 7.87x10 -3 5.91x10 -5 1.10x10 -5 4.55x10 -7 0.97x10 -9 Zastosowanie ważonej metody najmniejszych kwadratów może poprawić jakość estymacji

50 Modelowanie i podstawy identyfikacji 2015/2016Identyfikacja – metoda najmniejszych kwadratów  Kazimierz Duzinkiewicz, dr hab. inż. Katedra Inżynierii Systemów Sterowania 50 Poprzednie podejścia:  jednakowe znaczenie wszystkich pomiarów – wszystkie pomiary wykonywane z jednakową dokładnością (jednakowo wiarygodne)  różne znaczenie poszczególnych pomiarów – część pomiarów charakteryzuje się większą dokładnością (większą wiarygodnością) inne mniejszą dokładnością (mniejszą wiarygodnością Rozważymy jeszcze jedną możliwość:  część pomiarów jest dokładna (wykonywana z błędem pomijalnie małym w stosunku do innych pomiarów)

51 Modelowanie i podstawy identyfikacji 2015/2016Identyfikacja – metoda najmniejszych kwadratów  Kazimierz Duzinkiewicz, dr hab. inż. Katedra Inżynierii Systemów Sterowania 51 Wszystkie obserwacje-pomiary o liczebności m podzielimy na dwie kategorie: - wektor wartości y mierzonych z ograniczoną dokładnością - wektor wartości y mierzonych dokładnie  m 1 pomiarów-obserwacji wykonanych z ograniczoną dokładnością  m 2 pomiarów-obserwacji dokładnych m 1 + m 2 = m m1m1 m2m2 Pomiary-obserwacje w obrębie tej kategorii mogą być zróżnicowane – wprowadzenie macierzy W 1

52 Modelowanie i podstawy identyfikacji 2015/2016Identyfikacja – metoda najmniejszych kwadratów  Kazimierz Duzinkiewicz, dr hab. inż. Katedra Inżynierii Systemów Sterowania 52 Dla wszystkich przeprowadzonych pomiarów określane są macierze wartości funkcji bazowych, odpowiednio H 1, dla pomiarów niedokładnych i H 2, dla pomiarów dokładnych Macierze wartości funkcji bazowych m1m1 m2m2 n n

53 Modelowanie i podstawy identyfikacji 2015/2016Identyfikacja – metoda najmniejszych kwadratów  Kazimierz Duzinkiewicz, dr hab. inż. Katedra Inżynierii Systemów Sterowania 53 Dla pierwszej kategorii pomiarów: m1m1 Dla drugiej kategorii pomiarów: m2m2

54 Modelowanie i podstawy identyfikacji 2015/2016Identyfikacja – metoda najmniejszych kwadratów  Kazimierz Duzinkiewicz, dr hab. inż. Katedra Inżynierii Systemów Sterowania 54 Równanie obserwacji będzie miało postać: (1) lub (2) (3) Przyjmiemy z naturalnych powodów:

55 Modelowanie i podstawy identyfikacji 2015/2016Identyfikacja – metoda najmniejszych kwadratów  Kazimierz Duzinkiewicz, dr hab. inż. Katedra Inżynierii Systemów Sterowania 55 - wektor estymowanych wartości parametrów Poszukujemy wektora wartości estymowanych nieznanych parametrów Zadanie poszukiwania tego wektora możemy sformułować: Znaleźć wektor, który minimalizuje sumę kwadratów błędów resztkowych (residuów) pomiarów niedokładnych spełniając ograniczenia równościowe pomiarów dokładnych (4) (5)

56 Modelowanie i podstawy identyfikacji 2015/2016Identyfikacja – metoda najmniejszych kwadratów  Kazimierz Duzinkiewicz, dr hab. inż. Katedra Inżynierii Systemów Sterowania 56 Rozwiązanie postawionego zadania estymacji metodą nieoznaczonych mnożników Lagrange’a Przedstawienie metody:  wprowadzamy wektor dodatkowych zmiennych nazywanych nieoznaczonymi mnożnikami Lagrange’a λ; wymiar wektora jest równy liczbie ograniczeń równościowych  ograniczenia równościowe przemnożone przez wektor mnożników Lagrange’a włączone zostają jako składnik do rozszerzonej funkcji celu  wartości optymalne oryginalnych zmiennych oraz mnożników Lagrange’a wyznaczane są drogą rozwiązania układu równań będących zapisem warunku koniecznego pierwszego rzędu minimum rozszerzonej funkcji celu

57 Modelowanie i podstawy identyfikacji 2015/2016Identyfikacja – metoda najmniejszych kwadratów  Kazimierz Duzinkiewicz, dr hab. inż. Katedra Inżynierii Systemów Sterowania 57 Rozszerzona funkcja celu zagadnienia (4) – (5): Wektor nieoznaczonych mnożników Lagrange’a dla zagadnienia (4) – (5): Warunki konieczne minimum rozszerzonej funkcji celu zagadnienia (4) – (5): (6) (7) (8) (9)

58 Modelowanie i podstawy identyfikacji 2015/2016Identyfikacja – metoda najmniejszych kwadratów  Kazimierz Duzinkiewicz, dr hab. inż. Katedra Inżynierii Systemów Sterowania 58 Rozwiązujemy (8) względem (10) Wynik (10) podstawiamy do (9) (11)

59 Modelowanie i podstawy identyfikacji 2015/2016Identyfikacja – metoda najmniejszych kwadratów  Kazimierz Duzinkiewicz, dr hab. inż. Katedra Inżynierii Systemów Sterowania 59 Wynik (11) podstawiamy do (10) Optymalne wartości estymowane nieznanych parametrów wyznaczone w oparciu o pomiary niedokładne (patrz (8) z poprzedniego wykładu) Macierz zależna od wartości funkcji bazowych (wejść) i wag pomiarów – macierz stała

60 Modelowanie i podstawy identyfikacji 2015/2016Identyfikacja – metoda najmniejszych kwadratów  Kazimierz Duzinkiewicz, dr hab. inż. Katedra Inżynierii Systemów Sterowania 60 Możemy podać wynik rozwiązania zadania (4)-(5): gdzie: K – macierz wzmocnień Optymalne wartości estymowane nieznanych parametrów wyznaczone w oparciu o pomiary niedokładne (12) (13) (14) Wartości y mierzone dokładnie Predykcja wartości y z wykorzystaniem wartości estymowanych nieznanych parametrów wyznaczonych w oparciu o niedokładne pomiary

61 Modelowanie i podstawy identyfikacji 2015/2016Identyfikacja – metoda najmniejszych kwadratów  Kazimierz Duzinkiewicz, dr hab. inż. Katedra Inżynierii Systemów Sterowania 61 Przykład 1: (nawiązanie do Przykład 1 z W9 oraz Przykład 5 w W10 (aproksymacja szeregu czasowego) Szereg czasowy y(t) Wykorzystanie 31 pomiarów spośród 91 zebranych w okresie 6 miesięcy Trzy przypadki: Przypadek 1: Przypadek 2: Przypadek 3:

62 Modelowanie i podstawy identyfikacji 2015/2016Identyfikacja – metoda najmniejszych kwadratów  Kazimierz Duzinkiewicz, dr hab. inż. Katedra Inżynierii Systemów Sterowania 62 Zestawienie wyników estymacji: 1 2 3 (1.0261, 0.8766, 1.9869) (1.0233, 0.8789, 1.9840) (1.0192, 0.8820, 1.9793) (1.0406, 0.8629, 2.0000) (0.9970, 1.0030, 2.0000) (0.9039, 1.0901, 2.0000) Zastosowanie metody najmniejszych kwadratów z ograniczeniami może poprawić jakość estymacji Przypadek

63 Modelowanie i podstawy identyfikacji 2015/2016Identyfikacja – metoda najmniejszych kwadratów  Kazimierz Duzinkiewicz, dr hab. inż. Katedra Inżynierii Systemów Sterowania 63 Dziękuję – koniec materiału prezentowanego podczas wykładu

64 Modelowanie i podstawy identyfikacji 2015/2016Identyfikacja – metoda najmniejszych kwadratów  Kazimierz Duzinkiewicz, dr hab. inż. Katedra Inżynierii Systemów Sterowania 64 Dodatek A Przypomnienie z rachunku różniczkowego oraz podanie wybranych faktów z teorii optymalizacji

65 Modelowanie i podstawy identyfikacji 2015/2016Identyfikacja – metoda najmniejszych kwadratów  Kazimierz Duzinkiewicz, dr hab. inż. Katedra Inżynierii Systemów Sterowania 65 Mamy funkcjonał: Rozwinięcie funkcjonału F w szereg Taylor’a w otoczeniu punktu x* ma postać:

66 Modelowanie i podstawy identyfikacji 2015/2016Identyfikacja – metoda najmniejszych kwadratów  Kazimierz Duzinkiewicz, dr hab. inż. Katedra Inżynierii Systemów Sterowania 66 W najprostszym przypadku: Rozwinięcie funkcjonału F w szereg Taylor’a w otoczeniu punktu x* ma postać:

67 Modelowanie i podstawy identyfikacji 2015/2016Identyfikacja – metoda najmniejszych kwadratów  Kazimierz Duzinkiewicz, dr hab. inż. Katedra Inżynierii Systemów Sterowania 67 Przykład 1 - skalarny: Rozwinięcie w szereg Taylor’a w otoczeniu: Aproksymacja skończoną liczbą wyrazów szeregu Taylor’a:

68 Modelowanie i podstawy identyfikacji 2015/2016Identyfikacja – metoda najmniejszych kwadratów  Kazimierz Duzinkiewicz, dr hab. inż. Katedra Inżynierii Systemów Sterowania 68 Ilustracja graficzna:

69 Modelowanie i podstawy identyfikacji 2015/2016Identyfikacja – metoda najmniejszych kwadratów  Kazimierz Duzinkiewicz, dr hab. inż. Katedra Inżynierii Systemów Sterowania 69 Rozwinięcie w szereg Taylor’a w otoczeniu Aproksymacja skończoną liczbą wyrazów szeregu Taylor’a: Przykład 2 – skalarny:

70 Modelowanie i podstawy identyfikacji 2015/2016Identyfikacja – metoda najmniejszych kwadratów  Kazimierz Duzinkiewicz, dr hab. inż. Katedra Inżynierii Systemów Sterowania 70 Ilustracja graficzna:

71 Modelowanie i podstawy identyfikacji 2015/2016Identyfikacja – metoda najmniejszych kwadratów  Kazimierz Duzinkiewicz, dr hab. inż. Katedra Inżynierii Systemów Sterowania 71 Jeżeli przyjąć oznaczenia: jakobian - gradient funkcjonału Warto pamiętać, że:  Kierunek gradientu w punkcie x pokrywa się z kierunkiem normalnej do powierzchni stałej wartości funkcjonału przechodzącej przez punkt x.  Zwrot gradientu w punkcie x odpowiada zwrotowi najszybszego wzrostu wartości funkcjonału w otoczeniu punktu x. hessian funkcjonału

72 Modelowanie i podstawy identyfikacji 2015/2016Identyfikacja – metoda najmniejszych kwadratów  Kazimierz Duzinkiewicz, dr hab. inż. Katedra Inżynierii Systemów Sterowania 72 Postać macierzowa szeregu Taylor’a: Pierwsza pochodna (nachylenie) funkcjonałuwzdłuż osi: - i-ty element gradientu Druga pochodna (krzywizna) funkcjonału wzdłuż osi : - (i,i)-ty element hessianu

73 Modelowanie i podstawy identyfikacji 2015/2016Identyfikacja – metoda najmniejszych kwadratów  Kazimierz Duzinkiewicz, dr hab. inż. Katedra Inżynierii Systemów Sterowania 73 Druga pochodna (krzywizna) funkcjonału wzdłuż wektora : Pierwsza pochodna (nachylenie) funkcjonałuwzdłuż wektora :

74 Modelowanie i podstawy identyfikacji 2015/2016Identyfikacja – metoda najmniejszych kwadratów  Kazimierz Duzinkiewicz, dr hab. inż. Katedra Inżynierii Systemów Sterowania 74 Przykład 3:

75 Modelowanie i podstawy identyfikacji 2015/2016Identyfikacja – metoda najmniejszych kwadratów  Kazimierz Duzinkiewicz, dr hab. inż. Katedra Inżynierii Systemów Sterowania 75 Ilustracja graficzna: Pochodne kierunkowe: 1.4 1.3 1.0 0.5 0.0 Pochodne kierunkowe:

76 Modelowanie i podstawy identyfikacji 2015/2016Identyfikacja – metoda najmniejszych kwadratów  Kazimierz Duzinkiewicz, dr hab. inż. Katedra Inżynierii Systemów Sterowania 76 Przykład 4:

77 Modelowanie i podstawy identyfikacji 2015/2016Identyfikacja – metoda najmniejszych kwadratów  Kazimierz Duzinkiewicz, dr hab. inż. Katedra Inżynierii Systemów Sterowania 77 Ilustracja graficzna: Pochodne kierunkowe: 2. 4

78 Modelowanie i podstawy identyfikacji 2015/2016Identyfikacja – metoda najmniejszych kwadratów  Kazimierz Duzinkiewicz, dr hab. inż. Katedra Inżynierii Systemów Sterowania 78 Minimum globalne: Punkt jest unikatowym minimum globalnym funkcjonału jeżeli zachodzi, dla wszystkich Minimum silne (lokalne): Punkt jest minimum silnym (lokalnym) funkcjonału jeżeli istnieje skalar, taki, że zachodzi, dla wszystkich takich, że Minimum słabe (lokalne): Punkt jest minimum słabym (lokalnym) funkcjonału a istnieje skalar, jeżeli taki, że zachodzi, dla wszystkich takich, że nie jest minimum silnym, Optymalność

79 Modelowanie i podstawy identyfikacji 2015/2016Identyfikacja – metoda najmniejszych kwadratów  Kazimierz Duzinkiewicz, dr hab. inż. Katedra Inżynierii Systemów Sterowania 79 Przykład 5: Minimum silne Maksimum silne Minimum globalne Optymalność Minima lokalne silne Minimum globalne Maksimum lokalne silne

80 Modelowanie i podstawy identyfikacji 2015/2016Identyfikacja – metoda najmniejszych kwadratów  Kazimierz Duzinkiewicz, dr hab. inż. Katedra Inżynierii Systemów Sterowania 80 Przykład 6 - wektorowy: Minimum globalne Minimum silne Punkt siodłowy Minima lokalne silne Minimum globalne Punkt siodłowy Optymalność

81 Modelowanie i podstawy identyfikacji 2015/2016Identyfikacja – metoda najmniejszych kwadratów  Kazimierz Duzinkiewicz, dr hab. inż. Katedra Inżynierii Systemów Sterowania 81 Minima lokalne silne Minimum globalne Przykład 7 - wektorowy: Optymalność

82 Modelowanie i podstawy identyfikacji 2015/2016Identyfikacja – metoda najmniejszych kwadratów  Kazimierz Duzinkiewicz, dr hab. inż. Katedra Inżynierii Systemów Sterowania 82 Przykład 8 - wektorowy: Minimum słabe Minimum lokalne słabe wzdłuż prostej x 1 = 0 Optymalność

83 Modelowanie i podstawy identyfikacji 2015/2016Identyfikacja – metoda najmniejszych kwadratów  Kazimierz Duzinkiewicz, dr hab. inż. Katedra Inżynierii Systemów Sterowania 83 Warunki konieczne minimum Rozwinięcie, takiego, że w szereg Taylor’a w otoczeniu Optymalność

84 Modelowanie i podstawy identyfikacji 2015/2016Identyfikacja – metoda najmniejszych kwadratów  Kazimierz Duzinkiewicz, dr hab. inż. Katedra Inżynierii Systemów Sterowania 84 Warunki konieczne minimum Warunek pierwszego rzędu: Jeżeli x * jest punktem lokalnego minimum i F jest różniczkowalne w sposób ciągły w otwartym otoczeniu x *, wówczas Optymalność

85 Modelowanie i podstawy identyfikacji 2015/2016Identyfikacja – metoda najmniejszych kwadratów  Kazimierz Duzinkiewicz, dr hab. inż. Katedra Inżynierii Systemów Sterowania 85 Warunek drugiego rzędu: Jeżeli x * jest punktem lokalnego minimum i  2 F jest ciągłe w pewnym otwartym otoczeniu x *, wówczas dla dowolnych Optymalność

86 Modelowanie i podstawy identyfikacji 2015/2016Identyfikacja – metoda najmniejszych kwadratów  Kazimierz Duzinkiewicz, dr hab. inż. Katedra Inżynierii Systemów Sterowania 86 Przykład 9: Warunek punkt stacjonarnego Punkt stacjonarny - jedyny Sprawdzenie warunków rzędu drugiego Optymalność

87 Modelowanie i podstawy identyfikacji 2015/2016Identyfikacja – metoda najmniejszych kwadratów  Kazimierz Duzinkiewicz, dr hab. inż. Katedra Inżynierii Systemów Sterowania 87 Punkt x * =0 spełnia warunki konieczne pierwszego i drugiego rzędu dla minimum Optymalność

88 Modelowanie i podstawy identyfikacji 2015/2016Identyfikacja – metoda najmniejszych kwadratów  Kazimierz Duzinkiewicz, dr hab. inż. Katedra Inżynierii Systemów Sterowania 88 Warunki określoności macierzy hessianu można badać przez sprawdzenie wartości własnych tej macierzy Macierz hessianu jest dodatnio określona, jeżeli wszystkie jej wartości własne są dodatnie Macierz hessianu jest dodatnio półokreślona, jeżeli wszystkie jej wartości własne są nieujemne Optymalność

89 Modelowanie i podstawy identyfikacji 2015/2016Identyfikacja – metoda najmniejszych kwadratów  Kazimierz Duzinkiewicz, dr hab. inż. Katedra Inżynierii Systemów Sterowania 89 Optymalność Przykład 10: Warunek punkt stacjonarnego Punkt stacjonarny - jedyny Sprawdzenie warunków rzędu drugiego

90 Modelowanie i podstawy identyfikacji 2015/2016Identyfikacja – metoda najmniejszych kwadratów  Kazimierz Duzinkiewicz, dr hab. inż. Katedra Inżynierii Systemów Sterowania 90 Pozyskanie informacji o określoności macierzy hessianu Nie można stwierdzić czy macierz hessianu jest dodatnio określona lub dodatnio półokreślona Optymalność

91 Modelowanie i podstawy identyfikacji 2015/2016Identyfikacja – metoda najmniejszych kwadratów  Kazimierz Duzinkiewicz, dr hab. inż. Katedra Inżynierii Systemów Sterowania 91 Optymalność Wartości własne hessianu

92 Modelowanie i podstawy identyfikacji 2015/2016Identyfikacja – metoda najmniejszych kwadratów  Kazimierz Duzinkiewicz, dr hab. inż. Katedra Inżynierii Systemów Sterowania 92 Optymalność Minimum silne w

93 Modelowanie i podstawy identyfikacji 2015/2016Identyfikacja – metoda najmniejszych kwadratów  Kazimierz Duzinkiewicz, dr hab. inż. Katedra Inżynierii Systemów Sterowania 93 Warunki wystarczające minimum Warunek drugiego rzędu: Jeżeli dla pewnego x *,  2 F jest ciągłe w pewnym otwartym jego otoczeniu i  F(x * ) = 0 i  2 F(x * ) jest dodatnio określona, wówczas x * jest silnym minimum lokalnym Warunek globalnego minimum Jeżeli F jest funkcją wypukłą (a nawet tylko pseudowypukłą), wówczas każde minimum lokalne jest minimum globalnym. Jeżeli dodatkowo F jest różniczkowalna, wówczas każdy punkt stacjonarny jest globalnym minimum Optymalność

94 Modelowanie i podstawy identyfikacji 2015/2016Identyfikacja – metoda najmniejszych kwadratów  Kazimierz Duzinkiewicz, dr hab. inż. Katedra Inżynierii Systemów Sterowania 94 Forma kwadratowa gdzie: A - macierz symetryczna; (jeżeli macierz A nie jest symetryczna, to może być zastąpiona przez macierz symetryczną dającą te same wartości F(x) - to samo przekształcenie F(x)) Pożyteczne właściwości gradientu: gdzie jest stałym wektorem dla symetrycznych

95 Modelowanie i podstawy identyfikacji 2015/2016Identyfikacja – metoda najmniejszych kwadratów  Kazimierz Duzinkiewicz, dr hab. inż. Katedra Inżynierii Systemów Sterowania 95 Gradient formy kwadratowej Hessian formy kwadratowej Forma kwadratowa

96 Modelowanie i podstawy identyfikacji 2015/2016Identyfikacja – metoda najmniejszych kwadratów  Kazimierz Duzinkiewicz, dr hab. inż. Katedra Inżynierii Systemów Sterowania 96  Jeżeli wartości własne hessianu są wszystkie dodatnie – forma posiada pojedyncze silne minimum  Jeżeli wartości własne hessianu są wszystkie ujemne – forma posiada pojedyncze silne maksimum  Jeżeli pewne wartości własne hessianu są dodatnie, a inne ujemne – forma posiada pojedynczy punkt siodłowy  Jeżeli wszystkie wartości własne hessianu są nieujemne, ale niektóre są równe zeru – forma albo posiada słabe minimum albo nie ma punktu stacjonarnego  Jeżeli wszystkie wartości własne hessianu są niedodatnie, ale niektóre są równe zeru – forma albo posiada słabe maksimum albo nie ma punktu stacjonarnego Słuszne są twierdzenia: Forma kwadratowa

97 Modelowanie i podstawy identyfikacji 2015/2016Identyfikacja – metoda najmniejszych kwadratów  Kazimierz Duzinkiewicz, dr hab. inż. Katedra Inżynierii Systemów Sterowania 97 Koniec zestawu slajdów