1 Weryfikacja hipotez statystycznychZakład Statystyki Stosowanej Instytut Statystyki i Demografii Kolegium Analiz Ekonomicznych Szkoła Główna Handlowa w Warszawie Weryfikacja hipotez statystycznych dr Marta Marszałek
2 Wnioskowanie statystyczneEstymacja Weryfikacja hipotez statystycznych Szacowanie wartości parametrów rozkładu populacji (lub jego postaci funkcyjnej) na podstawie próby losowej. Sprawdzanie przypuszczeń dot. parametrów rozkładu populacji (lub jego postaci funkcyjnej) na podstawie próby losowej.
3 Hipoteza statystycznaHipoteza statystyczna – dowolne przypuszczenie dotyczące parametrów lub postaci funkcyjnej rozkładu populacji generalnej. Prawdziwość tego przypuszczenia jest sprawdzana na podstawie próby losowej. Hipotezy parametryczne – przypuszczenia dotyczące parametrów populacji generalnej Hipotezy nieparametryczne – przypuszczenia dotyczące kształtu rozkładu populacji generalnej (postaci funkcyjnej).
4 Hipotezy parametryczneprzypuszczenia dotyczące parametrów populacji generalnej. 1. Hipoteza zerowa (ma zawsze postać równości), np: H0: m=28; m1=m2; p=0,6 ; p1=p2 2. Hipoteza alternatywna (H1) – konkurencyjna do H0 (Uwaga: nie zawsze jest zaprzeczeniem do H0!)
5 Cel weryfikacji hipotezPodstawą weryfikacji hipotezy jest założenie, że Ho jest prawdziwa (np. m=28; czyli przeciętna l. punktów uzyskanych z egzaminu ze statystyki = 28). Prawdziwość hipotezy (przypuszczenia) sprawdzamy na podstawie wyników próby losowej. Obliczona na podstawie próby wartość estymatora ( 𝑿 ) nie powinna znacząco odbiegać od założonej wartości, a jeśli różni się to powinno zdarzać się to rzadko (tj. z niewielkim prawdopodobieństwem). Uzyskanie wyniku z próby znacząco różniącego się od spodziewanej wartości parametru podważa prawdziwość założenia (hipotezy zerowej).
6 Test statystyczny Test statystyczny – „narzędzie” stosowane do weryfikacji hipotezy statystycznej. To reguła postępowania rozstrzygająca, jakie wyniki próby pozwalają uznać sprawdzaną hipotezę za fałszywą i ją odrzucić, a jakie nie dają podstaw do podjęcia takiej decyzji. Test należy budować tak, aby uchronić się przed popełnieniem: błędu I rodzaju (odrzucenie hipotezy prawdziwej), błędu II rodzaju (przyjęcie hipotezy fałszywej).
7 Wniosek o hipotezie nie odrzucać odrzucaćRzeczywistość: Hipoteza H0 Wniosek o hipotezie nie odrzucać odrzucać prawdziwa prawidłowy nieprawidłowy błąd I rodzaju nieprawdziwa błąd II rodzaju Błąd I rodzaju – błąd wnioskowania statystycznego polegający na odrzuceniu hipotezy, gdy w rzeczywistości jest ona prawdziwa. Błąd II rodzaju – błąd wnioskowania statystycznego polegający na nieodrzuceniu hipotezy, gdy w rzeczywistości jest ona fałszywa.
8 Poziom istotności α Prawdopodobieństwo popełnienia błędu I rodzaju = poziom istotności α (w praktyce 𝛼 ≤ 0,1). Równoczesna minimalizacja prawdopodobieństw popełnienia obu błędów nie jest możliwa. Teoria statystyki oferuje m.in. : testy najmocniejsze – decyzje podejmuje się minimalizując prawdop. popełnienia błędu II rodzaju przy ustalonym z góry poziomie prawdop. popełnienia błędu I rodzaju. testy istotności – decyzję podejmuje się przy ustalonym prawdopodobieństwie popełnienia błędu I rodzaju. Kwestia błędu II rodzaju jest pomijana.
9 Etapy weryfikacji hipotez statystycznychSformułowanie hipotezy zerowej H0 i hipotezy alternatywnej H1 Wybór odpowiedniego testu weryfikacyjnego [in. estymatora (statystyki)] – w celu sprawdzenia H0. Wyznaczenie wartości empirycznej testu (na podstawie wyników próby). Wyznaczenie obszaru krytycznego (obszaru odrzuceń hipotezy zerowej). Decyzja weryfikacyjna i wniosek (jeśli test przyjmie wartość należącą do obszaru krytycznego – H0 odrzucamy, w przeciwnym przypadku stwierdzamy brak podstaw do odrzucenia H0).
10 Ogólny wzór testu 𝑋 − 𝑚 0 𝜎 𝑛 = 𝑒𝑠𝑡𝑦𝑚𝑎𝑡𝑜𝑟 −ℎ𝑖𝑝𝑜𝑡𝑒𝑡𝑦𝑐𝑧𝑛𝑎 𝑤𝑎𝑟𝑡𝑜ść 𝑝𝑎𝑟𝑎𝑚𝑒𝑡𝑟𝑢 𝑠𝑡𝑎𝑛𝑑𝑎𝑟𝑑𝑜𝑤𝑦 𝑏łą𝑑 𝑒𝑠𝑡𝑦𝑚𝑎𝑡𝑜𝑟𝑎
11 Weryfikacja hipotez – decyzje weryfikacyjneRezultat weryfikacji hipotezy: jeśli test przyjmie wartość należącą do obszaru krytycznego – H0 odrzucamy, jeśli wartość testu znajdzie się poza obszarem krytycznym to stwierdzamy brak podstaw do odrzucenia H0. np. 𝑡 𝑒𝑚𝑝 =3,15 𝜆=(−∞;−2,228>∪<2,228;+∞) 𝜆:(−∞;−2,228>∪<2,228;+∞) x np. 𝑢 𝑒𝑚𝑝 =0,75 𝜆:<1,96;+∞)
12 Test istotności dla wartości średniej (𝒎) w populacji generalnej o rozkładzie normalnym ze znanym σZałożenie: Populacja gener. ma rozkład N, m - nieznane, σ - znane Hipotezy: H0: m=m0 H1: m≠m0 Test weryfikacyjny dla H0: 𝑥 z próby, o rozkładzie 𝑁(𝑚; 𝜎 𝑛 ) Jeśli H0 jest prawdziwa to statystyka: ma rozkład N(0,1) i jej moduł nie powinien przyjmować zbyt dużych wartości, tzn. nie powinien przekraczać tzw. wartości krytycznej 𝑢𝛼, takiej, że 𝑃( 𝑈 ≥𝑢𝛼)=𝛼
13 Wyznaczanie obszaru krytycznego (obszaru odrzucenia hipotezy zerowej)Obszar nieodrzucenia 1-α obszar odrzucenia obszar odrzucenia α/2 α/2 -uα uα u
14 Przykład – test istotności dla m w populacji o rozkładzie normalnym ze znanym σNależy sprawdzić przypuszczenie, że przeciętna liczba punktów uzyskanych na egzaminie ze statystyki wynosi 28. Zakłada się, że ta zmienna ma rozkład normalny z odchyleniem standardowym 5. W losowej próbie 25 studentów otrzymano X̄ = 29,2; s=4,5. Przyjąć α=0,05. H0: m=28 czyli m0= 28 H1: m≠28 X̄ ma rozkład , więc ma rozkład N(0,1)
15 Przykład – test istotności dla m w populacji o rozkładzie normalnym ze znanym σZ tablic rozkładu normalnego odczytujemy: 𝑢0,05=1,96, więc ǀ𝑢ǀ<𝑢0,05 czyli obliczona wartość nie należy do obszaru krytycznego 𝜆:(− ∞, −1,96> 𝜐 <1,96, ∞). Decyzja weryfikacyjna: Na poziomie istotności 𝛼=0,05 brak podstaw do odrzucenia 𝐻 0 , Interpretacja (odpowiedź): to oznacza, że przeciętna liczba punktów uzyskana z egzaminu ze statystyki wynosi 28.
16 Wyznaczanie obszaru krytycznego (obszaru odrzucenia hipotezy zerowej)Obszar nieodrzucenia 0,95 obszar odrzucenia obszar odrzucenia 0,025 0, ,96 1,2 1,96 • u Decyzja: Na poziomie istotności 𝛼=0,05 brak podstaw do odrzucenia H0, Interpretacja (odpowiedź): średnia liczba punktów uzyskanych z egzaminu ze statystyki wynosi 28.
17 Testy jednostronne Test prawostronny: H0: m=m0 H1: m>m0 Prawostronny obszar krytyczny: < u2α, +∞) taki, że P(U≥u2α)=α
18 Wyznaczanie prawostronnego obszaru krytycznegoObszar nieodrzucenia 1-α obszar odrzucenia α u2α
19 Testy jednostronne Test lewostronny: H0: m=m0 H1: m
20 Wyznaczanie lewostronnego obszaru krytycznegoObszar nieodrzucenia 1-α obszar odrzucenia α -u2α
21 Krytyczny poziom istotności αKrytyczny poziom istotności α* (significant level, probability level, p-value, istotność) – najniższy poziom istotności, przy którym hipoteza zerowa, dla otrzymanej wartości testu, może być odrzucona, (inaczej mówiąc) – to poziom istotności, przy którym następuje zmiana decyzji weryfikacyjnej. Jeśli α* ≤ α - H0 odrzucamy α* > α - brak podstaw do odrzucenia H0
22 Krytyczny poziom istotności α* ≤ αObszar nieodrzucenia 1-α α - poz.istotności u2α •uobl α* - kryt. poz. istotn. α* ≤ α : H0 odrzucamy
23 Krytyczny poziom istotności α* > αObszar nieodrzucenia 1-α α – poz.istotności u2α •uobl α* –kryt. poz. istotn. α* > α: brak podstaw do odrzucenia H0
24 Test istotności dla wartości średniej w populacji generalnej o rozkładzie N, σ - nieznane, mała próba Założenia: Populacja gener. ma rozkład N, m, σ - nieznane, n - małe Hipotezy: H0: m=m0 H1: m≠m0 Test weryfikacyjny dla H0: , która przy założeniu prawdziwości H0 ma rozkład t-Studenta z n-1 stopniami swobody i jej moduł nie powinien przyjmować zbyt dużych wartości, tzn. nie powinien przekraczać tzw. wartości krytycznej tα takiej, że 𝑃(│𝑡│≥𝑡𝛼)=𝛼
25 Test istotności dla wartości średniej w populacji generalnej o dowolnym rozkładzie, duża próba.Założenia: populacja generalna ma dowolny rozkład, m, σ - nieznane, n - duże Sfromułowanie hipotezy: H0: m=m0 H1: m≠m0 Test weryfikacyjny: korzystamy z granicznego rozkładu 𝑥 z próby. Jeśli H0 jest prawdziwa to statystyka: ma asymptotyczny rozkład N(0,1) Dwustronny obszar krytyczny testu wyznaczamy w oparciu o relację: 𝑃(│𝑈│≥ 𝑢𝛼)=𝛼
26 Test istotności dla dwóch średnich w populacji generalnej o rozkładzie normalnym ze znanymi σ1 i σ2Założenia: X1:N(m1,σ1) ; X2:N(m2,σ2), σ1 i σ2 - znane Sformułowanie hipotezy: H0: m1 = m2 H1: m1 ≠ m2 Jeśli H0 jest prawdziwa to statystyka: ma rozkład N(0,1) Dwustronny obszar krytyczny testu wyznaczamy w oparciu o relację: 𝑃(│𝑈│≥ 𝑢𝛼)=𝛼
27 Test istotności dla dwóch średnich w populacji generalnej o rozkładzie normalnym z nieznanymi, ale jednakowymi σ1 i σ2 Założenia: X1:N(m1,σ1) ; X2:N(m2,σ2), 𝜎1=𝜎2=𝜎 − nieznane Sformułowanie hipotezy: H0: m1 = m2 H1: m1 ≠ m2 Jeśli H0 jest prawdziwa to statystyka: ma rozkład t-Studenta o 𝑣=𝑛1+𝑛2−2 Dwustronny obszar krytyczny testu wyznaczamy w oparciu o relację: 𝑃(│𝑡│≥ 𝑡𝛼)=𝛼
28 Test istotności dla dwóch średnich w populacji generalnej o dowolnym rozkładzieZałożenia: X1i X2 mają dowolne rozkłady o nieznanych parametrach, 𝑛 1 , 𝑛 2 − duże Sformułowanie hipotezy: H0: m1 = m2 H1: m1 ≠ m2 Jeśli H0 jest prawdziwa to statystyka: ma rozkład as.N(0,1) Dwustronny obszar krytyczny testu wyznaczamy w oparciu o relację: 𝑃(│𝑈│≥ 𝑢𝛼)=𝛼
29 Test istotności dla różnicy średnich – próby zależneZałożenia: Różnice par zmiennych Ri=Xi1-Xi2 mają rozkład N(mR,σR) Sformułowanie hipotezy: H0: mR = m0 H1: mR ≠ m0 Niech: Test weryfikacyjny: to statystyka która przy założeniu prawdziwości H0 ma rozkład t-Studenta z 𝑛−1 stopniami swobody. Obszar krytyczny: 𝑃(│𝑡│≥𝑡𝛼)=𝛼
30 Test istotności dla frakcjiZałożenia: Populacja ma rozkład 0−1 z parametrem p (frakcja w populacji, prawdopodobieństwo), n - duże Sformułowanie hipotezy: H0: p = p0 H1: p ≠ p0 Test weryfikacyjny dla H0: 𝒑 = 𝑿 𝒏 , (wskaźnik struktury z próby) o rozkładzie as. N (por. do odpowiedniego twierdz. granicznego) Jeśli H0 jest prawdziwa to statystyka: ma rozkład asN(0,1) Dwustronny obszar krytyczny: 𝑃(│𝑈│≥ 𝑢𝛼)=𝛼
31 Test istotności dla różnicy frakcjiZałożenia: Dwie populacje mają rozkład 0−1 z parametrami: p1 i p2 (frakcje elementów wyróżnionych), n1 i n2 - duże Sformułowanie hipotezy: H0: 𝑝1 = 𝑝2 H1: 𝑝1 ≠ 𝑝2 Frakcje (wskaźniki struktury z prób): 𝑝 1 = 𝑋 1 𝑛 1 , 𝑝 2 = 𝑋 2 𝑛 2 Wspólna frakcja z próby: 𝑝 = 𝑋 1 + 𝑋 2 𝑛 1 + 𝑛 2 Jeśli H0 jest prawdziwa to statystyka: ma rozkład as.N(0,1) Dwustronny obszar krytyczny: 𝑃(│𝑈│≥ 𝑢𝛼)=𝛼
32 Dziękuję dr Marta Marszałek