1 Statystyka PowtorzenieDr Wioleta Drobik-Czwarno

2 Populacja Próba Parametry Statystyki EX, µ D2X, δ2 S2 DX, δ S p ρ rśrednia D2X, δ2 S2 DX, δ S p w ρ r ... wnioskowanie

3 Proces modelowania ma charakter iteracyjny i multidyscyplinarnyJak powstaje Model matematyczny Dane uzyskane na podstawie modelu Dane eksperymentalne Rozwiązanie i weryfikacja modelu Problem badawczy Helen M. Byrne (2010), Nature Reviews Cancer Sformułowanie modelu matematycznego Proces modelowania ma charakter iteracyjny i multidyscyplinarny

4 Etapy analizy statystycznejProblem badawczy Hipotezy badawcze Wybór próby i narzędzi badawczych Gromadzenie danych Analiza danych Wnioski

5 Statystyka opisowa (opis próby)Miary położenia (skupienia, tendencji centralnej): średnia arytmetyczna, mediana, dominanta Miary zmienności (rozproszenia, rozrzutu, dyspersji): wariancja, odchylenie standardowe, wskaźnik zmienności Miary asymetrii (skośności): Średnia a mediana Współczynniki asymetrii

6 Asymetria

7 Statystyka opisowa „słabe punkty”Badamy zarobki w pewnej niewielkiej firmie: 1500 2000 16000 Średnia = 3500 Mediana=1750 Dominanta =1500

8 Estymacja badana cecha: masa ciała ryjówki malutkiejbadanie nr 1 średnia = 4,8 g badanie nr 2 średnia = 6,2 g badanie nr 3 średnia = 5,1 g

9 Estymacja przedziałowa (przedziały ufności)P(x1< EX np.: P(3 < EX < 7) = 0,99 P(4 < EX < 6) = 0,95

10 Weryfikacja hipotez statystycznychHipoteza badawcza: leki A i B różnie wpływają na stan kliniczny pacjentów EXA ≠ EXB (na tym nam zależy) Hipoteza statystyczna (H0): lek A i B tak samo wpływają na stan kliniczny pacjentów EXA = EXB (łatwiejsze do zbadania)

11 Test statystyczny Zbiór reguł postępowania, w wyniku których podejmujemy decyzję o przyjęciu lub odrzuceniu H0. decyzja prawdziwa fałszywa przyjmujemy + błąd II rodzaju (β) moc testu (1-β) 0,8-0,9 odrzucamy błąd I rodzaju poziom istotności (α) 0,05; 0,01

12 Weryfikacja hipotez „słabe punkty”H0: bezbarwny płyn w naczyniu to woda H1: bezbarwny płyn nie jest wodą Testowanie: testy fizyko-chemiczne (obarczone błędem wykonania) A. odrzucamy H0, przyjmując H1 B. nie możemy odrzucić H0: nie możemy wykluczyć, że płyn w naczyniu jest wodą. Ale czy na pewno to potwierdziliśmy.....

13 Wybór testu statystycznegoCzy istnieje zależność między grupami badawczymi? (tak/nie) Ile mamy grup badawczych? (2/>2) Jaka jest skala pomiarowa zmiennych? (nominalna/porządkowa/ilościowa) Jaki jest rozkład zmiennych? (normalny/inny) Czy wariancje w poszczególnych grupach są jednorodne? (tak/nie)

14 Analizy statystyczne w R

15 Przykładowa baza danychBaza „survey” z pakietu MASS Baza zawiera odpowiedzi 237 studentów uniwersytetu Adelaide na pytania zawarte w ankiecie Przykładowe zmienne: Płeć: „Male”, „Female” W.Hnd: praworęczność ”right” lub leworęczność „left”, Pulse (uderzenia serca na minute) Smoke (jak dużo papierosów pali student): „Heavy”,”Regul”, „Occas”, „Never” Height (wzrost w cm) Age (wiek)

16 Przykładowa baza danych

17 Cechy jakościowe Tabela liczebności (kontyngencji) Przykład:funkcja table() – zestawienie liczebności w grupach Przykład:

18 Statystyka opisowa – cechy ilościoweCechy ilościowe - najważniejsze funkcje: length — długość wektora (liczba elementów) sum — suma elementów wektora max, min— maksymalna i minimalna wartość z wektora mean — średnia arytmetyczna Jeśli podamy dodatkowy parametr trim - to funkcja policzy, średnią po odrzuceniu określonego odsetka wartości skrajnych, np. mean(x,trim=0.1) – to średnia z x po odrzuceniu 10% wartości skrajnych quantile— dowolny kwantyl, np. quantile(x,.5) - to mediana z x, inaczej median(x) sd — odchylenie standardowe var — wariancja moda – wartość występująca najczęściej

19 Statystyka opisowa Funkcja summary() wyświetla proste podsumowania wektora obserwacji Dla zmiennej jakościowej: Liczebności obserwacji w każdym z możliwych poziomów Dla zmiennej ilościowej: Wektor z wartościami: Minimum Maksimum Średnia Mediana Kwartyle

20 Statystyka opisowa Wynik funkcji summary() dla przykładowej ramki danych

21 Wykresy Możliwość wykorzystania jednego z dwóch systemów graficznychPakiet graphics – wykorzystany w podstawowej wersji R Pakiet grid wykorzystany w dodatkowych pakietach np. lattice, ggplot2 Pakiet graphics Pakiet lattice Pakiet ggplot2 plot(Pulse,Height) xyplot(Height~Pulse) qplot(Pulse,Height)

22 Wykresy Histogram – przedstawia liczebności obiektów w poszczególnych przedziałach (klasach) danej zmiennej Funkcja hist() Histogram, ustawienia domyślne Zmiana liczby przedziałów (breaks)

23 Wykresy Wykres pudełkowy – zmienność pojedynczej lub kilku zmiennychFunkcja boxplot() Obserwacje odstające (ang. outliers) - ponad 1,5 przedziału międzykwartylowego (IQR) od kwartyli

24 Wykresy Wykres rozrzutu – zależności między parą zmiennych ilościowychFunkcja plot() plot(Pulse,Height,col=rainbow(2),pch=19)

25 Wykresy Najważniejsze argumenty wykresówmain – tytuł np. main=„wykres” xlab, ylab - tytuły osi np. xlab=”nazwa osi x” ylim – dolna i górna granica wartości dla osi y np. zakres od 0 do 50 co 5: ylim=c(0,50,5) breaks – liczba przedziałów przy tworzeniu histogramu col - kolory

26 Testowanie hipotez p-value = prawdopodobieństwo testowe, graniczny poziom istotności Prawdopodobieństwo uzyskania analizowanych danych przy założeniu, że hipoteza zerowa jest prawdziwa Miara prawdopodobieństwa popełnienia błędu pierwszego rodzaju czyli nieodrzucenia fałszywej hipotezy zerowej p-value > 0.05 –brak podstaw do odrzucenia hipotezy zerowej p-value <= 0.05 – istotnie odrzucamy hipotezę zerową p-value <= 0.01 – wysokoistotnie odrzucamy hipotezę zerową

27 Wybrane testy statystyczneSprawdzanie czy zmienna ma rozkład normalny Ograniczenia przy powtórzonych wartościach w próbie Test Shapiro-Wilka shapiro.test(x) H0: badana zmienna ma rozkład normalny Wartość empiryczna testu Czyli: 1 x 10^-16 Prawdopodobieństwo testowe < 0.01 więc odrzucamy hipotezę zerową wysokoistotnie Prawdopodobieństwo testowe > 0.05 więc brak podstaw do odrzucenia hipotezy zerowej

28 Wybrane testy statystyczneSprawdzanie zgodności rozkładu z założonym (ang. Chi square goodness of fit test) H0: Rozkład jest zgodny z założonym (1:7:1:1) zakładamy, że 70% studentów należy do osób nie palących, a w każdej z pozostałych grup znajduje się po 10% studentów

29 Wybrane testy statystyczneTest na jednorodność wariancji F-Snedecora var.test(x,y) H0: σ21= σ22

30 Wybrane testy statystyczneTest na proporcje – mała próba binom.test(x=9,n=20,p=0.2) Oparty na rozkładzie dwumianowym 9 sukcesów w 20 próbach prawdopodobieństwo sukcesu 20% H0: p=0.2

31 Wybrane testy statystyczneTest na proporcje – duża próba (odpowiednik testu U) Oparty na statystyce Chi-kwadrat prop.test(x=2000,n=100000,p=0.2) 2000 sukcesów w prób prawdopodobieństwo sukcesu 20% H0: p=0.2

32 Wybrane testy statystyczneTest na średnią w jednej populacji Zakłada rozkład normalny Test t-studenta Przykład: Czy średni wzrost studentów był równy 170 cm? t.test(x,mu=170) H0: μ=170

33 Wybrane testy statystyczneTest na średnią w dwóch populacjach Zakłada rozkład normalny i jednorodność wariancji Test t-studenta Przykład: Czy średnia wzrostu dla studentów obu płci jest taka sama? t.test(wzrost_M,wzrost_F) H0: μ1= μ2

34 Wybrane testy statystyczneTest na niezależność chi-kwadrat Musimy mieć tabelę liczebności np: Kolejne elementy to gatunek filmowy: sensacyjny, komedia, horror kobiety<-c(21,12,32) mezczyzni<-c(33,22,33) chisq.test(bind(kobiety, mezczyzni)) H0: Cechy są niezależne

35 Wybrane testy statystyczneTest na niezależność chi-kwadrat Czy częstotliwość palenia tytoniu u studentów zależy od płci?

36 Korelacja liniowa PearsonaWybrane testy statystyczne Korelacja liniowa Pearsona Wartości od -1 do +1 Liniowa zależność pomiędzy dwoma zmiennymi ilościowymi funkcja: cor() lub z testem istotności cor.test()

37 Dr Wioleta Drobik-CzwarnoModele liniowe Dr Wioleta Drobik-Czwarno

38 Analiza korelacji liniowejto NIE JEST badanie związku przyczynowo-skutkowego, Badanie współwystępowania cech (czy istnieje zależność?) wsp. korelacji liniowej Pearsona – określa kierunek i siłę zależności

39 Analiza korelacji liniowej „słabe punkty”

40 Modele liniowe Jedna z najstarszych i najpopularniejszych metod modelowania Zależność między zbiorem zmiennych objaśniających, a zmienną ilościową nazywaną zmienną objaśnianą Zmienne są mierzone na skali ilościowej Cel modelowania: Punktowe lub przedziałowe szacowanie wartości cechy objaśnianej na podstawie zmiennych objaśniających Zrozumienie zależności między obserwowanymi zmiennymi Które zmienne objaśniające, i w jaki sposób, są zależne od zmiennej objaśnianej?

41 Metoda najmniejszych kwadratówJohann Carl Friedrich Gauss ( ) - Używa metody do prac dotyczących astronomii od roku 1795 Adrien-Marie Legendre ( ) - Pierwsza opublikowana praca w 1805 r

42 Metoda najmniejszych kwadratówMetoda najmniejszych kwadratów – minimalizowana jest suma reszt czyli kwadratów odchyleń wartości rzeczywistych (Y) od wartości szacowanych cechy (Ŷ) Reszta (e) – różnica między wartością obserwowaną, a szacowaną

43 Analiza regresji Pierwsze użycie terminu regresja – badania nad dziedziczeniem wzrostu Sir Francis Galton (1822 – 1911)

44 Analiza regresji Regresją nazywamy funkcję, w której wartość cechy zależnej (objaśnianej) wyrażona jest za pomocą wartości cech niezależnych (objaśniających) Funkcja liniowa: Gdzie: byx – współczynnik regresji, przyrost cechy zależnej przypadający na przyrost o jednostkę cechy niezależnej (współczynnik kierunkowy prostej) ayx – wyraz wolny funkcji regresji (punkt przecięcia linii prostej z osią Y)

45 Współczynnik regresji prostejStała regresji (wyraz wolny funkcji)

46 Regresja liniowa Założenia: Zależność jest liniowaBrak znaczących obserwacji odstających Homoscedastyczność – wariancja reszt, składnika losowego jest taka sama dla wszystkich obserwacji Reszty mają rozkład zbliżony do rozkładu normalnego Regresja wielokrotna: Liczba obserwacji musi być większa, bądź równa liczbie parametrów Brak współliniowości parametrów Nie występuje autokorelacja reszt

47 Założenia modelu Zależność jest liniowaŻródło: https://statistics.laerd.com/spss-tutorials/linear-regression-using-spss-statistics.php Sposób weryfikacji: Inspekcja wykresów punktowych Jeżeli założenie nie jest spełnione: transformacja zmiennej zależnej dopasować model nieliniowy

48 Założenia modelu Brak znaczących obserwacji odstającychSposób weryfikacji: Inspekcja wykresów punktowych, statystyka opisowa, odległość Cooka Żródło: https://statistics.laerd.com/spss-tutorials/linear-regression-using-spss-statistics.php

49 Normalność reszt Rozkład zakłócenia losowego przekłada się na spodziewany rozkład reszt Weryfikujemy: Normalność rozkładu reszt Homoscedastyczność Analiza jakości dopasowania modelu oraz jego diagnostyka opiera się na analizie reszt

50 Założenia modelu Homoscedastyczność resztyŻródło: https://statistics.laerd.com/spss-tutorials/linear-regression-using-spss-statistics.php homoscedastyczność - stałość wariancji składnika losowego dla poszczególnych wartości zmiennej niezależnej

51 Założenia modelu Normalność reszt – diagnostykaHistogram oraz wykres kwantyl-kwantyl Testy statystyczne (np. Shapiro-Wilka) tylko jako dodatkowe źródło informacji Źródło:

52 Normalność reszt Wykres kwantyl-kwantyl – Uwaga na małą liczebność próby ! N = 10 N = 1000

53 Normalność reszt Normalność rozkładu reszt Rozkład normalnyTzw. grube ogony - gęstość prawdopodobieństwa na końcach rozkładów jest większa niż w rozkładzie normalnym Normalność rozkładu reszt Rozkład normalny Grube ogony Cienkie ogony

54 Normalność reszt Asymetria lewostronna Asymetria prawostronna

55

56 Możliwości ekstrapolacjiModel regresji nie powinien być ekstrapolowany na dane spoza zakresu na których został opracowany https://www.pinterest.com/pin/ /

57 Weryfikacja założeń modelu w Rnormalność rozkładu reszt, homoscedastyczność normalność rozkładu reszt homoscedastyczność Wpływ pojedynczych obserwacji na szacowany model

58 Weryfikacja założeń modelu w RReszty Wartości dopasowane przez model Dla adekwatnego modelu reszty nie powinny zależeć funkcyjnie od zmiennej objaśnianej, powinny mieć średnią warunkową równą zeru, niezależnie od wartości yi

59 Weryfikacja założeń modelu w RStandaryzowane reszty to reszty dzielone przez ocenę odchylenia standardowego reszt Wariancja reszt powinna być jednorodna i nie powinna zależeć funkcyjnie od wartości dopasowanych przez model obserwacja jakiegokolwiek trendu wskazuje na odstępstwo od założeń jednorodności wariancji niejednorodną wariancję można zredukować przez odpowiednią transformację zmiennych Pierwiastki z modułów standaryzowanych reszt Linia prosta na środku wskazuje na brak zależności wariancji reszt od oszacowanych wartości Wartości dopasowane przez model

60 Weryfikacja założeń modelu w RKwantyle empiryczne dla standaryzowanych reszt Wykres kwantyl-kwantyl (ang. Q-Q plot) Inaczej: wykres kwantylowy dla rozkładu normalnego Weryfikacja zgodności z rozkładem teoretycznym Dobre dopasowanie rozkładu teoretycznego do zaobserwowanych wartości w przypadku gdy wykreślane wartości będą tworzyły linię prostą Mała liczebność próby utrudnia lub uniemożliwia prawidłową interpretację Wartości kwantyli rozkładu normalnego odpowiadające resztom

61 Wartość wpływowa = wysoka odmienność + wysoka dźwigniaWeryfikacja założeń modelu w R Odległość Cooka miara stopnia zmiany współczynników regresji, gdyby dany przypadek pominąć w obliczeniach miara wpływu poszczególnych obserwacji na prostą regresji wysoka dźwignia (ang. leverage) – typowa wartość Yi i nietypowa wartość Xi wysoka odmienność (ang. discrepacy) – nietypowa wartość Yi dla typowej wartości Xi Wartość wpływowa = wysoka odmienność + wysoka dźwignia Duża odległość Cooka ( > 1) – duży wpływ na obciążenie równania regresji Dźwignia – miara wpływu obserwacji na ocenę współczynników modelu

62 Weryfikacja założeń modelu w R

63 Ocena dopasowania modeluSST = SSR SSE SST – Suma kwadratów odchyleń całkowitych SSE – suma kwadratów odchyleń nie wyjaśnionych regresją (reszt) SSR – suma kwadratów odchyleń wyjaśnionych regresją Współczynnik determinacji

64 Współczynnik determinacjiProcent wariancji wyjaśnionej przez model Jaki procent zmienności zmiennej zależnej (Y - objaśnianej) jest wyjaśniany za pomocą zmiennej niezależnej (X - objaśniającej) Na ile nasz model wyjaśnia zgromadzone dane pomiarowe? Dla prostej regresji liniowej otrzymujemy podnosząc do kwadratu współczynnik korelacji liniowej Pearsona (r) Przyjmuje wartości od 0 do 1 Im bliżej jedynki tym lepsze dopasowanie modelu do danych Silna zależność od liczby parametrów modelu – aby tego uniknąć liczymy zmodyfikowany R2

65 Istotność Istotność modelu Istotność współczynników regresjiTest F-Snedecora H0: Funkcja regresji jest nieistotna H0 > Funkcja regresji jest istotna Istotność współczynników regresji yx = 0 – istotność współczynnika kierunkowego yx = 0 – istotność wyrazu wolnego Hipotezy weryfikujemy przy pomocy testu t-studenta

66 Regresja liniowa przykład w RGen_1 Gen_2 -1.06 -1.08 -0.81 -1.02 -0.48 -0.39 -0.42 -0.30 -0.58 -0.35 -0.24 -0.31 -0.05 -0.18 -0.33 -0.20 0.51 -0.11 -0.53 -0.09 -0.47 0.16 0.10 0.45 0.39 0.53 0.11 0.67 0.52 0.80 0.34 0.87 1.08 0.92 1.21 Zmiana w poziomie ekspresji dwóch genów Czy istnieje zależność pomiędzy poziomem ekspresji analizowanych genów? Czy zależność jest prostoliniowa? Dopasuj model, który opisuje zmianę w poziomie eskpresji genu 2 w zależności od poziomu ekspresji genu 1 Źródło:

67 Regresja liniowa przykład w RCzy istnieje zależność pomiędzy poziomem ekspresji analizowanych genów?

68 Regresja liniowa przykład w RWspółczynnik korelacji Pearsona Istnieje silna zależność (r=0,882; p<0,001) pomiędzy poziomem ekspresji pierwszego genu, a genu drugiego Jak możemy tę zależność scharakteryzować?

69 Diagnostyka

70 Diagnostyka

71 Diagnostyka modelu

72 Model liniowy w R Funkcja lm:model <- lm(y~x) – wykonuje dopasowanie modelu liniowego, wyznacza oceny współczynników  oraz wylicza wartości reszt summary(model) – funkcja summary dla modelu regresji liniowej. Zwraca dodatkowe informacje i testuje istotność funkcji regresji i współczynników

73 Model liniowy w R formuła modelu statystyki opisowe dla resztOcena wartości współczynników regresji i ich istotność Współczynnik determinacji Poprawiony współczynnik determinacji Błąd standardowy dla reszt Istotność funkcji regresji

74 Współczynnik determinacjiX Y -1,06 -1,08 -1,084 0,000 1,176 -0,81 -1,02 -0,842 0,032 0,708 -0,48 -0,39 -0,521 0,017 0,272 -0,42 -0,463 0,214 -0,3 -0,58 -0,347 0,054 0,120 -0,35 -0,24 -0,395 0,024 0,156 -0,31 -0,05 -0,356 0,094 0,127 -0,18 -0,33 -0,230 0,010 0,053 -0,2 0,51 -0,250 0,577 0,062 -0,11 -0,53 -0,162 0,135 0,026 -0,09 -0,47 -0,143 0,107 0,020 0,16 0,1 0,100 0,45 0,39 0,381 0,145 0,53 0,11 0,459 0,122 0,211 0,67 0,52 0,595 0,006 0,354 0,8 0,34 0,721 0,520 0,87 1,08 0,789 0,085 0,623 0,92 1,21 0,838 0,139 0,702 SSE SSR 1.547 5.500

75 Regresja liniowa przykład w RPredykcja Wartość obserwowana cechy Y Średnia

76 Modele liniowe w R Model:Jeżeli funkcja regresji jest istotna, możemy szacować wartości zmiennej zależnej (y) na podstawie wartości zmiennej niezależnej (x) Oszacuj poziom ekspresji genu 2 na podstawie poziomu ekspresji dla genu 1 Gen 1 Predykcja Gen 2 -0,35 -0,24 0,67 0,52 0,92 1,21

77 Glukoza Za pomocą dwóch różnych urządzeń zmierzono poziom glukozy u 15 pacjentów, Czy uzyskane wyniki są skorelowane?

78 Pytania pomocnicze Czy model jest istotny?Jak dobre jest dopasowanie modelu? Czy zależność jest prostoliniowa?

79 Glukoza

80 Glukoza

81 Szerokość głowy Analizowano zależność pomiędzy szerokością głowy u starszego oraz młodszego syna. Przeanalizuj wykresy diagnostyczne dla modelu regresji liniowej.

82 Szerokość głowy Oceń dopasowane modeluOszacuj szerokość głowy dla młodszego syna, jeżeli dla jego starszego brata ten parametr jest równy 15,5 cm

83 Ograniczenia modelu regresji liniowejMałe możliwości ekstrapolacji Zmienna objaśniana musi być na skali ilościowej Prosta regresja liniowa – analiza tylko dwóch zmiennych Tylko zależność prostoliniowa – bardzo częsty błąd! Co zamiast prostej regresji liniowej? Regresja wielokrotna – więcej zmiennych objaśniających Uogólnione modele linowe – zmienna objaśniająca Y nie jest cechą o rozkładzie normalnym (np. regresja logistyczna, regresja Poissona)

84 Źródła Biecek P Analiza danych z programem R. Wydawnictwo naukowe PWN. Warszawa Olech W., Wieczorek M Zastosowanie metod statystyki w doświadczalnictwie zootechnicznym. Wydawnictwo SGGW.