1

2 ADI 2016 Henryk Banaszak, Zakład Statystyki, Demografii i Socjologii Matematycznej [email protected] [email protected] Teoria, metodologia, technika i praktyka badań reprezentacyjnych. Przegląd problematyki

3 SztukaPraktyka Rzemiosło Teoria

4 Czym jest sondaż

5 Sondaż to sposób odpowiadania na pytania o stan zbiorowości Badanie rzeczywistości Rzeczywistość = stan zbiorowości Działanie zespołowe które trzeba zorganizować, którym trzeba kierować, zarządzać, administrować Przedsiewzięcie gospodarcze koszt, czas, jakość Badanie rzeczywistości Rzeczywistość = stan zbiorowości Działanie zespołowe które trzeba zorganizować, którym trzeba kierować, zarządzać, administrować Przedsiewzięcie gospodarcze koszt, czas, jakość Tezy: 1.Statystyczne badanie zbiorowości – opis statystyczny, statystyczne pytanie, statystyczna odpowiedź 2.Działanie zespołowe – musi być multidyscyplinarne 3.Relacja kosztu do jakości ma dwie składowe autonomiczne względem siebie: a)merytoryczną b)statystyczną Tezy: 1.Statystyczne badanie zbiorowości – opis statystyczny, statystyczne pytanie, statystyczna odpowiedź 2.Działanie zespołowe – musi być multidyscyplinarne 3.Relacja kosztu do jakości ma dwie składowe autonomiczne względem siebie: a)merytoryczną b)statystyczną

6 Sondaż jest badaniem statystycznym 1.Nie na wszystkie pytania na temat zbiorowości można odpowiedzieć metodą sondażową 2.Pytania, na które da się odpowiedzieć metodą sondażową są rezultatem przekładu z pytań sformułowanych w języtku potocznym albo specjalistycznym na język opisu i wnioskowania statystycznego; sondażowa odpowiedź na pytanie o stan zbiorowości jest formułowana w języku statystycznym Sondażowa dopowiedź na pytania dotyczące zbiorowości jest zawsze niepewna i nieprecycyjna a zwiększania stopnia pewności i precyzji odpwowiedzi kosztuje Sondażowa dopowiedź na pytania dotyczące zbiorowości jest zawsze niepewna i nieprecycyjna a zwiększania stopnia pewności i precyzji odpwowiedzi kosztuje Statystyczność = Niepewność

7 Czym jest sondaż: pytanie Pudło z kulkami dwóch kolorów, czerwonym i zielonym. Kul jest bardzo dużo. Nie jesteśmy w stanie ustalić koloru wszystkich kul. Chcemy wiedzieć jaką część stanowią kule zielone. Pudło z kulkami dwóch kolorów, czerwonym i zielonym. Kul jest bardzo dużo. Nie jesteśmy w stanie ustalić koloru wszystkich kul. Chcemy wiedzieć jaką część stanowią kule zielone. odpowiedź Pytanie: jaka jest frakcja (odsetek, procent, proporcja) zielonych kul w tym pudle? Możemy ustalić kolor pewnej liczby kul wyjętych z pojemnika. Ustalenie koloru każdej kuli wyjętej z pojemnika kosztuje

8 Wynik sondażu Jest zawsze zdarzeniem losowym Jest zawsze niedokładny – ma postać przedziału wartości Nigdy nie wiadomo czy jest prawdziwy czy nie

9 Odpowiedź na pytanie o stan populacji za pomocą jednej liczby prawie zawsze jest fałszywa Załóżmy, że w populacji odsetek zwolenników partii X wynosi dokładnie 25% Jaka jest szansa na to, że w idealnie zrealizowanym sondażu otrzymamy taki sam odsetek zwoleników partii X?

10 Odpowiedź na pytanie o stan populacji za pomocą jednej liczby prawie zawsze jest fałszywa Załóżmy, że w populacji odsetek zwolenników partii X wynosi dokładnie 25% Jaka jest szansa na to, że w idealnie zrealizowanym sondażu otrzymamy taki sam odsetek zwoleników partii X?

11 Odpowiedź na pytanie o stan populacji za pomocą jednej liczby prawie zawsze jest fałszywa Załóżmy, że w populacji odsetek zwolenników partii X wynosi dokładnie 25% Jaka jest szansa na to, że w idealnie zrealizowanym sondażu otrzymamy taki sam odsetek zwoleników partii X?

12 Odpowiedź na pytanie o stan populacji za pomocą jednej liczby prawie zawsze jest fałszywa Załóżmy, że w populacji odsetek zwolenników partii X wynosi dokładnie 25% Jaka jest szansa na to, że w idealnie zrealizowanym sondażu otrzymamy taki sam odsetek zwoleników partii X?

13 Odpowiedź na pytanie o stan populacji za pomocą jednej liczby prawie zawsze jest fałszywa Załóżmy, że w populacji odsetek zwolenników partii X wynosi dokładnie 25% Jaka jest szansa na to, że w idealnie zrealizowanym sondażu otrzymamy taki sam odsetek zwoleników partii X?

14 Odpowiedź na pytanie o stan populacji za pomocą jednej liczby prawie zawsze jest fałszywa Załóżmy, że w populacji odsetek zwolenników partii X wynosi dokładnie 25% Jaka jest szansa na to, że w idealnie zrealizowanym sondażu otrzymamy taki sam odsetek zwoleników partii X?

15 Odpowiedź na pytanie o stan populacji za pomocą jednej liczby prawie zawsze jest fałszywa Załóżmy, że w populacji odsetek zwolenników partii X wynosi dokładnie 25% Jaka jest szansa na to, że w idealnie zrealizowanym sondażu otrzymamy taki sam odsetek zwoleników partii X?

16 Wniosek?

17 Prawdopodobieństwo trafienia w populacyjny odsetek (25%) przy użyciu przedziału [ odsetek w próbie – d ; odsetek w próbie + d ] Liczebość próby zastosowanej w sondażu d = 1%d = 2%d = 3% 100 400 600 1000 1600 2500 Odpowiedź na pytanie o stan populacji musi mieć postać przedziału [od - do]

18 Prawdopodobieństwo trafienia w populacyjny odsetek (25%) przy użyciu przedziału [ odsetek w próbie – d ; odsetek w próbie + d ] Liczebość próby zastosowanej w sondażu d = 1%d = 2%d = 3% 1000,180 400 600 1000 1600 2500 Odpowiedź na pytanie o stan populacji musi mieć postać przedziału [od - do]

19 Prawdopodobieństwo trafienia w populacyjny odsetek (25%) przy użyciu przedziału [ odsetek w próbie – d ; odsetek w próbie + d ] Liczebość próby zastosowanej w sondażu d = 1%d = 2%d = 3% 1000,180 4000,355 600 1000 1600 2500 Odpowiedź na pytanie o stan populacji musi mieć postać przedziału [od - do]

20 Prawdopodobieństwo trafienia w populacyjny odsetek (25%) przy użyciu przedziału [ odsetek w próbie – d ; odsetek w próbie + d ] Liczebość próby zastosowanej w sondażu d = 1%d = 2%d = 3% 1000,180 4000,355 6000,428 1000 1600 2500 Odpowiedź na pytanie o stan populacji musi mieć postać przedziału [od - do]

21 Prawdopodobieństwo trafienia w populacyjny odsetek (25%) przy użyciu przedziału [ odsetek w próbie – d ; odsetek w próbie + d ] Liczebość próby zastosowanej w sondażu d = 1%d = 2%d = 3% 1000,180 4000,355 6000,428 10000,534 16000,644 2500 Odpowiedź na pytanie o stan populacji musi mieć postać przedziału [od - do]

22 Prawdopodobieństwo trafienia w populacyjny odsetek (25%) przy użyciu przedziału [ odsetek w próbie – d ; odsetek w próbie + d ] Liczebość próby zastosowanej w sondażu d = 1%d = 2%d = 3% 1000,180 4000,355 6000,428 10000,534 16000,644 25000,752 Odpowiedź na pytanie o stan populacji musi mieć postać przedziału [od - do]

23 Prawdopodobieństwo trafienia w populacyjny odsetek (25%) przy użyciu przedziału [ odsetek w próbie – d ; odsetek w próbie + d ] Liczebość próby zastosowanej w sondażu d = 1%d = 2%d = 3% 1000,1800,351 4000,3550,643 6000,4280,741 10000,5340,856 16000,6440,935 25000,7520,979 Odpowiedź na pytanie o stan populacji musi mieć postać przedziału [od - do]

24 Prawdopodobieństwo trafienia w populacyjny odsetek (25%) przy użyciu przedziału [ odsetek w próbie – d ; odsetek w próbie + d ] Liczebość próby zastosowanej w sondażu d = 1%d = 2%d = 3% 1000,1800,351 0,506 4000,3550,643 0,833 6000,4280,741 0,910 10000,5340,856 0,972 16000,6440,935 0,994 25000,7520,979 0,999 Odpowiedź na pytanie o stan populacji musi mieć postać przedziału [od - do]

25 Wniosek?

26 Czym jest sondaż: wymagania wobec odpowiedzi Jaka jest frakcja (odsetek, procent, proporcja) zielonych kul w pojemniku? Jaka jest frakcja (odsetek, procent, proporcja) zielonych kul w pojemniku? Pytanie Odpowiedź Trafna - odpowiedź ma być bliska stanowi rzeczy Wiarygodna – wykorzystam w pełni wszystkie informacje, za które zapłaciłem, nic istotnego dla jakości odpowiedzi nie zostanie pominięte ani zniekształceone Precyzyjna - z jak największą dokładnością, z jak najlepszym przybliżeniem Tania – jak najmniejszym kosztem.

27 Jaka część populacji korzystających z publicznej służby zdrowia pozytywnie ocenia jej jakość? Dokładność kosztuje Dokładność +/- Przedział Koszt badania Liczba respondentów wylosowanych Liczba respondentów korzystających z publicznej służby zdrowia 50%[0% -100%] --- 17%[8% -42%] 9%[16% -34%] 7%[18% -32%] 6%[19% -31%] 5%[20% -30%] 5%[20% -30%] 5%[20% -30%] 4%[21% -29%] Założony odsetek pozytywnie oceniających jakość publicznej słuzby zdrowia wynosi 25%. Koszt 1 wywiadu - 40 zł. Założony wzrost niedokładności oszacowania wynikający z błędów operatu, złożonego doboru próby i jej niepełnej realizacji (DEFF2) wynosi  3 = 1,73

28 Jaka część populacji korzystających z publicznej służby zdrowia pozytywnie ocenia jej jakość? Dokładność kosztuje Dokładność +/- Przedział Koszt badania Liczba respondentów wylosowanych Liczba respondentów korzystających z publicznej służby zdrowia 50%[0% -100%] --- 17%[8% -42%]6000150100 9%[16% -34%] 7%[18% -32%] 6%[19% -31%] 5%[20% -30%] 5%[20% -30%] 5%[20% -30%] 4%[21% -29%] Założony odsetek pozytywnie oceniających jakość publicznej słuzby zdrowia wynosi 25%. Koszt 1 wywiadu - 40 zł. Założony wzrost niedokładności oszacowania wynikający z błędów operatu, złożonego doboru próby i jej niepełnej realizacji (DEFF2) wynosi  3 = 1,73

29 Jaka część populacji korzystających z publicznej służby zdrowia pozytywnie ocenia jej jakość? Dokładność kosztuje Dokładność +/- Przedział Koszt badania Liczba respondentów wylosowanych Liczba respondentów korzystających z publicznej służby zdrowia 50%[0% -100%] --- 17%[8% -42%]6000150100 9%[16% -34%]24000600400 7%[18% -32%] 6%[19% -31%] 5%[20% -30%] 5%[20% -30%] 5%[20% -30%] 4%[21% -29%] Założony odsetek pozytywnie oceniających jakość publicznej słuzby zdrowia wynosi 25%. Koszt 1 wywiadu - 40 zł. Założony wzrost niedokładności oszacowania wynikający z błędów operatu, złożonego doboru próby i jej niepełnej realizacji (DEFF2) wynosi  3 = 1,73

30 Jaka część populacji korzystających z publicznej służby zdrowia pozytywnie ocenia jej jakość? Dokładność kosztuje Dokładność +/- Przedział Koszt badania Liczba respondentów wylosowanych Liczba respondentów korzystających z publicznej służby zdrowia 50%[0% -100%] --- 17%[8% -42%]6000150100 9%[16% -34%]24000600400 7%[18% -32%]36000900600 6%[19% -31%] 5%[20% -30%] 5%[20% -30%] 5%[20% -30%] 4%[21% -29%] Założony odsetek pozytywnie oceniających jakość publicznej słuzby zdrowia wynosi 25%. Koszt 1 wywiadu - 40 zł. Założony wzrost niedokładności oszacowania wynikający z błędów operatu, złożonego doboru próby i jej niepełnej realizacji (DEFF2) wynosi  3 = 1,73

31 Jaka część populacji korzystających z publicznej służby zdrowia pozytywnie ocenia jej jakość? Dokładność kosztuje Dokładność +/- Przedział Koszt badania Liczba respondentów wylosowanych Liczba respondentów korzystających z publicznej służby zdrowia 50%[0% -100%] --- 17%[8% -42%]6000150100 9%[16% -34%]24000600400 7%[18% -32%]36000900600 6%[19% -31%]480001200800 5%[20% -30%] 5%[20% -30%] 5%[20% -30%] 4%[21% -29%] Założony odsetek pozytywnie oceniających jakość publicznej słuzby zdrowia wynosi 25%. Koszt 1 wywiadu - 40 zł. Założony wzrost niedokładności oszacowania wynikający z błędów operatu, złożonego doboru próby i jej niepełnej realizacji (DEFF2) wynosi  3 = 1,73

32 Jaka część populacji korzystających z publicznej służby zdrowia pozytywnie ocenia jej jakość? Dokładność kosztuje Dokładność +/- Przedział Koszt badania Liczba respondentów wylosowanych Liczba respondentów korzystających z publicznej służby zdrowia 50%[0% -100%] --- 17%[8% -42%]6000150100 9%[16% -34%]24000600400 7%[18% -32%]36000900600 6%[19% -31%]480001200800 5%[20% -30%]6000015001000 5%[20% -30%] 5%[20% -30%] 4%[21% -29%] Założony odsetek pozytywnie oceniających jakość publicznej słuzby zdrowia wynosi 25%. Koszt 1 wywiadu - 40 zł. Założony wzrost niedokładności oszacowania wynikający z błędów operatu, złożonego doboru próby i jej niepełnej realizacji (DEFF2) wynosi  3 = 1,73

33 Jaka część populacji korzystających z publicznej służby zdrowia pozytywnie ocenia jej jakość? Dokładność kosztuje Dokładność +/- Przedział Koszt badania Liczba respondentów wylosowanych Liczba respondentów korzystających z publicznej służby zdrowia 50%[0% -100%] --- 17%[8% -42%]6000150100 9%[16% -34%]24000600400 7%[18% -32%]36000900600 6%[19% -31%]480001200800 5%[20% -30%]6000015001000 5%[20% -30%]7200018001200 5%[20% -30%] 4%[21% -29%] Założony odsetek pozytywnie oceniających jakość publicznej słuzby zdrowia wynosi 25%. Koszt 1 wywiadu - 40 zł. Założony wzrost niedokładności oszacowania wynikający z błędów operatu, złożonego doboru próby i jej niepełnej realizacji (DEFF2) wynosi  3 = 1,73

34 Jaka część populacji korzystających z publicznej służby zdrowia pozytywnie ocenia jej jakość? Dokładność kosztuje Dokładność +/- Przedział Koszt badania Liczba respondentów wylosowanych Liczba respondentów korzystających z publicznej służby zdrowia 50%[0% -100%] --- 17%[8% -42%]6000150100 9%[16% -34%]24000600400 7%[18% -32%]36000900600 6%[19% -31%]480001200800 5%[20% -30%]6000015001000 5%[20% -30%]7200018001200 5%[20% -30%]8400021001400 4%[21% -29%] Założony odsetek pozytywnie oceniających jakość publicznej słuzby zdrowia wynosi 25%. Koszt 1 wywiadu - 40 zł. Założony wzrost niedokładności oszacowania wynikający z błędów operatu, złożonego doboru próby i jej niepełnej realizacji (DEFF2) wynosi  3 = 1,73

35 Jaka część populacji korzystających z publicznej służby zdrowia pozytywnie ocenia jej jakość? Dokładność kosztuje Dokładność +/- Przedział Koszt badania Liczba respondentów wylosowanych Liczba respondentów korzystających z publicznej służby zdrowia 50%[0% -100%] --- 17%[8% -42%]6000150100 9%[16% -34%]24000600400 7%[18% -32%]36000900600 6%[19% -31%]480001200800 5%[20% -30%]6000015001000 5%[20% -30%]7200018001200 5%[20% -30%]8400021001400 4%[21% -29%]9600024001600 Założony odsetek pozytywnie oceniających jakość publicznej słuzby zdrowia wynosi 25%. Koszt 1 wywiadu - 40 zł. Założony wzrost niedokładności oszacowania wynikający z błędów operatu, złożonego doboru próby i jej niepełnej realizacji (DEFF2) wynosi  3 = 1,73

36 Czym jest sondaż: parametry sondażu Trafność Wiarygodność Precyzyja Koszt poziom ufności wniosku Koszt = n* 1 color cost

37 Czym jest sondaż: proporcja kul a „sondaż prawdziwy” Problem proporcji zielonych w pojemnikuW badaniu sondażowe 1Pudło z kulami to Populacja 2Nieznany odsetek zielonych kul w pudle to Parametr populacji – frakcja zielonych 3Liczba kul wybranych z populacji - n to Liczebność próby pobranej z populacji - n 4Sposób wybierania kul z pudła to Schemat doboru próby (losowania) 5Wybranie kul to Realizacja badania sondażówego 6Ustalenie koloru kul wybranych Ustalenie wartości zmiennej kolor dla każdej wybranej kuli - pomiar 7 Wyznaczenie proporcji zielonych wśród wybranych to Analiza danych w próbie 8p=k/n – proporcja zielonych to Wynik w próbie – statystyka z próby 9Odpowiedź na pytanie to Wniosek na temat populacji 10 Sposob sformułowania odpowiedzi (szerokość przedziału) to Reguła wnioskowania na temat wartości parametru poulacji na podstawie próby

38 losowanie ze zwracaniem skład próby: k kulek zielonych Estymacja  obliczenia PopulacjaSchemat doboru próby Nieznana proporcja zielonych w populacji Znana własność próby wniosek dokładność Czym jest sondaż Pytanie statystyczne odpowiedź Metoda wnioskowania Czym jest sondaż: struktura logiczna badania statystycznego

39 Sondaż jest badaniem statystycznym Przedmiot Zakres Cel Metoda Wynik populacja zestaw pytań na temat rozkładów zmiennych w populacji zestaw zmiennych służących do wyznaczenia odpowiedzi na pytania badanie próby pobieranej z badanej populacji według schematu doboru opisanego w kategoriach probabilistycznych odpowiedzi na pytania na temat populacji na podstawie analizy łącznego rozkładu zmiennych wyznaczonych w próbie dobranej wedle schematu opisanego w kategoriach probabilistycznych; oszacowanie parametrów populacji

40 Dlaczego sondaż jest zawsze badaniem statystycznym Sondaż jest diagnozą stanu populacji przeprowadzaną w warunkach niepewności i ryzyka popełnienia błędu Przedmiotem każdego badania sondażowego jest zbiorowość, agregat statystyczny nazywany populacją, Stan populacji (diagnoza) jest sformułowany stosownie do jej specyfiki - w języku statystyki opisowej O stanie populacji wnioskuje się na podstawie wyników uzyskanych w rezultacie badania próby wylosowanej z populacji Wynik uzyskany w wylosowanej i zbadanej próbie jest zdarzeniem losowym Sposób losowania próby opisany jest w języku rachunku prawdopodobieństwa Reguły wnioskowania na temat populacji na podstawie wyniku w próbie są wywiedzione z twierdzeń statytyki inferencyjnej Reguły wnioskowania na temat populacji na podstawie stanu próby wynikają ze sposobu jej losowania i wymagań odnośnie poziomu wiarygodności i precyzji wniosków

41 Sondaż: przedsięwzięcie złożone multi-dyscyplinarne kosztowne Sondaż: przedsięwzięcie złożone multi-dyscyplinarne kosztowne

42 Przebieg sondażu Wszystkie te elementy muszą znaleźć się w poprawnie zaprojektowanym, zamówionym i przeprowadzonym typowym ogólnopolskim badaniu sondażowym średniej wielkości o budżecie 100-200 tys. zł Wszystkie te elementy muszą znaleźć się w poprawnie zaprojektowanym, zamówionym i przeprowadzonym typowym ogólnopolskim badaniu sondażowym średniej wielkości o budżecie 100-200 tys. zł Operat: dostępność, koszt Schemat doboru (optymalność) Liczebność (wielkość) próby Kwestionariusz Projekt Przedmiot, cel, metoda, zakres, jakość Próba Wstępny projekt Pilotaże Czas trwania wywiadu Przetarg Kryteria wyboru oferty OPZ - SIWZ - Umowa Realizacja Kontrola ankieterów Monitoring jakości realizcji Analiza danych Raport Dokumentacja Podział budżetu: co kto robi Harmonogram Dokumentacja realizacji Rozliczenie z wykonawcą

43 Sondaż – złożone, zbiorowe przedsięwzięcie multidiscyplinarne - 1 EtapElementy etapu Niezbędne kwalifikacje zespołu sondażowego Przygotowanie projektu  czy są dane i kwestionariusze z podobnych badań,  jak badano dotychczas (F2F, CAPI - CATI - CAWI) i jak dobierano próby,  ile kosztowały te badania Znawca badanej dziedziny Specjalista od sondażu Statystyk Projekt Określenie  przedniotu (populacja)  zakresu (objętość kwestionariusza)  docelowej precyzji oszacowań  operatu losowania  sposobu doboru próby  metody kontaktu z respondentem  celu (szkic projektu analizy danych) Wstępny podział budżetu Wstępny harmonogram badania Znawca badanej dziedziny (populacja + zmienne) Statystyk Specjalista od sondażu Próba Operat Schemat doboru próby Losowanie Statystyk Kwestionariusz Wstępny projekt Pilotaż laboratoryjny (n=30) – pretest 1 Pilotaż statystyczny (n > 400) – pretest 2 Wersja ostateczna Specjalista od sondażu Przetarg Sporządzenie OPZ, SIWZ i projektu umowy Kryteria wyboru opferty Korespondencja z oferentami Wybór wykonawcy i podpisanie umowy Prawnik Specjalista od sondażu

44 Sondaż – złożone, zbiorowe przedsięwzięcie multidiscyplinarne - 2 EtapElementy etapu Niezbędne kwalifikacje zespołu sondażowego Analiza danych Codebook – rozkłady brzegowe Skalowanie jedno- i wielo- wymiarowe Modelowanie Statystyk Metodolog Dokumentacja badania Opis schematu doboru próby:  prawdopodobieństwa inkluzji,  wagi analityczne Rozkłady przyczyn non-responsów Zastosowane procedury imputacji braków danych Zastosowane procedury kalibracji Zastosowane klasyfikacje zmiennych metryczkowych:  zawód (ISCO),  wykształcenie (ESCED),  sektor zatrudnienia (PKD)  typ gospodarstwa domowego Specjalista od sondażu Statystyk Analityk statystyczny Raport z badania Grafika Tabele Tekst Prezentacje Znawca badanej dziedziny

45 Dobór próby Teoria zjawiska Teoria pomiaru Teoria skalowania Dobór wskaźników Pytania statystyczne „KWESTIONARIUSZ” Precyzja oszacowań Zmienne statystyczne Statystyczne odpowiedzi na statystyczne pytania Interpretacja wyników analiz w teorii zjawiska Analiza danych kompetencje statystyczne Fieldwork Estymacja Ankieterzy Sondaż – przedsięwzięcie multi-dyscyplinarne

46 Faza przed-projektowa a)Wstępna analiza wykonalności b)Zasoby statystyki publicznej: bazy danych, badania, raporty, kwestionariusze c)Archiwa danych sondażowych polskie i międzynarodowe: raporty, kwestionariusze, dane surowe d)Oferta firm realizujących sondaże: firmy komercyjne, GUS - badania cykliczbe typu omnibus e)Stosowane metodologie, szacunkowe koszty, czas trwania, wskaźniki jakości f)Skład zespołu prowadzącego badanie - lista kompetencji niezbędnych g)Informatyczna obsługa badania: zespół prowadzący, komunikacja z wykonawcą

47 Wstępna analiza wykonalności Projekt Kwestionariusz Przetarg Realizacja Próba Czy wiemy, jakiej dokładności oszacowań potrzebujemy Czy wyniki badania sondażowego dostarczą odpowiedzi na nasze pytania Czy nasz budżet starczy na wykonanie badania dostarczającego potrzebnej dokładności oszacowań Czy istnieje operat, z którego można wylosować próbę niezbędną do uzyskania założonej dokładności oszacowań? Czy istnieją dane populacyjne pozwalające warstwować próbę? Czy ktoś przeprowadził badania na podobny temat? Jakie błędy w konstrukcji kwestinariusza popełniono w tych ch badaniach? Które elementy sekwencji sondażowej możemy wykonać sami a które zlecimy wykonawcy badania? Czy kryteria jakości wykonania sondażu stosowane w rozliczeniach z wykonawcą chronią nasz interes Czy mamy w budżecie środki na terenową kontrolę realizacji badania? Czy mamy firmę, która przeprowadzi rzetelną i wiarygodną kontrolę terenową? Czy starczy czasu na badanie: projekt, kwestionariusz, przetarg, wykonanie, dokumentację, raport

48 Zanim zaczniesz projektować własny sondaż Sprawdź, czy potrzebne Ci dane na temat populacji nie zostały już zebrane i są dostępne w postaci „surowej” w domenie publicznej Dane z sondaży prowadzonych przez GUS co rok  uczestnictwo ludności w kulturze (1990, 2005, 2009),  ochrona zdrowia w gospodarstwach domowych (1998, 1999, 2000, 2003, 2006, 2010),  ubezpieczenia osobowe i majątkowe w gospodarstwach domowych (1998, 2004)  turystyka i wypoczynek w gospodarstwach domowych (1998, 2001, 2005, 2009),  uczestnictwo Polaków w sporcie i rekreacji (1999, 2007),  budżet czasu ludności (2003/4, 2013)  wykorzystanie technologii informacyjno-telekomunikacyjnej w gospodarstwach domowych (co rok od 2004), Dane z sondaży tematycznych ad hoc prowadzonych przez GUS

49 Zanim zaczniesz projektować własny sondaż Zawartość danych z sondaży prowadzonych przez GUS http://isap.sejm.gov.pl/DetailsServlet?id=WDU20140001330 Listy wszystkich badań prowadzonych przez GUS w poszczególnych latach znajdują się w programach badań statystyki publicznej publikowanych w Dziennikach Ustaw Kwestionariusze stosowane w sondażach GUS są publikowane w dwóch miejscach http://lodz.stat.gov.pl/osrodki/osrodek-warunkow-zycia-i-badan-ankietowych-985/osrodek-warunkow-zycia-i-badan-ankietowych/ http://isap.sejm.gov.pl/DetailsServlet?id=WDU20140000415 Dostęp do danych sondażowych GUS: prawo i deklaracje  Ustawa o statystyce publicznej z dnia 29 czerwca 1995 r.  Ustawa o ochronie danych osobowych 29 sierpna 1997  Ustawa o dostępie do informacj publicznej 6 wrzesnia 2001

50 Zanim zaczniesz projektować własny sondaż Wykorzystaj dane sondażowe (surowe) w domenie publicznej Archiwum danych społecznych (ADS) Instytutu Studiów Społecznych UW oraz Instytutu Filozofii i Socjologii PAN http://www.ads.org.pl/ zawiera dane (min.) z następującyh badań: http://www.ads.org.pl/ Archiwum danych społecznych (ADS) Instytutu Studiów Społecznych UW oraz Instytutu Filozofii i Socjologii PAN http://www.ads.org.pl/ zawiera dane (min.) z następującyh badań: http://www.ads.org.pl/ Dane z ostatnich lat, których nie ma w ADS mogą być dostęne (za darmo) na stronach projektu

51 Zanim zaczniesz projektować własny sondaż Wykorzystaj zasoby firm badawczych prowadzących sondaże typu „Omnibus” Sprawdź kwestionariusze, ceny i dostępność danych surowych

52 Zanim zaczniesz projektować własny sondaż Sprawdź, czy wystarczy Ci umieścić własny blok pytań w badaniu typu „Omnibus” Zanim zamówisz, sprawdź metryczkę kwestionariusza stosowanego w badaniu typu „Omnibus” oraz dostępność dokumentacji badania pozwalającej ustalić dokładność populacyjnych oszacowań dokonywanych na jego podstawie: pytanie zamknięte wielowyborowe 1 800 zł pytanie otwarte, wymagające głębszej analizy semantycznej wypowiedzi (preferencje, opinie, oczekiwania itp.) 2 100 zł http://www.cbos.pl/PL/ceny/bad_il.php 1.Definicję badanej populacji (terytorium, wiek) 2.Opis operatu i schematu doboru próby (alokacja, warstwy, wiązki, wagi analityczne) 3.Sposób kontaktu z respondentem (CATI, CAPI, WAPI) 4.Response rate w podstawowych warstwach 5.Rozkłady przyczyn nieuzyskania wywiadu 6.Rozkłady odpowiedzi nieważone (bez wag wykonawcy) 7.Dokładność oszacowań podawaną przez wykonawcę badania 8.Sposób wyznaczania dokładności oszacowań przez wykonawcę badania Jeśli firma nie gwarantuje wszystkich w/w dokumentów – nie zamawiaj u niej niczego

53 Projektowanie badania: cel = kogo pytać Sposoby definiowania populacji Populacja a operat Populacje trudno dostępne wyjeżdżający za granicę, cudzoziemcy odwiedzający Polskę, cudzoziemcy pracujący w Polsce, niepełnosprawni, Sprawcy drobnych wykroczeń nierejestrowanych Populacje trudno badalne Chorzy na AIDS Elektorat Bezrobotni Uczniowie, klasy, szkoły Matki Klienci centrum handlowego, banku Klienci Straży Miejskiej, ZUS, US, PKP, MZK, ZOZ, Szkoły, Przedszkola

54 Operacjonalizacja pojęć występujących w pytaniach o stan zbiorowości, czyli: interpretacja potrzeb pytającego i sformułowanie statystycznej wersji jego pytań Projektowanie badania: przedmiot = o co pytać Cecha – wskaźnik – skala – zmienna statystyczna Pomiar, poziom pomiaru, niezmienniczość statystyczna Teoria Przykład zmiennej porządkowej i średniej Skalowanie: dyspozycja, wskaźnik, skala, model skalowania Pomiar a skalowanie IRT: od Bogardusa do Rascha IRT a „CTT” Weryfikacja założeń modelu skalowania - parametry Przykłady: IKI, Świadomość prawna MJR, Testy gimnazjalne Matura – matematyka, Segmentacja jako szczególny przypadek skalowania jednowymiarowego Przykład Skalowanie cech złożonych Cechy proste i złożone, wymiary manifestacja zjawiska (zmienne zależne) źródła, przyczyny i uwarunkowania zjawiska badanego (zmienne niezależne, predyktory) Złożone modele skalowania Przykłady: ACSI, KK, KN Ocena jakości szkoły – EWD Efektywność netto – PARP

55 Efektywność netto Przedmiot badania - przykłady Szacowanie efektywności szkoleń bezrobotnych Roman Konarski, Michał Kotnarowski (2007) Efektywność netto – PARP

56 Przedmiot badania - przykłady Edukacyjna wartość dodana (EWD) Jeżeli uczniowie danej szkoły osiągnęli wyniki wyższe niż oczekiwane na podstawie ich wcześniejszych osiągnięć szkolnych, uznaje się, że szkoła, do której uczęszczali, nauczała efektywniej niż inne szkoły, które pracowały z podobnymi uczniami. Jeżeli wyniki te są niższe, szkoła nauczała mniej efektywnie, niż inne placówki pracujące z podobnymi uczniami. Wskaźniki EWD są więc miarami relatywnymi. Pozwalają zobaczyć, czy szkoła naucza mniej, czy bardziej efektywnie, niż przeciętna placówka w kraju. Zastosowanie metody EWD wymaga wyników przynajmniej dwóch pomiarów osiągnięć szkolnych: na początku nauki w danej szkole/etapie edukacyjnym i na jej zakończenie. Ocena jakości szkoły – EWD

57 Przedmiot badania - przykłady Edukacyjna wartość dodana (EWD) Ponieważ wyniki egzaminacyjne zależą w znaczącej mierze od czynników, które są poza kontrolą szkoły, używanie rezultatów egzaminów końcowych jako miary efektywności musi prowadzić do niesprawiedliwych ocen. EWD jest bardziej wartościową metodą oceny efektywności nauczania. Uwzględnienie wyników uczniów na początku rozpoczęcia nauki w danej szkole pozwala wskazać szkoły, które mimo relatywnie słabych wyników końcowych mogą pochwalić się wysoką efektywnością nauczania i odwrotnie, szkoły będące wysoko w rankingu wyników testów końcowych, ale niewiele przyczyniające się do postępów uczniów. Wyniki "na wejściu" informują nie tylko o poziomie osiągnięć szkolnych ucznia na progu szkoły, ale są też „nośnikiem” wiedzy o środowisku rodzinnym dziecka, o jego poziomie zdolności i motywacji szkolnej. Dzieje się tak dlatego, że wyniki egzaminu "na wejściu" są uwarunkowane podobnymi czynnikami, co rezultaty egzaminu końcowego. Ocena jakości szkoły – EWD

58 Przedmiot badania - przykłady Edukacyjna wartość dodana (EWD) Wartość dodana szkoły = przeciętna wzrostu umiejtności i wiedzy uczniów do niej uczęszczających w okresie t1-t2. Różnica między rzeczywistymi a oczekiwanymi wynikami uczniów do niej uczęszczających R i - charakterystyki rodziny oraz cech indywidualnych i-tego ucznia P j warunki nauczania, nakłady oświatowe, środowisko społeczne w j-tej placówce x i wynik egzaminu i-tego ucznia na niższym poziomie y i wynik egzaminu i-tego ucznia na wyższym poziomie Ocena jakości szkoły – EWD

59 Zanim w zbiorze danych pojawią się zmienne statystyczne, trzeba przewidzieć, jak będą wykorzystywane: Jakie operacje statystyczne będą dla nich dopuszczalne Czy będą traktowane jako cechy obiektów czy też jako wskaźniki cech Poziom pomiaru Model skalowania Projektowanie badania: przedmiot = jak pytać

60 Pomiar Pomiarem w sensie klasycznym jest operacją polegającą na I.wykazaniu, że istnieje reguła, według której można przedmiotom przypisać liczby w taki sposób, aby na podstawie liczb przypisanych obiektom można było orzekać o zachodzeniu relacji empirycznych między nimi II.(oraz) ustaleniu na ile to przyporządkowanie jest jednoznaczne, w jakim stopniu można modyfikować przypisane obiektom liczby bez utraty informacji o własnościach obiektów, którą zawierają, a więc czy istnieje wiele równoważnych sposobów tego przyporządkowania Mierzenie jest zatem operacją polegającą na dowodzeniu twierdzeń. Aby pokazać, o czym wypowiadają się twierdzenia i na czym polega ich dowodzenie, problem pomiaru trzeba sformułować formalnie Aby pokazać, o czym wypowiadają się twierdzenia i na czym polega ich dowodzenie, problem pomiaru trzeba sformułować formalnie

61 Pomiar to reprezentowanie fizycznych własności obiektów przez liczby Fukcja pomiarowa f ustala odpowiedniość między empirycznymi i liczbowym systemem relacyjnym f : E    = , R 1, R 2, …, R k  - zbiór liczb, podzbiór zbioru liczb rzeczywistych R 1, R 2, …, R k - relacje między liczbami Liczzbowy system relacyjny E = , E 1, E 2, …, E k  = {  1,  2, ….,  n } – zbiór obiektów empirycznych E 1, E 2, …, E k - relacje między obiektami empirycznymi Empiryczny system relacyjny każdemu obiektowi empirycznemu  I przyporządkowuje liczbę f (  I ) każdej empirycznej relacji E 1, E 2, …, E k przyporządkowuje relację liczbową R 1, R 2, …, R k: relacjom empirycznym między obiektami odpowiadają relacje między przyporządkowanymi im liczbami f(  )  f (E i ) = R i  i E k  j  f (  i )R k (  j ), gdzie R k = f (E k )

62 11 22 33 Empiryczny system relacyjny  = {  1,  2,  3 }  E = ,    11 22 33 11 011 22 001 33 000 Dwa liczbowe systemy relacyjne  1 =  N 1  , <  N 1 = {3, 5, 7} 3 < 5 < 7  2 =  N 2  , <  N 2 = {¼, ⅓, ⅞} ¼ < ⅓ < ⅞ liczby relacja mniejszości obiekty empiryczne empiryczna relacja bycia mniejszym Jakie przekształcenie przeprowadza  1 w  2 ? Reprezentacyjna koncepcja pomiaru (Stevens, 1946) 1  21  2 2  32  3 Relacje empiryczne trzeba ustalić praktycznie Relacje między sytemami liczbowymi mają charakter formalny

63  11 22 33 11 011 22 001 33 000 E = ,   f 1 : E   1 f 1 (  1 ) = 3 f 1 (  2 ) = 5 f 1 (  3 ) = 7 f 1 (  ) = N 1 = {3, 5, 7} 1  21  2 3 < 5 2  32  3 5 < 7 f 2 : E   2 f 2 (  1 ) = ¼ f 2 (  2 ) = ⅓ f 2 (  3 ) = ⅞ f 2 (  ) = N 2 = {¼, ⅓, ⅞} 1  21  2 ¼ < ⅓ 2  32  3 ⅓ < ⅞ Funkcja pomiarowa. Na ile sposobów można zmierzyć własności tych samych obiektów? Jeden empiryczny system relacyjny – dwie funkcje pomiarowe. Co je łączy?

64 Dwa problemy klasycznej teorii pomiaru I.Problem istnienia II.Problem jednoznaczności Jakie formalne cechy musi mieć empiryczny system relacyjny, aby istniała dla niego funkcja pomiarowa Jeśli dla danego empirycznego systemu relacyjnego istnieje funkcja pomiarowa, to co można zrobić z jej wartościami aby nie utracić informacji o własnościach obiektów Roziązanie obu problemów polegaja na udowodzeniu twierdzeń Twierdzenia dotyczą formalnych własności empirycznego systemu relacyjnego E = ,   I.Jeśli relacja  jest asymetryczna, spójna i przechodnia w , to istnieje funkcja pomiarowa f : E  , gdzie  = , < , taka, że:  i   j  f (  i ) < f (  j ), II.Każdą rosnąca funkcja funkcji f jest również funkcją pomiarową: f(  i ) < f(  j )  g(f (  i )) < g(f(  j ))

65 Klasyfikacja poziomów pomiaru – Typologia zmiennych statystycznych Empiryczny system relacyjnyOpis systemu relacyjnegoPrzykłady E = ,  klasyfikacja brak uporządkowania kategorii, brak jednostki pomiaru płeć, wyznanie, stan cywilny rasa E = , ,   klasyfikacja, porządek na klasach umożliwia uporządkowanie kategorii brak punktu zerowego i jednostki pomiaru poziom wykształcenia, skala twardości minerałów Mohsa, większość skal ocen i postaw E = , , , ,   klasyfikacja, porządek na klasach różnica, porządek na różnicach umożliwia porównywanie różnic określone arbitralnie: punkt zerowy i jednostka pomiaru temperatura w stopniach Celsjusza, data kalendarzowa, użyteczność, skala twardości metali Brinella E = , , , , ,  klasyfikacja, porządek na klasach różnica, porządek na różnicach składanie obiektów umożliwia porównywanie stosunków określony jednoznacznie punkt zerowy, arbitralna jednostka pomiaru staż pracy, wysokość zarobków, wzrost w cm

66 Klasyfikacja poziomów pomiaru – Typologia zmiennych statystycznych Empiryczny system relacyjnyWłasności relacjiWłasności funkcji pomiarowej E = ,  i   j   j   i  i   j  f(  i ) = f (  j ) E = , ,   j.w. oraz  i   j   (  j   i ) (  i   j   j   k )   i   k j.w. oraz  i   j  f (  i ) < f (  j ) E = , , , ,   j.w. oraz  jest słabym porządkiem na parach obiektów  ij,  km :  ij =  (  i,  j ),  km =  (  k,  m ) j.w. oraz  ij   km  f (  i ) - f (  j ) > f (  k ) - f (  m ) E = , , , , ,  j.w. oraz  jest operacją składania (łączenia ze sobą) obiektów j.w. oraz  i  (  j   k )  f (  i ) = f (  j ) + f (  k )

67 Relacje w zbiorze obiektów empirycznych, które trzeba empirycznie stwierdzić lub założyć System relacyjnyNazwa poziomu pomiaru Równoważność E = ,  nominalny Równoważność, Porządek E = , ,   porządkowy Równoważność Porządek Odległość obiektów Identyczność odległości Porządek odległości Operacja „dodawania” obiektów Różnica wyróżniona: „zero” E = , , , ,   interwałowy Rówoważność, Porządek Odległość obiektów Identyczność odległości Porządek odległości Operacja „dodawania” obiektów Różnica wyróżniona: „zero” Stosunek obiektów Identyczność stosunków Porządek stosunków Obiekt wyróżniony: „jedynka” E = , , , , ,  ilorazowy Klasyfikacja poziomów pomiaru – Typologia zmiennych statystycznych c.d.

68 Funkcja pomiarowa a zmienna statystyczna f 1 : E   1 f 1 (  1 ) = 3 f 1 (  2 ) = 5 f 1 (  3 ) = 7  X(  ) 11 3 11 5 11 7 X :   N 1 E = ,   = {  1,  2,  3 }  1 =  N 1  , <  X(  1 ) = 3 X(  2 ) = 5 X(  3 ) = 7  N1N1 N 1 = {3, 5, 7} Funkcja pomiarowa Zmienna statystyczna

69 Klasyfikacja poziomów pomiaru – Typologia zmiennych statystycznych c.d. System relacyjnyDopuszczalne przekształcenia f Dopuszczalne statystyki E = ,  klasyfikacja g(f (  )), g:   , g jest funkcją odwracalną modalna, entropia, entropijne współczynniki zależności E = , ,   klasyfikacja, porządek na klasach g(f(  )), g:   , g jest funkcją rosnącą jw. oraz mediana, współczynniki korelacji rangowej E = , , , ,   klasyfikacja, porządek na klasach różnica, porządek na różnicach g(f(  )), g:   , g jest funkcją liniową: g(f(  )) = bf(  )+a b > 0 jw. oraz średnia, wariancja, współczynnik korelacji liniowej, E = , , , , ,  klasyfikacja, porządek na klasach różnica, porządek na różnicach składanie obiektów g(f(  )), g:   , g jest funkcją podobieństwa: g(f(  )) = bf(  ) b > 0 jw.

70 Poziom pomiaru zmiennej statystycznej określa klasa dopuszczalnych przekształceń jej wartości Specyfika zmiennej binarnej Każde różnowartościowe przekształcenie zmiennej dwuwartościowej jest przekształceniem liniowym

71 Praktyka badań sondażowych: pomiar  rejestracja danych Poziom pomiaru cech obiektów populacji jest zakładany jako oczywistość

72 Rejestracja danych w badaniu sondażowym Porównywanie obiektów parami Deklaracja wartości zmiennej nominalnej Pytanie rozstrzygnięcia Porządkowanie zbioru obiektów Wymuszone reakcje porządkowe Deklaracja wartości zmiennej interwałowej Wybór k spośród n – wektor binarny Graf obciązony porządkowo Zdał – nie zdał Preferencja A nad B: zaufanie, ocena działalności Uporządkuj od najbardziej … do najmniej Na skali od 1 do k określ jak bardzo …. Zawód, wyznanie, stan cywilny, zamiar głosowania na Staż pracy, ile czasu przed TV, jak często robisz … Wskaż te obiekty, które są …… Jak bardzo intensywna jest relacja z każym z k obieków Zadanie rozwiązał na k punktów z n możliwych

73 Pomiar a skalowanie Zmienne obserwowalne i ukryte Skalowanie I. Skalowalność II. Wymiarowość III. Wskaźniki niezbędne IV. Własności wskaźników V. Algorytm skalowania VI.Wynik skalowania I. Skalowalność II. Wymiarowość III. Wskaźniki niezbędne IV. Własności wskaźników V. Algorytm skalowania VI.Wynik skalowania

74  Problem skalowania Wskaźniki są wynikiem pomiaru znanego typu, co oznacza, że dla każdego z nich znany jest zakres dopuszczalnych analiz statystycznych, które można na nich wykonywać Zmienną ukrytą  oraz obserwowalne wskaźniki typu X i wiąże relacja „bycia wskazywanym”: każdy ze wskaźników „wskazuje” zmienną ukrytą X1X1 X2X2 X3X3 XkXk  Poziom pomiaru wskaźników ogranicza repertuar środków statystycznych, za pomocą których opisuje się związek zmiennej ukrytej ze wskaźnikami Związek wskaźników ze zmienną ukrytą jest elementem teorii zjawiska (własności) reprezentowanej przez  Teoria 

75 Cechy ukryte są elementem teorii zjawiska, która wiąże obserwacje (wskaźniki) z konstruktem teoretycznym (cecha ukrytą) za pomocą relacji korespondencji. Skalowanie wynika z teorii cechy ukrytej Korespondencja: Skala Skalogram Model skalowania Własności wskaźników (X 1, X 2, X 3,..., X i,..., X k ) Własności cech ukrytych  1  2  m Relacje (zależności) między cechami obserwowalnymi i ukrytymi R X  reguły wnioskowania o cechach ukrytych na podstawie cech obserwowalnych Teoria zjawiska

76 Model skalowania jest elementem teorii empirycznej Teoria może być empirycznie sfalsyfikowana Skalowanie a falsyfikacja teorii Problem pomiaru: Czy empirycznie stwierdzone własności obiektów empirycznych dają się poprawnie reprezentować liczbowo Problem skalowania: Czy teoria empirycznie własności obiektów empirycznych, z której wynika model skalowania jest prawdziwa

77 W jaki sposób wyznaczyć wartości cechy ukrytej dla obiektu, kórego obserwowalne własności są znane Składowe problemu skalowania Wykonalność Test teorii, z której wywodzi się model skalowania Czy spełnione obiekty empiryczne mają własności zakładane przez model skalowania Czy łączny rozkład wskaźników (X 1, X 2, X 3,..., X i,..., X k ) ma własności postulowane przez model skalowania Askrypcja Jeśli tak, to skalowalność Algorytm skalowania algorytm wyliczania wartości zmiennej ukrytej na podstawie wartości wskaźników

78 Czym jest skalowanie Ogólny problem skalowania w wersji sformalizowanej  ={ω 1, ω 2,..., ω n } (X 1, X 2, X 3,..., X i,..., X k )  :     X1X1 X2X2 …..XkXk    nn     nn W zbiorowości  zdefiniowano zestaw obserwowalnych zmiennych typu X i, nazywanych wskaźnikami nieobserwowalnej zmiennej  Na podstawie łącznego rozkładu zmiennych –wskaźników wyznacz wartości zmiennej  dla każdego obiektu badanej zbiorowości

79 Model Poziom pomiaru wskaźników Rodzaj zależności wskaźników od cech ukrytych Poziom pomiaru cechy ukrytej Analiza skupień K-MeansInterwałowyDeterministyczyNominalny Segmentacja probabilistyczna Nominalny Binarny Interwałowy ProbabilistycznyNominalny Skalogram GuttmanaBinarnyDeterministyczyPorządkowy Skalogram Mokkena Binarny Porządkowy ProbabilistycznyPorządkowy Skalogram Rascha Binarny Porządkowy ProbabilistycznyInterwałowy Analiza czynnikowaInterwałowyProbabilistycznyInterwałowy Model równań strukturalnychInterwałowyProbabilistycznyInterwałowy Popularne modele skalowania

80 NURTY TEORII SKALOWANIA Kumulatywne Addytywne nominalne Mieszane Poziom pomiaru wskaźników binarne porządkowe interwałowe Typ relacji między cechą ukrytą a wskaźnikami

81 Skalowanie kumulatywne Bogardus Guttman Mokken Rasch Bogardus Guttman Mokken Rasch

82 Nieco historii Bogardus, 1926: skala uprzedzeń (dystansów) etnicznych Czy akceptuje Pan(i) [XXXXX] jako: Dystans społeczny względem grupy Spokrewnionego z Panem(ią) w wyniku małżeństwa [0-1] ?1 Pana(i) bliskiego przyjaciela [0-1] ?2 Pana(i) sąsiada mieszkającego na tej samej ulicy [0-1] ?3 Osoby wykonującej ten sam zawód co Pan(i) [0-1] ?4 Obywatela Pana(i) kraju [0-1] ?5 Turysty odwiedzającego Pana(i) kraj [0-1] ?6

83 Skok wzwyż Kategoria zawodnika 180190200 Liczba udanych prób a0000 b1001 c1102 d1113

84 Funkcje reakcji na pozycje testu

85 Wskaźnik Liczba poprawnych odpowiedzi ProfilX1X1 X2X2 X3X3 A111 3 B110 2 C1012 D0112 E100 1 F0101 G0011 H000 0 Dopuszczalne i niedopuszczalne profile reakcji w skalogramie Guttmana Strukturalne zero X j trudny Suma 01 X i łatwy 0III1-p 1IIIIVp Suma1-qq1,00 Zielone profile: dopuszczalne X i łatwy X j trudny 00 01 10 11

86 Lokalna niezależność reakcji poziom cechy ukrytej osoby reagującej na wskaźniki jest taki sam bez względu na ich kolejność „podawania”, prawdopodobieństwa „poprawnych” reakcji na kolejne wskaźniki zależą wyłącznie od odległości między poziomem cechy ukrytej odpowiadającego i poziomem „trudności” wskaźników, prawdopodobieństwo serii reakcji na wskaźniki dla pojedynczej osoby jest równe iloczynowi prawdopodobieństw reakcji na każdy ze wskaźników z osobna.

87 Lokalna niezależność reakcji Kumulatywnośc reakcji reakcje na wskaźniki są stochastycznie pozytywnie zależne. reakcje na poszczególne wskaźniki w grupach osób o tym samym poziomie umiejętności są od siebie stochastycznie niezależne

88 Dane przykładowe h X1X2X3 1111 3 21113 31113 41113 51113 61113 7110 2 81102 91102 101102 11100 1 121001 130000 14101 2 151012 160112 17010 1 180101 190011 200011 141311 N( )P( ) 3 60,30 2 70,35 1 60,30 0 10,05 111110100000101011010001 p 111 p 110 p 100 p 000 p 101 p 011 p 010 p 001 0,300,200,100,050,100,050,10 64212122

89 Deterministyczny skalogram Guttmana Oczekiwane częstości przy założeniu lokalnej niezależności Guttman  j P(X 1 = x 1i & X 2 =x 2i & X 3 =x 3i |  =  j ) *P(  =  j) P(X i = 1 |  =  j ) 0,300,350,300,050,00 jj P(  =  j ) X1X1 X2X2 X3X3 X1X1 X2X2 X3X3 111110100000 C 101D 011F 010G 001 30,301111,00 0,00 20,351101,00 0,00 1,000,00 10,301001,000,00 1,000,00 00,050000,00 1,000,00 p1p1 p2p2 p3p3 p 111 p 110 p 100 p 000 p 101 p 011 p 010 p 001 0,700,650,55

90 Probabilistyczny model skalowania kumulatywnego

91 Założenia probabilistycznych modeli skalowania kumulatywnego a sytuacja testowania kompetencji Przykład: osoby rozwiązujące zadania testowe Obiekty różnią się parametrami istotnymi dla wyniku zdarzenia losowego Osoby różnią się poziomem kompetencji, łatwością z jaką rozwiązują zdania testowe Wskaźniki różnią parametrami istotnymi dla wyniku zdarzenia losowego Pytania testowe różnią się stopniem trudności, jaką sprawiają odpowiadającym, Obserwowalna reakcja obiektu na wskaźnik jest zdarzeniem losowym Osoby testowane reagują do pewnego stopnia przypadkowo: osoba bardzo kompetentna może nie odpowiedzieć na pytanie łatwe a osoba mało kompetentna może odpowiedzieć a pytanie trudne Zbiór możliwych reakcji i ich prawdopodobieństwa stanowią zmienną losową, której rozkład zależy od parametrów osoby i parametrów wskaźnika (zmienna losowa – funkcja reakcji) Szanse na poprawą odpowiedź osoby na pojedyncze pytanie testowe zależą zarazem od tego jak trudne jest to pytanie i jak kompetentna jest odpowiadająca na nie osoba Pojedyncza osoba odpowiada na kolejne pytanie testu „bez pamięci” o wynikach poprzednich odpowiedzi i wyłącznie w zależności od tego, jak trudne jest kolejne pytanie i jak kompetentna jest osoba

92 Skalogram Mokkena

93 Model Mokkena Krzywe reakcji na trzy wskaźniki w modelu Mokkena Trudność wskaźnika okresla p-two poprawnej nań odpowiedzi Na każde pytanie X i większą szansę udzielenia poprawnej odpowiedzi ma osoba o wyższym poziomie cechy  Każda osoba  v ma większą szansę udzielenia poprawnej odpowiedzi na pytanie łatwiejsze X i niż na trudniejsze X i Reakcje na poszczególne pytania osób o tym samym poziomie cechy  są stochastycznie niezależne

94 Skalogram Mokkena dla trzech wskaźników dychtomicznych model Oczekiwane częstości przy założeniu lokalnej niezależności Mokken  j P(X 1 = x i & X 2 =x i & X 3 =x i |  =  j ) *P(  =  j) P(X i = 1 |  =  j ) 0,2890,2470,1160,0460,1140,0730,0760,039 jj P(  =  j ) X1X1 X2X2 X3X3 X1X1 X2X2 X3X3 111110100000101011010001 30,30111 0,890,800,70 0,4980,2140,0530,0070,1250,0620,0260,015 20,35110 0,800,700,40 0,2240,3360,1440,0360,0960,0560,0840,024 10,30100 0,650,600,50 0,195 0,1300,0700,1300,105 0,070 00,05000 0,500,400,30 0,0600,1400,210 0,0900,0600,1400,090 p1p1 p2p2 p3p3 p 111 p 110 p 100 p 000 p 101 p 011 p 010 p 001 0,700,650,55próba 0,300,200,100,050,100,050,10 różnica 0,01-0,05-0,020,00-0,01-0,020,020,06 Różnica między empirycznymi częstościami profili reakcji a częstościami oczekiwanymi przez model

95 Konsekwencje założeń Mokkena - zależność wskaźników Macierz częstości łącznych – zera strulturalne

96 Statystyka dostateczna cechy ukrytej  - jak u Guttmana – suma punktów Stopień zgodności danych z modelem Mokken scale – własności Współczynniki Loevinger

97 Skalogram Mokkena– podsumowanie własności 1poziom pomiaru wskaźnikówbinarne 2poziom pomiaru zmiennej ukrytejporządkowy 3 własności łącznego rozkładu wskaźników i cechy ukrytej kumulatywność reakcji probabilistyczna lokalna niezależność reakcji 4 relacja między wskaźnikami i cechą ukrytą probabilistyczna 5 algorytmu wyznaczania wartości cechy ukrytej Suma wartości wskaźników 6Kryterium oceny jakości skalowania?

98 Skalogram Rascha

99 Funkcja logistyczna z parametrem a

100 Warianty modelu Rascha 1PL: x 2PL: a,x 3PL: a,c, x

101 Funkcje reakcji w modelu Rascha 1 PL

102 Funkcje reakcji w modelu 2 PL

103 Funkcje reakcji w modelach 2 PL i 3 PL Wskaźniki mają różną trudność oraz własności dyskryminacyjne (współczynniki a) Wskaźniki X 2 oraz X 3 mają współczynniki odgadywania ( c ) bliskie 1/2

104 W poszukiwaniu dobrego testu (a) Wszystkie pytania mają wysoką moc dyskryminacyjną, współczynniki a i znacznie przekraczają 1; (b) Wszystkie pytania charakteryzują się niewielkimi szansami na odgadnięcie poprawnej odpowiedzi - współczynniki c i są bliskie zera; (c) Poziomy trudności pytań obejmują całą skalę umiejętności, której poziom test ma diagnozować - liczba pytań z ujemnymi wartościami współczynnika b i jest zbliżona do liczby pytań, dla których jest on dodatni; (d) Dokładność oszacowania poziomu umiejętności ucznia jest wysoka i stała w całym zakresie umiejętności zdających test - krzywa informacyjna testu jest płaska nad całym obszarem diagnozowanych umiejętności. (a) Wszystkie pytania mają wysoką moc dyskryminacyjną, współczynniki a i znacznie przekraczają 1; (b) Wszystkie pytania charakteryzują się niewielkimi szansami na odgadnięcie poprawnej odpowiedzi - współczynniki c i są bliskie zera; (c) Poziomy trudności pytań obejmują całą skalę umiejętności, której poziom test ma diagnozować - liczba pytań z ujemnymi wartościami współczynnika b i jest zbliżona do liczby pytań, dla których jest on dodatni; (d) Dokładność oszacowania poziomu umiejętności ucznia jest wysoka i stała w całym zakresie umiejętności zdających test - krzywa informacyjna testu jest płaska nad całym obszarem diagnozowanych umiejętności. Dobry test to taki, w którym:

105 Formalna analiza własności testów

106 Które z pytań arkusza jest do wymiany

107 Fundamentalne problemy skalowania (testowania) dla skalowania jednowymiarowego kumulatywnego w wersji probabilistycznej Trafność pomiaru, testu, skali validity Jedno-wymiarowość w podzbiorach (DIF) Wysoki współczynnika skalowalności Większość wskaźników niezbędna Rzetelność pomiaru, testu, skali, wskaźnika reliability Wskaźnika - przebieg funkcji informacyjnej wskaźnika Skali – przebieg funkcji informacyjnej skali (testu)

108 Problemy skalowania jednowymiarowego (kumulatywnego w wersji probabilistycznej) Problemy fundamentalne Na jakiej skali mierzymy cechę ukrytą Jak stwierdzić wielo- wymiarowość skali Jak zweryfikować założenie lokalnej niezależności reakcji Czy losowość reakcji osoby na wskaźnik wynika z losowania próby czy też jest dyspozycją osoby badanej

109 Problemy skalowania jednowymiarowego (kumulatywnego w wersji probabilistycznej) Problemy estymacyjne Złożone schematy losowania osób testowanych Braki danych Efektywność metod estymacj parametrów dla modeli wielo-parametrycznych, wielo-skalowych wielo-poziomowych Miary stopnia dopasowania do danych – współczynniki skalowalności i ich rozkłady

110 Problemy skalowania jednowymiarowego (kumulatywnego w wersji probabilistycznej) Problemy wynikające z potrzeb praktycznych Badania międzynarodowe, między-kulturowe DIF Kalibracja Badania zmian własności diagnostyczne wskaźników Obiektywizacja testów Czy we wszystkich segmentach wskaźniki mają podobne parametry Których wskaźników można użyć jako referencyjnych poziomów odniesienia

111 Skalowanie kumulatywne w ocenie poziomu wiedzy w międzynarodowych projektach sondażowych

112 Skalowanie kumulatywne praktyce IKI Testy gimnazjalne Matura – matematyka Indeks kompetencji informatycznych IKI Skalowanie.xlsx Wpadka kuratoriów – rozwiązanie statystyczne Test arkuszy

113 Skalowanie cech złożonych

114 Jak bardzo zadwolony(a) jest Pan(i) ze swojego miejsca zamieszkania ? 1.Bardzo zadowolony(a) 2.Zadowolony(a) 3.Niezadowolony(a) 4.Bardzo niezadowolony(a) 1.Bardzo zadowolony(a) 2.Zadowolony(a) 3.Niezadowolony(a) 4.Bardzo niezadowolony(a) Skalowanie zadowolenia z miejsca zamieszkania – wersja naiwna

115 ze swoich sąsiadów z poziomu czystości swojej miejscowości z zaopatrzenia sklepów w swojej miejscowości z placówek kulturalnych w swojej miejscowości z poziomu bezpieczeństwa w swojej miejscowości Jak bardzo jest Pan(i) zadowolony(a) 1.Bardzo zadowolony(a) 2.Zadowolony(a) 3.Niezadowolony(a) 4.Bardzo niezadowolony(a) 1.Bardzo zadowolony(a) 2.Zadowolony(a) 3.Niezadowolony(a) 4.Bardzo niezadowolony(a) 1.Bardzo zadowolony(a) 2.Zadowolony(a) 3.Niezadowolony(a) 4.Bardzo niezadowolony(a) 1.Bardzo zadowolony(a) 2.Zadowolony(a) 3.Niezadowolony(a) 4.Bardzo niezadowolony(a) 1.Bardzo zadowolony(a) 2.Zadowolony(a) 3.Niezadowolony(a) 4.Bardzo niezadowolony(a) 1.Bardzo zadowolony(a) 2.Zadowolony(a) 3.Niezadowolony(a) 4.Bardzo niezadowolony(a) 1.Bardzo zadowolony(a) 2.Zadowolony(a) 3.Niezadowolony(a) 4.Bardzo niezadowolony(a) 1.Bardzo zadowolony(a) 2.Zadowolony(a) 3.Niezadowolony(a) 4.Bardzo niezadowolony(a) 1.Bardzo zadowolony(a) 2.Zadowolony(a) 3.Niezadowolony(a) 4.Bardzo niezadowolony(a) 1.Bardzo zadowolony(a) 2.Zadowolony(a) 3.Niezadowolony(a) 4.Bardzo niezadowolony(a) Skalowanie zadowolenia z miejsca zamieszkania – dobór wskaźników

116 Strukturalny model skalowania zadowolenia z miejsca zamieszkania Cecha ukryta: poziom zadowolenia Z Cecha ukryta: poziom zadowolenia Z X1X1 X2X2 X3X3 X4X4 Jak bardzo zadowolony(a) jest Pan(i) Y1Y1 Wskaźniki typu „skutki”Wskaźniki typu „źródła” ze swoich sąsiadów z poziomu czystości z zaopatrzenia sklepów z placówek kulturalnych z poziomu bezpieczeństwa X5X5 Biorąc to wszystko pod uwagę, jak bardzo zadwolony(a) jest Pan(i) ze swojego miejsca zamieszkania ? Używając X 1, X 2,.... X 5 wyznacz takie wartości Z, które najlepiej przewidują odpowiedzi Y 1, Y 2, Y 3 Czy wyprowadził(a) by się Pan(i) do innej miejscowści, gdyby miał(a) Pan(i) wybór? Y2Y2 Czy polecił(a)by Pan(i) przeprowadzkę do tej miejscowości komuś Panu(i) bliskiemu? Y3Y3

117 Od pytania badawczego do skali

118 xkxk x1x1 x2x2  yryr y1y1 y2y2  Błędy  mają średnią 0 i są nieskorelowane ze wskaźnikami x h B formative A reflective  11 22 rr Błędy  mają średnią 0 i są nieskorelowane ze wskaźnikami y h oraz między sobą Konstrukty są ze sobą skorelowane Błędy są nieskorelowane ze sobą oraz z konstruktami, mają średnią 0 Strukturalny model skalowania liniowego stosowany w MJR

119 Przykłady

120 Life Satisfaction Scale Diagnoza Społeczna 2001-2013 Kohorta 18-29, n=10969 Diagnoza Społeczna 2001-2013 Kohorta 18-29, n=10969

121 X 1, X 2, …, X 16 LS-in LS-out Jak ocenia Pan(i) swoje dotychczasowe życie jako całość ? Czy ogólnie rzecz biorąc jest Pan(i) zadowolony ze swego życia? Chcielibyśmy, aby Pan(i) ocenił(a) teraz poszczególne dziedziny swego życia i powiedział, w jakim stopniu jest Pan z każdej z nich zadowolony. Y1Y1 Y2Y2 LS

122 X 1 - ze swoich stosunków z najbliższymi w rodzinie X 2 - z sytuacji finansowej własnej rodziny X 3 - ze stosunków z koleżankami (grupą przyjaciół) X 4 - ze stanu swojego zdrowia X 5 - ze swoich osiągnięć życiowych X 6 - z sytuacji w kraju X 7 - z warunków mieszkaniowych X 8 - z miejscowości, w której Pan(i) żyje X 9 - z perspektyw na przyszłość X 10 - z życia seksualnego X 11 - ze swojego wykształcenia X 12 - ze sposobu spędzania wolnego czasu X 13 - z pracy X 14 - z dzieci X 15 - z małżeństwa X 16 - ze stanu bezpieczeństwa w miejscu zamieszkania,169,285,012,217,240,025,098,157,116,058,077 -,020,013,252 -,008 -,060 LS-in

123 LS-out Jak ocenia Pan(i) swoje dotychczasowe życie jako całość ? Czy ogólnie rzecz biorąc jest Pan(i) zadowolony ze swego życia?,565,578

124 LS-out LS-in,617 R 2 =,381

125 LS-out LS-in Skala życiowej satysfakcji LS,556

126 MJR 2011 badanie jakości usług publicznych

127 Schemat modelu skalowania satysfakcji z usług publicznych generalizacjadyspozycja oczekiwania wobec danej usługi publicznej doświadczenie w korzystaniu z usługi zachowania i deklaracje dotyczące przyszłości: - skargi na jakość - zaufanie - rekomendacje poziom satysfakcji

128 Od czego zależy satysfakcja? Co zależy od satysfakcji? poziom wymagań względem usługi wskaźniki jakości poziom satysfakcji z usługi skargi na jakość usługi i sposób ich załatwiania zaufanie do jakości usługi w przyszłości oczekiwania i doświadczenia konsekwencje oczekiwań i doświadczeń odczuwana jakość usługi Schemat modelu skalowania satysfakcji z usług publicznych

129 poziom wymagań względem usługi wskaźniki jakości poziom satysfakcji z usługi skargi na jakość usługi i sposób ich załatwiania zaufanie do jakości usługi w przyszłości Q1 ogólne oczekiwania Q6 ogólna satysfakcja Q11 polecanie usługi innym Q7 spełnianie oczekiwań Q8 porównanie z ideałem Q5 ogólna ocena jakości Q2 ocena jakości wymiaru 1 Q3 ocena jakości wymiaru 2 Q4 ocena jakości wymiaru 3 Q9 czy złożył skargę Q10A/B reakcja na skargę Q12 wiara w stabilność poziomu jakości odczuwana jakość usługi Źródło: model ACSI dla usług publicznych Schemat modelu skalowania satysfakcji z usług publicznych

130 Usługi objęte badaniem Komunikacja publiczna Urząd Gminy Urząd Skarbowy ZUS / KRUS Urząd Pocztowy Policja Biblioteka Publiczna Dom lub Ośrodek Kultury Usługi medyczne (5 rodzajów usług) Szkoła podstawowa / gimnazjum w podziale na prywatną i publiczną służbę zdrowia MJR - skalowanie satysfakcji z usług publicznych

131 Wymiary jakości badanych usług publicznych Częstotliwość kursowania środków transportu Punktualność kursowania środków transportu Wygląd i czystość środków transportu Sprawność załatwienia sprawy Łatwość uzyskania informacji na temat sposobu załatwienia sprawy, opłat, potrzebnych dokumentów Kompetencje urzędników załatwiających sprawę Komunikacja publiczna Urząd Gminy Urząd Skarbowy ZUS / KRUS Szybkość dostarczania przesyłek Dogodność terminów dostarczania przesyłek poleconych Szybkość załatwiania spraw i kolejek Urząd Pocztowy MJR - skalowanie satysfakcji z usług publicznych

132 Wymiary jakości badanych usług publicznych Szybkość reakcji Skuteczność interwencji Sposób potraktowania przez policjantów Pomocność pracowników biblioteki Dostępność informacji o zbiorach bibliotecznych Dostępność książek i materiałów multimedialnych Policja Oferta organizowanych zajęć i imprez Jakość organizowanych zajęć i imprez Poziom wyposażenia, jakość pomieszczeń, jakość sprzętu technicznego Dom lub Ośrodek Kultury Biblioteka Publiczna MJR - skalowanie satysfakcji z usług publicznych

133 Wymiary jakości badanych usług publicznych Możliwość umówienia się na wizytę w odpowiadającym terminie Posiadane kompetencje lekarza, personelu Życzliwość wobec pacjenta Usługi medyczne (5 rodzajów usług) Poziom bezpieczeństwa dziecka w szkole Poziom nauczania w szkole Relacje rodzica z wychowawcą Szkoła podstawowa / gimnazjum MJR - skalowanie satysfakcji z usług publicznych

134 MJR 2011 – Policja

135 poziom wymagań względem usługi wskaźniki jakości (postrzeganej) poziom satysfakcji z usługi skargi na jakość usługi i sposób ich załatwiania zaufanie do jakości usługi w przyszłości Q 1 ogólne oczekiwania Q 6 ogólna satysfakcja Q11 polecanie usługi innym Q 7 spełnianie oczekiwań Q 8 porównanie z ideałem Q 5 ogólna ocena jakości Q 2 ocena jakości wymiaru 1 Q 3 ocena jakości wymiaru 2 Q 4 ocena jakości wymiaru 3 Q12 wiara w stabilność poziomu jakości Q10 reakcja na skargę odczuwana jakość usługi EXPE QUAL PERCQ SAT COMP LOYAL 1 2 3 4 5 6

136 zmiennawskaźnik KONSTRUKT (zmienna ukryta) S7_Q1'Poziom oczekiwań co do jakości działania policji [1-9]'EXPE S7_Q2'Ocena szybkości reakcji policji [1-9]'QUAL S7_Q3'Ocena skuteczności interwencji policji [1-9]'QUAL S7_Q4'Ocena sposobu potraktowania respondenta przez policjantów'QUAL S7_Q5'Ocena ogólnej jakości działania miejscowej Policji'PERCQ S7_Q6'Ogólnie, jak bardzo zadowolony(a) jest Pan(i) z działania miejscowej Policji'SAT S7_Q7'W jakim stopniu jakość działania miejscowej Policji spełniła Pana(i) oczekiwania'SAT S7_Q8'Jak według Pana(i) w porównaniu z idealną wypada Pana(i) miejscowa Policja'SAT S7_Q9'Czy w ciągu ostatnich 12 miesięcy złożył(a) Pan(i) skargę na miejscową Policję' S7_Q10a'Jak ocenia Pan(i) sposób, w jaki zajęto się Pana(i) ostatnią skargą'COMP S7_Q10b'Gdyby złożył(a) Pan(i) skargę, jakie byłyby szanse na jej pomyślne rozpatrzenie'COMP S7_Q11'Czy był(a)by Pan(i) skłonny(a) wyrazić publicznie pozytywną opinię na temat miejscowej Policji'LOYAL S7_Q12'W jakim stopniu jest Pan(i) przekonany(a), że w przyszłości miejscowa Policja będzie działała dobrze'LOYAL MJR 2011 POLICJA – Badanie satysfakcji z usługi publiczznej – wskaźniki i konstrukty

137 MJR 2011 POLICJA - Badanie satysfakcji z usługi publiczznej - kwestionariusz Q1Zanim miał(a) Pan(i) kontakt z miejscową Policją, zapewne miał(a) Pan(i) jakieś oczekiwania co do jakości jej działania. Proszę określić te oczekiwania na 9-punktowej skali, na której „1” oznacza „bardzo niskie”, zaś „9” „bardzo wysokie”. Bardzo niskieBardzo wysokie 123456789 Jak ocenił(a)by Pan(i) miejscową Policję pod względem Q2szybkości reakcji? Bardzo niskoBardzo wysoko 123456789 Q3skuteczności interwencji? Bardzo niskoBardzo wysoko 123456789 Q4sposobu potraktowania Pana(i) przez policjantów? Bardzo niskoBardzo wysoko 123456789 Q5Proszę przypomnieć sobie wszystkie Pana(i) doświadczenia z miejscową Policją z ostatnich 12 miesięcy. Jak ocenił(a)by Pan(i) ogólną jakość działania miejscowej Policji? Bardzo niskoBardzo wysoko 123456789 97 nie wiem98 odmowa odpowiedzi

138 Q6Ogólnie, jak bardzo zadowolony(a) jest Pan(i) z działania miejscowej Policji? Bardzo niezadowolony(a)Bardzo zadowolony(a) 123456789 Q7W jakim stopniu jakość działania miejscowej Policji spełniła Pana(i) oczekiwania? W ogóle nie spełnił(a) moich oczekiwań Przekroczył(a) moje oczekiwania 123456789 Q8Teraz chciał(a)bym, aby wyobraził(a) Pan(i) sobie idealną Policję. Jak według Pana(i) w porównaniu z idealną wypada Pana(i) miejscowa Policja? Bardzo daleki(a) od ideału Bardzo bliski(a) ideału 123456789 MJR 2011 POLICJA - Badanie satysfakcji z usługi publiczznej - kwestionariusz Q9Czy w ciągu ostatnich 12 miesięcy złożył(a) Pan(i) skargę lub wyraził(a) niezadowolenie z działania miejscowej Policji bezpośrednio policjantowi lub jego przełożonym? 1 Tak 2 Nie Q10AJak ocenił(a)by Pan(i) sposób, w jaki zajęto się Pana(i) ostatnią skargą? Proszę użyć 9-punktowej skali, na której „1” oznacza „bardzo źle”, zaś „9” „bardzo dobrze”. Bardzo źleBardzo dobrze 123456789 Q10BA gdyby złożył(a) Pan(i) skargę, jakie byłyby szanse na jej pomyślne rozpatrzenie? Proszę użyć 9-punktowej skali, na której „1” oznacza „0% szans”, zaś „9” „100% szans”. 0% szans100% szans 123456789 Q11Czy był(a)by Pan(i) skłonny(a) wyrazić publicznie pozytywną opinię na temat działania miejscowej Policji? Zdecydowanie nieskłonny(a) Zdecydowanie skłonny(a) 123456789 Q12W jakim stopniu jest Pan(i) przekonany(a), że w przyszłości miejscowa Policja będzie działała dobrze? W ogóle nieprzekonany(a) Całkowicie przekonany(a) 123456789

139 poziom wymagań względem usługi wskaźniki jakości (postrzeganej) poziom satysfakcji z usługi skargi na jakość usługi i sposób ich załatwiania zaufanie do jakości usługi w przyszłości Q 1 ogólne oczekiwania Q 6 ogólna satysfakcja Q11 polecanie usługi innym Q 7 spełnianie oczekiwań Q 8 porównanie z ideałem Q 5 ogólna ocena jakości Q 2 ocena jakości wymiaru 1 Q 3 ocena jakości wymiaru 2 Q 4 ocena jakości wymiaru 3 Q12 wiara w stabilność poziomu jakości Q10 reakcja na skargę odczuwana jakość usługi EXPE QUAL PERCQ SAT COMP LOYAL 1 2 3 4 5 6

140 poziom wymagań względem usługi wskaźniki jakości (postrzeganej) poziom satysfakcji z usługi skargi na jakość usługi i sposób ich załatwiania zaufanie do jakości usługi w przyszłości Q 1 ogólne oczekiwania Q 6 ogólna satysfakcja Q11 polecanie usługi innym Q 7 spełnianie oczekiwań Q 8 porównanie z ideałem Q 5 ogólna ocena jakości Q 2 ocena jakości wymiaru 1 Q 3 ocena jakości wymiaru 2 Q 4 ocena jakości wymiaru 3 Q12 wiara w stabilność poziomu jakości Q10 reakcja na skargę odczuwana jakość usługi EXPE QUAL PERCQ SAT COMP LOYAL 1 2 3 4 5 6

141

142 $SAT concept value 1 R2 0.8489 2 Intercept 0.0000 3 path_EXPE 0.0117 4 path_QUAL 0.3774 5 path_PERCQ 0.5694 $SAT concept value 1 R2 0.8489 2 Intercept 0.0000 3 path_EXPE 0.0117 4 path_QUAL 0.3774 5 path_PERCQ 0.5694 $SAT concept value 1 R2 0.8489 2 Intercept 0.0000 3 path_EXPE 0.0117 4 path_QUAL 0.3774 5 path_PERCQ 0.5694

143 poziom wymagań względem usługi wskaźniki jakości (postrzeganej) poziom satysfakcji z usługi skargi na jakość usługi i sposób ich załatwiania zaufanie do jakości usługi w przyszłości odczuwana jakość usługi 0,442 EXPE QUAL PERCQ SAT COMP LOYAL 0,066 0,012 0,837 0,377 0,569 0,589 0,808 R 2 =85% R 2 =35% R 2 =65%

144 poziom wymagań względem usługi wskaźniki jakości (postrzeganej) poziom satysfakcji z usługi skargi na jakość usługi i sposób ich załatwiania zaufanie do jakości usługi w przyszłości odczuwana jakość usługi 0,442 EXPE QUAL PERCQ SAT COMP LOYAL 0,837 0,377 0,569 0,589 0,808 R 2 =85% R 2 =35% R 2 =65% 73 63 58 44 55

145 Jakość usług publicznych w Polsce Polska 70 pkt Prywatna służba zdrowia 81 pkt MJR 2011 - Polska

146 Jakość usług publicznych w woj. lubelskim Województwo lubelskie 74 pkt Prywatna służba zdrowia 85 pkt MJR 2011 – województwo lubelskie

147 Jakość usług publicznych w woj. śląskim Województwo śląskie 67 pkt Prywatna służba zdrowia 82 pkt MJR 2011 – województwo śląskie

148 poziom wymagań względem usługi wskaźniki jakości poziom satysfakcji z usługi skargi na jakość usługi i sposób ich załatwiania zaufanie do jakości usługi w przyszłości odczuwana jakość usługi poziom wymagań względem usługi wskaźniki jakości poziom satysfakcji z usługi skargi na jakość usługi i sposób ich załatwiania zaufanie do jakości usługi w przyszłości odczuwana jakość usługi poziom wymagań względem usługi wskaźniki jakości poziom satysfakcji z usługi skargi na jakość usługi i sposób ich załatwiania zaufanie do jakości usługi w przyszłości odczuwana jakość usługi usługa 1. usługa 2. usługa k. I1I1 I2I2 IkIk............ I 1 0-100 I 2 0-100 I k 0-100 średnia...... MJR 1 MJR 2 MJR k...... MJR(o) u1u1 u2u2 ukuk wagi proporcjonalne do liczby osób, które korzystały z usługi w ciągu ostatniego roku modele SEM-PLSsatysfakcja z usługi I i unormowana satysfakcja z usługi I i indeks MJR dla usługi i MJR - skalowanie satysfakcji z usług publicznych

149 Porównanie wyników ACSI versus MJR (1) Polska: 70 pkt MJR 2011 - ACSI 2011

150 Porównanie wyników ACSI versus MJR (2) Poczta 64 Prywatna służba zdrowia 81 Publiczna służba zdrowia 75 Koszyk 10 usług 70 Polska 2011USA 2011 MJR 2011 - ACSI 2011

151 Metody zbierania informacji o obiektach populacji

152 Sposoby komunikacji z respondentem i ich własności: PAPI CAPI CATI WAPI Wywiad indywidualny Z kwestionariuszem papierowym Paper Assisted Personal Interview Z notebookiem, tabletem Computer Assisted Personal Interview Ankieta internetowa Web Assisted Personal Interview Przez telefon stacjonarnyt lub komórkowy Computer Assisted Telephone Interview Wywiad grupowy Ankieta pocztowa Mieszane techniki dotarcia

153 Sondaże złe oraz nie-sondaże Sonda telefoniczna (na losowej próbie abonentów) RDD Populacja posiadaczy telefonów stacjonarnych różni się istotnie od populacji dorosłych Polaków; Wyniki sondażu nie dają się uogólnić na całą populację dorosłych Polaków (operat jest niepełny i skrzywiony) Ankieta pocztowa (oparta na imiennej próbie adresowej) Response rate rzadko przekracza 20% a nigdy 40%, co czyni wyniki bezwartościowymi Ankieta umieszczana w gazecie (periodyku), Sondaż internetowy, Ankieta uliczna, Audio-tele (SMS-y) Nielosowy dobór uczestników badania – potencjalny respondent sam decyduje czy weźmie udział w badaniu czy nie; Nie można ustalić response rate ani dokładności oszacowań Nie wiadomo jaką zbiorowość reprezentują zebrane odpowiedzi Kwestionariusz – Próba – Realizacja – Analiza danych

154 Firma badawcza X GUS NSP2002 WieśM-WMiastoRazem WieśM-WMiastoRazem 1 dolnośląskie76,4%-1,3%75,1%75,5% 57,7% 21,8% 79,5%74,1% 2 kujawsko-pomorskie70,7%-3,1%67,6%68,8% 53,2% 23,7% 77,0%69,2% 3 lubelskie73,6%10,4%84,0%78,8% 57,5% 20,1% 77,6%67,5% 4 lubuskie62,7%14,6%77,3%72,2% 61,5% 15,9% 77,5%72,4% 5 łódzkie63,5%5,9%69,4%67,4% 54,5% 20,8% 75,3%69,1% 6 małopolskie70,1%12,0%82,1%76,3% 67,2% 13,9% 81,1%75,3% 7 mazowieckie72,4%2,0%74,4%73,8% 58,0% 25,1% 83,1%75,6% 8 opolskie75,6%-0,3%75,3%75,4% 54,3% 13,9% 68,3%62,3% 9 podkarpackie70,9%15,7%86,5%77,4% 56,0% 26,8% 82,8%68,4% 10 podlaskie70,1%-1,7%68,3%69,0% 61,2% 19,0% 80,2%73,2% 11 pomorskie69,7%10,6%80,3%77,1% 55,4% 23,4% 78,7%72,6% 12 śląskie71,8%0,8%72,7%72,5% 57,2% 12,2% 69,4%67,2% 13 świętokrzyskie59,1%18,5%77,6%68,3% 44,5% 32,3% 76,8%60,9% 14 warmińsko-mazurskie60,9%12,1%73,0%68,2% 54,5% 15,9% 70,4%64,7% 15 wielkopolskie72,0%0,4%72,4%72,3% 67,0% 12,6% 79,6%75,1% 16 zachodniopomorskie56,1%14,2%70,3%66,3% 59,4% 16,9% 76,3%71,9% razem 69,6%5,2%74,8%72,9% 58,2% 19,0% 77,2%71,0% Pułapki sondaży telefonicznych min (M-W) -3,1% MAX (M-W) 18,5% min (M-W) 12,2% MAX (M-W) 32,3%

155 Jak pytać: CAPI Możliwość drobiazgowej kontroli ankietera Komputerowa rejestracja przebiegu wywiadu czas rozpoczęcia i zakończenia wywiadu – czas trwania wywiadu czas reakcji na poszczególne pytania długość przerwy między wywiadami Eliminacja efektu ankieterskiego Randomizacja kolejności zadawania pytań Inteligentne sterowanie wywiadem

156 Pasywna rejestracja zmiennych Sposoby komunikacji z respondentem – nowe technologie Smartfon w supermarkecie i przy kasie Rejestrator przy telewizorze, z detekcją oczu Klips rozpoznający stacje radiowe Technologia w Drugi ekran, ekran dotykowy Nagrywanie odpowiedzi na pytania otwarte Śledzenie ruchu gałki ocznej Tablety rysunkowe do pisma odręcznego Skaner kodów Geolokalizacja komórkowa i bluetooth

157 Sposoby komunikacji z respondentem - mieszane metody dostępu Brak jest statystyczxnie wiarygodnych dowodów opłacalności mieszanych metod dostępu Przykład 1: 1.Ankieta pocztowa rozesłana do próby losowej pobranej z PESEL 2.W kwestionariuszu adres webowy oraz hasło dostępu do witryny z kwestionariuszem 3.Kwestionariusz webowy wyglądał tak samo jak w CAPI 4.Stopa zwrotu rzędu grubo poniżej 5% Przykład 2: 1.Mail rozesłany do osób kierujących wwybranymi serwisami publicznymi (szkoła, NFZ, Urząd gminy) - adresy pobrane z ogólnodostępnych źródeł internetowych 2.Podobny mail wysłany do działaczy organizacji pozarządowych 3.W amilu adres webowy oraz hasło dostępu do witryny z kwestionariuszem 4.Wypełnienie kwestionariusza webowego zajmowało około 10 minut 5.Stopa zwrotu rzędu 15%

158 Kwestionariusz

159 model pomiarowy (estymacja parametru populacji) Cecha ukryta dobra teoria, trafne wskaźniki, dobre modele pomiarowe Dobry kwestionariusz:

160 Szacowanie frekwencji wyborczej w wyborach parlamentarnych Czy zamierza Pan(i) wziąć udział w wyborach w najbliższą niedzielę? 1. Tak 2. Nie 3. Nie wiem Jak Pan(i) sądzi, jaka będzie frekwencja w wyborach w najbliższą niedzielę? Jak Pan(i) sądzi, jaka będzie frekwencja w wyborach w najbliższą niedzielę? |___| % % odpowiedzi TAK Średnia odsetków podawanych przez respondentów

161 Wyznaczanie ceny produktu, przy której oczekiwana liczba nabywców będzie największa 1.Przy jakiej cenie uznałbyś produkt za zbyt tani, aby mógł być dobrej jakości? (Too Cheap) 2.Przy jakiej cenie uznałbyś produkt za tani, ale odpowiedniej jakości? (Cheap) 3.Przy jakiej cenie uznałbyś produkt za drogi, ale wart ewentualnego zakupu? (Expensive) 4.Przy jakiej cenie uznałbyś produkt za zbyt drogi i nie wart zakupu? (Too Expensive) 1.Przy jakiej cenie uznałbyś produkt za zbyt tani, aby mógł być dobrej jakości? (Too Cheap) 2.Przy jakiej cenie uznałbyś produkt za tani, ale odpowiedniej jakości? (Cheap) 3.Przy jakiej cenie uznałbyś produkt za drogi, ale wart ewentualnego zakupu? (Expensive) 4.Przy jakiej cenie uznałbyś produkt za zbyt drogi i nie wart zakupu? (Too Expensive) kwota średnia środkowa Za ile kupiłbyś produkt? |_______| zł

162 Złożone pojęcie – złożony zestaw wskaźników

163 Wskaźniki gotowości szkolnej Skala Gotowości Szkolnej jest metodą obserwacyjną dla nauczycieli sześciolatków. Treścią metody są zachowania i umiejętności dzieci pogrupowane w sześć podskal. Podskale mówią o różnych aspektach gotowości do nauki w szkole, ukazując złożoność tego konstruktu, odnoszącego się do poznawczej, motorycznej i emocjonalno-społecznej sfery rozwoju dziecka.

164 Droga dojścia do zestawu wskaźników Pierwotna wersja Skali Gotowości Szkolnej została opracowana w 2004 roku. Trafność doboru pozycji Skali była konsultowana przez pracowników Centrum Metodycznego Pomocy Psychologiczno-Pedagogicznej, którzy występowali w roli sędziów kompetentnych. Pierwsze badanie pilotażowe, którego celem było sprawdzenie zgodności ocen nauczycieli, przeprowadzono w marcu 2005 roku. Skala liczyła wtedy 138 pozycji, zebranych w 5 grupach tematycznych. Badanie standaryzacyjne poprzedzone zostało drugim badaniem pilotażowym SGS w styczniu 2006 roku Standaryzacyjne badanie SGS, przeprowadzone maju 2006 na ogólnopolskiej, dobranej w sposób warstwowo-losowy próbie 4000 dzieci. Po weryfikacji usunięto z SGS kilka pozycji i obecnie Skala składa się z 72 stwierdzeń (jedna pozycja występuje w dwóch podskalach). Standaryzacyjne badanie SGS, przeprowadzone maju 2006 na ogólnopolskiej, dobranej w sposób warstwowo-losowy próbie 4000 dzieci. Po weryfikacji usunięto z SGS kilka pozycji i obecnie Skala składa się z 72 stwierdzeń (jedna pozycja występuje w dwóch podskalach). 2004 2005 2006 (grudzień) Publikacja „ Doradca Nauczyciela Sześciolatków” w ramach projektu EFS „Badanie gotowości szkolnej sześciolatków”. 2006

165 Wynik poprawnego sondażu - zastosowanie w praktyce

166 Najczęściej kwestionariusz trzeba zbudować od podstaw

167 Założenia Zasady Wymagania Postulaty Założenia Definicja sytuacji wywiadu kwestionariuszowego Zadający pytaniaObcy, który domaga się wglądu w sferę prywatności odpowiadającego OdpowiadającyJednostka, która może ale nie musi na to pozwolić Sytuacja wywiaduOkoliczności kontaktu Ankietera z Respondentem F2F Mogą ułatwiać, utrudniać, być neutralne Telefon PocztaWeb Kwestionariusz w badaniu sondażowym

168 Zdolności poznawcze respondenta: pamięć krótka, ocena czasu, ocena wielkości, kolorów okoliczności, szczegółów Zdolności poznawcze respondenta: pamięć krótka, ocena czasu, ocena wielkości, kolorów okoliczności, szczegółów Respondent, ankieter, sytuacja wywiadu Konstrukcja kwestionariusza to nie tylko rzemiosło Respondent Ankieter Kwestionariusz Nie musi Nie chce Nie jest w stanie Prywatność – drażliwość Motywacja

169 Respondent Nie chce Chce Jest w stanie Nie jest w stanie Nie pamięta Źle pamięta Czas trwania Częstottliwość Wydarzenia świeże Wydarzenia ważne Wydarzenia niezwykłe Kiedy ostatni raz Wydarzenia powszechnie znane – wspólnota doświadczeń KiedyW jakich godzinach Czy wczoraj TV Częstotliwość kontaktów krótkofalowców Bank Wiring Room Kwestionariusz w badaniu sondażowym Metodologiczna klasyka badań rzetelności deklaracji respondentów o zdarzeniach Badania budżetu czasu O której Respondent

170 dopasoswanie poznawcze Zasady zadawania pytań kwestionariuszowych poprawność logiczna dopasowanie kulturowe Wywiad kwestionariuszowy jest rozmową, która powinna respondenta zainteresować nie powinna respondentowi zagrażać respondenta męczyć Struktura kwestionariusza: forma, treść, długość

171 Forma pytania a metoda zbierania danych: tekst – obraz - dźwięk Forma pytania kwestionariuszowego z punktu widzenia respondenta Zamknięte opowieści - teksty Radio-buttonWybór jednokrotny check-box multiresponse Wybór wielokrotny Wybierz k spośród n Otwarte OpozycjeWybór jednokrotny suwaki – linijki Porównywanie parami,,,, telefon internet notebook double screen nagrywanie

172 zdrowie, zarobki, używki Forma pytania kwestionariuszowego z punktu widzenia respondenta Typologia rzeczowa wskaźników Raport z własnych doświadczeń fakty, atrybuty, wydarzenia pamięć Preferencje, emocje, oceny prywatność Umiejętności, kompetencje bezpieczeństwo Deklaracje zachowań w przyszłości Zagrożenia

173 Metryczka Rozkłady populacyjnePłeć, wiek, miejsce zamieszkania, stan cywilny, gospodarstwo domowe Wykształcenie Aktywność zawodowa WykształcenieISCEDUNESCO link Zawód ISCOMOP link ISCED 2011 UNESCO.pdf ISCO 2008.pdf

174 Metryczka Wykształcenie ISCED 2011 UNESCO.pdf ISCED 2011 Operating Manual.pdf

175 Metryczka Zawód ISCO 2008.pdf

176 Tworzenie kwestionariusza – procedura standardowa Jakościowe rozpoznanie mapy pojęciowej respondentów: Focus Group Interview Test laboratoryjny rozumienia pytań (n > 30) Pilotaż statystyczny kwestionariusza (n > 200-400) Dostosowanie metryczki do danych populacyjnych oraz klasyfikacji statystycznych Instrukcje techniczne (filtry, skoki warunkowe, randomizacja kolejności pozycji, losowanie pytań) sterowania przebiegiem wywiadu i kryteria wewnętrznej spójności odpowiedzi Test skryptu CAPI/CATI/WAPI nadzorującego przebieg wywiadu Wiemy o co nie pytać Wiemy jak nie pytać o to, o co pytamy Wiemy, których wskaźników nie potrzebujemy Metryczka pozwala na porównania z GUS Zmniejszamy wpływ ankietera na odpowiedzi Kwestionariusz można wysłać w teren Kwestionariusz wersja 1 Kwestionariusz wersja 2 Kwestionariusz wersja 3 Kwestionariusz wersja 4 Kwestionariusz wersja 5 Kwestionariusz wersja 6

177 Przykłady kwestionariuszy

178 Kwestionariusze w badaniach ankietowych GUS http://stat.gov.pl/informacja-o-badaniach-ankietowych/ http://form.stat.gov.pl/BadaniaAnkietowe/2016/harmonogram.htm

179 Kwestionariusze - przykłady BAEL, 2013 BAEL, 2014 Wielokrotne przedziały - przykład

180 Kwestionariusze - przykłady GUS 2015, DS-58I - 2015.pdf Czego wskaźnikiem jest odpowiedź na to pytanie?

181 Kwestionariusze - przykłady GUS 2015, DS-58I - 2015.pdf

182 Kwestionariusze - przykłady GUS 2015, DS-58I - 2015.pdf

183 Kwestionariusze - przykłady ESS 2014

184 Kwestionariusze - przykłady Diagnoza Społeczna 2013 Czy jest to pytanie o wiedzę czy preferencje respondenta? Jaki to typ pytania – jak je zakodować - ile zmiennych powstaje

185 Kwestionariusze - przykłady UW, MP 2002 Zestaw wskaźników orientacji życiowych wprowadzony po raz pierwszy w 1958 roku przez S.Nowaka w badaniu „Studenci Warszaway” powtórzonym w 1974 w badaniu „Ciągłość i zmiana..” oraz w 1978 „Studenci warszawy po 20 latach” oraz w wielu następnych badaniach socjologicznych. Blok tych wskaźników był przedmiotem publikacji m.in. M. Stycznia i HB, w związku z tym iwartość diagnostyczna poszczególnych pozycji bloku jest znana. 03. Poniżej wymieniono wiele celów i dążeń życiowych. Prosimy przeczytać tę listę i zaznaczyć te z nich, które są najbliższe Pana(i) głębokim, choćby niezrealizowanym i ukrywanym pragnieniom. Prosimy o wybór nie więcej niż 4, podkreślając cel dla Pana(i) najważniejszy dwukrotnie: a. Osiągnięcie przyzwoitej pozycji zawodowej, prowadzenie względnie spokojnego życia b. Zdobycie wysokiej pozycji materialnej i tych możliwości, które ona daje c. Wniesienie nowych wartości do dorobku kultury przez osiągnięcia intelektualne, naukowe czy artystyczne d. Osiągnięcie poczucia, że Pana(i) działalność, nawet na skromnym odcinku jest pożyteczna dla innych e. Życie barwne i pełne wrażeń, dające pełnię przeżyć, nawet kosztem ryzyka f. Realizacja dążeń ideowych i społecznych, zgodnych z Pana(i) przekonaniami h. Życie w gronie lubianych i lubiących Pana(ią) przyjaciół i. Osiągnięcie pozycji w dziedzinie politycznej i zdobycie wpływu na kształtowanie spraw społecznych i politycznych j. Odwzajemniona miłość i szczęśliwe życie rodzinne k. Zdobycie sukcesu i szerokiego uznania przez osiągnięcia zawodowe, naukowe i artystyczne L. Realizacja ważnych ideałów moralnych m. Uzyskanie ludzkiego szacunku przez postawę osobistą i działalność życiową n. Ciekawa praca dająca satysfakcję g. Zdobycie stanowiska kierowniczego w dziedzinie zawodowej i możność podejmowania decyzji na większą skalę

186 Kwestionariusze - przykłady Diagnoza Społeczna 2013 62. Chcielibyśmy, aby Pani oceniła teraz poszczególne dziedziny swego życia i powiedziała, w jakim stopniu jest Pani z każdej z nich zadowolona. W jakim stopniu zadowolona jest Pani: 62.1. ze swoich stosunków z najbliższymi w rodzinie 62.2. z sytuacji finansowej własnej rodziny 62.3. ze stosunków z koleżankami (grupą przyjaciół) 62.4. ze stanu swojego zdrowia 62.5. ze swoich osiągnięć życiowych 62.6. z sytuacji w kraju 62.7. z warunków mieszkaniowych 62.8. z miejscowości, w której Pani żyje 62.9. z perspektyw na przyszłość 62.10. z życia seksualnego 62.11. ze swojego wykształcenia 62.12. ze sposobu spędzania wolnego czasu 62.13. z pracy 62.14. z dzieci 62.15. z małżeństwa 62.16. ze stanu bezpieczeństwa w miejscu zamieszkania 1 - BARDZO ZADOWOLONA 2 - ZADOWOLONA 3 - DOSYĆ ZADOWOLONA 4 - DOSYĆ NIEZADOWOLONA 5 - NIEZADOWOLONA 6 - BARDZO NIEZADOWOLONA

187 Kwestionariusze - przykłady UW, MP 2002 a. Warunków mieszkaniowych b. Życia rodzinnego c. Poziomu wykształcenia d. Kierunku i typu wykształcenia (nauki) e. Ilości posiadanego wolnego czasu f. Kontaktów towarzyskich g. Stopnia zaspokojenia potrzeb kulturalnych h. Wykonywanego zawodu i. Zajmowanego stanowiska w pracy k. Stosunków koleżeńskich w miejscu pracy l. Warunków do nauki w domu m. Stosunków koleżeńskich w szkole (uczelni) n. Posiadanych dochodów (zarobków) o. Stanu posiadania materialnego p. Ze swojego zdrowia r. Z miejscowości, w której Pan(i) mieszka 02. Proszę ocenić różne dziedziny swojego życia i powiedzieć, jak bardzo jest Pan(i) zadowolony(a) lub niezadowolony(a) ze swoich 4321 zdecydowanie zadowolony raczej zadowolony raczej nie zado- wolony Zdecydowanie niezadowolony

188 Kwestionariusze - przykłady a. Warunków mieszkaniowych 62.7. z warunków mieszkaniowych b. Życia rodzinnego 62.1. ze swoich stosunków z najbliższymi w rodzinie c. Poziomu wykształcenia 62.11. ze swojego wykształcenia d. Kierunku i typu wykształcenia (nauki) e. Ilości posiadanego wolnego czasu 62.12. ze sposobu spędzania wolnego czasu f. Kontaktów towarzyskich 62.3. ze stosunków z koleżankami (grupą przyjaciół) g. Stopnia zaspokojenia potrzeb kulturalnych h. Wykonywanego zawodu i. Zajmowanego stanowiska w pracy k. Stosunków koleżeńskich w miejscu pracy l. Warunków do nauki w domu m. Stosunków koleżeńskich w szkole (uczelni) n. Posiadanych dochodów (zarobków) o. Stanu posiadania materialnego 62.2. z sytuacji finansowej własnej rodziny p. Ze swojego zdrowia 62.4. ze stanu swojego zdrowia r. Z miejscowości, w której Pan(i) mieszka 62.8. z miejscowości, w której Pani żyje UW, MP 2002Diagnoza Społeczna 2013 Warto wziąć pod uwagę porównywalność wskaźników

189 Kwestionariusz – podsawowe zasady Zanim zaczniesz projektować własny kwestionariusz – przeczytaj cudze i nie powtarzaj cudzych błędów Nie wymyślaj własnych pytań ”metryczkowych” i kategoryzacji – zastosuj te, które są sprawdzone i pozwalają na porównanie ich rozkładów z danymi populacyjnymi publikowanymi przez GUS. Poprawny kwestionaniusz wywiadu: 1.Nie zawiera błędów logicznych (na przykład nierozłączne zakresy odpowiedzi) 2.Jest poprawny językowo 3.Jest językowo prosty - nie zawiera abstrakcyjnych pojęć i terminów, których respondent nie zna lub nie rozumie 4.Nie zawiera pytań o na tematy dla respondenta drażliwe 5.Jest krótki 6.Jeśli nie może być krótki, pytania muszą podtrzymywać uwagę respondenta także w drugiej części wywiadu 7.Uwzględnia proces przetwarzania danych i raportowania wyników Pamiętaj, że odpowiedzi na pytania ankietowe to wskaźniki cech odpowiadającego

190 Fazy tworzenia dobrego kwestionariusza 1.Jakościowe rozpoznanie mapy pojęciowej respondentów: FGI 2.Test laboratoryjny rozumienia pytań (n > 30) 3.Pilotaz statystyczny kwestionariusza (n > 200-400) 4.Dostosowanie metryczki do danych populacyjnych oraz klasyfikacji statystycznych (ISCO, ESCED, PKD) 5.Wersja ostateczna z instrukcjami technicznymi (filtry, skoki warunkowe, randomizacja kolejności, losowanie pytań) 6.Test skryptu CAPI/CATI/WAPI 1.Jakościowe rozpoznanie mapy pojęciowej respondentów: FGI 2.Test laboratoryjny rozumienia pytań (n > 30) 3.Pilotaz statystyczny kwestionariusza (n > 200-400) 4.Dostosowanie metryczki do danych populacyjnych oraz klasyfikacji statystycznych (ISCO, ESCED, PKD) 5.Wersja ostateczna z instrukcjami technicznymi (filtry, skoki warunkowe, randomizacja kolejności, losowanie pytań) 6.Test skryptu CAPI/CATI/WAPI Przykłady : kwestionariusz e i skrypty Case 16 - MJR Case 21 - MP 2002-2013

191 Operat i próba

192 Operat – sampling frame 1.Wady operatu a dokładność oszacowań 2.PESEL, TERYT-NOBC, listy wyborców, REGON 3.Bazy danych i rejestry statystyki publicznej, administracji państwowej 4.Operaty do badań metodą CATI 5.Operaty wirtualne ad-hoc w badaniach typu exit-poll 1.Wady operatu a dokładność oszacowań 2.PESEL, TERYT-NOBC, listy wyborców, REGON 3.Bazy danych i rejestry statystyki publicznej, administracji państwowej 4.Operaty do badań metodą CATI 5.Operaty wirtualne ad-hoc w badaniach typu exit-poll

193 Próba - operat Operat (ang. sampling frame) to lista (ponumerowanych) obiektów populacji, na której można oznaczyć jednostki wylosowane Dobry operat: 1.Jest kompletny – zawiera listę wszystkich elementów populacji. Odsetek elementów populacji nieobecnych w operacie to błąd pokrycia (ang. coverage error) – im większy, tym gorsza jest dokładność populacyjnych oszacowań. 2.Jest bezbłędny i aktualny Dobry operat: 1.Jest kompletny – zawiera listę wszystkich elementów populacji. Odsetek elementów populacji nieobecnych w operacie to błąd pokrycia (ang. coverage error) – im większy, tym gorsza jest dokładność populacyjnych oszacowań. 2.Jest bezbłędny i aktualny Aby próbę wylosować, trzeba mieć z czego. Operatem jest to, z czego próbę się losuje. Operat występuje zazwyczaj w wersji elektronicznej lub papierowej Przykłady prostych operatów : a.Lista uczniów zapisana w dziennikiu klasowym b.Lista bezrobotnych zarejestrowanych w pojedynczym UP c.Lista uprawnjionych do głosowania w komisji wyborczej XYZ Jakość operatu (współ-)decyduje o jakości sondażu - dokładności oszacowań

194 Operaty dostępne w Polsce Dane statystyki publicznej jako operaty doboru próby Pełną listę wszystkich (?) baz danych i resjestrów prowadzonych przez administrację państwową publikuje GUS Rejestry prowadzone przez GUS: http://bip.stat.gov.pl/gfx/bip/userfiles/_public/bip/psp/rejestry_bazy_danych_gus_2015_072014.doc http://bip.stat.gov.pl/gfx/bip/userfiles/_public/bip/psp/rejestry_bazy_danych_gus_2015_072014.doc Katalog baz i rejestrów poza GUS http://bip.stat.gov.pl/gfx/bip/userfiles/_public/bip/psp/bip_systemy_informacyjne_administracji_publicznej_2013.doc http://bip.stat.gov.pl/gfx/bip/userfiles/_public/bip/psp/bip_systemy_informacyjne_administracji_publicznej_2013.doc Mimo ich publicznego charakteru dostęp do danych z rejestrów publicznych kosztuje: 1 rekord z rejestru PESEL to co 2-3 PLN (cały PESEL jest niedostępny) NOBC - dostęp do całej bazy to 3000 PLN RPWDLhttp://rpwdl.csioz.gov.pl/http://rpwdl.csioz.gov.pl/ SIOhttps://sio.men.gov.pl/https://sio.men.gov.pl/ PESELhttps://msw.gov.pl/pl/sprawy-obywatelskie/centralne-rejestry-pan/32,PESEL.htmlhttps://msw.gov.pl/pl/sprawy-obywatelskie/centralne-rejestry-pan/32,PESEL.html REGONhttps://wyszukiwarkaregon.stat.gov.pl/appBIR/index.aspxhttps://wyszukiwarkaregon.stat.gov.pl/appBIR/index.aspx

195 Operaty teoretycznie dostępne w Polsce Dane statystyki publicznej jako operaty doboru próby SkrótRozwinięcieZawartośćLiczba rekordów PESEL Państowy system ewidencji ludności Dane osobowe osoby zameldowanej (imię, nazwisko, rok urodzenia, płeć, adres zameldowania) Wszyscy - 38,5 mln NOBC Centralny rejestr lokali mieszkalnych systemu TERYT Adres lokalu: miejscowość, budynek, numer lokalu w budynku Wszyscy - 6 mln budynków 13 mln mieszkań REGON Centralny rejestr podmiotów gospodarczych Nazwa, adres, sektor gospodarki (PKD), forma własności, forma prawna, liczba zatrudnionych Około 3 mln, z tego ok. 2 mln to jednoosobowe działalności gospodarcze CEPiK Centralny rejestr pojazdów i kierowców Samochody i kierowcy SIO System Informacji Oświatowej MEN szkoły, nauczyciele, uczniowie, oceny Szkoły publiczne CRPCentralny rejestr płatnikówpłatnicy składek ZUS? CRU Centralny rejestr uprawnionych (do pobierania świadczeń) pobierający świadczenia ZUS? POLTAX Krajowa Ewidencja Podatników (PIT, CIT)? KRSKrajowy Rejestr SądowyPodnmioty gospodarcze RPWDL Rejestr Podmiotów Wykonujących Działalność Leczniczą Lekarze i i przychodnie na kontraktach z NFZ Adane adresowe, właściciela lub kierownika jednostki, adresy telefony i e-mail z systemu informatycznego MZ

196 http://bip.stat.gov.pl/dzialalnosc-statystyki-publicznej/rejestr-teryt/zasady-udostepniania- danych-z-rejestru-teryt/ http://bip.stat.gov.pl/dzialalnosc-statystyki-publicznej/rejestr-teryt/zasady-udostepniania- danych-z-rejestru-teryt/ Dane udostępniane na pisemne zamówienie: Zamówienia na dane z rejestru TERYT dotyczące systemów BREC i NOBC w zależności od zakresu, formy i zasięgu terytorialnego informacji należy składać na adres: Dane udostępniane na pisemne zamówienie: Zamówienia na dane z rejestru TERYT dotyczące systemów BREC i NOBC w zależności od zakresu, formy i zasięgu terytorialnego informacji należy składać na adres: Za realizację zamówienia na dane z systemów BREC i NOBC złożonego przez odbiorców innych niż wskazani w art. 44 ust. 2 ustawy z dnia 29 czerwca 1995 r. o statystyce publicznej oraz w art. 15 ust. 1 ustawy z dnia 17 lutego 2005 r. o informatyzacji działalności podmiotów realizujących zadania publiczne, pobierana jest opłata uwzględniająca koszty przygotowania i przekazania informacji w sposób określony w zamówieniu (art. 23c ustawy z dnia 6 września 2001 r. o dostępnie do informacji publicznej).ustawy z dnia 29 czerwca 1995 r. o statystyce publicznej Za realizację zamówienia na dane z systemów BREC i NOBC złożonego przez odbiorców innych niż wskazani w art. 44 ust. 2 ustawy z dnia 29 czerwca 1995 r. o statystyce publicznej oraz w art. 15 ust. 1 ustawy z dnia 17 lutego 2005 r. o informatyzacji działalności podmiotów realizujących zadania publiczne, pobierana jest opłata uwzględniająca koszty przygotowania i przekazania informacji w sposób określony w zamówieniu (art. 23c ustawy z dnia 6 września 2001 r. o dostępnie do informacji publicznej).ustawy z dnia 29 czerwca 1995 r. o statystyce publicznej art. 44 ust. 2 2. Urzędy statystyczne udostępniają nieodpłatnie: 2) organom administracji rządowej i jednostek samorządu terytorialnego, innym instytucjom rządowym, Najwyższej Izbie Kontroli, Narodowemu Bankowi Polskiemu, Generalnemu Inspektorowi Ochrony Danych Osobowych Operaty teoretycznie dostępne w Polsce

197 HOGA - Pełna baza adresowa wszystkich budynków i mieszkań w Polsce. Dane pochodzą z trzech niezależnych źródeł: 1.GUS-rejestr TERYT-NOBC 2.MSWiA-system PESEL 3.CODGiK - Centralny Ośrodek Dokumentacji Geodezyjnej i Kartograficznej Dane otrzymane z wyżej wymienionych systemów są łączone w jedną centralną bazę budynków z odsyłaczami do danych źródłowych Ilość rekordów Łącznie w bazie znajduje się: ponad 7 mln. numerów budynków; ponad 13 mln. numerów mieszkań; Możliwe zastosowania źródło danych do badań statystycznych i analiz rynku Sposób wyceny danych Cena za udostępnienie danych zależy od sposobu wykorzystania danych, ich zakresu oraz obszaru który ma być opisany. HOGA - Pełna baza adresowa wszystkich budynków i mieszkań w Polsce. Dane pochodzą z trzech niezależnych źródeł: 1.GUS-rejestr TERYT-NOBC 2.MSWiA-system PESEL 3.CODGiK - Centralny Ośrodek Dokumentacji Geodezyjnej i Kartograficznej Dane otrzymane z wyżej wymienionych systemów są łączone w jedną centralną bazę budynków z odsyłaczami do danych źródłowych Ilość rekordów Łącznie w bazie znajduje się: ponad 7 mln. numerów budynków; ponad 13 mln. numerów mieszkań; Możliwe zastosowania źródło danych do badań statystycznych i analiz rynku Sposób wyceny danych Cena za udostępnienie danych zależy od sposobu wykorzystania danych, ich zakresu oraz obszaru który ma być opisany. Operaty teoretycznie dostępne w Polsce http://bazy.hoga.pl/baza_budynkow.asp

198 Wady i zalety popularnych operatów dla prób ogólnopolskich PESEL osoby zameldowane Centralny system ewidencji meldunkowej Zawiera informację o zameldowaniu a nie o faktycznym zamieszkiwaniu Stopa błędnych danych adresowych nie przekracza 5% Pozwala dokładnie kontrolować ankieterów Pozwala dokładnie wyznaczać response rate Konieczne złożone schematy doboru próby celem uniknięcia nadmiernych kosztów realizacji (dojazdy ) NOBC spis mieszkań  Prawie 100%-owa aktualność (mieszkania nie migrują)  Konieczne losowanie osoby z wylosowanego mieszkania – ankieter decyduje o tym, kto zostaje respondentem  Utrudniona kontrola pracy ankieterów Lokalne spisy Wyborców  Starzeją się – migracje  Nieznana stopa błędów  Trudno dostępny (administracja)

199 Schemat doboru próby

200 1.Dokładność oszacowań, koszt realizacji 2.Optymalizacja schematu losowania próby 3.Samowyważający schemat doboru próby ogólnopolskiej 4.Próba gospodarstw domowych – schemat Kisha 5.Random route 6.Nielosowe sposoby wybierania obiektów do próby 1.Dokładność oszacowań, koszt realizacji 2.Optymalizacja schematu losowania próby 3.Samowyważający schemat doboru próby ogólnopolskiej 4.Próba gospodarstw domowych – schemat Kisha 5.Random route 6.Nielosowe sposoby wybierania obiektów do próby Schemat doboru

201 Kish, Frankel (1974) Wnioskowanie przy złożonych schematacch doboru próby Wnioskowanie przy złożonych schematacch doboru próby staje się tym trudniejsze im bardziej złożone są modele statystyczne, których populacyjne parametry należy oszacować

202 Przykłady schematów doboru próby SGS GATS MJR SGS GATS MJR

203 SGS

204 Ogólnopolska próba dzieci w wieku 6 lat, reprezentatywna ze względu na opisane niżej kryteria: 250 klas w przedszkolach i 250 klas w szkołach. Z każdej klasy losowanych będzie 8 dzieci, co da łącznie 4000 sześciolatków. Etap I – dobór placówek – przedszkoli i szkół prowadzących „zerówki”. Dobór losowy gdzie operatem losowania będzie spis wszystkich przedszkoli i szkół podstawowych prowadzących „zerówki”. Procedura losowania zapewni zachowanie następujących kryteriów doboru: przedszkole, szkoła województwo wielkość miejscowości zamieszkania - duże miasta – pow. 200 tys. mieszkańców - średnie miasta 100 tys. – 200 tys. mieszkańców - małe miasta – do 100 tys. mieszkańców - wsie Etap I – dobór placówek – przedszkoli i szkół prowadzących „zerówki”. Dobór losowy gdzie operatem losowania będzie spis wszystkich przedszkoli i szkół podstawowych prowadzących „zerówki”. Procedura losowania zapewni zachowanie następujących kryteriów doboru: przedszkole, szkoła województwo wielkość miejscowości zamieszkania - duże miasta – pow. 200 tys. mieszkańców - średnie miasta 100 tys. – 200 tys. mieszkańców - małe miasta – do 100 tys. mieszkańców - wsie Przykłady schematu doboru próby : SGS (z dokumentacji przetargowej) Etap II – dobór klas (grup dzieci) Jeżeli w wylosowanej placówce jest więcej niż 1 klas „0”, dokonywany będzie wybór losowy jednej z klas. Dobór konkretnej klasy/grupy będzie równoznaczny z doborem nauczyciela prowadzącego badanie gotowości szkolnej dzieci. Jeżeli z klasą pracuje dwóch nauczycieli dobrany powinien być nauczyciel o krótszym stażu pracy. Etap II – dobór klas (grup dzieci) Jeżeli w wylosowanej placówce jest więcej niż 1 klas „0”, dokonywany będzie wybór losowy jednej z klas. Dobór konkretnej klasy/grupy będzie równoznaczny z doborem nauczyciela prowadzącego badanie gotowości szkolnej dzieci. Jeżeli z klasą pracuje dwóch nauczycieli dobrany powinien być nauczyciel o krótszym stażu pracy.

205 Etap III– dobór psychologów biorących udział w badaniu Dokonany w etapie I i II dobór placówek i klas będzie determinował dalsze kroki w procedurze realizacji badania tj. dobór psychologów. Liczbę psychologów (a tym samym poradni) przewidujemy na 80 (+/- 10). Psychologowie przeprowadza na próbie 1000 dzieci badanie psychologiczne (w porozumieniu z nauczycielami, dyrektorami placówek i rodzicami dzieci). Etap III– dobór psychologów biorących udział w badaniu Dokonany w etapie I i II dobór placówek i klas będzie determinował dalsze kroki w procedurze realizacji badania tj. dobór psychologów. Liczbę psychologów (a tym samym poradni) przewidujemy na 80 (+/- 10). Psychologowie przeprowadza na próbie 1000 dzieci badanie psychologiczne (w porozumieniu z nauczycielami, dyrektorami placówek i rodzicami dzieci). Etap IV – dobór logopedów, którzy przeprowadza badanie logopedyczne Opis próby do badań pogłębionych; N=1000 dzieci Z każdej wylosowanej klasy wylosowanych będzie 8 dzieci, a spośród tej ósemki wylosowanych będzie 2 dzieci do udziału w badaniach pogłębionych. Pierwsze wylosowane dziecko z każdej dwójki dzieci będzie badane testem umiejętności czytania (500). Opis próby do badań pogłębionych; N=1000 dzieci Z każdej wylosowanej klasy wylosowanych będzie 8 dzieci, a spośród tej ósemki wylosowanych będzie 2 dzieci do udziału w badaniach pogłębionych. Pierwsze wylosowane dziecko z każdej dwójki dzieci będzie badane testem umiejętności czytania (500). Przykłady schematu doboru próby : SGS (z dokumentacji przetargowej) Czego powinniśmy szukać w dokumentacji przetargowej

206 GATS

207 Przykłady schematów doboru próby: GATS (z raportu) Globalny sondaż dotyczący używania tytoniu przez osoby dorosłe (GATS) Polska 2009-2010 http://www2.mz.gov.pl/wwwfiles/ma_struktura/docs/sondaz_tyt_15112010.pdf GATS2010 - Schemat doboru proby.pdf

208 Przykłady schematów doboru próby MJR

209 Przykłady schematów doboru próby: MJR Sondaż duży i złożony Populacje - próby Polska 4x n=2500 Biłgoraj n=1000 Gołdap n=1000 Słupskn=1000 Poznańn=1000 AdministracjaWA PolicjaWP EdukacjaWE ZdrowieWZ NGON Kwestionariusze „Obywatelski” MJR Władza lokalna „W” „N” Usługi publiczne: S1 S2 …. S12 Percepcja użytkowników usług publicznych Percepcja otoczenia

210 Przykłady schematów doboru próby: MJR Problem: minimalna liczebność próby użytkowników usług objętych badaniem Schemat doboru póby Schemat wywiadu

211 Dobór próby użytkowników usług publicznych Jaki % populacji stanowią klienci/użytkownicy danej usługi? Jak często klienci/użytkownicy danej usługi korzystają także z innych usług? Jak dobrać próbę aby minimalna liczba użytkowników wynosiła 200? Jak dobrać próbę aby porównywać jakość rządzenia w województwie? Duże badanie screeningowe na próbie PESEL N=8000 Złożony schemat doboru próby Przykłady schematów doboru próby: MJR Wyzwanie metodologiczne

212 Przykłady schematów doboru próby: MJR - screening 1 Korzystał z komunikacji miejskiej w miejscu zamieszkania Transport publiczny 2 Dojeżdżał systematycznie autobusem 3 Dojeżdżał systematycznie koleją 4 Załatwiał sprawę w swoim Urzędzie Gminy Administracja państwowa 5 Załatwiał sprawę w swojej spółdzielni mieszkaniowej 6 Załatwiał sprawę w sądzie lub prokuraturze 7 Załatwiał sprawę w ZUS 8 Załatwiał sprawę z KRUS 9 Załatwiał sprawę w Urzędzie Skarbowym 10 Załatwiał sprawę w Powiatowym lub Wojewódzkim Urzędzie Pracy 11 Załatwiał sprawę w Ośrodku Pomocy Społecznej (miejskim lub gminnym) 12 Załatwiał sprawę w swojej parafii 13 Załatwiał sprawę w Urzędzie Pocztowym w pobliżu miejsca zamieszkania 14 Miał kontakt z Policją 15 Był w Bibliotece Publicznej w pobliżu miejsca zamieszkania Kultura 16 Był w Domu Kultury w pobliżu miejsca zamieszkania 17 Był na festynie zorganizowanym w pobliżu miejsca zamieszkania 18 był u lekarza pierwszego kontaktu Ochrona zdrowia 19 był u lekarza specjalisty 20 był u dentysty 21 robił badania lekarskie 22 był co najmniej 3 dni w szpitalu 23 przyjechało pogotowie 24 był z dzieckiem u lekarza 25 dziecko chodziło do żłobka Opieka nad małym dzieckiem 26 dziecko chodziło do przedszkola 27 dziecko chodziło do szkoły podstawoej Edukacja powszechna (podst. gimn.) 28 dziecko chodizło do gimnazjum 29 zasadnicza szkoła zawodowa Edukacja ponad-gimnazjalna 30 liceum profilowane 31 liceum ogólnokształcące 32 technikum 33 dziecko bawiło się na placu zabaw Dziecko poza szkołą 34 dziecko korzystało ze świetlicy szkolnej 35 dziecko chodziło na zajęcia pozalekcyjne w szkole 36 dziecko chodziło na zajęcia pozalekcyjne w domu kultury

213 Przykłady schematów doboru próby: MJR Imienna, adresowa próba PESEL Losowane pojedyncze osoby Autorska metoda dr. Marka Stycznia Sensowność pojęcia Response Rate Znane personalia respondenta  możliwa kontrola realizacji badania

214 Przykłady schematów doboru próby: MJR - allokacja Próba docelowa (netto) N = 9000 IIIIIIIV DOLNOŚLĄSKIE 141 KUJAWSKO-POMORSKIE 141 LUBELSKIE 141 LUBUSKIE 141 ŁÓDZKIE 141 MAŁOPOLSKIE 141 MAZOWIECKIE 141 OPOLSKIE 141 PODKARPACKIE 141 PODLASKIE 141 POMORSKIE 141 ŚLĄSKIE 141 ŚWIĘTOKRZYSKIE 141 WARMIŃSKO-MAZURSKIE 141 WIELKOPOLSKIE 141 ZACHODNIO-POMORSKIE 141 Alokacja wiązek gminnych IIIIIIIV DOLNOŚLĄSKIE 16 1716 KUJAWSKO-POMORSKIE 16 1716 LUBELSKIE 16 1716 LUBUSKIE 16 1716 ŁÓDZKIE 16 1716 MAŁOPOLSKIE 16 1716 MAZOWIECKIE 16 1716 OPOLSKIE 16 1716 PODKARPACKIE 16 1716 PODLASKIE 16 1716 POMORSKIE 16 1716 ŚLĄSKIE 16 1716 ŚWIĘTOKRZYSKIE 16 1716 WARMIŃSKO-MAZURSKIE 16 1716 WIELKOPOLSKIE 16 1716 ZACHODNIO-POMORSKIE 16 1716 warstwa wiesm. pon 20m. 20 - 99m. 100 + Zakładany respose rate62%51%43%35% zakładany rozmiar wiązki 78910 liczba wiązek w 1 gminie 3445 liczba losowanych gmin 256 272256 Opis warstw: I – gmina wiejska II – miasto < 20 tys. III – miasto < 100 tys. IV – miasto > 100 tys.

215 Biłgoraj n = 1000 Gołdapn = 1000 Słupskn = 1000 Poznańn = 1000 wieśn = 2250 miasta do 20 tys. n = 2250 miasta 20-100 tys. n = 2250 miasta pow. 100 tys. n = 2250 Ogólnopolskie tło sondażowe N=9 000 Sondaże monograficzne N= 4000 Przykłady schematów doboru próby: MJR - allokacja

216 Próba adresowa gospodarstw domowych i schemat Kish Jednostką losowania jest mieszkanie losowane z operatu GUS W wylosowanym mieszkaniu ankieter przeprowadza mikrospis członków gospodarstwa domowego Po przeprowadzeniu mikrospisu ankieter wybiera (przy użyciu tabel z liczbami losowymi) losowo członka gospodarstwa, który staje się respondentem Wady: Trudność kontroli jakości mikrospisu trudność kontroli przyczyn niezrealizowania wywiadu Konieczność wyznaczania wag analitycznych post-factum Próba adresowa gospodarstw domowych i schemat Kish Jednostką losowania jest mieszkanie losowane z operatu GUS W wylosowanym mieszkaniu ankieter przeprowadza mikrospis członków gospodarstwa domowego Po przeprowadzeniu mikrospisu ankieter wybiera (przy użyciu tabel z liczbami losowymi) losowo członka gospodarstwa, który staje się respondentem Wady: Trudność kontroli jakości mikrospisu trudność kontroli przyczyn niezrealizowania wywiadu Konieczność wyznaczania wag analitycznych post-factum Popularne złożone schematy doboru prób: KISH Osoba12345678910 P.łećMM.KKK Data ur4668487073 Przykład mikrospisu Respondentem powinna być : kobieta ur w 70r Jeśli w mieszkaniu jest osób 12345678910 to respondentem jest osoba z numerem 1222443121

217 Schematy doboru z wykorzystaniem random-route: EUROBAROMETER The basic sample design applied in all states is a multi-stage, random (probability) one. In each country, a number of sampling points was drawn with probability proportional to population size (for a total coverage of the country) and to population density. In order to do so, the sampling points were drawn systematically from each of the "administrative regional units", after stratification by individual unit and type of area. In each of the selected sampling points, a starting address was drawn, at random. Further addresses (every Nth address) were selected by standard "random route" procedures, from the initial address. In each household, the respondent was drawn, at random (following the " closest birthday rule "). For each country a comparison between the sample and the universe was carried out. The Universe description was derived from Eurostat population data or from national statistics offices. For all countries surveyed, a national weighting procedure, using marginal and intercellular weighting, was carried out based on this Universe description. In all countries, gender, age, region and size of locality were introduced in the iteration procedure. For international weighting (i.e. EU averages), TNS Opinion & Social applies the official population figures as provided by EUROSTAT or national statistic offices. The total population figures for input in this post-weighting procedure are listed below The basic sample design applied in all states is a multi-stage, random (probability) one. In each country, a number of sampling points was drawn with probability proportional to population size (for a total coverage of the country) and to population density. In order to do so, the sampling points were drawn systematically from each of the "administrative regional units", after stratification by individual unit and type of area. In each of the selected sampling points, a starting address was drawn, at random. Further addresses (every Nth address) were selected by standard "random route" procedures, from the initial address. In each household, the respondent was drawn, at random (following the " closest birthday rule "). For each country a comparison between the sample and the universe was carried out. The Universe description was derived from Eurostat population data or from national statistics offices. For all countries surveyed, a national weighting procedure, using marginal and intercellular weighting, was carried out based on this Universe description. In all countries, gender, age, region and size of locality were introduced in the iteration procedure. For international weighting (i.e. EU averages), TNS Opinion & Social applies the official population figures as provided by EUROSTAT or national statistic offices. The total population figures for input in this post-weighting procedure are listed below http://ec.europa.eu/public_opinion/archives/eb/eb83/eb83_first_en.pdf

218 Readers are reminded that survey results are estimations, the accuracy of which, everything being equal, rests upon the sample size and upon the observed percentage. With samples of about 1,000 interviews, the real percentages vary within the following confidence limits: Schematy doboru z wykorzystaniem random-route: EUROBAROMETER http://ec.europa.eu/public_opinion/archives/eb/eb83/eb83_first_en.pdf Czy opisanych schemat doboru i ważenia jest poprawny ? W porównaniu z GATS?

219 Dobór nielosowy Cechy doboru celowego: o składzie badanej próby decydują badacz (określa kryteria doboru) i ankieter - wybiera spośród obiektów spełniających kryteria, do określenia kryteriów doboru dla każdego respondenta potrzebna jest wiedza o łącznych rozkładach cech w interesującej badacza zbiorowości - należy ją zdobyć zwykle za pomocą badań na próbach losowych. Cechy doboru celowego: o składzie badanej próby decydują badacz (określa kryteria doboru) i ankieter - wybiera spośród obiektów spełniających kryteria, do określenia kryteriów doboru dla każdego respondenta potrzebna jest wiedza o łącznych rozkładach cech w interesującej badacza zbiorowości - należy ją zdobyć zwykle za pomocą badań na próbach losowych. Dobór losowo-kwotowy: losowa alokacja terytorialna (miasto-wieś, regiony, województwa, gminy wiejskie, miejskie) a następnie celowy dobór respondentów Pożądane własności nielosowych metod doboru: zgodność łącznego rozkładu zmiennych selekcyjnych w grupy zbadanej z analogicznym rozkładem populacyjnym Pożądane własności nielosowych metod doboru: zgodność łącznego rozkładu zmiennych selekcyjnych w grupy zbadanej z analogicznym rozkładem populacyjnym Dobrze skonstruowana próba kwotowa może dać oszacowania wystarczająco dokładne

220 Losowo-kwotowy dobór prób w badaniach typu OMNIBUS Populację dzieli się na warstwy terytorialne i klasy wielkości miejscowości Dla każdej z warstw losuje się taką liczbę gmin jaka wynika z założonego sposobu podziału próby między warstwy, W każdej z wylosowanych gmin ankieter rekrutuje respondentów zgodnie z listą ich profili definiowaną przez kryteria doboru (płeć, wiek, wykształcenie i ewentualne kryteria dodatkowe) Nielosowość doboru ogranicza się tu do wąskiej warstwy osób spełniających wszystkie kryteria rekrutacji Losowo-kwotowy dobór prób w badaniach typu OMNIBUS Populację dzieli się na warstwy terytorialne i klasy wielkości miejscowości Dla każdej z warstw losuje się taką liczbę gmin jaka wynika z założonego sposobu podziału próby między warstwy, W każdej z wylosowanych gmin ankieter rekrutuje respondentów zgodnie z listą ich profili definiowaną przez kryteria doboru (płeć, wiek, wykształcenie i ewentualne kryteria dodatkowe) Nielosowość doboru ogranicza się tu do wąskiej warstwy osób spełniających wszystkie kryteria rekrutacji Próba losowo-kwotowa: konstrukcja

221 LiczebnościPŁEĆ WYKSZTKobietaMężczyznaGrand Total podstawowe213 średnie4610 wyższe123 Grand Total7916 LiczebnościPŁEĆ WIEKKobietaMężczyznaGrand Total 15-19 lat101 20-29 lat134 30-39 lat213 40-49 lat235 50-59 lat112 60-64 lat011 Grand Total7916 LiczebnościWYKSZT WIEKpodstawoweśredniewyższe Grand Total 15-19 lat1001 20-29 lat1214 30-39 lat0303 40-49 lat0415 50-59 lat1012 60-64 lat0101 Grand Total310316 GMINAPŁEĆWYKSZTWIEK Warszawa-BemowoKobietaśrednie40-49 lat Warszawa-BemowoMężczyznaśrednie20-29 lat Warszawa-BemowoKobietawyższe20-29 lat Warszawa-BemowoMężczyznawyższe40-49 lat BolesławiecKobietapodstawowe15-19 lat BolesławiecMężczyznaśrednie30-39 lat BolesławiecMężczyznaśrednie60-64 lat BolesławiecKobietaśrednie30-39 lat BydgoszczMężczyznaśrednie20-29 lat BydgoszczKobietaśrednie40-49 lat BydgoszczMężczyznaśrednie40-49 lat BydgoszczMężczyznawyższe50-59 lat Bystrzyca KłodzkaKobietaśrednie30-39 lat Bystrzyca KłodzkaMężczyznaśrednie40-49 lat Bystrzyca KłodzkaKobietapodstawowe50-59 lat Bystrzyca KłodzkaMężczyznapodstawowe20-29 lat Próba losowo-kwotowa: konstrukcja

222  Rozkłady zmiennych zależnych zależą silnie od tych cech, które mogą być kryteriami doboru respondentów (płeć, wiek, wykształcenie); Kiedy warto stosować próby kwotowe  Rozkłady łączne cech doboru respondentów w populacji są dostępne i wiarygodne Można, gdy: Warto, gdy:  Target group stanowi niewielką część populacji generalnej lecz jej członkowie daja się łatwo (najlepiej bez pytania) zidentyfikować, a przynależność do target group może być dodatkowym kryterium selekcji Trzeba, gdy:

223 Przykład: próba losowo-kwotowa TNS POLSKA dla TVP oraz Omnibus Dwustopniowy schemat losowania próby: losowanie mieszkań, kwota na respondentach. Jednostki losowania pierwszego stopnia JPS to: o rejony statystyczne w miastach o obwody spisowe na wsi. Warstwowanie jednostek pierwszego stopnia wg:  województw oraz  pięciu klas miejscowości Proporcjonalna alokacja próby pomiędzy warstwy. Punkty startowe są losowane proporcjonalnie do liczebności warstw powstałych po skrzyżowaniu województw i pięciu klas wielkość miejscowości. Próba jest powiązkowana po 5 respondentów na punkt startowy (200 x 5 = 1000). Mieszkania losowano przy zastosowaniu procedury losowania prostego bez powtórzeń. Respondenci dobierani są do badania zgodnie z kwotą, ze względu na cechy: płeć i wiek. Proporcje do kwot zostały zdefiniowany w oparciu o rozkład populacji w wieku 15 lat i więcej.

224 Dokumentacja doboru próby

225 Dokumentacja doboru próby - wymagania 1.Opis operatu 2.Rozkłady populacyjne zmiennych definiujących warstwy 3.Allokacja próby między warstwy 4.Rozmiar wiązek losowanych z zespołów 5.Procedura losowania w każdym kroku 6.Wagi analityczne wynikające z zastosowanego schematu losowania 7.Dokładność oszacowań (obciążenie i wariancja estymatora) 1.Opis operatu 2.Rozkłady populacyjne zmiennych definiujących warstwy 3.Allokacja próby między warstwy 4.Rozmiar wiązek losowanych z zespołów 5.Procedura losowania w każdym kroku 6.Wagi analityczne wynikające z zastosowanego schematu losowania 7.Dokładność oszacowań (obciążenie i wariancja estymatora) Musi zawierać informacje pozwalające wyliczyć na ich podstawie dokładność oszacowania prostych parametrów populacyjnych - frakcji i średniej W minimalnym wariancie – wystarczy DEFF W wariancie rozwiniętym:

226 Dokumentacja doboru próby - Przykłady MP2013_Opis proby.pdf Dwustopniowy dobór z PESEL

227 Dokumentacja doboru próby - Przykłady Dokumentacja IBM COMPLEX SAMPLES - CSPlan Strata waga clust123 Clust N Strata N nStratanResp p1p1 p2p2 pipi pi*ClustN 1/  i Alokacja 120021012 0,2010,2 0,40 5 PR 280081012 0,800,250,2 1,60 5 strataproporcrównomi 305052022 0,500,40,2 1,00 5 1 12 40100 2022 1,000,2 2,00 5 2 22 505052022 0,500,40,2 1,00 5 3 32 600553032 0,500,40,2 1,00 5 razem 66 700553032 0,500,40,2 1,00 5 80010 3032 1,000,2 2,00 5 90010 3032 1,000,2 2,00 5 Strata N 10203060 12,00 SCHEMAT DOBORU 1 kroknStrata wiazek z warstwyPPS WORp1p1 2 krok2 obiekty z wiązkiSRSp2p2 p-two inkluzjip 1 *p 2 Two-Step 3 Strata 9 Cluster 2 Resp.xlsx

228 Dokumentacja doboru próby - Przykłady Dokumentacja IBM COMPLEX SAMPLES - CSPlan Design VariablesStratification1warstwa Cluster1g Sample InformationSelection MethodPPS sampling without replacementSimple random sampling without replacement Measure of SizeObtained from variable gN Number of Units Sampled Obtained from variable nWarstwa2 Variables Created or Modified Stagewise Inclusion (Selection) Probability InclusionProbability_1_InclusionProbability_2_ Stagewise Cumulative Sample Weight SampleWeightCumulative_1_SampleWeightCumulative_2_ Stagewise Population SizePopulationSize_1_PopulationSize_2_ Stagewise Sample SizeSampleSize_1_SampleSize_2_ Stagewise Sampling RateSamplingRate_1_SamplingRate_2_ Stagewise Sample WeightSampleWeight_1_SampleWeight_2_ Analysis InformationEstimator Assumption Unequal probability sampling without replacement (using joint inclusion probabilities) Equal probability sampling without replacement Inclusion Probability Obtained from variable InclusionProbability_1_Obtained from variable InclusionProbability_2_ Plan File: F:\ISUW\Rok15_16\StatRozw\Przyklady\TwoStepCluster - ver 3.csplan Weight Variable: SampleWeight_Final_ Summary for Stage 1: Stage 1 - g from warstwa Number of Units SampledProportion of Units Sampled RequestedActualRequestedActual warstwa =11150,0% 22266,7% 33375,0% Plan File: F:\ISUW\Rok15_16\StatRozw\Przyklady\TwoStepCluster - ver 3.csplan Summary for Stage 2: Stage 2 - resp from g Number of Units SampledProportion of Units Sampled RequestedActual Reque stedActual warstwa = 1g =22225,0% warstwa = 2g =42220,0% 52240,0% warstwa = 3g =62240,0% 82220,0% 922 Plan File: F:\ISUW\Rok15_16\StatRozw\Przyklady\TwoStepCluster - ver 3.csplan

229 Realizacja

230 1.Ankieter - słabe ogniwo w łańcuchu komunikacyjnym 2.Jakość ankietera - response rate, stopa braków danych, wywiady fikcyjne 3.Wykorzystanie możliwości systemów CAPI/CATI j w celu zmniejszenia efektu ankietera: randomizacja, sterowanie spójnością Statystyczna kontrola jakości ankieterów w trakcie badania - detekcja anomalii 1.Protokoły kontroli Zewnętrzna kontrola terenowa wywiadów zrealizowanych Informatyczne wspomaganie zarządzaniem procesem realizacji i kontroli badania Dokumentacja realizacji 1.Porównanie struktury próby wylosowanej ze zrealizowaną 2.Porównanie rozkładów zmiennych metryczkowych w próbie zrealizowanej z rozkładami populacyjnymi tych zmiennych 3.Poziom response-rate w warstwach używanych w schemacie losowania próby 4.Rozkład przyczyn nieuzyskania wywiadu od osób wylosowanych 5.Zestawienie efektywności i jakości ankieterów w warstwach terytorialnych Realizacja terenowa

231 skrypt CAPI/CATI kwestionariusz ANKIETER respondent komputer Co przeczytał pytania Co pokazał na ekranie Jak to zrozumiał? pytanie odpowiedź zaznaczył zapisał Instrukcja Najsłabszym ogniwem komunikacyjnego łańcucha jest ankieter

232 Realizacja Ankieter - słabe ogniwo w łańcuchu komunikacyjnym Próba zbadana Non- response (400) No answer (30%) False responses (5%) Field-work 1600 Antidotum – Kontrola terenowa

233 Kontrola jakości pracy ankietera Systematyczna: – wywiady zrealizowane – non-response (adresy osób wylosowanych) Zobiektywizowana: – Metodą F2F: kontroler dociera do respondenta lub osoby wylosowanej do badania, od której wywiadu nie uzyskano – Przeprowadzana przez firmę zewnętrzną Systematyczna: – wywiady zrealizowane – non-response (adresy osób wylosowanych) Zobiektywizowana: – Metodą F2F: kontroler dociera do respondenta lub osoby wylosowanej do badania, od której wywiadu nie uzyskano – Przeprowadzana przez firmę zewnętrzną

234 Konsekwencje dobrej kontroli Eliminacja wywiadów zrealizowanych budzących wątpliwości ankieterów, koordynatorów mało sprawnych, nierzetelnych systematyczna poprawa jakości danych Koszt kontroli

235 Statystyczna kontrola jakości ankieterów w trakcie badania - detekcja anomalii Analiza danych spływających na serwer zamawiającego badanie od początku badania Anomalie Wywiad za krótki Za dużo wywiadów w jeden dzień Wywiad za długi Za krótki odstęp czasu między wywiadami Kontrola terenowa F2F Rutynowa kontrola przesiewowa – 10% próby

236 Kontrola terenowa Natychmiast – max 2-3 dni po kwalifikacji Internetowa platforma komunikacyjna – przekazywanie adresów i rekordów przez serwer Szybkie wyniki kontroli Przykład MJR - Instrukcja Kontrolera.pdf MJR - Kwestionariusz Kontroli.pdf MJR - Protokol Wywiadu Kontrolnego.pdf Detekcja odbywa się co dzień, a identyfikatory zakwalifikowanych do kontroli przekazywane są na sewer Wynik kontroli ląduje na serwerze tego samego dnia Anomalie Kontrola rutynowa

237 Dokumentacja realizacji

238 1.Porównanie struktury próby wylosowanej ze zrealizowaną 2.Porównanie rozkładów zmiennych metryczkowych w próbie zrealizowanej z rozkładami populacyjnymi tych zmiennych 3.Poziom response-rate w warstwach używanych w schemacie losowania próby 4.Rozkład przyczyn nieuzyskania wywiadu od osób wylosowanych 5.Zestawienie efektywności i jakości ankieterów w warstwach terytorialnych 1.Porównanie struktury próby wylosowanej ze zrealizowaną 2.Porównanie rozkładów zmiennych metryczkowych w próbie zrealizowanej z rozkładami populacyjnymi tych zmiennych 3.Poziom response-rate w warstwach używanych w schemacie losowania próby 4.Rozkład przyczyn nieuzyskania wywiadu od osób wylosowanych 5.Zestawienie efektywności i jakości ankieterów w warstwach terytorialnych Dokumentacja realizacji

239 Przyczyny niezrealizowania wywiadu: Liczba adresów Odsetek wywiadów niezrealizow anych Odsetek próby wylosowanej 1 Niewłaściwy adres (puste mieszkanie, budynek niemieszkalny, zła numeracja, pusty plac itp.) 11315,9%6,6% 2 Pod wskazanym adresem nikogo nie zastano przez cały okres realizacji badania 13418,9%7,8% 3Odmówiono wpuszczenia ankietera do mieszkania23332,8%13,5% 4 Odmówiono udzielenia informacji na temat osób stale zamieszkałych pod wskazanym adresem 253,5%1,5% 5 Pod tym adresem nie mieszka osoba odpowiadająca kryteriom (np. osoba niepełnoletnia, nie zamieszkująca stale) 30,4%0,2% 6Wylosowany respondent był chwilowo nieobecny40,6%0,2% 7 Wylosowany respondent był nieobecny przez cały okres realizacji badania 486,8%2,8% 8 Wylosowany respondent był nieobecny w uzgodnionym wcześniej terminie 101,4%0,6% 9Wylosowany respondent był niesprawny (ciężko chory, głuchy)202,8%1,2% 10Wylosowany respondent odmówił z powodu braku czasu152,1%0,9% 11 Wylosowany respondent odmówił z powodu z powodu niechęci do wypowiadania się na dany temat 152,1%0,9% 12 Wylosowany respondent odmówił ponieważ nie widzi sensu, potrzeby ankietowania 263,7%1,5% 13 Wylosowany respondent odmówił z obawy przed konsekwencją swoich wypowiedzi 20,3%0,1% 14 Wylosowany respondent odmówił z powodu okresowej niedyspozycji (np. nietrzeźwości) 10,1% 15Wylosowany respondent z innych powodów91,3%0,5% 16Wylosowany respondent odmówił bez podania przyczyn253,5%1,5% 18Inne przyczyny niezrealizowania wywiadu273,8%1,6% Próba niezrealizowana:710100,0%41,2% Próba wylosowana:1722 Wskaźnik realizacji:58,8% SPRAWOZDANIE Z REALIZACJI BADANIA „CHORZY NA AIDS W PRACY” Badanie zostało zrealizowane w dniach 25-30 stycznia 2002 roku na losowo- adresowej próbie reprezentatywnej dla ogółu dorosłych (w wieku 18 i więcej ukończonych lat) Polaków. Liczebność próby wylosowanej wyniosła 1722 adresów. Zrealizowano 1012 wywiadów (wskaźnik poziomu realizacji badania wynosi 58,8%). CBOS - 2002_02

240 Przykład GATS strony 25-30 Dokumentacja realizacji Przykład UKE 2012 strony 7-8 Przykład UKE 2015 strona 8-9 !!!!!!

241 Wstępne przetwarzanie danych surowych

242 Kontrola kodów i zakresów Powinny sie odbywać od początku badania i w czasie prawie rzeczywistym, do czego niezbędna jest niezbyt skomplikowana infrastruktura informatyczna Kontrola logiczna spójności odpowiedzi Wyznaczenie rozkładów brzegowych wszystkich elementarnych odpowiedzi respondentów (CODEBOOK)

243 Wstępne przetwarzanie danych surowych Kontrola kodów i zakresów Kontrola logiczna spójności odpowiedzi Wyznaczenie rozkładów brzegowych wszystkich elementarnych odpowiedzi respondentów (CODEBOOK) Infrastruktura informatyczna badania GATS 2010 Polska

244 Wstępne przetwarzanie danych surowych CodebookMP2013_CodeBook.pdf

245 Wyznaczenie ostatecznych przedziałów ufności dla średnich i frakcji z uwzględnieniem: 1.wad operatu 2.złożoności schematu doboru próby 3.poziomu response rate w warstwach 4.stopy braków odpowiedzi na pojedyncze pytania 5.stopy wywiadów fikcyjnych Wstępne przetwarzanie danych surowych Statystyczna neutralizacja usterek realizacji Imputacja braków odpowiedzi i jej dokumentacja Kalibracja wag analitycznych przy użyciu rozkładów populacyjnych z uwzględnieniem poziomu non-response w warstwach SPSS Complex SamplesR: bootstrap, boot, regenesis, survey Inne aplikacje

246 Wstępne przetwarzanie danych surowych Statystyczna neutralizacja usterek realizacji GATS2010 - Preprocessing statystyczny DEFF precyzja.pdf

247 Analizy statystyczne

248 Wyznaczanie zmiennych syntetycznych z elementarnych odpowiedzi Tworzenie skal i dokumentacja ich właściwości Standardowa analiza danych sondażowych (Standardowe testy istotności) 1.1 zmienna 2.zależności dwuzmiennowe, 3.Zależności wielozmiennowe Wyznaczanie zmiennych syntetycznych z elementarnych odpowiedzi Tworzenie skal i dokumentacja ich właściwości Standardowa analiza danych sondażowych (Standardowe testy istotności) 1.1 zmienna 2.zależności dwuzmiennowe, 3.Zależności wielozmiennowe Analizy statystyczne

249 Dokumentacja badania

250 Standardy dokumentacji badania sondażowego Raport socjologiczny Populacja, próba, kwestionariusz, realizacja, dokladność ADS, ESS, ISSPADS Formularz deponowania danych.pdf

251 Publikowanie wyników sondażu

252 Dokumentacja wewnątrzna ADS standard Raport publiczny – książka, artykuł Raport publiczny – wywiad TV/radio Raport publiczny – wywiad prasa drukowana Raport publiczny – wersja elektroniczna - prezentacja, strona WWW Publikowanie wyników sondażu

253 Sondaż praktycznie

254 Typowe praktyczne problemy do rozwiązania w sondażu Optymalny dobór próby – koszty dojazdu Próba Dostępność operatu: indywidualna – mieszkaniowa - kwota Fieldwork Jak kontrolować ankieterów wykonawcy Kwestionariusz Pilotaż laboratoryjny – statystyczny – kiedy skończyć testy Braki danych Non-response – jak zminimalizować Missing value - jak zminimalizować Trudno powiedzieć - jak zminimalizować

255 Badanie sondażowe według podręcznika: co, z kim, za co Zamawiający - zadanie – zespół  Wymagania zamawiającego (sponsora): co musimy dostarczyć, z czego będziemy rozliczani  Jakie jest nasze zadanie: przetłumaczyć zamówienie sponsora na problem badawczy  Zespół: (doświadczenie + młodość + statystyk + admin) *zasoby czasu * motywacje indywidualne  Wymagania zamawiającego (sponsora): co musimy dostarczyć, z czego będziemy rozliczani  Jakie jest nasze zadanie: przetłumaczyć zamówienie sponsora na problem badawczy  Zespół: (doświadczenie + młodość + statystyk + admin) *zasoby czasu * motywacje indywidualne Budżet E1 – Kwerendy-projektowanie E2 – Pilotaże – dobór prób E3 – Przetarg-Kontrakt - SIWZ E4 – Realizacja w terenie E5 – Analiza danych E6 – Dokumentacja badania E7 - Raport E1 – Kwerendy-projektowanie E2 – Pilotaże – dobór prób E3 – Przetarg-Kontrakt - SIWZ E4 – Realizacja w terenie E5 – Analiza danych E6 – Dokumentacja badania E7 - Raport

256 Badanie sondażowe według podręcznika: Etap 0 - Przygotowania organizacyjne  - książka adresowa  - kalendarz  - tablica ogłoszeń (lista mailingowa)  - repozytorium publikacji, danych, sprawozdań wewnętrznych, raportów,  - książka adresowa  - kalendarz  - tablica ogłoszeń (lista mailingowa)  - repozytorium publikacji, danych, sprawozdań wewnętrznych, raportów, Budowa zespołu  podział zadań i funkcji  uzgodnienie zasad wynagradzania  podział zadań i funkcji  uzgodnienie zasad wynagradzania Infrastruktura informatycznej procedury komunikacyjne  - kto komu co i kiedy wysyła, zostawia, zapisuje

257 Badanie sondażowe według podręcznika: Etap 1 - Kwerendy - projekty Kwerenda teoretyczna: co na temat napisali inni Kwerenda faktograficzna: Kwerenda metodologiczna: jak badali to inni Wstępne ustalenia projektowe akceptacja i kontynuacja paradygmatu własny schemat teoretyczny zjawiska akceptacja i kontynuacja paradygmatu własny schemat teoretyczny zjawiska rozkłady podstawowych cech populacji identyfikacja zjawisk rzadkich lub powszechnych (pralka, NGO) rozkłady podstawowych cech populacji identyfikacja zjawisk rzadkich lub powszechnych (pralka, NGO) kontynuacja metodologii stosowanej dotychczas Własna metodologia:  Korzystamy z narzędzi z innych dyscyplin (marketing, psychologia eksperymentalna)  Własne rozwiązania (będą wymagały testów !!!) kontynuacja metodologii stosowanej dotychczas Własna metodologia:  Korzystamy z narzędzi z innych dyscyplin (marketing, psychologia eksperymentalna)  Własne rozwiązania (będą wymagały testów !!!) szkielet kwestionariusza – plan skalowań –modelowania–agregacji dostępność operatu schemat doboru próby technologia realizacji (PAPI, CATI, CAPI, CAWI, MOBI, skaner kodów, double screen, touch-screen, żetony, karty, makiety, rejestracja pasywna, telemetria, GPS ) szkielet kwestionariusza – plan skalowań –modelowania–agregacji dostępność operatu schemat doboru próby technologia realizacji (PAPI, CATI, CAPI, CAWI, MOBI, skaner kodów, double screen, touch-screen, żetony, karty, makiety, rejestracja pasywna, telemetria, GPS )

258 Badanie sondażowe według podręcznika: Etap 2 – Pilotaże – pilotaż jakościowy Pilotaż jakościowy Cel: zrozumiałość pytań (trafność „społeczna”) Pierwsza wersja kwestionariusz + instrukcje realizacyjne, filtry, skoki + metryczka Tekst kwestionariusza (MS Word) – wewnętrzne recenzje w zespole (interakcyjnie – rzutnik, zespół, pisarz) Wybór wykonawcy testu jakościowego Zlecenie na test: Translacja tekstu kwestionariusza oraz instrukcji na skrypt CAPI (wskaźniki czasu!!) Akcesoria (żetony, karty, przybory) Rekrutacja respondentów testowych (niski status !) Realizacja wywiadów za szybą (5-10-15-30) Nagrywanie dźwięku i obrazu Przebieg testu: 5 wywiadów - korekta – 5 wywiadów – korekta etc. Efekt: kwestionariusz zrozumiały i trafny Cel: zrozumiałość pytań (trafność „społeczna”) Pierwsza wersja kwestionariusz + instrukcje realizacyjne, filtry, skoki + metryczka Tekst kwestionariusza (MS Word) – wewnętrzne recenzje w zespole (interakcyjnie – rzutnik, zespół, pisarz) Wybór wykonawcy testu jakościowego Zlecenie na test: Translacja tekstu kwestionariusza oraz instrukcji na skrypt CAPI (wskaźniki czasu!!) Akcesoria (żetony, karty, przybory) Rekrutacja respondentów testowych (niski status !) Realizacja wywiadów za szybą (5-10-15-30) Nagrywanie dźwięku i obrazu Przebieg testu: 5 wywiadów - korekta – 5 wywiadów – korekta etc. Efekt: kwestionariusz zrozumiały i trafny

259 Badanie sondażowe według podręcznika: Etap 2 – Pilotaże – pilotaż statystyczny Pilotaż statystyczny Cel: wybór wskaźników Skrypt CAPI – znaczniki czasu przy każdym bloku pytań Próba 1000 (kwota, badanie typu omnibus) Realizacja pilotażu Raporty z analizy rozkładów w próbie i rekomendacje (wstępne skalowanie i modelowanie): - usunąć wskaźnik/blok wskaźników zbędny - zostawić wskaźnik/blok wskaźników niezbędny (pilotaż statystyczny jest w praktyce pierwszym etapem analizy danych, w tym praktycznym sprawdzianem modeli skalowania) Efekt: ostateczna wersja kwestionariusza zawiera minimalny zestaw wskaźników wystarczający do skalowania, modelowania i agregacji o czasie trwania nie przekraczającym możliwości respondenta i budżetu badania (1 minuta CAPI = 3 złote) Cel: wybór wskaźników Skrypt CAPI – znaczniki czasu przy każdym bloku pytań Próba 1000 (kwota, badanie typu omnibus) Realizacja pilotażu Raporty z analizy rozkładów w próbie i rekomendacje (wstępne skalowanie i modelowanie): - usunąć wskaźnik/blok wskaźników zbędny - zostawić wskaźnik/blok wskaźników niezbędny (pilotaż statystyczny jest w praktyce pierwszym etapem analizy danych, w tym praktycznym sprawdzianem modeli skalowania) Efekt: ostateczna wersja kwestionariusza zawiera minimalny zestaw wskaźników wystarczający do skalowania, modelowania i agregacji o czasie trwania nie przekraczającym możliwości respondenta i budżetu badania (1 minuta CAPI = 3 złote)

260 Badanie sondażowe według podręcznika: Etap 3 – Przetarg - Kontrakt Dokumenty Kto co komu przekazuje zamawiający  kwestionariusz, instrukcje, formularze raportów, instrukcje obsługi platformy komunikacyjnej (serwerowej) Wykonawca  informacje na temat sieci ankieterskiej, dane, raporty, protokoły zamawiający  kwestionariusz, instrukcje, formularze raportów, instrukcje obsługi platformy komunikacyjnej (serwerowej) Wykonawca  informacje na temat sieci ankieterskiej, dane, raporty, protokoły Czasy dostarczania raportów z przebiegu realizacji rekordów z zapisem odpowiedzi Zasady przyjmowania rekordów (formalna kontrola spójności) Zasady wyznaczania należności - stawka za 1 wywiad - kara z sufit (wyrzucanie wywiadów autora „sufitu”) - kara za spóźnienia (wywiad, raport, warstwa) - kara za response rate poniżej umownego - kara za nierównomierność realizacji - stawka za 1 wywiad - kara z sufit (wyrzucanie wywiadów autora „sufitu”) - kara za spóźnienia (wywiad, raport, warstwa) - kara za response rate poniżej umownego - kara za nierównomierność realizacji Kryteria wyboru oferty Na przykład: response-rate + czas + cena [np. 90% + 5% + 5%]

261 Badanie sondażowe według podręcznika: Etap 5 - Analiza danych Badanie sondażowe według podręcznika: Etap 6 - Dokumentacja badania Badanie sondażowe według podręcznika: Etap 7 - Raport  CodeBook (kwestionariusz + rozkłady brzegowe)  Zastosowane klasyfikacje (ISCO, ESCED, PKD)  Zastosowane skale/indeksy (SEI, inne)  Opis schematu doboru próby (prawdopodobieństwa inkluzji, wagi analityczne)  Projektowana dokładność oszacowań  Raport z przebiegu realizacji (rozkłady przyczyn non-responsów)  Zastosowane procedury imputacji oraz łączenia danych zewnętrznych  Uzyskana dokładność oszacowań po uwzględnieniu operatu i realizacji

262 Rozwiazania praktycznych problemów badań sondażowych Może sondażu można uniknąć Dane administracyjne Przykład MS-MJ Dane statystyki publicznej Moduły tematyczne GUS, Z-12 Kultura Zdrowie Edukacja Czas wolny Wyjazdy Technologie informatyczne Wykluczenia społeczne Ubóstwo Starość

263 Statystyczne rozwiazania praktycznych problemów badań sondażowych

264 Data Fusion – łączenie danych Statystyczne rozwiazania praktycznych problemów badań sondażowych Y1Y1 X1X1 X2X2 X3X3 X4X4 Y2Y2 X1X1 X2X2 X3X3 n1n1 n2n2 Populacja N Co na tej podstawie można powiedzieć o relacji między Y 1 i Y 2 ? Y 1 - prasaY 2 - telewizja X 1, X 2, X 3, X 4 - metryczka Dwie próby z tej samej populacjiTen sam operat

265 Mixed-Mode: jak wyznaczyć rozkład estymatora sumy wartości zmiennej Y i jego parametry – średnią i wariancję ? Statystyczne rozwiazania praktycznych problemów badań sondażowych Y YYYYY Y

266 Przetarg na sondaż

267 Koszt i czas

268 Projektowanie sondażu – budżet EtapElementy etapu Koszt % 1. Prace poprzedzające projekt  czy są dane i kwestionariusze z podobnych badań (archiwa sondażowe, statystyka publiczna)  jak badano dotychczas (F2F, CAPI - CATI - CAWI) i jak dobierano próby,  ile kosztowały te badania 1-2 2. Przygotowanie projektu Określenie podstawowych elementów badania:  przedniotu (populacja), celu (pytań badawczych), metody kontaktu z respondentem  zakresu (objętość kwestionariusza)  docelowej precyzji oszacowań, operatu losowania i sposobu doboru próby Podział budżetu i harmonogram badania 5-10 3. Przygotowanie kwestionariusza Analiza kwestionariuszy z wykonanych badań, projekt własnego kwestionariusza Pilotaż laboratoryjny (n=30) – pretest 1, pilotaż statystyczny (n > 400) – pretest 2, wersja ostateczna Test skryptu CAPI 5-7 4. Dobór próby Operat (zakup, przetwarzanie), projekt schematu doboru próby, losowanie, dokumentacja 3-5 5. Przygotowanie i przeprowadzenie przetargu Sporządzenie OPZ, SIWZ, projektu umowy (k ryteria wyboru opferty Korespondencja z oferentami Wybór wykonawcy i podpisanie umowy 1-2 6. Realizacja badania w terenie 7. Nadzór nad realizacją Bieżąca kontrola realizacji (zakresów i spójność logiczna danych, non-response, wywiady podejrzane) Kontrola terenowa ankieterów – firma zewnętrzna (5%) Rozliczenie z wykonawcą (1%) 8-10 8. Analiza danych Codebook – rozkłady brzegowe, skalowanie jedno- i wielo-wymiarowe, Modelowanie 2-5 9. Dokumentacja badania Dokumentacja realizacji w warstwach i podgrupach, rozkłady przyczyn non-responsów Zastosowane procedury imputacji braków danych i kalibracji 1-2 10. Raport z badania Grafika, tabele, tekst, Prezentacje 2-5 Podział budżet typowego badania ogółnopolskiego średniej welkości (100-200 tys.PLN) między wszystkie jego etapy oprócz realizacji w terenie

269 Projektowanie sondażu – struktura kosztów wykonawcy pozycja Koszt zł % kosztu całowitego Koszty stałe10,0 zł10 Realizacja w terenie88 wynagrodzenia ankieterów30,0 zł30 koordynacja8,3 zł koszty przejazdów40,0 zł40 druk materiałów0,4 zł koszty przesyłek1,7 zł koszty telefomunikacyjne2,0 zł szkolenia ankieterów i koordynatorów1,5 zł koszty listów zapowiednich4,0 zł Razem realizacja87,9 zł Kontrola wewnętrzna ankieterów2,1 zł2 Razem100,0 zł Orientacyjna struktura kosztów z badania ogólmpolskiego, próbie imiennej adresowej pobieranej z operatu PESEL, trwającego 12 miesięcy, w którym wyknawca dostarcza zamawiającemu 2000 wywiadów miesięcznie realizowanych metodą CAPI

270 Projektowanie sondażu – harmonogram Etap Czas (tygodnie) 1. Prace poprzedzające projekt 1-2 2. Przygotowanie projektu 2-3 3. Przygotowanie kwestionariusza 3-4 4. Dobór próby 1 5. Przygotowanie i przeprowadzenie przetargu 2 (przygotowanie) 4 (przeprowadzenie) 6. Realizacja badania w terenie 4-5 7. Nadzór nad realizacją 1 8. Analiza danych 1 9. Dokumentacja badania 1 10. Raport z badania 2 Razem 20-26 Harmonogram typowego badania ogółnopolskiego średniej welkości o budżecie 100-200 tys.pln

271 Sondaż jest usługą Usługą jest udzielenie odpowiedzi na pytania na temat populacji Usługę można wykonać lepiej lub gorzej a nawet źle Statystyczna ocena jakości usługi sondażowej sprowadza się do oceny dokładności populacyjnych oszacowań Niestatystyczne kryteria oceny jakości sondażu to 1.trafność 2.czas 3.koszt Niestatystyczne kryteria oceny jakości sondażu to 1.trafność 2.czas 3.koszt Przedmiotem gry Zamawiającego z Wykonawcą jest podział odpowiedzialności za jakość poszczególnych elementów badania sondażowego i koszt ich wykonania

272 Zamawianie sondażu: gra o podział odpowiedzialności i kosztów

273 Operat Jakość realizacji badania Schemat doboru próby False records Missing values Response-rate Pominięte pytanie Odmowa odpowiedzi Liczebność Fieldwork Kwestionariusz Projekt Statystyczna wersja pytań zamawiającego Próba Wstępny projekt Pilotaże Czas trwania wywiadu Przetarg Kryteria wyboru oferty SIWZ + Umowa Realizacja Kontrola ankieterów Monitoring jakości Analiza danych Raport Dokumentacja badania Dokumentacja realizacji Przyczyny non-responsów Błędy operatu Metoda wywiadu Sondaż akademicki

274 Zamawiający Zadaje pytania o stan populacji: JAK/CZY Dobiera wskaźniki – definiuje zmienne - konstruuje kwestionariusz Definiuje dopuszczalny poziom dokładności oszacowań Przekłada swoje pytania na pytania statystyczne Statystyk zamawiającego Szuka operatu doboru próby Projektuje optymalny dla operatu i kosztów badania schemat doboru próby Wyznacza wielkość błędu oszacowań z uwzględnieniem czynników 1,2,3,4,5 Uczestniczy w interpetacji wyników analizy danych Definiuje jakościowe kryteria wykonania „field-work” (przetarg) Podział odpowiedzialności w sondażu idealnym Sondaż akademicki

275 Taki podział ról i zadań jest możliwy, gdy Sondaż akademicki

276 Zamawianie sondażu gra asymetryczna

277 Zamawianie sondażu – gra asymetryczna Asymetria kompetencji: wykonawca – specjalista od sondaży; zamawiający – laik, który nie zawsze wie, po co zamawia sondaż Strategia zamawiającego – ufam, że usługa zostanie dobrze wykonana, choć nie wiem za co płacę Strategia wykonawcy – maksymalizuję zyski wykorzystując popularne błędne przeświadczenia na temat sondażu

278 Błędne przeświadczenia zamawiających badanie sondażowe

279 Popularne błędne przeświadczenia na temat sondażu - 1 1.Sondaż polega na zebraniu odpowiedzi na te same pytania od wielu osób: im więcej osób zapytamy tym sondaż jest lepszy 2.Sondaże są mniej lub bardziej „naukowe” 3.„Naukowe” sondaże nie są potrzebne poza nauką 4.Parametry populacji można oszacować bez losowania próby 5.Jakość realizacji można poprawić za pomocą „prób rezerwowych” 6.Im większa populacja tym większa musi być próba 7.Jakość realizacji można porawić za pomocą wag porealizacyjnych 8.Random route jest skutecznym antidotum na non-response

280 Wielkość populacji a wielkość próby dokładność oszacowań zależy od wielkości populacji: z małej populacji powinno się losować małe próby, z dużych – duże; im mniejsza populacja tym mniejszą próbę należy z niej pobierać; Próba rezerwowa jeśli nie udało się próby zrealizować w 100%, sięganie do próby rezerwowej nie zmienia jakości uzyskanych wyników (dokładności oszacowań) Random route “random route” jest schematem losowego doboru próby jeśli nie udało się zrealizować w 100% imiennej adresowej próby pobranej z operatu PESEL, można bez szkody dla jakości wyników (dokładności oszacowań) dorobić brakuące wywiady metodą „random route” Wagi porealizacyjne jeśli próba zrealizowana (nie w pełni) jest niereprezentatywna (przedmiotowo) ze względu na kluczowe cechy (płeć, wiek, wykształcenie), bez szkody dla dokładności oszacowań można „poprawić” jej strukturę za pomocą wag porealizacyjnych „Sondaże”, w których próba nie ma charakteru losowego, są mimo to wiarygodnym źródłem informacji o populacji: porzedwyborcza ankieta uliczna sondaż opinii publicznej: SMS-y wysyłane podczas trwania programu TV sondaż internetowy ogólnopolski sondaż telefoniczny w Polsce ankieta drukowana w czasopiśmie jako sondaż jej czytelników Popularne błędne przeświadczenia na temat sondażu - 2

281 Błędne przeświadczenia zamawiających Przedmiotem zamówienia jest pewna liczba dostarczonych zapisów wywiadów Agencja badawcza potrafi odpowiedzieć na pytania zamawiającego Agencja badawcza potrafi dopasować „metodologię” do potrzeb zamawiającego Zamawiający, który nie potrafi określić „metodologii” dopasowanej do własnych potrzeb potrafi ocenić „metodologie” oferowane przez potencjalnych wykonawców Cena jest racjonalnym kryterium wyboru wykonawcy sondażu Istnieją tanie sondaże dobrej jakości, szybko i dobrze wykonane W sondażu z wykorzystaniem ogólnopolskiej imiennej próby adresowej można osiągnąć response rate powyżej 50% płacąc za 1 wywiad nie więcej niż 100 PLN Dobry sondaż można zaprojektować, zamówić, skontrolować i opracować bez udziału statystyka

282 Zwodniczy termin „reprezentatywność próby zrealizowanej” Perswazyjna funkcja określenia „próba reprezentatywna” Wady potocznego rozumienia terminu „próba reprezentatywna” „Reprezentatywność” jako własność procedury doboru próby Ograniczony zakres zmiennych Stopniowalność Abstrakcja od problemu dokładności oszacowań

283 Pułapki potocznego rozumienia terminu „próba reprezentatywna” Reprezentatywność próby jest zawsze ograniczona do standardowych zmiennych stratyfikacyjnych Proporcje w próbieOdchylenia od proporcji w populacji Populacja N=30970613 Próba n=100 Próba n=400 Próba n=1600 Próba n=10000 Próba n=100 Próba n=400 Próba n=1600 Próba n=10000 1 Miasto 61,4% 67,0%65,3%62,3%61,3% 5,6%-1,8%-2,9%-1,0% 2 Wieś 38,6% 33,0%34,8%37,7%38,7% -5,6%1,8%2,9%1,0% Stopniowalność Abstrakcja od problemu dokładności oszacowań

284 „Reprezentatywność” jako własność procedury doboru próby Próba „reprezentatywna” oznacza tu tyle co „wylosowana”, „losowana”. „Taka, że na podstawie schematu jej doboru można wyliczyć, przy założonym poziomie ufności, dokładność populacyjnych oszacowań” Lissowski (2006, str. 3) proponuje: „Próba reprezentatywna dla populacji U ze względu na parametr T jest to próba dobrana w sposób, który gwarantuje z określonym prawdopodobieństwem otrzymanie oszacowań wartości tego parametru, które spełniają wymagania w kwestii dokładności”. Propozycja ta ma podobne usterki, co termin potocznie interpretowany: niepotrzebną relatywizację do jednej zmiennej i niekonkretność. Ta sama próba może bowiem spełniać pewne wymagania co do dokładności oszacowań parametru pewnej zmiennej a jednocześnie nie spełniać ich w odniesieniu do innej, co daje się powiedzieć po prostu, że dla obu zmiennych dokładność oszacowania jest różna co wiadomo stąd, iż dla obu zmiennych dokładność tę przy założonym poziomie ufności daje się wyliczyć Lissowski (2006, str. 3) proponuje: „Próba reprezentatywna dla populacji U ze względu na parametr T jest to próba dobrana w sposób, który gwarantuje z określonym prawdopodobieństwem otrzymanie oszacowań wartości tego parametru, które spełniają wymagania w kwestii dokładności”. Propozycja ta ma podobne usterki, co termin potocznie interpretowany: niepotrzebną relatywizację do jednej zmiennej i niekonkretność. Ta sama próba może bowiem spełniać pewne wymagania co do dokładności oszacowań parametru pewnej zmiennej a jednocześnie nie spełniać ich w odniesieniu do innej, co daje się powiedzieć po prostu, że dla obu zmiennych dokładność oszacowania jest różna co wiadomo stąd, iż dla obu zmiennych dokładność tę przy założonym poziomie ufności daje się wyliczyć

285 Przetarg

286 Projektowanie własnego sondażu – sprawy najważniesze Kwestionariusz Przetarg Realizacja Dokumentacja Próba Aby próbę wylosować, trzeba mieć dobry operat, pozbawiony błędów i braków. Dobra próba ma niski koszt realizacji i daje dużą dokładność oszacowań. Dobry kwestionariusz nie ma błędów formalnych, językowych i znaną wartość diagnostyczną – odpowiedzi na jego pytania są trafnymi wskaźnikami cech, które nas interesują. Wybieramy wykonawcę, który jest w stanie wykonać badanie z należytą jakością. Umowa z wykonawcą chroni interes zamawiającego i pozwala nie płacić za usługę, której jakość nie spełnia wymagań zamówienia Sposób kontaktu z respondentem jest dopasowany do specyfiki badania. Jakość pracy ankieterów wykonawcy jest kontrolowana przez firmę zewnętrzną Wyniki zewnętrznej kontroli nie podlegają negocjacjom z wykonawcą badania Dokumentacja badania dostarczana przez wykonawcę spełnia standardy AAPOR (patrz zamawianie pytań w badaniu typu „Omnibus”) Założenia Przedmiot (populacja), zakres (zmienne), cel (pytania statystyczne), metoda kontaktu z respondentem, wymagana jakość (dokładność oszacowań)

287 Komu zlecić sondaż Polskie firmy badawcze Przy sondażach o budżecie 100 tys. Lub wiecej nie warto rozważać innych ofert

288 Założenia: co trzeba wiedzieć przed sondażem Metoda kontaktu Przedmiot Zakres i cel Jakość Populacja – zbiorowość jednostek obserwacji statystycznej, której stan ma diagnozować sondaż czyli Zmienne statystyczne określone w popullacji i ich parametry, których wartości trzeba oszacować Trafność, wiarygodność i dokładność oszacowań parametrów zmiennych w populacji CAPI CATI WAPI Jeśli nie wiesz, jakie parametry i jakich zmiennych w populacji trzeba oszacować – nie potrzebujesz sondażu Jeśli nie wiesz, jakiej zbiorowości diagnoza ma być wykonana – nie potrzebujesz sondażu Jeśłi nie wiesz, jakiej potrzebujesz dokładności oszacowań parametrów zmiennych w populacji – nie potrzebujesz sondażu aby warto było płacić za jego wykonanie Jeśli znasz odpowiedzi na powyższe pytania, możesz wybrać metodę zbierania danych o jednostkach populacji w wylosowanej ich próbie

289 Dobry przetarg 1.Poprawne zamówienie 2.Szczegółowy SIWZ 3.Właściwy wybór wykonawcy 4.Kontrakt chroniący jakość 5.Kontrola jakości realizacji kontraktu 1.Poprawne zamówienie 2.Szczegółowy SIWZ 3.Właściwy wybór wykonawcy 4.Kontrakt chroniący jakość 5.Kontrola jakości realizacji kontraktu

290 Szczegółowy SIWZ Projekt analiz statystycznych ZamawiającyWykonawca CODEBOOK ZamawiającyWykonawca Odpowiedzi na pytania ZamawiającyWykonawca Kto projektuje Realizacja badania o wielkości porównywalnej z wielkością badania zamawianego Personel: liczba ankieterów Wyposażenie: liczba notebooków, oprogramowanie, serwer, łączność Warunki dopuszczenia do udziału w przetargu Response rate Równomierność realizacji Czas realizacji Kryteria wyboru oferty Kary za nieosiągnięcie response rate Kary za nierównomierność realizacji Kary za wywiady sfałszowane Kary za wywiady spóźnione Kontrakt z wykonawcą przewiduje Kto wykonuje /dostarcza Kto wykonuje /dostarcza Kwestionariusz ZamawiającyWykonawca Operat ZamawiającyWykonawca Warstwowanie, alokację i schemat doboru próby ZamawiającyWykonawca Jeśli chcemy maksymalizować stosunek jakości do kosztu badania powinniśmy jako kryterium wyboru oferty stosować iloraz błędu oszacowania do ceny za jeden wywiad (rekord) Podobną maksymalizację uzyskuje się zakładając docelową liczbę wywiadów zrealizowanych i wybierając takiego wykonawcę, który zażąda do tego najmniejszej póby

291 nr Czego dotycząCo zawierają symbol 1Populacja [!] Dokładna definicja populacji1.1 Jednostki niebadalne1.2 [!] Zasięg terytorialny badania1.3 2Operat Dokładny opis operatu2.1 Wielkość błędu pokrycia (stopa błędów operatu)2.2 4Dobór próby [!] Dokładny opis schematu losowania4.1 [!] Liczebność próby wylosowanej4.2 Alokacja między warstwy4.3 Wiązkowanie4.4 Stosowane nad-reprezentacje4.5 Wagi: sposób wyznaczania4.6 5Realizacja [!] Metoda kontaktu z respondentem5.1 [!] Czas zbierania danych5.2 Instrukcja ankietera5.3 Karty odpowiedzi i inne materiały pomocnicze5.4 Stosowane nagrody dla respondentów5.5 (*) Wyniki zewnętrznej kontroli ankieterów5.6 [!] Response rate5.7 6 Dokładność oszacowań Dokładność oszacowań dla zmiennych6.1 (*) Sposób wyznaczania dokładności oszacowań6.2 Obowiązki dokumentacyjne wykonawcy sondażu według AAPOR Informacje, które wykonawca sondażu powinien przekazać zamawiającemu AAPOR Code of Professional Ethics and Practices. (Revised May 2010)

292 Patologie przetargów

293 Patologie przetargów – przykłady 2013 Gdańsk 2013-11-06 II.1.4) Określenie przedmiotu oraz wielkości lub zakresu zamówienia: W ramach przedmiotu zamówienia Wykonawca jest zobowiązany do: 1) konsultowania na etapie sporządzania raportu metodologicznego, szczegółów narzędzi badawczych, 2)przygotowania kwestionariuszy materiałów do badania, 3)realizacji prac terenowych oraz realizacji badania zgodnie z zakresem i minimum metodologicznym określonym w pkt 1 ppkt 4 SIWZ 4)przeprowadzenia (liczba z oferty) kwestionariuszy wywiadu 5)zapewnienia respondentom pełnej anonimowości w celu uzyskania jak najbardziej wiarygodnych danych IV.2.1) Kryteria oceny ofert: cena oraz inne kryteria związane z przedmiotem zamówienia: 1 - Cena - 50 2 - narzędzia badawcze - 50 Gdańsk 2013-11-06 II.1.4) Określenie przedmiotu oraz wielkości lub zakresu zamówienia: W ramach przedmiotu zamówienia Wykonawca jest zobowiązany do: 1) konsultowania na etapie sporządzania raportu metodologicznego, szczegółów narzędzi badawczych, 2)przygotowania kwestionariuszy materiałów do badania, 3)realizacji prac terenowych oraz realizacji badania zgodnie z zakresem i minimum metodologicznym określonym w pkt 1 ppkt 4 SIWZ 4)przeprowadzenia (liczba z oferty) kwestionariuszy wywiadu 5)zapewnienia respondentom pełnej anonimowości w celu uzyskania jak najbardziej wiarygodnych danych IV.2.1) Kryteria oceny ofert: cena oraz inne kryteria związane z przedmiotem zamówienia: 1 - Cena - 50 2 - narzędzia badawcze - 50

294 Patologie przetargów – przykłady 2013 PFRON 2013 (…) 5. ZAKRES PRAC WYKONAWCY Zakres prac Wykonawcy obejmuje: 1. opracowanie szczegółowej metodologii badania, 2. opracowanie narzędzi badawczych, 3. (…) wylosowanie prób badawczych, 4. realizację badania, 5. analizę danych i przygotowanie raportu z badania, 6. prezentację wyników na spotkaniu/konferencji (…) IV.2.1) Kryteria oceny ofert: cena oraz inne kryteria związane z przedmiotem zamówienia: 1 - Cena - 40 2 - Ocena merytoryczna – 60 (…) a) podkryterium koncepcja badania (MK), tj. - kompleksowość i przydatność badawcza zaproponowanej koncepcji z punktu widzenia celu badania (MK1) – od 0 do 13 pkt, - lista pytań badawczych (MK2) – od 0 do 20 pkt PFRON 2013 (…) 5. ZAKRES PRAC WYKONAWCY Zakres prac Wykonawcy obejmuje: 1. opracowanie szczegółowej metodologii badania, 2. opracowanie narzędzi badawczych, 3. (…) wylosowanie prób badawczych, 4. realizację badania, 5. analizę danych i przygotowanie raportu z badania, 6. prezentację wyników na spotkaniu/konferencji (…) IV.2.1) Kryteria oceny ofert: cena oraz inne kryteria związane z przedmiotem zamówienia: 1 - Cena - 40 2 - Ocena merytoryczna – 60 (…) a) podkryterium koncepcja badania (MK), tj. - kompleksowość i przydatność badawcza zaproponowanej koncepcji z punktu widzenia celu badania (MK1) – od 0 do 13 pkt, - lista pytań badawczych (MK2) – od 0 do 20 pkt

295 Poprawne zamówienie - przykład Uniwersytet Warszawski, 2011 (fragment ogłoszenia przetargowego) § 3 Opis przedmiotu zamówienia (…) 2. (…) 13000 wywiadów indywidualnych metodą CAPI na imiennej próbie adresowej ludności w wieku 18 lub więcej lat pobranej z operatu PESEL i dostarczonej przez Zamawiającego, przy użyciu kwestionariusza dostarczanego przez Zamawiającego. W ramach sondażu wykonawca będzie miał za zadanie zrealizować poniższe prace: 1) wysyłkę listów zapowiednich, 2) podjęcie próby uzyskania wywiadu od każdej z osób w próbie 3) dostarczanie danych z przebiegu realizacji wywiadu w czasie trwania badania 4) Uzyskanie założonych liczebności wywiadów zrealizowanych w każdej z pod-prób 5) maksymalizację równomierności terytorialnej poziomu response-rate, przy założeniu osiągnięcia powyższych celów. Uniwersytet Warszawski, 2011 (fragment ogłoszenia przetargowego) § 3 Opis przedmiotu zamówienia (…) 2. (…) 13000 wywiadów indywidualnych metodą CAPI na imiennej próbie adresowej ludności w wieku 18 lub więcej lat pobranej z operatu PESEL i dostarczonej przez Zamawiającego, przy użyciu kwestionariusza dostarczanego przez Zamawiającego. W ramach sondażu wykonawca będzie miał za zadanie zrealizować poniższe prace: 1) wysyłkę listów zapowiednich, 2) podjęcie próby uzyskania wywiadu od każdej z osób w próbie 3) dostarczanie danych z przebiegu realizacji wywiadu w czasie trwania badania 4) Uzyskanie założonych liczebności wywiadów zrealizowanych w każdej z pod-prób 5) maksymalizację równomierności terytorialnej poziomu response-rate, przy założeniu osiągnięcia powyższych celów. PŁACIMY WYKONAWCY NIE (TYLKO) ZA DOSTARCZENIE USTALONEJ LICZBY WYWIADÓW LECZ PODJĘCIE PRÓBY UZYSKANIA WYWIADU OD KAŻDEJ Z JEDNOSTEK W PRÓBIE MJR – MP2013 – dokumentacja przetargowa

296 Badanie sondażowe według podręcznika Projekt „norweski”

297 – Badanie sondażowe obejmuje populację dorosłych mieszkańców Polski i składa się z dwóch przedsięwzięć: Sondaż ludności Polski Diagnoza barier partycypacjiMonitor Jakości Rządzenia (MJR) Cel socjologiczny: Opisać rzeczywistość i odpowiedzieć na pytanie, co powstrzymuje obywatelską aktywność Polaków Cele szczegółowe: Ujawnić czynniki, które: - powstrzymują obywatelską aktywność (są barierami partycypacji) - sprzyjają obywatelskiej aktywności (są jej katalizatorami) Ustalić relacje między nimi Cel pragmatyczny: Dostarczyć wiedzy o ocenie jakości usług świadczonych obywatelom przez państwo z punktu widzenia ich codziennych użytkowników Cele szczegółowe: Wypracować użyteczne miary jakości rządzenia pozwalające porównywać: -jakość rządzenia na różnych poziomach (od szczebla gminy przez powiat i województwo) - jakość rządzenia w różnych jego aspektach (oświata, służba zdrowia, bezpieczeństwo). Wspólną cechą obu przedsięwzięć było świadome ograniczenie zakresu badania do poziomu lokalnego: aktywności obywatelskiej na szczeblu lokalnym, w pobliżu miejsca zamieszkania. lokalnego poziomu rządzenia (władzy, usług publicznych)

298 FILARY PROJEKTU Sondaż ludności Polski (n=13 000, CAPI) Diagnoza barier i katalizatorów partycypacji obywatelskiej Pomiar satysfakcji obywatelskiej z usług publicznych Badanie przedstawicieli administracji publicznej (n=3000, CAWI) Perspektywa administracji na problemy badane w sondażu Kształt relacji między poszczególnymi szczeblami administracji Badanie przedstawicieli III Sektora (n=1000, CAWI) Ustalenie jak z perspektywy potencjalnych partnerów społecznych układa się współpraca z jednostkami administracji Warsztaty Dialogu Społecznego (Biłgoraj, Gołdap, Słupsk, Poznań) Praktyczny eksperyment społeczny Modelowe konsultacje społeczne z udziałem mieszkańców, samorządu i organizacji III sektora Poradniki dobrych praktyk (2): poradnik diagnozy lokalnej i tworzenia lokalnych strategii, poradnik dla samorządu i organizacji pozarządowych o strategiach komunikacyjnych

299 etap badanieParametrywykonawca Pilotaż Screening usług publicznych Próba adresowa imienna (PESEL) n=8000 (netto) Pilotaż jakościowy 30 wywiadów z poglądem i rejestracją Test skryptu, kart, instrukcji ankietera Pilotaż statystyczny Próba losowo-kwotowa z badania screeningowego, selekcja wskaźników n=1000, czas trwania: 21 dni Fieldwork Badanie główne Próba losowa adresowa imienna (PESEL) n=13000 (netto), wywiad CAPI, czas trwania: 90 dniwywiad CAPI Kontrola terenowa 1000 adresów kontrolowanych przez firmę zewnętrzną; wywiad kontrolny F2F - PAPI "Bbs„ Biuro Badań Społecznych Barbara Danecka Przykład złożonego badania sondażowego

300 TechnologiaNarzędzieEfekt CAPI Skrypty sterujące przebiegiem wywiaduEliminacja efektu ankieterskiego Randomizacja kolejności pytań dla każdego respondenta Minimalizacja efektu pierwszeństwa, kolejności Ekran + karty + żetonySkrócenie czasu wywiadu Rejestracja przebiegu wywiadu w czasie rzeczywistym Możliwość kontroli ankieterów, detekcja anomalii SERWERY Platforma O3 SpacesWspomaganie pracy grupowej Serwis internetowy administracji sieci ankieterskiej i kontroli terenowej ankieterów Stały monitoring fazy terenowej, szybsza komunikacja z Wykonawcą Portal „Wiem jak jest” Bieżące, stale uaktualniane informacje na temat projektu Technologie informatyczne w realizacji dużych i złożonych badań sondażowych

301 Gdzie się uczyć sondażu – na błędach popełnianych przez najlepszych Badania międzynarodowe Badania krajowe GSS – ISSP – PGSS ESS PISA GATS - WHO GSS – ISSP – PGSS ESS PISA GATS - WHO - PGSS/ISSP, - ESS, - PISA, - Diagnoza Społeczna - Badanie prezydencko-premierskie CBOS 2007 - Badania GUS: SILC, BAEL, BGD, Z-12, moduły tematyczne BGD - PGSS/ISSP, - ESS, - PISA, - Diagnoza Społeczna - Badanie prezydencko-premierskie CBOS 2007 - Badania GUS: SILC, BAEL, BGD, Z-12, moduły tematyczne BGD

302 Źródła wiedzy i kompetencji Pisma POLSKA Wiadomości Statystyczne Statistics in Transition ASK Web Sources: konferencje FCSM JOS Survey Practice The AAPOR e-journal Instytucje AAPOR FCSM GSS Statistics Sweeden Statistics Canada EUROSTAT GESIS –ZUMA PGSS ESS ISSP POLPAN

303 Udane prognozy wyniku wyborów Rok 2010, II tura wyborów prezydenckich 02-07-2010 Radosław Markowski Na podstawie sondażu PBS DGA z 28-30 czerwca 2010 Bronisław Komorowski53% Jarosław Kaczyński 47% Frekwencja54% Bronisław Komorowski53% Jarosław Kaczyński 47% Frekwencja54% Bronisław Komorowski53,01% Jarosław Kaczyński 46,99% Frekwencja55,31% Bronisław Komorowski53,01% Jarosław Kaczyński 46,99% Frekwencja55,31% Państwowa Komisja Wyborcza wyniki 04-07-2010 Rok 2011, wybory parlamentarne Prognoza 07-10-2011 Exit poll 09-10-2011 PKW 09-10-2011 PKW - prognoza PKW - exit poll PO 39,5%39,6% 39,2% -0,3%-0,4% PiS 29,1%30,1% 29,9% 0,8%-0,2% Ruch Palikota 10,3%10,1% 10,0% -0,3%-0,1% PSL 8,7%8,2% 8,4% -0,3%0,2% SLD 9,2%7,7% 8,2% -1,0%0,5% koszt w tysiącach zł20-30700100 000 liczba badanych w tysiącach 2 - 310031 000 07-10-2011 Andrzej Olszewski prezes TNS OBOP na podstawie sondaży przeprowadzonych w ostatnim tygodniu przed wyborami przez TNS OBOP

304