1 JADWIGA PRZEWŁOCKA MAŁGORZATA PÓŁTORAK Gemius SAVI KONFERENCJA EWALUACYJNA WARSZAWA, JADWIGA PRZEWŁOCKA MAŁGORZATA PÓŁTORAK Gemius SA Wyzwania badań ilościowych online

2 O czym opowiemy Jaką pozycję mają internetowe badania ankietowe?Z czego wynika wzrost ich popularności? Jakie są bariery ich rozwoju? Jak pokonać te bariery? innowacyjne metody poprawy jakości badań dobór próby – wiedza dzięki technologii kształt ankiety – wiedza dzięki doświadczeniu korekta struktury – wiedza dzięki porównaniu

3 Pozycja badań online 3

4 Pozycja badań online Najpopularniejsza technika badań ilościowychStruktura wydatków na badania ilościowe na świecie (ESOMAR 2010) Najpopularniejsza technika badań ilościowych W 2009 na badania online wydano 6,4 mld $ Stały wzrost udziału w rynku W Kanadzie, Japonii, Australii - blisko połowa wydatków badania oprowadzone przez agencje i instytuty badawcze (bez uwzględnienia działań niekomercyjnych podmiotów, np. uniwersytetów, instytucji publicznych) 4

5 Dlaczego online? Stały wzrost liczby osób korzystających z internetuPrzedsiębiorstwa z dostępem do internetu (GUS 2009) Stały wzrost liczby osób korzystających z internetu Rosnące kompetencje użytkowników Prawie każde polskie przedsiębiorstwo ma dostęp do internetu Rosnący zakres korzystania z sieci

6 Dlaczego online? komfort, dogodny czas i miejsce wywiadułatwa prezentacja materiałów multimedialnych brak efektu ankieterskiego brak błędów ankieterskich trudne / drażliwe tematy krótki czas realizacji, szybki dostęp niskie koszty duży zasięg geograficzny

7 Obawy – fakty i mity  szeroko zakrojony projekt R&DBrak zaufania części badaczy i odbiorców Fakty czy mity? problem doboru próby kwestia populacji metoda doboru niska stopa zwrotu, autoselekcja problem wszelkich badań ankietowych duża odpowiedzialność badacza – konstrukcja narzędzia, metoda kontaktu nierzetelni respondenci kilka % możliwość weryfikacji spójności odpowiedzi Jakość próby – największy problem badań online  szeroko zakrojony projekt R&D

8 Projekt poprawy jakości„Innowacyjne metody poprawy jakości badań prowadzonych przez internet” projekt realizowany przez Gemius przedsięwzięcie IniTech2 IniTech: przedsięwzięcie Ministra Nauki i Szkolnictwa Wyższego realizowane przez Narodowe Centrum Badań i Rozwoju finansowanie badań naukowych lub prac rozwojowych nakierowanych na zastosowanie w działalności gospodarczej

9 Jakość próby Trzy etapy, na których decyduje się jakość finalnej próby: Etap doboru próby – sposób wyboru użytkowników, sposób dotarcia Etap realizacji próby – zwiększenie stopy zwrotu  optymalizacja kwestionariusza Etap poprawy zrealizowanej próby – ważenie danych

10 Jakość próby Dobór próby Realizacja próby Korekcja struktury (ważenie)Źródło: badanie Gemius, luty 2008 r. (emisja na witrynach objętych bezpłatnym audytem stat24 i stat.pl/PBI)

11 1. Dobór próby @ Wysyłka zaproszeń do badania e-mailem:uczestnicy panelu badawczego osoby zarejestrowane na witrynie lub w bazie usługodawcy zarejestrowani beneficjenci, odbiorcy danego programu/usługi Emisja zaproszeń do badania na witrynach internetowych: użytkownicy stron internetowych użytkownicy konkretnej usługi / serwisu W projekcie skupienie na emisji @ 11

12 1. Dobór próby – emisja Emisja na witrynach – ogromne możliwości dotarcia Problem: ankiety wypełniają częściej osoby, które są łatwe do zrekrutowania: CAPI i CATI  osoby dużo przebywające w domu CAWI  osoby intensywniej korzystające z internetu Skutek: skrzywienie struktury Rozwiązanie: wykorzystanie wiedzy o użytkowniku podczas emisji! 12

13 1. Dobór próby – emisja Zamiast równych prawdopodobieństw  dobór warstwowy Do warstwowania wykorzystujemy „twarde dane”: dane o aktywności cookie dane o parametrach komputera i przeglądarki Efekty: poprawa struktury próby Dodatkowy zysk: zmniejszenie potrzebnej liczby emisji o ¼ ! Źródło: badanie Gemius w ramach projektu INITECH, zrealizowane we wrześniu 2010 na próbie N=2706 (emisja na witrynach objętych bezpłatnym audytem stat24 i stat.pl/PBI) 13

14 2. Realizacja próby Optymalizacja zaproszenia i samej ankiety Analiza:kilkadziesiąt badań, kilkaset pytań cechy formalne i treściowe pytań Wnioski: kluczowa rola miejsca w ankiecie – krytyczny początek ankiety 14

15 2. Realizacja próby Optymalizacja zaproszenia i samej ankiety Analiza:kilkadziesiąt badań, kilkaset pytań cechy formalne i treściowe pytań Wnioski: Konieczność minimalizacji ilości tekstu 15

16 2. Realizacja próby Optymalizacja zaproszenia i samej ankiety Analiza:kilkadziesiąt badań, kilkaset pytań cechy formalne i treściowe pytań Wnioski: kluczowa rola miejsca w ankiecie – krytyczny początek ankiety konieczność minimalizacji ilości tekstu konieczna rezygnacja z niektórych typów pytań – szczególnie rozbudowanych tabel Internet  zasady usability  „Nie każ im myśleć!” 16

17 2. Realizacja próby Optymalizacja zaproszenia i samej ankiety Analiza:kilkadziesiąt badań, kilkaset pytań cechy formalne i treściowe pytań Wnioski: kluczowa rola miejsca w ankiecie – krytyczny początek ankiety konieczność minimalizacji ilości tekstu konieczna rezygnacja z niektórych typów pytań – szczególnie rozbudowanych tabel Internet  zasady usability  „Nie każ im myśleć!” 17

18 3. Korekcja struktury Pomimo poprawy doboru i zwiększeniu QRR – nadal problem struktury Konieczność zastosowania wag analitycznych przez co ważyć (zmienne)? jak ważyć (algorytm)? Analiza: wykonano ponad 15 tysięcy ważeń stosując różne zmienne i algorytmy Wnioski: klasyczne ważenie stratyfikacyjne nie wystarcza! 18

19 3. Korekcja struktury Niezbędne wykorzystanie innych zmiennych wpływających na dostępność w badaniu online: chęć udziału w badaniach styl życia, zwyczaje, korzystanie z technologii Efekt: znaczna redukcja błędu dane CAWI = badanie Gemius, maj 2010 r. (N=5453) dane zewnętrzne CAPI = omnibus MB SMG/KRC, maj 2010 r. (N=1575) analizowany target: Polacy lat korzystający z internetu 19

20 W praktyce Badania ewaluacyjne – część problemów nie występuje, potencjał badań online Realizacja próby skomplikowane kwestionariusze ewaluacyjne muszą być dostosowane do realiów internetu rola metody rekrutacji (wsparcie innymi kanałami dotarcia), liczby kontaktów Ważenie – warto wyjść poza demografię 20

21 Dziękujemy! Gemius SA ul. Wołoska 7, budynek Mars, klatka D, II piętroWarszawa tel. (0 22) fax (0 22) kontakt: 21