1 Projekt systemowy współfinansowany przez Unię Europejską ze środków Europejskiego Funduszu Społecznego w ramach Programu Operacyjnego Kapitał Ludzki , Priorytet IX, Działanie 9.4. Wysoko wykwalifikowane kadry systemu oświaty

2 Techniki i narzędzia ewaluacjiMODUŁ II Techniki i narzędzia ewaluacji Opracowała Izabela Suckiel

3 SESJA 3. Metody, techniki i narzędzia badawcze w ewaluacji.Cele sesji - uczestnik zajęć potrafi: dostrzec różnorodność klasyfikacji metod i technik badawczych, podać przykłady głównych metod i technik możliwych do zastosowania w ewaluacji. Opracowała Izabela Suckiel

4 Klasyfikacja Władysława ZaczyńskiegoŹródło: „Praca badawcza nauczyciela”, WSiP 1997 Opracowała Izabela Suckiel

5 Opracowała Izabela SuckielBadanie naukowe Wieloetapowy proces zróżnicowanych działań/czynności mających zapewnić obiektywne, dokładne i wyczerpujące poznanie wycinka rzeczywistości przyrodniczej, technicznej, społecznej lub kulturowej. Opracowała Izabela Suckiel

6 Metoda badania naukowegoCelowo dobrany i zaplanowany sposób poznania naukowego. Wyboru metody dokonuje się ze względu na: przedmiot badań cel badań zasób posiadanych środków Opracowała Izabela Suckiel

7 Klasyfikacja wg W. ZaczyńskiegoMETODA Obserwacji TECHNIKI zewnętrzna uczestnicząca ciągła próbek czasowych zbiorowa jednostkowa Opracowała Izabela Suckiel

8 Klasyfikacja wg W. ZaczyńskiegoMETODA Eksperymentu pedagogicznego TECHNIKI jednej grupy dwóch grup równoległych rotacji Opracowała Izabela Suckiel

9 Klasyfikacja wg W. ZaczyńskiegoMETODA Wywiadu TECHNIKI wywiad ustny, czyli właściwy wywiad pisemny, czyli ankieta Opracowała Izabela Suckiel

10 Opracowała Izabela SuckielNarzędzia badawcze to materialne środki pomocnicze badania, są to arkusze obserwacyjne, kwestionariusze wywiadów lub ankiet Opracowała Izabela Suckiel

11 Klasyfikacja wg W. ZaczyńskiegoMonografia i sondaż diagnostyczny to ogólne zamysły badawcze, a nie metody Test pedagogiczny jest narzędziem badawczym Opracowała Izabela Suckiel

12 Opracowała Izabela SuckielAutor wymienia także analizę dokumentów i wyodrębnia dwa podstawowe sposoby analizy: Metody klasyczne Metody ilościowe Opracowała Izabela Suckiel

13 Klasyfikacja Mieczysław ŁobockiŹródło: „Metody badań pedagogicznych”, PWN, 1978 Opracowała Izabela Suckiel

14 Opracowała Izabela SuckielNie ma jednoznacznego rozumienia metod i technik badawczych Nie istnieje klasyfikacja w pełni wyczerpująca i rozłączna Opracowała Izabela Suckiel

15 Metody i techniki badawcze:To określone sposoby postępowania badawczego, mające wiele cech wspólnych. Różnica polega na bardziej ogólnym lub bardziej szczegółowym sposobie podejścia badawczego. Opracowała Izabela Suckiel

16 Opracowała Izabela SuckielOgólny sposób postępowania badawczego nazwiemy metodą, a szczegółowy- określający możliwie dokładnie przebieg procesu badawczego - techniką badawczą. Technika podporządkowana jest określonej metodzie i pełni wobec niej rolę służebną. Jest uszczegółowioną odmianą metody badań. Opracowała Izabela Suckiel

17 Opracowała Izabela SuckielMetody obserwacja, eksperyment pedagogiczny, testy osiągnięć szkolnych metoda socjometryczna, metoda sondażu diagnostycznego, analiza dokumentów. Opracowała Izabela Suckiel

18 Metoda sondażu diagnostycznegoTechniki: ankieta rozmowa i wywiad Opracowała Izabela Suckiel

19 Metoda analizy dokumentówWybrane techniki: technika analizy treściowej technika analizy formalnej Opracowała Izabela Suckiel

20 Opracowała Izabela SuckielInne metody badań: studium indywidualnych przypadków metoda monograficzna Opracowała Izabela Suckiel

21 Klasyfikacja Krzysztofa KonarzewskigoŹródło: „Jak uprawiać badania oświatowe. Metodologia praktyczna” WSiP 2002 Opracowała Izabela Suckiel

22 Opracowała Izabela SuckielMetoda-ustalony i zaaprobowany przez społeczność naukową sposób wykonywania czynności w ramach badania naukowego. Trzy klasy metod: metody doboru próbki metody zbierania danych metody analizowania danych Opracowała Izabela Suckiel

23 Metody zbierania danychDane jakościowe gromadzimy następującymi metodami: obserwacja jakościowa wywiad przeszukiwanie archiwów Dane ilościowe gromadzimy następującymi metodami: obserwacja ilościowa ankieta pomiar zmiennych nieobserwowalnych (testy, skale postaw, metody epizodów, socjometria) Opracowała Izabela Suckiel

24 Opracowała Izabela SuckielNa użytek naszego kursu przyjmujemy cztery podstawowe metody zbierania danych OBSERWACJA WYWIAD ANALIZA DOKUMENTÓW ANKIETA Opracowała Izabela Suckiel

25 Kiedy uzyskane informacje uznamy za rzetelne?jeśli pochodzą z różnych źródeł - liczba i różnorodność źródeł, jeśli próba badawcza jest odpowiednio dobrana – wiarygodność statystyczna, jeśli źródła informacji są trafnie dobrane – trafność doboru źródeł informacji, jeśli pytania badawcze są właściwie sformułowane – trafność pytań badawczych, jeśli zbieranie informacji odbywa się zgodnie z procedurami – przestrzeganie procedur, jeśli poparte są dowodami (dokumenty, cytaty, itp.) – udokumentowane, Opracowała Izabela Suckiel

26 Opracowała Izabela SuckielSESJE 4 – 5 Obserwacja Cele sesji - uczestnik zajęć potrafi: opisać rodzaje obserwacji i zasady ich prowadzenia, opracować arkusze obserwacji, prowadzić obserwację. Opracowała Izabela Suckiel

27 Opracowała Izabela SuckielOBSERWACJA Dlaczego warto obserwować? Możliwość zrozumienia kontekstu, pełniejszy obraz badanego zjawiska, Możliwość dostrzeżenia faktów, o których osoby ankietowane lub udzielające wywiadu będą mówić niechętnie. Rodzaje obserwacji: jawna lub niejawna, krótka lub długotrwała, wielokrotna, fragmentaryczna lub całościowa. Opracowała Izabela Suckiel

28 Opracowała Izabela SuckielWażne ! pamiętaj, co jest celem obserwacji, przygotuj dyspozycje do obserwacji lub arkusz obserwacji, opisuj fakty, nie interpretuj, pamiętaj, że wpływasz na badaną sytuację, też jesteś obserwowany, w prowadzonych notatkach oddzielaj spostrzeżenia osób obserwowanych, opis, własne interpretacje. Opracowała Izabela Suckiel

29 ĆWICZENIE Dyspozycje do obserwacji lekcji:W jakiej fazie lekcji wystąpiło ocenianie? Kto i w jakiej sytuacji jest oceniany? („chętni”, wskazani przez nauczyciela, „zagrożeni”, „przeszkadzający”, itp.) Co podlega ocenie (praca domowa, aktywność na lekcji, prezentacja przygotowanego materiału, itp.) Jaką formę ma ocena? (wpisanie stopnia - gdzie?, omówienie, itp.) Czy nauczyciel uzasadnia, komentuje, ocenę? Opracowała Izabela Suckiel

30 SESJE 6 – 7 Wywiad indywidualny i grupowyCele sesji - uczestnik zajęć potrafi: tworzyć kwestionariusze wywiadu, zaplanować i przeprowadzić wywiad indywidualny wg dyspozycji do wywiadu, prowadzić wywiady grupowe (fokusy). Opracowała Izabela Suckiel

31 Opracowała Izabela SuckielWYWIAD Nieformalna rozmowa Wg skategoryzowanej listy pytań ( z kwestionariuszem) Wywiad z dyspozycjami Opracowała Izabela Suckiel

32 Opracowała Izabela SuckielWywiad w postaci nieformalnej rozmowy – polega na spontanicznym zadawaniu pytań osobie badanej w trakcie naturalnej interakcji. Pytania wynikają z aktualnego kontekstu, a badana osoba może być nieświadoma prowadzonego wywiadu. Opracowała Izabela Suckiel

33 Opracowała Izabela SuckielWywiad z zastosowaniem skategoryzowanej listy pytań – przygotowane wcześniej pytania zadawane są w takiej samej formie i w takim samym porządku wszystkim respondentom. Opracowała Izabela Suckiel

34 Opracowała Izabela SuckielWywiad w oparciu o przygotowane wcześniej dyspozycje – prowadzony jest wg ogólnych pytań, kwestii przygotowanych wcześniej, a które są ważne z punktu widzenia badacza. Tym rodzajem wywiadu obejmuje się zwykle wielu respondentów. Tak przygotowany wywiad zwiększa pewność, że wszystkie istotne problemy zostaną omówione, choć porządek pytań i ich forma mogą być różne. Opracowała Izabela Suckiel

35 Opracowała Izabela SuckielWYWIAD INDYWIDUALNY GRUPOWY – FOKUS Opracowała Izabela Suckiel

36 INDYWIDUALNY WYWIAD POGŁĘBIONYPogłębiona, swobodna rozmowa badacza z 1 respondentem Prowadzona najczęściej w warunkach naturalnych (w domu, w pracy, w miejscu publicznym), niekiedy w specjalnym studio badawczym lub w pomieszczeniach przysposobionych Rejestrowana z reguły audio, niekiedy video Rzadziej obserwowana przez lustro weneckie Czas trwania – ok. 1 godziny Opracowała Izabela Suckiel

37 Wywiad (Pomocne wskazówki H. Mizerka)W każdej fazie prowadzenia wywiadu pamiętaj o celu i przedmiocie badania Podstawową zasadą prowadzenia wywiadu jest stworzenie takich warunków, aby respondent mógł wyrazić swój własny sposób rozumienia świata, w swoim własnym języku Zadawaj rzeczywiście otwarte pytania Zadawaj pytania jasne i zrozumiałe dla respondenta Zadawaj jedno pytanie w tym samym czasie Opracowała Izabela Suckiel

38 Opracowała Izabela SuckielStosuj pytania pomocnicze dla uzyskania istotnych szczegółów Przedstaw jasno, jakich informacji potrzebujesz i po co ich potrzebujesz Aktywnie słuchaj, dawaj świadectwo, że istotnie słuchasz Unikaj pytań naprowadzających Pamiętaj o różnicy między wywiadem pogłębionym a przesłuchaniem, Zachowaj całkowita neutralność w stosunku do wypowiedzi respondenta Pilnie obserwuj niewerbalne reakcje respondenta na poszczególne pytania Traktuj respondenta z szacunkiem. Opracowała Izabela Suckiel

39 Ćwiczenie - Przygotowujemy i przeprowadzamy wywiad indywidualnyUstalamy temat wywiadu. Określamy główne problemy, które trzeba w wywiadzie poruszyć. Formujemy dyspozycje (główne pytania) do wywiadu. Opracowała Izabela Suckiel

40 Opracowała Izabela SuckielPrzykład Temat: Jaka jest opinia uczniów na temat funkcjonowania WSO ? Główne problemy: Kryterialne ocenianie, przekazywanie uczniom informacji zwrotnej, systematyczność oceniania. Dyspozycje do wywiadu: Czy uczniowie znają kryteria oceniania, jak je rozumieją, czy je akceptują? Czy nauczyciele uzasadniają oceny, w jaki sposób, na ile jest to dla ucznia przydatne, motywujące? Opracowała Izabela Suckiel

41 Opracowała Izabela SuckielOmówienie ćwiczenia Czy otrzymaliśmy planowane informacje? Jaka jest opinia nauczycieli na badany temat? Jakie są zalety i wady wywiadu indywidualnego? Jak czuliśmy się w roli pytającego i pytanego? Opracowała Izabela Suckiel

42 Opracowała Izabela SuckielWYWIAD GRUPOWY - FOKUS Dyskusja w grupie złożonej z moderatora i 6-10 respondentów Prowadzona najczęściej w specjalnym studiu badawczym (tzw. fokusowni) lub w pomieszczeniach przysposobionych (rzadziej w warunkach naturalnych, np.. W poczekalni na lotnisku) Rejestrowana z reguły na video Często obserwowana przez lustro weneckie Czas trwania – do 2 godzin Opracowała Izabela Suckiel

43 Opracowała Izabela SuckielWYWIAD GRUPOWY - FOKUS Podstawowy mechanizm, na którym opierają się fokusy, to tzw. dynamika grupy. Jest to zarówno „motor”, jak i największa trudność w stosowaniu tej techniki. Opracowała Izabela Suckiel

44 SESJA 8 Analiza dokumentówCele sesji - uczestnik zajęć potrafi: planować i prowadzić analizę dokumentów, Opracowała Izabela Suckiel

45 Opracowała Izabela SuckielDokument każda rzecz mogąca stanowić źródło informacji, na podstawie którego można opisywać oraz wydawać uzasadnione opinie na temat ludzi, przedmiotów i procesów. Opracowała Izabela Suckiel

46 Przeprowadzając analizę dokumentu pamiętaj, że:1. Każda osoba przeprowadzająca analizę patrzy na dokument oczyma “outsidera” 2. Dokumenty spełniają wiele funkcji: dokumentacyjną, komunikacyjną, selekcyjną, prognostyczną... – warto się zastanowić, jaką funkcję spełnia analizowany dokument. 3. Informacja często znajduje się w ukrytych kontekstach dokumentu. Poszukiwanie bywa często żmudne i czasochłonne. 4. Nie pozbawiaj elementów dokumentu kontekstu, może to zmienić ich sens. 5. Szukaj związków pomiędzy informacją pozyskaną w czasie analizy dokumentu, a informacja zdobytą w inny sposób. Opracowała Izabela Suckiel

47 Opracowała Izabela SuckielAnaliza dokumentów Analiza dokumentów musi być dokumentowana. Przygotuj dyspozycje do analizy: co chcesz sprawdzić? Jakich informacji szukasz? W notatkach skup się na faktach. Nie oceniaj i nie interpretuj. Opracowała Izabela Suckiel

48 Opracowała Izabela SuckielSESJE Ankieta Cele sesji - uczestnik zajęć potrafi: tworzyć ankiety, analizować i interpretować wyniki ankiet. Opracowała Izabela Suckiel

49 Błędy popełniane przy tworzeniu kwestionariusza ankietyĆWICZENIE Opracowała Izabela Suckiel

50 Opracowała Izabela SuckielCzy jesteś informowany o terminie i zakresie prac klasowych? Tak Nie Czasami Pytanie odnosi się do więcej niż jednego zagadnienia. Zawężanie alternatyw odpowiedzi. Opracowała Izabela Suckiel

51 Opracowała Izabela SuckielCzy akceptuje Pani / Pan system oceniania funkcjonujący w naszej szkole? Zdecydowanie tak Raczej tak Raczej nie Częściowo Założenie, że zna system oceniania. Nieprawidłowa skala odpowiedzi. Opracowała Izabela Suckiel

52 Opracowała Izabela SuckielJak często chodzisz do kina? Nigdy Raz w roku Raz w miesiącu Raz w tygodniu Tylko w niedziele W wolnych chwilach Złe skalowanie Opracowała Izabela Suckiel

53 Opracowała Izabela SuckielJak Pani nagradza swoje dziecko za dobre stopnie? A) chwalę B) daję pieniądze C) zabieram do kina Założenie, że nagradza. Ograniczona liczba odpowiedzi. Opracowała Izabela Suckiel

54 Opracowała Izabela SuckielCzy oceniający Cię nauczyciele stosują ustalone kryteria oceniania? Tak, ale nie wszyscy Tylko niektórzy Nie Nieprawidłowa skala odpowiedzi. Trudne sformułowania (kryteria oceniania?) Opracowała Izabela Suckiel

55 Opracowała Izabela SuckielCzy wykonujesz swoją pracę zgodnie z wykształceniem? Tak Nie Jest mi to obojętne Nie mam innej możliwości Odpowiedzi nie odpowiadają treści pytania, Opracowała Izabela Suckiel

56 Czy uważasz, że nie należy kłamać? Tak NiePodwójne przeczenie Opracowała Izabela Suckiel

57 Opracowała Izabela SuckielAnkieta to metoda zbierania danych polegająca na planowanym wypytywaniu badanego. Przy pomocy tej metody możemy uzyskać informacje o tym: co inni myślą? jak widzą i oceniają interesujące nas zjawiska czy zdarzenia? jak działają w określonych sytuacjach? Podstawą ankiety jest kwestionariusz, czyli ustalona lista pytań, którym towarzyszy mniej lub bardziej zamknięty zbiór odpowiedzi (Krzysztof Konarzewski) Opracowała Izabela Suckiel

58 Struktura kwestionariusza ankietyCzęść wstępna kwestionariusza, która zawiera: tytuł, wyjaśnienie celu badań, informacje o autorach badań, zapewnienie o poufności (anonimowości) badań, uzasadnienie wyboru respondenta badań, apel o udzielanie poważnych i szczerych wypowiedzi podziękowanie za wypełnienie ankiety, instrukcję sposobu wypełniania kwestionariusza. Opracowała Izabela Suckiel

59 Opracowała Izabela SuckielPytania w kwestionariuszu: wszystkie muszą być ponumerowane, przechodzimy od pytań ogólnych do pytań szczegółowych, wyraźnie oddzielamy pytania od siebie, ich sformułowanie (zwroty, terminy, składnia) musi być zrozumiałe dla wszystkich badanych, muszą być wyraźnie skierowane do jednej osoby, każde powinno odnosić się tylko do jednego zagadnienia, muszą być formułowane w sposób jednoznaczny. Opracowała Izabela Suckiel

60 Opracowała Izabela SuckielNależy unikać pytań: na które z dużym prawdopodobieństwem otrzymamy odpowiedź nieszczerą, na które badany musiałby udzielić odpowiedzi społecznie nieakceptowanej, zawierających podwójne przeczenie, które sugerowałyby odpowiedź, które mogłyby być dla badanego drażliwe lub wywołać jego oburzenie. Opracowała Izabela Suckiel

61 Opracowała Izabela SuckielCzęść końcowa kwestionariusza, która zawiera: metryczkę (dane o osobie badanej); jej zawartość zależy od rodzaju badania; mogą to być pytania o płeć, wiek, staż pracy, miejsce pracy, miejsce zamieszkania, klasę, nauczany przedmiot itp., prośbę o sprawdzenie odpowiedzi lub o dodatkowe uwagi, podziękowanie, jeśli nie wystąpiło w części wstępnej. Opracowała Izabela Suckiel

62 Rodzaje pytań w ankiecieotwarte – nie za dużo, półotwarte – furtka bezpieczeństwa, zamknięte – znamy wszystkie możliwe odpowiedzi: alternatywne – tak – nie lub za – przeciw, dysjunktywne – wiele odpowiedzi , wybieramy jedną, koniunktywne – wiele odpowiedzi, wybieramy kilka, z uszeregowaniem wariantów kontrolne – testujemy szczerość odpowiedzi, filtrujące – pytamy właściwe osoby, projekcyjne – jak myślisz, co sądzą o tym inni? Opracowała Izabela Suckiel

63 Błędy popełniane przy tworzeniu kwestionariusza ankietybłąd multiplikacji – pytanie odnosi się do więcej niż jednego zagadnienia, brak pytań filtrujących, trudne sformułowania, złe skalowanie, jednoczesne pytanie o fakty i opinie, zawężanie alternatyw odpowiedzi, odpowiedzi nie odpowiadają treści pytania, błędy językowe. Opracowała Izabela Suckiel

64 Opracowała Izabela SuckielPytania z wyborem Do kogo zwrócił/a/ byś się w razie problemów osobistych? (Postaw znak „x” przy wybranej odpowiedzi) A) DO WYCHOWAWCY B) DO NAUCZYCIELA, KTÓREMU UFAM C) DO PEDAGOGA/PSYCHOLOGA SZKOLNEGO D) DO DYREKTORA SZKOŁY E) DO KOLEGI/KOLEŻANKI F) DO RODZICÓW G) DO NIKOGO Do jeszcze kogoś innego. Kogo ? (Napisz) Opracowała Izabela Suckiel

65 Pytania ze skalowaniem:CZY ROZUMIESZ TO, CO MÓWI NAUCZYCIEL NA LEKCJI? zawsze często czasem tak, a czasem nie rzadko nigdy Opracowała Izabela Suckiel

66 Pytania ze skalowaniem w wersji Likerta:Większość nauczycieli szczerze troszczy się o moją przyszłość. zdecydowanie się zgadzam raczej się zgadzam trudno powiedzieć raczej się nie zgadzam zdecydowanie się nie zgadzam Opracowała Izabela Suckiel

67 Pytania z rangowaniem:Od czego Pani/Pana zdaniem zależą osiągnięcia szkolne dziecka ? (Proszę postawić 1 przy najważniejszej przyczynie, 2 – przy nieco mniej ważnej i tak dalej, aż do najmniej ważnej) dobre zdrowie wykształcenie rodziców kompetencje nauczyciela zdolność ucznia zamożność rodziców ambicja ucznia wyposażenie szkoły inna przyczyna (proszę wpisać) Opracowała Izabela Suckiel

68 Opracowała Izabela SuckielĆwiczenie Projektujemy pytania ankietowe Opracowała Izabela Suckiel

69 Podsumowanie modułu II Techniki i narzędzia ewaluacjiZakładane cele - uczestnik zajęć potrafi: dostrzec różnorodność klasyfikacji metod i technik badawczych, podać przykłady głównych metod i technik możliwych do zastosowania w ewaluacji, opisać rodzaje obserwacji i zasady ich prowadzenia, opracować arkusze obserwacji, prowadzić obserwację, tworzyć kwestionariusze wywiadu, zaplanować i przeprowadzić wywiad indywidualny wg dyspozycji do wywiadu, prowadzić wywiady grupowe (fokusy), analizować i interpretować notatki z wywiadów, planować i prowadzić analizę dokumentów, tworzyć ankiety, analizować i interpretować wyniki ankiet. Opracowała Izabela Suckiel

70 BIURO PROJEKTU ul. Gen. J. Sowińskiego 68, p. 35 70-236 SzczecinZachodniopomorskie Centrum Doskonalenia Nauczycieli ul. Gen. J. Sowińskiego 68, p. 35 Szczecin tel.: 091/