1 EWALUACJA WEWNĘTRZNA – PRZEDMIOT BADANIA „PROCESY WSPIERANIA ROZWOJU I EDUKACJI DZIECI SĄ ZORGANIZOWANE W SPOSÓB SPRZYJAJĄCY UCZENIU SIĘ” KD - 6/ 2016-2017 Opracowała i zajęcia prowadzi: Maria M. Ferenc, konsultant ds. ewaluacji i oceniania
2 RAMOWY PROGRAM z Opracowanie projektów ewaluacji. z Konstruowanie narzędzi do zebrania danych w ramach realizowanego projektu ewaluacyjnego. z Analiza i interpretacja wyników badania. z Struktura i zasady opracowania raportu z ewaluacji. Formułowanie rekomendacji i sposoby ich wykorzystania. 2
3 LITERATURA 1. Babie E. (2005) Badania społeczne w praktyce, Warszawa 2. Konarzewski K. (2000) Jak uprawiać badania oświatowe. Metodologia praktyczna, Warszawa 3. Tołwińska - Królikowska E. red. (2010) Autoewaluacja w szkole, Warszawa 4. Trutkowski C, Mandes S. (2009) Wybrane metody badań społecznych w ocenie pracy szkół, Warszawa 5. Sagor R. (2008) Badanie przez działanie. Jak wspólnie badać, żeby lepiej uczyć, Warszawa 3
4 PODSTAWA PRAWNA EWALUACJI 1.Ustawa z 7 września 1991 r. o systemie oświaty (Dz.U. z 2015 r. poz.2156 z póź. zm.) 2.Rozporządzenie MEN z 27 sierpnia 2015 r. w sprawie nadzoru pedagogicznego (Dz.U. z 2015 r. poz. 1270) 3.Rozporządzenie MEN z 6 sierpnia 2015 r. w sprawie wymagań wobec szkół i placówek (Dz. U.2015 poz. 1214 ) 4
5 PODSTAWA PRAWNA EWALUACJI Rozporządzenie MEN w sp. nadzoru pedagogicz. § 2. Ilekroć w rozporządzeniu jest mowa o: 4) ewaluacji – należy przez to rozumieć proces gromadzenia, analizowania i komunikowania informacji na temat wartości działań podejmowanych przez szkołę lub placówkę; wyniki ewaluacji są wykorzystywane w procesie podejmowania decyzji skierowanych na zapewnienie wysokiej jakości organizacji procesów kształcenia, wychowania i opieki oraz ich efektów w szkole lub placówce. 5
6 CEL EWALUACJI BadanieDziałanie Przygotowanie Program Realizacja PodsumowanieWdrażanie 6
7 DEFINICJE EWALUACJI Refleksyjne rozpoznawanie wartości konkretnego działania lub obiektu w oparciu o przyjętą metodę i kryteria, w wyniku uspołecznionego procesu, którego celem jest jego poznanie, zrozumienie i rozwój. (L. Korporowicz) Zaplanowane i systematyczne działanie uwidaczniające, w jakim stopniu cele zostały osiągnięte. (H. Simons) 7
8 ZASTOSOWANIA EWALUACJI Poziom systemowy: ewaluacja zewnętrzna szkół i placówek – cel podnoszenie efektywności systemu oświaty. Poziom instytucjonalny: ewaluacja procesów (WDN, programy profilaktyki, wychowania i nauczania, …) – cel podnoszenie jakości pracy całej szkoły. Poziom indywidualny: autoewaluacja pracy n-la (zajęcia, nowe metody, treści, programy, style) – cel podnoszenie poziomu profesjonalizmu kadry. 8
9 SENS EWALUACJI W odróżnieniu od badań naukowych ewaluacja ma: sprzyjać kreowaniu rozwoju, pomagać w rozwiązywaniu praktycznych problemów, pozwalać na podejmowanie racjonalnych decyzji. Dla przeprowadzenia takiego badania niezbędne jest ustalenie kryteriów jakości, dlatego Rozporządzenie MEN podaje wymagania państwa wobec poszczególnych typów szkół i placówek. 9
10 ZNACZENIE WYMAGAŃ „ Wymagania te wyznaczają pożądany stan w systemie oświaty pokazując jego, uznane za kluczowe, cele i zadania, nie obejmując jednak wszystkich możliwych zagadnień związanych z różnymi obowiązkami szkół wobec uczniów i rodziców. Wskazują natomiast strategiczne i priorytetowe kierunki działań, które wiążą się z wyzwaniami stojącymi przed współczesnymi społeczeństwami.” Źródło: http://www.npseo.pl 10
11 Przyjęta koncepcja godzi dwa aspekty nadzoru: ocenę ze strony państwa z zachowaniem autonomii szkoły. Poziom podstawowy jest obowiązujący i oznacza przyzwoitą pracę. Praca szkoły poniżej tego poziomu wymaga natychmiastowej poprawy. Praca szkoły w różnych aspektach może być powyżej tego poziomu i mogą to być działania zaliczane do poziomu wysokiego. 11 POZIOMY SPEŁNIANIA WYMAGAŃ
12 podstawowy – świadczy o prawidłowym przebiegu procesów edukacyjnych; umożliwianiu każdemu uczniowi rozwoju na miarę jego potrzeb i możliwości; podejmowaniu przez szkołę/placówkę działań podnoszących jakość jej pracy; angażowaniu uczniów, rodziców i nauczycieli w działania szkoły/placówki; współpracy ze środowiskiem lokalnym i promowaniu wartości edukacji. wysoki – świadczy o wysokiej efektywności tych wszystkich działań. 12
13 ZASIĘG EWALUACJI WEWNĘTRZNEJ zEwaluację wewnętrzną przeprowadza się w odniesieniu do wszystkich lub wybranych wymagań, o których mowa w rozporządzeniu MEN lub do innych zagadnień uznanych za istotne. zW celu realizacji tych zadań dyrektor w szczególności obserwuje prowadzone przez n-li zajęcia dydaktyczne, wychowawcze i opiekuńcze oraz inne zajęcia i czynności wynikające z działalności statutowej szkoły lub placówki. 13
14 CHARAKTERYSTYKI WYMAGANIA 2. Poziom podstawowy: Procesy wspomagania rozwoju i edukacji dzieci są podporządkowane indywidualnym potrzebom edukacyjnym i rozwojowym oraz możliwościom psychofizycznym dzieci. Procesy wspomagania rozwoju i edukacji dzieci są planowane, monitorowane i doskonalone. Wnioski z monitorowania są wykorzystywane w planowaniu i realizowaniu tych procesów. Stosowane metody pracy są dostosowane do potrzeb dzieci i grupy przedszkolnej. 14
15 CHARAKTERYSTYKI WYMAGANIA 2. Poziom wysoki: Wdrażane wnioski z monitorowania procesów wspomagania rozwoju i edukacji dzieci podnoszą efektywność tych procesów. W przedszkolu stosuje się nowatorskie rozwiązania służące rozwojowi dzieci. 15
16 ORGANIZACJA BADANIA Dyrektor szkoły lub placówki publicznej opracowuje na każdy rok szkolny plan nadzoru pedagogicznego, który przedstawia radzie pedagogicznej do 15 września roku szkolnego, którego plan dotyczy. 2.Plan nadzoru, o którym mowa w ust. 1, zawiera w szczególności: 3.przedmiot ewaluacji wewnętrznej oraz termin jej przeprowadzenia. 16
17 ORGANIZACJA BADANIA W myśl nowej koncepcji nadzoru pedagogicznego ewaluacja ma być dokonywana przede wszystkim zespołowo. Jako podstawowy organ nadzoru dyrektor staje się organizatorem zespołowego działania ewaluacyjnego. To zmiana rewolucyjna, gdyż zakłada, że jedynie rozbudzając refleksje nauczycieli nad samooceną i samorozwojem placówki, można dokonywać istotnych zmian w jej funkcjonowaniu. 17
18 ZASADA TRIANGLUACJI Tzw. triangulacja, czyli różnorodność technik gromadzenia i analizy informacji : pozwala lepiej poznać i zrozumieć badany obiekt, stwarza możliwość dokonywania odniesień i porównań. Triangulacja może być zastosowana nie tylko wobec metod zbierania danych (różnorodność zastosowanych metod), ale także do źródeł informacji (zbieranie danych od różnych grup respondentów). Powstaje w ten sposób szerszy materiał badawczy do oceny i wnioskowania. 18
19 ETAPY EWALUACJI I.BADANIE 1.Plan i projekt 2.Gromadzenie danych 3.Analiza danych II.ROZPOWSZECHNIANIE WYNIKÓW 1.Raport 2.Prezentacje III.WYKORZYSTANIE WYNIKÓW 1.Dyskusja 2.Ewentualne ponowienie badań 3.Decyzje 19
20 PLANOWANIE EWALUACJI Szukanie odpowiedzi na pytania: co? – określenie przedmiotu ewaluacji po co? – ustalenie celu (zastosowanie ewaluacji) kto? – powołanie zespołu badawczego kiedy? – ramy czasowe procesu badawczego jak? – wybór strategii badawczej 20
21 PROJEKTOWANIE EWALUACJI Budowanie projektu ewaluacji ma charakter bardziej liniowy niż systemowy, jednak praktyka pokazuje, że na projekt ewaluacji trzeba również patrzeć całościowo. Wybór przedmiotu ewaluacji kieruje nas w stronę problemów, które powinny zostać zbadane. Ocena uzyskanych informacji jest możliwa tylko wtedy, gdy znane są nam kryteria tej oceny. Z kolei postawienie określonych pytań kluczowych pociąga za sobą konieczność wyboru adekwatnych metod badawczych. 21
22 ELEMENTY PROJEKU Projekt powinien zawierać następujące elementy: 1.Opis przedmiotu ewaluacji 2.Pytania kluczowe (badawcze) 3.Kryteria oceny (wymagania/wskaźniki) 4.Określenie szczegółowej metodologii badania (techniki gromadzenia i analizy danych), dobór próby badawczej 5.Ustalenia organizacyjne – podział zadań, harmonogram, wykaz niezbędnych środków 6.Określenie rodzaju (formatu) raportu 22
23 PYTANIA KLUCZOWE (BADAWCZE) Pytania kluczowe to pytania sformułowane w dość ogólny, ale konkretny sposób. Na ogół nie są pytaniami, które bezpośrednio zostaną zadane osobom ewaluaowanym, rzadko mogą być im zadane wprost. Są to pytania, na które będziemy poszukiwać odpowiedzi w trakcie całego procesu badawczego. Odpowiedzi na te pytania staną się kanwą raportu ewaluacyjnego. 23
24 PRZYKŁADY PYTAŃ Jak działania placówki zaspokajają indywidualne potrzeby edukacyjne dzieci i uwzględniają ich możliwości psychofizyczne? Jak przez organizację przestrzeni wspiera się rozwój dzieci? Jakie są rezultaty działań podjętych na podstawie wniosków z monitorowania? W jakim zakresie rozwiązania edukacyjne w przedszkolu są nowatorskie? 24
25 KRYTERIA EWALUACJI Adekwatność działań przedszkola do potrzeb i możliwości wychowanków. Współpraca nauczycieli w organizowaniu procesów wspomagania rozwoju i edukacji dzieci. Skuteczność działań podejmowanych na podstawie wniosków z monitorowania. Wykraczanie poza zalecane warunki i sposoby realizacji podstawy programowej. Skuteczność nowatorskich rozwiązań. 25
26 ŹRÓDŁA DOWODÓW W EWALUACJI Istnieją cztery główne źródła dowodów, na których opiera się proces ewaluacji: z właściwa dokumentacja, z dane własne dotyczące działań, z opinie partnerów i informacje zwrotne, z bezpośrednia obserwacja. Dowody mają potwierdzać ścisły związek pomiędzy skutecznym przywództwem, bieżącym zarządzaniem, wiarygodną ewaluacją wewnętrzną i rozwojem. 26
27 PRZYKŁADY PYTAŃ SZCZEGÓŁOWYCH Jak działania placówki zaspokajają indywidualne potrzeby edukacyjne dzieci i uwzględniają ich możliwości psychofizyczne? Jakie sposoby rozpoznawania indywidualnych potrzeb i możliwości są stosowane w przedszkolu? Które działania wynikają z tak prowadzonej diagnozy? W jakim stopniu organizacja zajęć odpowiada potrzebom i możliwościom dzieci? W jakim stopniu nauczyciele i specjaliści współpracują w zaspokajaniu potrzeb i rozwijaniu zdolności dzieci? 27
28 PRZYKŁADY PYTAŃ SZCZEGÓŁOWYCH Jak przez organizację przestrzeni wspiera się rozwój dzieci? Jakie rozwiązania w zakresie przestrzeni wyzwalają aktywność dzieci? W jaki sposób otoczenie fizyczne wpływa na samopoczucie dzieci? Które elementy wyposażenia pozwalają na indywidualizację? 28
29 PRZYKŁADY PYTAŃ SZCZEGÓŁOWYCH Jakie są rezultaty działań podjętych na podstawie wniosków z monitorowania? ‾W jaki sposób procesy wspomagania rozwoju i edukacji dzieci są monitorowane? ‾Które działania przedszkola wynikają z wniosków z monitorowania? ‾Jaki wpływ na rozwój dzieci miało wdrożenie wniosków z monitorowania? ‾Co świadczy o efektach podjętych działań? 29
30 PRZYKŁADY PYTAŃ SZCZEGÓŁOWYCH W jakim zakresie rozwiązania edukacyjne w przedszkolu są nowatorskie? o Które rozwiązania wykraczają poza zalecane warunki i sposoby realizacji podstawy programowej? o Na ile te nowatorskie rozwiązania są systemowe? o Z czego wynikają podjęte działania nowatorskie? o Jaki jest rzeczywisty wpływ działań nowatorskich na rozwój dzieci? 30
31 STRATEGIE BADAWCZE Możliwe jest zastosowanie podejścia wyłącznie jakościowego, wyłącznie ilościowego lub mieszanego. Najbardziej uchwytna różnica między badaniem ilościowym i jakościowym tkwi w rodzaju surowych danych, jakie badacz gromadzi. W tym pierwszym mają one postać liczb, a w drugim postać tekstu. To wymusza różne metody analizy zebranego materiału. Zbiory liczb analizuje się metodami statystycznymi, zestawy tekstów - metodami analizy znaczeń (interpretacja i kodowanie). 31
32 METODY BADAWCZE Metoda badań - określony, powtarzalny sposób rozwiązania problemu badawczego z zastosowaniem odpowiedniej techniki badawczej, przy pomocy właściwych dla tej techniki narzędzi. Metody badań pedagogicznych - ilościowe eksperyment pedagogiczny monografia pedagogiczna metoda indywidualnych przypadków metoda sondażu diagnostycznego Metody badań pedagogicznych - jakościowe wywiad metoda biograficzna jakościowa analiza tekstu obserwacja 32
33 WYBÓR METODY Jest uzależniony od specyfiki badanego obiektu (np. liczby badanych osób) i sytuacji (gdzie, w jakich warunkach przeprowadzane jest badanie). Wybór ten jest nadrzędny wobec wyboru techniki i narzędzi. Prawidłowe przygotowanie do badań powinno obejmować wybór metody, techniki i narzędzi - według podanej kolejności. 33
34 TECHNIKI BADAWCZE Technika badań to czynności praktyczne, regulowane wypracowanymi drogą doświadczenia dyrektywami, pozwalające na otrzymanie optymalnie sprawdzalnych informacji. Techniki badań pedagogicznych obserwacja uczestnicząca wywiad indywidualny ankieta audytoryjna badanie dokumentów analiza treści techniki projekcyjne 34
35 NARZĘDZIA BADAWCZE Narzędziem badawczym nazywamy każdy przedmiot służący realizacji wybranej techniki badań. Główne narzędzia badawcze: zkwestionariusz wywiadu/ dyspozycje do wywiadu zkwestionariusz ankiety znarzędzia socjometrii zarkusze obserwacji/ dyspozycje do obserwacji zskale 35
36 DOBÓR PRÓBY Dobierając próbę badawczą, czyli osoby, które powinny zostać objęte badaniem, należy zastanowić się, kto w najpełniejszy sposób będzie mógł udzielić informacji na temat kwestii objętych ewaluacją. Metody doboru przydatne w ewaluacji: z losowy (prosty bez zwracania) - zapewnia możliwość wnioskowania o rozkładzie zmiennych w populacji, ale musi być więcej niż 120 przypadków do analizy; z nielosowy (przypadkowy, typowy lub celowy) – daje możliwość wnioskowania o badanym przypadku). 36
37 WIELKOŚĆ PRÓBY Wielkość próby w zależności od wielkości populacji przy założeniu +/- 5% błędu pomiaru. 37 PopulacjaPróba 10080 200132 300169 400-500200-220
38 TWORZENIE OPERATU LOSOWANIA Zasady : 1. odpowiedniość - wykaz powinien wiernie odzwierciedlać populację i być zaktualizowany, 2. kompletność - wykaz powinien zawierać wszystkie jednostki badanej populacji, 3. wyłączność - każdy element powinien występować w wykazie tylko raz, 4. dokładność - wykaz nie może zawierać jednostek nieistniejących lub nienależących do populacji, 5. dogodność - wykaz powinien być ponumerowany i łatwo dostępny. 38
39 JAKOŚĆ EWALUACJI Model, a nie recepta Richard Sagor Wszystkie przykłady i propozycje można traktować jedynie jako punkt wyjścia!!! przykłady 39
40 RZETELNOŚĆ BADANIA Pytania badawcze są odpowiednio sformułowane – adekwatność pytań Źródła informacji są właściwie dobrane – trafność źródeł Próba badawcza jest dobrze dobrana – wiarygodność statystyczna Dane pochodzą z różnych źródeł – różnorodność źródeł Zbieranie informacji odbywa się zgodnie z procedurami – standaryzacja procedur i szkolenie badaczy jakościowych Dane są poparte dowodami – udokumentowanie danych Zachowuje się granice między tym, co zostało zgromadzone, a tym, co wywnioskowane – poprawność analizy 40
41 STANDARDY EWALUACJI użyteczność - użyteczność - ewaluacja ma sens tylko wtedy, gdy jest szansa na wykorzystanie jej rezultatów. wykonalność - wykonalność - ewaluację należy wykonywać wtedy, gdy jest to rzeczywiście możliwe ze względów praktycznych, a koszty równoważą nakłady. poprawność poprawność - ewaluacja musi być przeprowadzana uczciwie, z zachowaniem norm etycznych. stosowność stosowność – badanie ewaluacyjne trzeba wykonać fachowo i precyzyjnie. 41
42 PSEUDO EWALUACJE MASYWNA – mierzona obszernością opracowania; pozorowana, bo polega na wykorzystaniu sieci administracyjnej i technologii, a minimalnym stosowaniu metodologii. TOWARZYSKA – jest oparta na kontaktach osobistych między stronami procesu, wiele energii zabierają deklaracje pokojowych intencji. TANDETNA – szybka i pobieżna, zebrane przypadkowe dane są opatrzone zdroworozsądkowym komentarzem. 42