1 Monitorowanie i ocena Kół Samokształceniowych – przedmioty,metody i narzędzia Szkolenie dla liderów Kół Samokształceniowych Wrocław, 20-22.05.2009
2 Szkolenie realizowane w ramach projektu Projekt finansowany przez program “Uczenie się przez całe życie” - Projekty partnerskie Grundtvig 2008/2010
3 Wprowadzenie Kluczem do zrozumienia monitoringu i oceny systemu jest skupienie się na właściwej rzeczy. Koła Samokształceniowe nie kończą się w nich samych, ale są narzędziem żeby osiągnąć cel. Przykładowo, celem dla członka Koła studiującego lokalną produkcję drobiu może być zrozumienie co należy zrobić, żeby wyprodukować zdrowe kurczęta, tak aby szybko rosły i osiągnęły dobrą cenę na rynku. W tej sytuacji celem uczestników Kół Samokształceniowych jest osiągnięcie zysku z produkcji drobiu. Uczestnictwo w kole ma tylko to znaczenie, aby osiągnąć ten cel. Ten cel podkreśla podstawowe zasady w nauczaniu dorosłych.
4 Wprowadzenie Ogólnie rzecz ujmując, celami kół samokształceniowych są: Uczestniczyć dobrowolnie Wspólnie nabyć wiedzę Dać uczestnikom okazję, aby wzrastać jako jednostki pośród innych uczestników Rozwinąć społeczność o doświadczenia i postawy demokratyczne.
5 Wprowadzenie W tym znaczeniu, koła samokształceniowe są narzędziem dla zwiększenia wiedzy. Są elementami dobrowolnych, zespołowych akcji i odpowiedzialności dążącej do polepszenia jakości życia poprzez uczestników i wspólnotę jako całość. Polepszyć jakość życia jest zatem całościowym celem kół. Wskazówki te dostarczają generalną strukturę monitoringu i oceny kół samokształceniowych. Struktura musi być dopasowana do poszczególnej organizacji, biorąc pod uwagę jej szczegółowe przedmioty i inne okoliczności.
6 Monitorowanie i ocena: charakterystyka pojęć Monitoring może być zdefiniowany jako “systematyczne i ciągłe szacowanie rozwoju poszczególnych etapów pracy, po określonym czasie”, zgodnie z definicja zawartą w „Save the Children”(2005). Jego celem jest pomoc wszystkim zaangażowanym w podejmowaniu odpowiednich merytorycznie i czasowo decyzji, które wzbogacą jakość pracy.
7 Monitorowanie i ocena: charakterystyka pojęć W kontekście kół samokształceniowych, monitoring pomaga odpowiedzieć na poniższe pytania: Czy ludzie uczestniczą w spotkaniach? Czemu nie? Ile osób uczestniczy? Kto uczestniczy? Czy są to kobiety/mężczyźni/młodzi/starzy/ oficjalnie wykształceni/ zatrudnieni? O czym sie uczą? Dlaczego przyłączyli sie do koła? Czy koła są dobrze zarządzane, a ich praca ułatwiana? Dlaczego nie? Czy uczestnicy maja możliwość praktykować nabytą wiedzę? Dlaczego nie? Czy uczestnicy są zadowoleni z pracy koła? Czy leader jest zadowolony z pracy z grupą?
8 Monitorowanie i ocena: charakterystyka pojęć Z drugiej strony oceną jest „oszacowanie w pewnym momencie czasu wpływu pewnej części pracy i rozwoju na cel, dla jakiego określone przedmioty zostały zrealizowane” (Save the Children, 2005). W kontekście kół samokształceniowych ocena próbuje odpowiedzieć na następujące pytania: Jak pozyskana wiedza przyczyniła się do pogłębienia zrozumienia/ zdolności w nawiązaniu do poszczególnych kwestii, na przykład w lokalnej produkcji drobiu? Jakie efekty albo zmiany wywołało to polepszenie to w życiu uczniów lub uczestników?
9 Monitorowanie i ocena: charakterystyka pojęć Proces monitoringu nawiązuje do przeglądu i planowania pracy opartej na regularnych podstawach. W kontekście kół samokształceniowych oznacza to, że rozważa sie tu następujące pytania: Ile kół zaplanowaliśmy rozpocząć w okresie dokonywanego przeglądu? Ile z nich aktualnie rozpoczęło działanie w porównaniu do założonego planu? Ile z nich zostało zakończonych powodzeniem? Na czym skupiono się studiując w ramach kół? Jakie nieprzewidziane trudności dało sie zauważyć podczas procesu nauki i z czego one wynikały? Co okazało sie sukcesem i dlaczego? Jak możemy wpłynąć na sukces?
10 Monitorowanie i ocena: charakterystyka pojęć Działaniem monitoringu jest zrelacjonowanie pracy kół samokształceniowych w stosunku do całościowej propozycji opartej na kontynuowanych podstawach odniesionych do mierzalności rozwoju. Wpływ monitoringu pomaga odpowiedzieć na następujące pytania: Czy zajęcia pozwalają na wypełnienie celów? Czy istnieje potrzeba zmiany celów? Czy istnieje potrzeba prowadzenia dalszych badań?
11 Monitorowanie i ocena: charakterystyka pojęć Zarówno przebieg jak i działanie monitoringu w większości skupiają sie na czynnościach organizacji. Nie oznacza to jednak, aby działanie to było nieadekwatne dla jednostek. Wzrost indywidualnych uczestników jest jedną z głównych idei zajęć kół samokształceniowych. Jest to wiec ważną częścią osiągnięcia całościowego celu. Jednakże na poziomie organizacyjnym potrzeba skupić się na całkowitym rozwoju zajęć i rozwoju organizacyjnego.
12 Dlaczego monitoring i ocena są ważne dla Kół Samokształceniowych? Koło samokształceniowe jest narzędziem dążącym do ułatwienia procesów i akcji, które będą wnosić wkład w ulepszanie życia ludzi. Tak jak jest wiele sposobów na polepszanie życia ludzi, uczestnicy procesu i modyfikujący go mogą nie zawsze zrozumieć w pełni, że efekty czy oddziaływanie study circle zachodzą i dlaczego sie tak dzieje.
13 Dlaczego monitoring i ocena są ważne dla Kół Samokształceniowych? Monitoring i ocena dostarczane systematycznie pomagają zidentyfikować, jakie przeszkody mogą utrudniać wprowadzenie i pozyskiwanie celów. Akcja może być następnie podjęta celem maksymalizacji potencjału dla osiągnięcia celu, jakim jest rozwój produkcji. Monitoring i ocena ma również znaczenie dla identyfikacji przeciwieństw, które mogą powstrzymywać prawdopodobieństwo odniesienia sukcesu.
14 Monitoring Kół Samokształceniowych Metody kół samokształceniowych są prawdopodobnie jedną z dróg, dzięki którym organizacja dąży do zainicjowania nieformalnych treningów i edukacji członków czy grup docelowych. Zatem monitoring kół powinien być integralną częścią projektów monitorujących organizację i precyzować programy treningowe i edukacyjne.
15 Definiowanie przedmiotów Pierwszym krokiem dla stworzenia podstaw dla monitorowania i oceny kół samokształceniowych jest rozważenie specyficznych, instytucjonalnych powodów dla zastosowania tych metod. Pytaniem kluczowym, jakie należy zadać w tym procesie jest: Co chcemy osiągnąć używając metody kół samokształceniowych?
16 Definiowanie przedmiotów Odpowiedź(i) na powyższe pytanie może (gą) być wyrażona (e) jako cel(e). Przykładowo: Chcesz rozwinąć praktyki demokratyczne wewnątrz organizacji Możesz chcieć zachęcić członków do zaangażowania organizacji Może chcesz rozwinąć ich techniczne zdolności, aby produkcja i konsekwentnie członkowie mieli okazję rozwinąć się. Zaangażowanie to mogłyby być wyrażone, jako przedmioty dla programu nauki.
17 Podstawowe informacje Początkowo, przedstawiając koła samokształceniowe w nowych kręgach, powinno się oszacować wymiar obecnej sytuacji w stosunku do pożądanych dla kół przedmiotów. To zadanie może być częścią całości podstawowego dla projektu studium. Ważną rzeczą jest upewnienie się, że podstawowe zebrane dane uchwyciły rożne parametry / kręgi, które będą bezpośrednio oddziaływać na koło. Te parametry powinny być juz zintegrowane z szerszym projektem, którego częścią są koła samokszałceniowe.
18 Podstawowe informacje Pytania odnoszące sie do podstawowych założeń powinny być adresowane wliczając poniższe: Jaka jest rola nauczania dla zaadresowania zidentyfikowanych problemów? Jakie są luki w warunkach edukacji i treningu? Jaki jest poziom nauki (istniejące zdolności) w przypadku poszczególnych tematów? Jakie są bieżąco pojawiające się nauki i treningi? Jakie są ich poszczególne wyzwania i przeszkody? Jakie są zalety współpracy w środowisku (ogólnie, w wypadku poszczególnych czynności, dzielenia się pomysłami itp.)? Jaki jest stopień podejmowania decyzji przez uczestniczące kobiety na poszczególnych poziomach?
19 System monitorowania System monitorowania kół samokształceniowych powinien określać mechanizm zbierania i wykorzystywania informacji. Powinien mieć również znaczenie dla komunikacji. Przykładowo, informacje ułatwiające rozchodzą się w różnych kierunkach pomiędzy wszystkimi uczestnikami.
20 System monitorowania Elementy niezbędne w systemie monitoringu: Wskazówki, zarówno wpływające jak i procesujące Identyfikacja, z jakimi danymi połączyć i metody łączenia Metody raportowania Metody analizowania danych Zdefiniowanie zadań i odpowiedzialnych za nie osób na poszczególnych szczeblach Opis, jak informacje będą wykorzystane, aby wykazać efekty i wpływ na koła samokształceniowe
21 Wskaźniki monitoringu Wskaźniki monitoringu kół samokształceniowych powinny odpowiadać na następujące pytania: Rezultaty/wydajność: Jak można pokazać rozwój study circle, na polu do którego został wszczepiony? Jakie są poglady uczestników na to co „działało”/ „nie działało” dobrze podczas procesu nauczania?
22 Wskaźniki monitoringu Propozycje / rezultaty Jak możemy zdobyć zdanie uczestników na temat użyteczności pozyskanej wiedzy? Jak możemy pokazać, że istnieją korzyści z uczestniczenia w kołach? Wpływ / zmiany: Jak możemy pokazać, że poprzez nauczanie w kołach można osiągnąć lepszą jakość życia? Jak możemy pokazać, że dzięki uczestnictwu w kołach można osiągnąć wzmocnienie organizacji?
23 Wskaźniki monitoringu Odpowiedzi na powyższe pytania pomogą zdefiniować nam efekty oczekiwanych przez nas zmian, jakie miały miejsce pośród uczestniczących w kołach i następnie wskazówki konieczne do zebrania danych. Zazwyczaj lepiej jest dla (potencjalnych) uczestników kół zdefiniować te efekty i zmiany, ponieważ mężczyźni, kobiety, czy młodzi mogą opisać je w różnie.
24 Metody i narzędzia zbierania danych Metod i narzędzi używamy celem zbierania danych określonych ze względu na typ pożądanych przez nas informacji, częstotliwość ich pozyskiwania i celu, w jakim mają być one wykorzystane. Są to zarówno dane ilościowe i jakościowe.
25 Metody i narzędzia zbierania danych Dane ilościowe są to dane lub informacje, które mogą być zbierane w formie numerycznej, policzalnej takiej jak: liczba uczestników kół samokształceniowych. Danych ilościowych potrzebujmy, aby móc odpowiedzieć na pytania: Ilu jest uczestników kół? Ile uczestniczy kobiet, ilu mężczyzn a ile młodzieży? Czy są przypadki porzucania kół? Jaki jest rozwój uczestnictwa poszczególnych kategorii w kołach? Co studiują uczestnicy? Ile jest kół samokształceniowych? Istotnym jest przedyskutowanie wewnątrz każdej organizacji jak informacje te mogą być osiągalne w dłuższej przestrzeni czasu i skutkować podstawowymi efektami kosztowymi.
26 Metody i narzędzia zbierania danych Przy pomocy ciągłego monitoringu jesteś w stanie zaprojektować narzędzia, które umożliwią ci zbieranie informacji okresowo od wszystkich kół. W takim przypadku możesz nie potrzebować przykładowych informacji, przykładowo osiąganych na drodze badań. Aby zająć się badaniami, konieczne są narzędzia pozyskiwania danych. Musisz też zdefiniować cel, albo przykładową grupę docelową. Może być niemożliwe pozyskanie informacji od wszystkich, ale może też przyczynić się do uzyskania reprezentatywnego przykładu od części grupy docelowej.
27 Metody i narzędzia zbierania danych Narzędzia czy instrumenty, jakie mogą być użyte dla pozyskania danych jakościowych zawierają: Regularne rejestrowanie utrzymywanych form, przykładowo utrzymywanie rejestrów Zestrukturyzowane kwestionariusze Przegląd i analiza dokumentów zawierających dane jakościowe
28 Metody i narzędzia zbierania danych Dane jakościowe bazują na otwarto – zamkniętym opisie, który nakreśla obraz sytuacji. Dane jakościowe są szczególnie użyteczne w ilustrowaniu efektów i zmian, które mogą być nie do wychwycenia i tym samym trudne do policzenia. Jednym z przykładów będzie zobrazowanie, którzy uczestnicy kół samokształceniowych doświadczyli polepszenia jakości życia. W przypadku produkcji drobiu moglibyśmy powiązać rozwój produkcji i sprzedaży, ale to przedstawi nam tylko jedną stronę historii.
29 Metody i narzędzia zbierania danych Obrazując jak nadzwyczajne wpływy były wykorzystane, zbliżamy się do jego oddziaływania na jakość życia. W tym przypadku potrzebujemy również pamiętać, iż udowodnienie polepszenia jakości życia powinno być zdefiniowane z punktu widzenia uczestników. Aby zebrać dane jakościowe, zalecane są zazwyczaj metody uczestnictwa. Włączają one poniższe:
30 Metody i narzędzia zbierania danych Semi - strukturalne wywiady - oparte na otwarto – zamkniętych pytaniach w formie listy czy przewodnika. Wywiad, który bardziej w formie dialogu przeprowadzany jest przy pomocy indywidualnych respondentów. Dostępne zbiory danych w formie opisu lepiej niż mieszanych odpowiedzi. Wyzwaniem jest to, iż pozwala to na elastyczność, jako że nie wszystkie pytania są przewidziane. Jednakże, wymaga to dodatkowych umiejętności w badaniu i formułowaniu pytań na bieżąco. Analizy mogą być oparte na podstawie wyłaniających się tematów formułujących opisy, ale należy zauważyć, że dane zebrane w ten sposób mogą być również trudne do porównania.
31 Metody i narzędzia zbierania danych Podłoże/ bezpośrednie obserwacje - oparte na fizycznym sprawdzeniu albo wizycie i obserwacjach. Może pozyskać szybko widok ogólny, ale jest oparty całkowicie na opiniach obserwatorów, przez co może być bardzo subiektywny. Skupienie na dyskusji grupowej - sprawdza się najlepiej, kiedy grupa dostarczająca danych posiada proste i ogólne cechy i sprawy. Może być używana dla dwóch celów, aby uzyskać informacje od większej ilości ludzi za jednym razem albo wykorzystać grupę do uzyskania informacji, które mogą być też trudne do uzyskania od jednostki. Zalecane jest, aby grupy były skupione na ich wielkości (7 - 15). Skupienie się grup jest dobre dla modelacji opinii z szerszej perspektywy. Jednakże potrzeba ułatwienia technik, aby zapewnić sukces i aby każdy wniósł swój Punt widzenia.
32 Metody i narzędzia zbierania danych Studium przypadku - rozwijają intensywne dochodzenie pojedynczego respondenta/rodziny. Kontekst, za pomocą którego respondent/rodzina osadzony/a jest ważnym czynnikiem, który powinien być wzięty pod uwagę. Narzędzia dla zbierania danych powinny zawierać poniższe: Semi – strukturalne kwestionariusze lub listę sprawdzenia (obecności) Fotografie
33 Metody i narzędzia zbierania danych Połączenie metod i instrumentów jest zalecane, aby dane i informacje mogły być sprawdzone krzyżowo. Ważnym jest również zróżnicowanie zasobów informacji jakościowych, jako że mają one skłonności do subiektywizacji. Dane jakościowe wymagają, więc uprawomocnienia. Jest to proces uwiarygodnienia i potwierdzenia rzeczywistości zebranych danych, znanych jako „triangulacyjne”. „Triangulacja” może być przykładowo zarchiwizowana poprzez krzyżową kontrolę informacji, dostarczoną przez uczestników, którzy czerpią z innych źródeł informacje kluczowe. „Triangulacja” może być również archiwizowana poprzez użycie odpowiedniego połączenia metod zbierania danych.
34 Plan monitoringu Plan monitoringu dostarcza ram dla systemu monitoringu i pomaga w logicznym zaplanowaniu zajęć. Plan monitoringu definiuje wskaźniki, dane/informacje do zebrania, narzędzia, czas kiedy dane powinny być zbierane i osobę odpowiedzialną za ich zebranie.
35 Analiza danych i interpretacja Analiza danych jest dokonywana, aby ukazać obraz tego, co wpłynęło na podstawy. Innymi słowy dają pomysł na to, co się stało. Przykładowo wskazuje jak koła samo kształceniowe rozwijają się jako narzędzie organizacji, czy większość grupy docelowej uczestniczy i jak one mogą być przydatne.
36 Analiza danych i interpretacja Analiza danych musi być dokonana w trzech krokach. Aspekty brane pod uwagę to: Jak będą analizowane dane? Jaka zdolność jest wymagana dla analizowania (ludzkie i techniczne)? Czy jest to osiągalne? Jakie szkolenia są wymagane albo czy posiadamy zasoby zewnętrzne?
37 Analiza danych i interpretacja Interpretacja danych jest podstawowa z krytycznego punktu widzenia. Jest to zapytanie, dlaczego analizowane dane nakreślają pojedynczy obraz. Krytyczna refleksja pomoże zinterpretować doświadczenia i wspierać proces nauki zarówno organizacji, jak i grupy docelowej / uczestników. Poniższe pytania przewodnie mogą być użyte podczas interpretacji danych: Dlaczego rzeczy zdarzają się właśnie w taki sposób? Co „zadziałało” i „nie zadziałało”? Jakie są implikacje dla zajęć kół, dla uczestników / organizacji? Co należy zrobić jako kolejny krok i jak to wprowadzić?
38 Raportowanie Raportowanie pomaga w dokumentacji statusu / dokonanego rozwoju, śledząc implementację i napotkane wyzwania na podstawie monitoringu kół samokształceniowych na różnych poziomach, implementacji czynności, rezultatów, efektów i zmian. Forma raportu jest ważnym narzędziem dla koordynatorów kół na różnych poziomach organizacji. Koordynatorzy muszą polegać na grupie zaangażowanej we wdrożenie, aby udowodnić czasowość, efektywność i realizm odpowiedzi zwrotnej rozwoju. Procedury raportowe nie powinny być niewygodne.
39 Raportowanie Raportowanie może wymagać różnorodności, ale ogólnie regularne, rutynowe raportowanie powinno być ustabilizowane. Zachowania te powinny być uregulowane tak szybko, jak tylko rozpoczną się zajęcia kół samokształceniowych.
40 Podsumowanie W nawiązaniu do pracy z monitoringiem i oceną, esencją jest skupienie się na celach organizacji. Cele muszą być przekształcone w przedmioty w sposób właściwy dla osiągnięcia zadań. Nawet dla oceny, istotne jest rozproszenie celów organizacji dla skoncentrowania ich w mierzalne przedmioty.
41 Podsumowanie Następnym krokiem procesu jest zdecydowanie, jaki rodzaj monitoringu potrzebuje organizacja, procesu czy wpływ monitoringu – lub obydwu. Monitorowanie i ocena są podyktowane zdobyciem wiedzy na temat tego, co zostało zrobione i jednocześnie celów w analizowaniu efektów i zmian, jakie miały miejsce. Metody, które zostały dla tego wybrane zależą od tego, co organizacja chce monitorować czy ocenić.
42 Dziękujemy za uwagę!