1 Wskaźniki planowaniu i pomiarze efektów projektów i programówWOJEWÓDZTWO PODKARPACKIE Wskaźniki planowaniu i pomiarze efektów projektów i programów Karolina Keler Uniwersytet Jagielloński, Instytut Socjologii, Zakład Socjologii, Gospodarki, Edukacji i Metod Badań Społecznych Centrum Ewaluacji i Analizy Polityk Publicznych UJ (CEAPP UJ) II Regionalna Konferencja Ewaluacyjna – Rzeszów 2009 16 października 2009 r.
2 WOJEWÓDZTWO PODKARPACKIECele prezentacji Ujęcie zagadnienia wskaźników w diagnozie, ewaluacji i analizie polityk publicznych z pragmatycznego punktu widzenia Omówienie kilku newralgicznych kwestii związanych z rolą wskaźników w planowaniu i pomiarze efektów projektów i programów Określenie rekomendacji dla instytucji publicznych zaangażowanych w proces tworzenia i wykorzystania wskaźników
3 WOJEWÓDZTWO PODKARPACKIEKwestii newralgicznych – wynikających z doświadczeń w projektach naukowo-badawczych realizowanych pod kierownictwem Prof. Jarosława Górniaka (ZSGiE/ZSGEiMBS, CEAPP UJ): „Ewaluacja śródterminowa Działania 1.2 i 1.3” w ramach SPO RZL „Małopolski system analiz i programowania polityk rynku pracy” w ramach Działania 2.1 ZPORR „Projekt ewaluacji Działania 2.1 i 2.2 PO KL ” „Bilans Kapitału Ludzkiego” w ramach Działania 2.1 PO KL (projekt systemowy) „Obserwatorium Regionalnych Rynków Pracy” w ramach Działania 2.1 PO KL (projekty konkursowy)
4 „Diagnoza stanu edukacji Miasta Krakowa” WOJEWÓDZTWO PODKARPACKIE I innych projektów: „Diagnoza stanu edukacji Miasta Krakowa” „Systemowe wykorzystanie dla celów diagnostycznych i ewaluacyjnych danych zbieranych w ramach SI POMOST w Miejskim Ośrodku Pomocy Społecznej w Krakowie” „Opracowanie narzędzi badawczych wraz ze schematami doboru prób badawczych oraz dotarcia do respondenta na potrzeby ewaluacji bieżących Działań 2.1 PO KL” „Eksplikacja i aplikacja koncepcji wskaźnika w badaniach i praktyce społecznej” – projekt doktorski
5 Obszary wykorzystania wskaźników i refleksji nad nimiWOJEWÓDZTWO PODKARPACKIE Obszary wykorzystania wskaźników i refleksji nad nimi Diagnoza Wykonanie diagnozy Tworzenie portfeli wskaźników społecznych Tworzenie portfeli pod kątem budowy Obserwatorium Ewaluacja Wykonanie ewaluacji Plan ewaluacji Operacyjne przygotowania badania ewaluacyjnego Refleksja metodologiczna nad metodologią wskaźników
6 WOJEWÓDZTWO PODKARPACKIERola wskaźników W planowaniu (określaniu celów, czyli planowanych efektów) projektów i programów W ocenie efektów (czyli tego, czy efekty są zgodne z celami) projektów i programów Projekt a program Użycie tzw. performance indicators
7 CELE – przed EFEKTY – po INTERWENCJA, REALIZACJA DZIAŁAŃWOJEWÓDZTWO PODKARPACKIE CELE – przed (ustalone przed realizacją działań, zakładany efekt działań) INTERWENCJA, REALIZACJA DZIAŁAŃ EFEKTY – po (konsekwencje zrealizowanych działań, zgodne lub nie z celami) OGÓLNY = zamierzony wpływ WPŁYW SZCZEGÓŁOWY = zamierzony rezultat REZULTAT OPERACYJNY = zamierzony produkt PRODUKT
8 Ewaluacja ex-ante a ex-postWOJEWÓDZTWO PODKARPACKIE Ewaluacja ex-ante a ex-post Czy będzie możliwa ewaluacja ex-post? (badamy tzw. evaluability projektu działań) Jakie są efekty działań? wpływ społeczny/ globalny rezultaty rezultaty Aby udzielić odpowiedzi na oba pytania sięgamy po wskaźniki produkt 1 produkty
9 WOJEWÓDZTWO PODKARPACKIEGłówne problemy Relacja cele/efekty – wskaźniki: definiowanie celów/efektów Wersja matrycy logicznej celów/efektów: poziom rezultatów Opisy wskaźników: precyzja w zakresie określania definicji i algorytmów wskaźników, a także ich interpretacji
10 Problem 1 Relacja cele/efekty – wskaźniki: definiowanie celów/efektówWOJEWÓDZTWO PODKARPACKIE Problem 1 Relacja cele/efekty – wskaźniki: definiowanie celów/efektów Cel (Planowany skutek działań) Stan rzeczy (zamierzony efekt) w przyszłości, który chcemy osiągnąć przez realizację działań. Stan rzeczy zwykle dotyczy jakiejś charakterystyki badanej zbiorowości (różnego rodzaju: osób, jednostek terytorialnych, przedmiotów fizycznych; ale najważniejsze są te cele, które dotyczą osób) Wskaźnik (w analizowanym kontekście, pomijając ujęcia dynamiczne): Charakterystyka badanej zbiorowości Dobór i zdefiniowanie wskaźników to określenie sposób pomiaru stanu rzeczy (efektu, dot. charakterystyki zbiorowości) ujętego w celu
11 Zasady Cele: Wskaźniki:WOJEWÓDZTWO PODKARPACKIE Zasady Cele: Jeżeli cel jest złożony lub bardzo ogólny i niejednoznaczny, powinien być rozbity na pod-cele, które wskażą, co konkretnie jest przedmiotem interwencji Jeżeli w definicji celu pojawiają niejednoznaczne pojęcia (np. kompetencje, innowacyjność, bezrobocie, ubóstwo) należy je zdefiniować tak, aby nie było wątpliwości, co powinno być zmierzone np. w kwestionariuszu dla Beneficjentów Ostatecznych Wskaźniki: Muszą być tak zdefiniowane, by było wiadomo jak otrzymamy wartość wskaźnika charakteryzującą zbiorowość (jakie dane zastane, jakie pytania w kwestionariuszu; jak dane będą przetwarzane), i jak będziemy rozumieć/interpretować uzyskaną wartość
12 WOJEWÓDZTWO PODKARPACKIEPrzykład 1 Celem jest zmniejszenie bezrobocia. Bezrobocie musi zostać zdefiniowane: czy rejestrowane, czy np. te zgodne z definicją ILO. Inaczej dopiero zastosowany wskaźnik dostarczy definicji celu. Musimy umieć zidentyfikować to, czy każda badana osoba jest, czy nie jest bezrobotna (w przyjętym rozumieniu) – pomiar na poziomie jednostkowym. Na podstawie tej informacji musimy zagregować wyniki do postaci określonego wskaźnika, np. proporcja osób bezrobotnych wśród osób aktywnych zawodowo; i potrafić zinterpretować wartość wskaźnika. Nierzadko musimy określić i zmierzyć tzw. wskaźniki kontekstowe, np. stopę zatrudnienia, stopę aktywności zawodowej, aby umieć właściwie zinterpretować uzyskane wyniki. Mierząc wartość wskaźnika przed realizacją interwencji i po możemy określić, czy zaszła jakaś zmiana – czyli stwierdzić, czy cel został osiągnięty.
13 WOJEWÓDZTWO PODKARPACKIEPrzykład 2 Celem jest zwiększenie kompetencji pracowników biorących udział w określonym projekcie. Musimy wiedzieć, co rozumiane jest przez kompetencje. Musimy umieć zmierzyć kompetencje pojedynczego pracownika. Zazwyczaj osobno każdy z wymiarów kompetencji, zgodnie z definicją przyjętą w celu. Nie może być tak, że cel jest sformułowany tylko jako zwiększenie kompetencji! Musimy sensownie zagregować te informacje na poziomie agregacji który nas interesuje: jednej fali projektu, całego projektu, programu, strategii.
14 Problem poziomów efektów a wskaźnikiWOJEWÓDZTWO PODKARPACKIE Problem poziomów efektów a wskaźniki „Wskaźniki wpływu” – dotyczą (w zależności od konwencji): 1) społeczeństwa lub 2) grupy Beneficjentów Ostatecznych po jakimś czasie od realizacji projektu oraz szerszej grupy do której BO należą „Wskaźniki rezultatu” – dotyczą grupy BO „Mierniki produktu” – dotyczą zbioru zrealizowanych przez Projektodawcę/ Organizatora/ Beneficjenta działań przeliczonych na określone jednostki (materialne, ludzkie…)
15 Problem 2 Wersja matrycy logicznej celów: poziom rezultatówWOJEWÓDZTWO PODKARPACKIE Problem 2 Wersja matrycy logicznej celów: poziom rezultatów Kwestia definiowania różnych poziomów celów wiąże się z definiowaniem wskaźników (tzn. głównie definicją badanej zbiorowości) i projektowaniem sytemu zasilania danymi Dzięki jaśniejszemu doprecyzowaniu tych celów łatwiej określić, na czym polegać będzie badanie efektu netto oraz, ewentualnie, określić wartości docelowe wskaźnika (targets)
16 WOJEWÓDZTWO PODKARPACKIEMatryca logiczna Jedna z technik pozwalająca uporządkować proces badawczy Przydatna, gdy myślimy o wskaźnikach Wymaga precyzyjnego zdefiniowania elementów – wynika to z tego, że możliwe są różne jej koncepcje. Wybór „wersji”: powinien być uzasadniony powinien być konsekwentnie stosowany
17 ? Produkty Rezultaty Wpływ (oddziaływanie)WOJEWÓDZTWO PODKARPACKIE Kim są? Czy grupa jest jednorodna? Czy mamy do czynienia z jedną grupą? Produkty Rezultaty Czy długoterminowy efekt działania dla BO przypisać kategorii „rezultaty” (rezultaty długoterminowe) czy kategorii „wpływ” (wpływ lokalny) Wpływ (oddziaływanie) ZBIÓR EFEKTÓW DZIAŁAŃ PROJEKTODAWCY/ ORGANIZATORA ? ????????? ver. 1 ver. 2 ?????????
18 BENEFICJENCI OSTATECZNIWOJEWÓDZTWO PODKARPACKIE BENEFICJENCI OSTATECZNI ver. 2 ver. 1 wpływ społeczny wpływ globalny rezultat długoterminowy rezultat długoterminowy wpływ lokalny wpływ lokalny rezultat „bezpośredni”, krótkoterminowy rezultat „bezpośredni”, krótkoterminowy rezultat „bezpośredni”, krótkoterminowy rezultat „bezpośredni”, krótkoterminowy produkt 1 produkt 2 produkt 1 produkt 2
19 Korzyści z takiego ujęciaWOJEWÓDZTWO PODKARPACKIE Korzyści z takiego ujęcia Przyjęcie definicji rezultatów jako tych efektów, które dotyczą BO daje możliwość uporządkowania zagadnienia doboru wskaźników. Rezultaty – charakterystyki BO będące przedmiotem zakładanej zmiany – powinny być mierzone w ramach monitoringu i ewaluacji na poziomie pojedynczej interwencji, oraz dać się zagregować na poziomie całego projektu czy programu. Dzięki temu będzie możliwy pomiar efektu netto projektu wśród BO; czyli określenie skuteczności przedsięwzięcia wobec osób biorących w nim udział. Gdy nie ma rezultatu nie będzie można mówić, że projekt czy program miał wpływ, rozumiany jako konsekwencja realizacji rezultatów! Jednak wpływ – inaczej oddziaływanie na szersze grupy – musi być badany globalnie, dla różnych interwencji jednocześnie, ponieważ efekty różnych projektów i programów są trudne do wyabstrahowania z ogólnej zmiany. Wpływ mierzą wskaźniki społeczne.
20 Cele – Efekty – WskaźnikiWOJEWÓDZTWO PODKARPACKIE Cele – Efekty – Wskaźniki CELE = ZAMIERZONE EFEKTY EFEKTY WSKAŹNIKI (kogo dotyczą zmiany, charakterystyki czego są mierzone) OGÓLNY = zamierzony wpływ WPŁYW WSKAŹNIKI SPOŁECZNE SZCZEGÓŁOWY = zamierzony rezultat REZULTAT Zmiana u BO WSKAŹNIKI DOTYCZĄCE BENEFICJENTÓW OST. OPERACYJNY = zamierzony produkt PRODUKT MIERNIKI PRODUKTÓW Efekt działania, który ma przynieść rezultat Wymaga integracji na poziomie polityk publicznych, strategii Te elementy MUSZĄ być mierzone w każdym projekcie i programie
21 Hierarchia zakładanych efektówWOJEWÓDZTWO PODKARPACKIE Hierarchia zakładanych efektów Gdy program lub projekt ma hierarchiczną budowę produkty, rezultaty i wpływ mogą być mierzone na różnym poziomie agregacji Przykład: Program Operacyjny Kapitał Ludzki – podzielony na Działania i Poddziałania a w ramach nich – pojedyncze projekty. Mając jednak zmierzone produkty i rezultaty na poziomie BO można je zagregować na dowolnym poziomie, jeżeli tylko system pomiaru to uwzględnia. Zatem w przypadku takich hierarchicznych układów celów warto definiować wskaźniki rezultatów na poziomach wyższych i aplikować je do każdego projektu w ramach danego programu. System sprawozdawczości powinien z zasady ująć produkty (Warto jednak przemyśleć system bazodanowy dla całości programu, czy pozwoli na łatwą agregację.) Wpływ powinien być ustalony na najwyższym poziomie.
22 WOJEWÓDZTWO PODKARPACKIEProblem 3 Opisy wskaźników: precyzja w zakresie określania definicji i algorytmów wskaźników a także ich interpretacji Jako sprawdzian sensowności przypisania wskaźnika celowi i użycia wskaźnika do pomiaru efektów Dookreślenie powodów wyboru konkretnego wskaźnika z puli możliwych
23 Publikacje: wskaźniki a ewaluacjaWOJEWÓDZTWO PODKARPACKIE Publikacje: wskaźniki a ewaluacja Jarosław Górniak, Karolina Keler, „Rola systemów wskaźników w ewaluacji”, w: Teoria i praktyka ewaluacji interwencji publicznych. Podręcznik akademicki, pod redakcją Karola Olejniczaka, Marka Kozaka, Bartosza Ledziona, Wydawnictwa Akademickie i Profesjonalne, Warszawa 2008, s Jarosław Górniak, Karolina Keler „Ewaluacja i wskaźniki w cyklu planowania i realizacji polityk publicznych”, Zarządzenie publiczne, 1(3)/2008 Fragment z: Jarosław Górniak, Magdalena Jelonek, Karolina Keler, Seweryn Krupnik, Janusz Wachnicki, Barbara Worek, „Ocena projektów i programów: wybrane techniki badawcze i ich zastosowanie”, w: Ewaluacja jako standard zarządzania w sektorze publicznym, pod redakcją Bożeny Pietras-Goc, Wyższa Szkoła Europejska, Kraków 2008, s , w którym omawiam zagadnienie wskaźników (s ) Jarosław Górniak, Karolina Keler, „Wskaźniki w ewaluacji ex-post programów publicznych” w: Ewaluacja ex-post. Teoria i praktyka badawcza, pod redakcją Agnieszki Haber, Państwowa Agencja Rozwoju Przedsiębiorstw, Warszawa, 2007, s
24 Konkluzje – warto „odczarować wskaźniki”WOJEWÓDZTWO PODKARPACKIE Konkluzje – warto „odczarować wskaźniki” Trudność w tworzeniu i wykorzystaniu wskaźników wynika zwykle z: Braku określonych potrzeb informacyjnych Niejasnej definicji celów interwencji Niejasnej definicji pojęć abstrakcyjnych Niejasnego sposobu interpretacji i wykorzystania przyjętych wskaźników Gdy trudności te są pokonane, „problemem” może być co najwyżej sposób zbierania i przetwarzania danych Ale dobry badacz społeczny zastosuje sensowne rozwiązanie Choć nierzadko warto zrealizować osobne badanie, by wypracować metodologię Duża rola przedstawicieli instytucji publicznych i współpracy między osobami definiującymi cele a osobami tworzącymi wskaźniki
25 WOJEWÓDZTWO PODKARPACKIERekomendacje Wiązać tworzenie wskaźników z dookreślaniem celów interwencji oraz ze sposobem zbierania danych ich ustalanie wiąże się zarówno z dyskusją nad szczegółowymi celami, jak i z projektowaniem monitoringu i sposobu gromadzenia danych o BO dopiero na etapie tworzenia wskaźników może się okazać, że cele nie są zdefiniowane wystarczająco precyzyjnie Interwencje traktować jak quasi-eksperymenty: musimy wiedzieć co i u kogo chcemy zmienić Oczekiwać jasnej interpretacji wskaźników – na jakie decyzje będzie miał wpływ pomiar wartości każdego wskaźnika
26 WOJEWÓDZTWO PODKARPACKIEDziękuję za uwagę "Projekt finansowany ze środków Unii Europejskiej z Europejskiego Funduszu Rozwoju Regionalnego w ramach Regionalnego Programu Operacyjnego Województwa Podkarpackiego na lata "