1 Wykorzystanie doświadczeń w zakresie ewaluacji RPO WK-P 2007-2013 w nowej perspektywie Jolanta Rudnicka UM Województwa Kujawsko-Pomorskiego Toruń, 22 czerwca 2016 r.

2 Plan prezentacji 7 lat doświadczeń Jednostki Ewaluacyjnej RPO WK-P 1.Umiejscowienie JE w strukturze IZ RPO 2.Dorobek badań ewaluacyjnych JE 3.Ewaluacja w gąszczu procedur urzędowych 4.Plany ewaluacji jako kluczowy element w pracy JE 5.Przykład kompleksowego badania 6.Podsumowanie – wykorzystanie doświadczeń i wyzwania w nowej perspektywie 2

3 Ewaluacja w dwóch perspektywach2007-20132014-2020 Roczne plany ewaluacji. Duża swoboda w planowaniu badań ewaluacyjnych. Badania skierowane na ogólną ocenę interwencji oraz efektywność wydatkowania środków finansowych. Dowolność metodologiczna w prowadzonych badaniach. JE w strukturze IZ. Plan ewaluacji na cały okres programowania 2014-2020. Zdecydowana większość badań obligatoryjnych. Badania skierowane na uchwycenie rzeczywistych efektów, powiązanie i odtworzenie logiki interwencji. Wskazanie zaawansowanych metod badawczych mających na celu podniesienie wiarygodności wyników ewaluacji. JE poza strukturą IZ.

4 Umiejscowienie JE w strukturze IZ RPO W ramach IZ RPO Poza strukturami IZ RPO i większy obiektywizm wyników badań ale większa niezależność JE słabszy przepływ informacji w kontekście potrzeb ewaluacyjnych osłabienie związku pomiędzy programowaniem i zarządzaniem a ewaluacją ale zarzut mniejszego obiektywizmu przywiązywanie większej wagi do wyników badań ewaluacyjnych podejmowanie szybkich decyzji o potrzebach ewaluacyjnych bezpośrednia informacja o programowaniu interwencji

5 Dorobek badań ewaluacyjnych JE ocena systemu kryteriów, ocena realizacji wskaźników, ewaluacja osiągnięcia założonych celów Badania systemowe Efekty komplementar ności Analiza wsparcia przedsiębior czości Tematyka badań Ocena wpływu RPO na potencjał ośrodków stołecznych Ewaluacja projektów rewitalizacyj nych Ewaluacja projektów kluczowych ocena działań informacyjno- promocyjnych prowadzonyc h przez IZ RPO WK-P Badania powtarzające się Analiza potrzeb rozwojowych województwa W latach 2009 - 2016 przeprowadzono 23 badania Kwota wydatkowana na badania 1, 84 mln zł Procedury w ramach których zlecone zostały badania 14 postępowań przetargowych 7 postępowań podprogowych (5 zamówień poniżej 14 tys. euro i 2 zamówienia poniżej 30 tys. euro po 2014 r.) 2 ewaluacje wewnętrzne

6 Ewaluacja w gąszczu procedur urzędowych ewaluacja Rozporządzenia / ustawy Wytyczne w zakresie ewaluacji i inne Instrukcje wykonawcze Procedury związane z przestrzeganiem PZP Procedury związane z rozliczaniem zleceń w ramach Pomocy Technicznej RPO

7 Plany ewaluacji jako kluczowy element w pracy Jednostki Ewaluacyjnej porządkują i organizują prace w JE wymuszają odpowiednio wcześnie dokonanie przeglądu potrzeb ewaluacyjnych w IZ są argumentem dla gromadzenia danych i poszukiwania wyzwań badawczych

8 Wpływ projektów realizowanych w ramach RPO WK-P na lata 2007-2013 na zatrudnienie w województwie kujawsko-pomorskim Przykład kompleksowego badania Wpływ projektów realizowanych w ramach RPO WK-P na lata 2007-2013 na zatrudnienie w województwie kujawsko-pomorskim Badanie zrealizowane w okresie: kwiecień-sierpień 2015 r. Wykonawca: Fundacja IDEA Rozwoju Typ ewaluacji: ex post dla RPO WK-P 2007-2013 Duże badanie – krótki czas – dobre i użyteczne wyniki

9 CEL GŁÓWNY BADANIA: Określenie wpływu projektów realizowanych w ramach RPO WK-P na lata 2007-2013 na zatrudnienie w województwie kujawsko-pomorskim poprzez analizę ich skuteczności i efektywności. Cele szczegółowe: 1. Diagnoza stanu rynku pracy w województwie kujawsko-pomorskim. 2. Ocena realizacji wskaźników celu strategicznego i wskaźników horyzontalnych pod kątem osiągnięcia wartości docelowych. 3. Analiza i ocena wpływu projektów realizowanych w ramach RPO WK-P 2007-2013 na wzrost lub utrzymanie zatrudnienia w województwie kujawsko-pomorskim. Wskaźnik: Liczba bezpośrednio utworzonych nowych etatów (EPC) – w podziale na płeć, która oszacowana została na 3200, z równym udziałem mężczyzn i kobiet.

10 Metodyka  Analiza danych zastanych (desk research);  Analiza ewidencji udzielonego dofinansowania, wg stanu na 31.12.2014 r., na podstawie bazy KSI (SIMIK 07-13), umów o dofinansowanie projektów i/lub wniosków o płatność (1146);  Badanie ilościowe projektów zrealizowanych w ramach RPO WK-P (CAWI) (n=886);  Wywiad grupowy (FGI) z beneficjentami RPO WK-P 2007-2013 (n=8);  Indywidualne wywiady pogłębione (IDI) z przedstawicielami: IZ RPO, zajmującymi się koordynowaniem projektów, w ramach których utworzono miejsca pracy (n=7), Wojewódzkiego Urzędu Pracy (n=3), ekspertami rynku pracy (n=2), organizacji przedsiębiorców i pracodawców/przedsiębiorcami (n=5).  Analiza SWOT/TOWS;  Metaanaliza badań ewaluacyjnych, których celem było m.in. tworzenie miejsc pracy;  Case study – studia przypadków (n=2);  Spotkanie warsztatowe.

11 Wyniki badania Nowe miejsca pracy jako efekty bezpośredniej realizacji projektów RPO WK-P 2007-2013 Liczba bezpośrednio utworzonych nowych etatów (EPC) - szacowana wg stanu na czerwiec 2015 r. oraz planowana do osiągnięcia na koniec realizacji RPO WK-P 2007-2013 Oś priorytetowa (OP) Szacowana liczba utworzonych miejsc pracy (wg badania CAWI) Liczba nowych etatów planowanych do utworzenia do końca realizacji Programu (wg danych z dokumentacji projektowej) OP I - Rozwój infrastruktury technicznej 0 0 OP II - Zachowanie i racjonalne użytkowanie środowiska 49,20 52,00 OP III - Rozwój infrastruktury społecznej 459,00 373,66 OP IV - Rozwój infrastruktury społeczeństwa informacyjnego 94,00 88,80 OP V - Wzmocnienie konkurencyjności przedsiębiorstw 3 409,20 w tym 9 e. bad. 3 751,33 w tym 3 e. bad. OP VI - Wsparcie rozwoju turystyki 244,90 307,23 OP VII - Wspieranie przemian w miastach i w obszarach wymagających odnowy 73,90 166,66 Ogółem 4 330,20 w tym 9 e. bad. 4 954,68 w tym 3 e. bad.

12 Źródło: opracowanie własne Fundacji IDEA Rozwoju na podstawie wyników badania CAWI. Rozkład nowoutworzonych miejsc pracy według wieku zatrudnionych (n=1312) Rozkład nowoutworzonych miejsc pracy według wykształcenia zatrudnionych (n=1305)

13 Zatrudnienie według sektora ekonomicznego działania beneficjenta Źródło: opracowanie własne Fundacji IDEA Rozwoju na podstawie badania CAWI (procenty nie sumują się do 100% z uwagi na możliwość zaznaczenia wielu odpowiedzi).

14 Zatrudnienie według stanowisk (zgodnie z Klasyfikacją Zawod ó w i Specjalności MPiPS) (n=1304) Źr ó dło: opracowanie własne Fundacji IDEA Rozwoju na podstawie badania CAWI

15 Źródło: opracowanie własne Fundacji IDEA Rozwoju na podstawie wyników badania CAWI. Rozkład nowoutworzonych miejsc pracy według płci zatrudnionych

16 Wyniki badania Nowe miejsca pracy jako efekty pośredniej realizacji projektów RPO WK-P Źródło: opracowanie własne Fundacji IDEA Rozwoju na podstawie badania CAWI. Udział projektów, dzięki którym utworzone zostały pośrednie miejsca pracy Działanie Liczba utworzonych miejsc pracy poza beneficjentami 01.018 02.0220 03.0214 04.031 05.01467 05.0236 05.0632 06.012 06.0224 07.0144 Ogółem648

17 Wyniki badania Skuteczność i trwałość tworzenia miejsc pracy w ramach RPO WK-P 2007-2013 Źródło: opracowanie własne Fundacji IDEA Rozwoju na podstawie badania CAWI. Udział projektów, które przełożyły się na utrzymanie miejsc pracy 566 m. p.

18 Wyniki badania Zależność między intensywnością wsparcia a stopą bezrobocia w województwie Stopa bezrobocia rejestrowanego wg powiatów województwa kujawsko- pomorskiego w 2014 r. Liczba nowoutworzonych miejsc pracy wg miejsca realizacji projektu (stan na 31.12.2014 r.) do 10,0% 10,1-15,0% 15,1-20,0% 20,1-22,0% od 22,1% do 100 100-149 150-199 200-699 od 700 Źródło: opracowanie własne Fundacji IDEA Rozwoju

19 Refleksje JE po realizacji badania słabość baz danych – niewystarczające te, które znajdują się w KSI SIMIK, różna postawa beneficjentów wobec oczekiwań ewaluatorów (zwrotność informacji), duży wysiłek obu stron (zamawiającego i wykonawcy), aby wyniki badania były pełne i użyteczne, stała współpraca z wykonawcą powinna być wpisana jako dobra praktyka na każdym etapie realizacji badania, warto mieć sprecyzowane dokładne oczekiwania, ale trzeba być również otwartym na sugestie ekspertów w dziedzinie ewaluacji.

20 Podsumowanie – wykorzystanie doświadczeń i wyzwania w nowej perspektywie Odpowiednie zaplanowanie badań ewaluacyjnych (dobre Plany Ewaluacji), Umiejętność nie zagubienia się w gąszczu procedur i przepisów, Wypracowanie dobrej koncepcji badania opartej na dostępnych danych, Gromadzenie danych i tworzenie banków informacji dla celów ewaluacyjnych, Aktualizowanie i ciągłe doskonalenie kryteriów wyboru Wykonawców (indywidualne podejście do każdego postępowania), Współpraca z GSE RPO WK-P oraz z IZ RPO i departamentami odpowiedzialnymi za wdrażanie programu, Upowszechnianie wyników badań i wskazywanie na ich użyteczność, zwłaszcza wśród decydentów, Podnoszenie wiedzy z zakresu ewaluacji – udział w szkoleniach oraz śledzenie nowości metodologicznych.

21 Dziękuję za uwagę