1 Doświadczenia i wyzwania w zakresie ewaluacji Europejskiego Funduszu Społecznego

2 2 Ocena efektów interwencji publicznej, źródło informacji o rezultatach wsparcia, jego skuteczności, trafności, efektywności, trwałości, itd. W celach informacyjnych – dla mediów, władz, opinii publicznej Do celów sprawozdawczych – jako źródło informacji na temat efektów i rezultatów wsparcia, osiągniętych wartości wskaźników Wsparcie dla zarządzania – podejmowanie kluczowych decyzji, argumentacja, negocjacje, planowanie wsparcia, poprawa jakości interwencji Formułowanie wizji rozwoju opartej o dowody (evidence based policy) Cele i założenia ewaluacji EFS

3 3  Środki finansowe: w ramach PO KL 31,35 mln zł w PE PO WER – blisko 33 mln zł  Osoby na stanowiskach ds. ewaluacji: W IZ i IP PO KL około 30 osób W IZ i IP PO WER około 14 osób Dla wszystkich funduszy 2014 – 2020 - 154 osoby  Relacje: Bieżąca współpraca KJE – IZ – IP – IW Ewaluacja EFS – Zasoby

4 4 Liczba badań PO KL

5 5 W PO KL zrealizowano ok. 350 ewaluacji (z 530 zaplanowanych) Tematyka badań PO KL Zrealizowane badania w obszarach

6 6 Nie tylko ewaluacja = baza projektów badawczych PO KL Prawie 700 badań na poziomie projektów!

7 7 Ponad 600 rekomendacji tylko z badań IZ, ponad 1000 z badań IP. Zarządzanie wynikami badań

8 8 Co wiemy dzięki ewaluacji EFS? Trwałość edukacji przedszkolnej, działalności gospodarczej, zatrudnienia Sprawność instytucji (czas oceny wniosków, tempo kontraktacji, jakość współpracy, komunikacja) Mapowanie skuteczności i potrzeb wsparcia (subregionalizacja, obszary niedoinwestowane, potrzeby grup docelowych) Bariery prawne i organizacyjne dla wdrażania Efektywność wsparcia (skuteczność zatrudnieniowa, powrót do nauki, lepsza praca) Percepcja i rozpoznawalność EFS w społeczeństwie (znajomość marki, ocena efektów)

9 9 POLSKA SKUTECZNIE ROZWIJA: Potencjał PSZ i JOPS Usługi społeczne Dostęp do opieki żłobkowej i przedszkolnej Szkolnictwo zawodowe i wyższe EX-POST EFS Polska to dla UE: 13% wszystkich nowozatrudnionych 17% wszystkich pozytywnych efektów EFEKTY W LICZBACH: zatrudnieni 6 m-cy po…: 1 135 600 os. (3 lokata) zdobyte nowe kwalifikacje: 442 469 os. (6 lokata) inne pozytywne rezultaty: 2 209 171 os. (1 lokata)

10 10 Metaanaliza Okres realizacji : 2016-2019 W br. analizą zostaną objęte: wszystkie badania ewaluacyjne PO KL wszystkie badania projektów PO KL wskaźniki długoterminowe Co roku analizą zostaną objęte: wyniki badań ewaluacyjnych PO WER i RPO wybrane wskaźniki długoterminowe dla PO WER i RPO Wykorzystanie danych ZUS, statystyk publicznych, FGI Ocena jakości badań, ocena użyteczności, meta-wiedza

11 11 Zbyt dużo badań = brak jednoznaczności wyników, chaos informacyjny : Ograniczenie liczby badań na poziomie projektów Meta-analizy Lepsze planowanie Wspólne definicje, metodologie, sposoby pomiaru Zbyt dużo rekomendacji słabej jakości = brak wykorzystania wyników, „rozczarowanie” efektami ewaluacji. Priorytetyzacja zamiast rozdrobienia Dyskusje i spotkania z wykonawcą Angażowanie odbiorców Wyzwania dla ewaluacji EFS 2014+

12 12 Kompleksowa wiedza? = rozproszenie efektu oddziaływania, braki informacyjne: Korzystanie z istniejących danych (GUS, Eurostat, inne JE) Sprawdź zanim zlecisz - szczegółowa analiza istniejących badań i danych w obszarze Różne grupy + te same instrumenty = różne efekty wsparcia Kompleksowość wsparcia to trudniejszy pomiar efektów i określenie przyczyn sukcesu/porażki Czy Masaj który ma trzy woły jest bogaty czy biedny? – kluczowa rola benchmarków Wyzwania dla ewaluacji EFS 2014+

13 13 Dlaczego nikt nas nie słucha? = brak wykorzystania wyników, brak zainteresowania decydentów: Lepsza komunikacja = lepsze wykorzystanie wyników. Czy sami rozumiemy wyniki? Co w nich nowego? Krócej nie znaczy gorzej – czasem mniej znaczy więcej! Zapewnienie lepszej równowagi pomiędzy pomiarem (monitoring) a wyjaśnieniem (ewaluacja) efektów interwencji Nie teraz, nie oznacza że nigdy. Wyzwania dla ewaluacji EFS 2014+

14 14 Planujemy! A potem się zobaczy… Badania kontrfaktyczne EFS: Doświadczenia 2007-2013 Nie taki diabeł straszny… = różne punkty odniesienia Zbierajmy dane lub pracujmy nad dostępem do nich Badania oparte o teorię programu: Par ma foi! il y a plus de 40 ans que je dis de la prose, sans que j'en sache quelque chose. Mniej badań „o wszystkim” oraz procesowych. Wyzwania dla ewaluacji EFS 2014+

15 15 Pracownik odpowiedzialny za ewaluację: Identyfikuje potrzeby informacyjne Gromadzi dostępną wiedzę i dane Koordynuje Weryfikuje Ekspert w zakresie metodologii Ale przede wszystkim to… broker wiedzy! Kto w tych czasach czyta raport albo załączniki? Wyzwania dla ewaluacji EFS 2014+

16 mate 16 Wyzwania dla ewaluacji EFS 2014+ Blisko 8 mln uczestników monitoring sytuacji zawodowej i edukacyjnej (w 4 tyg. po…) Dane zbierane od 2007 roku Od 2014 scentralizowana baza Szeroki zakres zbieranych danych

17 mate 17 Na przyszłość… Nie można pozostawać w utartych schematach! Konieczność ciągłego poszukiwania: Nowych źródeł danych Nowych możliwości współpracy Niestandardowych metod badawczych Lepszej komunikacji wyników Wykorzystania wyników w działaniach

18 Dziękuję za uwagę Przemysław Herman Departament EFS Ministerstwo Rozwoju