1 III spotkanie Grupy Sterującej Ewaluacją Regionalnego Programu Operacyjnego Województwa Kujawsko-Pomorskiego na lata Toruń, 5 grudnia 2016 r.
2 Plan spotkania Informacja sprawozdawcza na temat działań zrealizowanych przez Jednostkę Ewaluacyjną w 2016 r. Aktualizacja Planu Ewaluacji RPO WK-P na lata Informacja o działaniach ewaluacyjnych przewidzianych do realizacji w 2017 r.
3 Rodzaje działań prowadzonych w 2016 r.Jednostka Ewaluacyjna RPO WK-P Badania ewaluacyjne Udział w pracach Zespołu Sterującego Ewaluacją w Ministerstwie Rozwoju Prowadzenie strony internetowej Współpraca z GSE RPO WK-P, w tym szkolenia dla grupy Szkolenie dla beneficjentów Konferencja ewaluacyjna
4 Aktywność Grupy Sterującej Ewaluacją RPO WK-P 2014-2020 w 2016 r.Spotkania GSE RPO WK-P stycznia 2016 r. - prace nad koncepcją badań dotyczących ewaluacji ex post dla RPO WK-P oraz kryteriów i oceny systemu projektów dla RPO WK-P grudnia 2016 r. - podsumowanie prac Grupy w 2016 oraz przedstawienie planów na 2017 r. Członkowie GSE uczestniczyli również w konferencji ewaluacyjnej ( ).
5 Działania ewaluacyjne zrealizowane w roku 2016 r.Szkolenia dla członków GSE Brokerzy wiedzy – skuteczne wykorzystanie analiz i ewaluacji do wspierania rozwoju regionu - 10 maja 2016 r. Prawo Zamówień Publicznych w procesie organizacji ewaluacji grudnia 2016 r. Inne szkolenia Czym jest ewaluacja dla beneficjentów i potencjalnych beneficjentów RPO WK-P listopada 2016 r.
6 Działania ewaluacyjne zrealizowane w roku 2016 r.Konferencje III Międzyregionalna Konferencja Ewaluacyjna pt. Nowe wyzwania dla ewaluacji programów operacyjnych w perspektywie Odbyła się w dniach czerwca 2016 w Centrum Kulturalno-Kongresowym Jordanki w Toruniu. Publikacja pokonferencyjna w druku.
7 Działania ewaluacyjne zrealizowane w roku 2016 r.Badania ewaluacyjne: Ewaluacja ex-post dla RPO WK-P realizowana od 27 czerwca 2016 r. Ostateczna wersja raportu końcowego zostanie przekazana przez Wykonawcę 12 grudnia 2016 r. Prezentacja wyników badania przewidywana jest na I kwartał 2017 r. Ewaluacja bieżąca kryteriów i systemu wyboru projektów RPO WK-P na lata W dniu 17 listopada 2016 r. została podpisana umowa z Wykonawcą. Pierwsze wyniki badania znajdą się w raporcie cząstkowym, który powstanie na koniec lutego 2017r. Natomiast raport końcowy z badania będzie dostępny w maju 2017r.
8 Ewaluacja ex-post Regionalnego Programu Operacyjnego Województwa Kujawsko-Pomorskiego na lata
9 Cel badania Obszary badawczeCelem ewaluacji ex post jest podsumowanie i ocena efektów wsparcia udzielonego ze środków RPO WK-P głównie pod kątem określenia stopnia realizacji celu głównego i celów szczegółowych Programu. Obszary badawcze Ocena stopnia osiągnięcia celu głównego oraz celów szczegółowych Programu. (Badanie wskaźników kontekstowych). Ocena stopnia realizacji celów poszczególnych Osi priorytetowych. Ocena realizacji RPO WK-P pod kątem efektywności wydatkowania środków. Określenie stopnia trwałości efektów osiągniętych dzięki wsparciu w ramach RPO WK-P na lata Ocena systemu realizacji Programu. Wykonawca na podstawie dokumentów IZ RPO WK-P dokona oceny systemu realizacji Programu. Identyfikacja barier/trudności w realizacji projektów finansowanych ze środków RPO WK-P na lata oraz stopień ich przezwyciężenia. Określenie dobrych praktyk z realizacji projektów w ramach RPO WK-P na lata
10 Ewaluacja bieżąca kryteriów i systemu wyboru projektów RPO WK-P na lata 2014-2020
11 Badanie ewaluacyjne ptBadanie ewaluacyjne pt. „Ewaluacja bieżąca kryteriów i systemu wyboru projektów RPO WK-P na lata ” Cel Badania Celem badania jest dokonanie oceny przyjętych kryteriów wyboru projektów oraz systemu wyboru projektów pod kątem zapewnienia skutecznej i najbardziej efektywnej realizacji RPO WK-P Badanie zostanie zrealizowane na puli kryteriów zatwierdzonych do XIII posiedzenia Komitetu Monitorującego RPO WK-P, które odbyło się dnia 27 października 2016 roku. W ramach pierwszego obszaru zostanie przeprowadzona analiza i ocena zaplanowanego systemu i procesu wyboru projektów, która będzie dotyczyć następujących zagadnień: a) prawidłowość rozplanowania naborów zarówno w kontekście osiągnięcia założonych w programie celów i ram wykonania, jak również potrzeb i możliwości potencjalnych wnioskodawców, b) potencjał instytucji dokonujących oceny i wyboru (rozplanowanie konkursów w czasie oraz podział środków); c) przejrzystość i bezstronność systemu oceny i wyboru projektów; d) sposób organizacji i sprawność realizacji procesu wyboru projektów w kontekście celów programu operacyjnego: - ogłoszenie naboru, w tym: dostępność informacji, czytelność i poprawność merytoryczna dokumentacji konkursowej, trafność zakresu i treści regulaminów konkursów w kontekście celów programu, zakres wymaganych dokumentów oraz ich spójność z wymogami prawnymi nakładanymi na beneficjentów, - nabór wniosków, w tym: czas na składanie wniosków, potencjał administracyjny instytucji dokonujących naboru, - ocena i wybór projektów, w tym: potencjał administracyjny i ekspercki, czas oceny, metody oceny, rekrutacja i system motywacyjny ekspertów dokonujących oceny, proces zatwierdzania wyników, - procedury odwoławcze, w tym: przejrzystość i jednoznaczność zasad, czas rozpatrywania odwołań. e) zdolność systemu do zapewnienia odpowiedniego poziomu komplementarności projektów. W ramach drugiego obszaru problemowego zostanie przeprowadzona analiza i ocena kryteriów wyboru projektów (tj. zestawu określonych wymogów formalnych i merytorycznych, które muszą spełniać projekty, żeby uzyskać dofinansowanie z publicznych środków wspólnotowych), dotycząca następujących zagadnień: a) sposobu sformułowania kryteriów wyboru projektów, które powinny spełniać warunki zasady SMART, tzn. powinny być: obiektywne, mierzalne, jednoznaczne i precyzyjne, poprawne merytorycznie oraz spójne wewnętrznie; b) skuteczności systemu kryteriów wyboru projektów, tj. zdolności do wyboru projektów optymalnych z punktu widzenia logiki interwencji i celów programu operacyjnego oraz założeń sformułowanych na potrzeby systemu ram wykonania z uwzględnieniem następujących zadań szczegółowych: - spójność kryteriów z założeniami i celami programu operacyjnego, - adekwatność znaczenia (wagi) przypisanego danemu kryterium z punktu widzenia celów programu operacyjnego (w tym założeń ram wykonania), - istotność kryteriów (m.in. identyfikacja kryteriów pominiętych a istotnych z punktu widzenia celów programu w tym założeń ram wykonania i/lub eliminacja kryteriów nieistotnych), - zdolność kryteriów do wpływania na realną jakość przedkładanych projektów, - zdolność kryteriów do wyboru projektów innowacyjnych, - zagrożenie dyskryminacji określonych grup potencjalnych beneficjentów oraz grup docelowych, - spójność z zasadami realizacji polityk horyzontalnych. Ostatni obszar badawczy dotyczył będzie oceny funkcjonalności systemów informatycznych. zakres analiz dotyczących systemów informatycznych (głównie generatora wniosków o dofinansowanie) będzie skupiał się na problemach/trudnościach pojawiających się w trakcie aplikowania wniosków ze szczególnym uwzględnieniem czy udało się je usunąć na etapie wprowadzonych w III kwartale zmian.
12 Trzy główne obszary problemowe w ramach badaniasystem oraz proces wyboru i oceny projektów (poza kryteriami) funkcjonalność systemów informatycznych kryteria wyboru projektów
13 Struktura kryteriów wyboru projektów w ramach RPO WK-P 2014-2020RPO WK-P na lata 96 zatwierdzonych zestawów kryteriów w ramach 57 działań/poddziałań Łącznie 12 osi priorytetowych 74 działania /poddziałania 7 osi priorytetowych 42 działania/poddziałania 54 zestawy kryteriów w ramach 28 działań/poddziałań EFRR 4 osie priorytetowe 30 działań/ poddziałań 40 zestawów kryteriów w ramach 27 działań/poddziałań + oś PT - 2 zestawy kryteriów dla 2 działań EFS
14 Badanie ewaluacyjne ptBadanie ewaluacyjne pt. „Ewaluacja bieżąca kryteriów i systemu wyboru projektów RPO WK-P na lata ” W trybie przetargu nieograniczonego wyłoniono wykonawcę badania - Pracownię Badań i Doradztwa Re-Source Korczyński Sarapata z Poznania Harmonogram prac nad realizacją badania: dnia 17 listopada 2016 r. podpisano umowę z wykonawcą, do dnia 15 grudnia 2016 r. przekazany zostanie raport metodologiczny, do dnia 23 lutego 2016 r. przekazany zostanie raport cząstkowy, 4 maja 2016 r. - termin przekazania ostatecznej wersji raportu końcowego, najpóźniej do 15 lipca 2017 r. zostaną przeprowadzone dwie prezentacje wyników badania, raport metodologiczny, będzie uwzględniał koncepcję badania opis wszystkich metod i technik zaplanowanych w badaniu, projekty narzędzi badawczych, a także wstępną analizę desk research systemu wyboru projektów, a dokładniej porównanie różnic w regulaminach naborów dla EFRR i EFS oraz regulamin procedury odwoławczej. raport cząstkowy, będzie uwzględniał analizę desk research systemu oceny i wyboru projektów oraz analizę desk research wszystkich zatwierdzonych kryteriów wyboru projektów w ramach RPO WK-P uzupełnioną o benchmarking regionalny oraz, o ile to będzie możliwe, o wstępne wyniki analiz walidacyjnych kryteriów merytorycznych (z zastrzeżeniem, że karty oceny formalno-merytorycznej zostałyby przekazane w grudniu 2016 r.). Raport końcowy będzie odpowiadał na postawione pytania badawcze oraz przyjęte założenia badawcze. Ponadto będzie uwzględniać wnioski i rekomendacje z raportu cząstkowego zweryfikowane badaniami terenowymi. Struktura raportu końcowego będzieodzwierciedlać strukturę RPO WK-P , tj. kryteria będą opisywane według osi priorytetowych.
15 Metodologia badania Desk research Wywiady indywidualne CAWI/CATIAnaliza podstawowych dokumentów źródłowych, mi. in. Systemu Oceny Projektów w ramach RPO WK-P na lata z załącznikami, kryteria wyboru projektów w ramach RPO WK-P, regulaminów konkursów, protokołów z posiedzeń KM RPO WK-P na lata oraz stanowisk grup roboczych przy Komitecie Monitorującym RPO WK-P na lata Wywiady indywidualne Pogłębione rozmowy z przedstawicielami instytucji zaangażowanych w realizację RPO WK-P na lata (26 wywiadów), z Członkami Komitetu Monitorującego RPO WK-P (12 wywiadów) oraz z ekspertami oceniającymi wnioski, spoza ww. instytucji (20 wywiadów). CAWI/CATI Wywiady z Beneficjentami oraz Wnioskodawcami, którzy złożyli lub są zainteresowani złożeniem wniosku o dofinansowanie w ramach RPO WK-P na lata na reprezentatywnej próbie badawczej. Panele eksperckie 2 spotkania dotyczące systemu oceny i kryteriów wyboru projektów z przedstawicielami instytucji zaangażowanych w realizację RPO WK-P
16 Metodologia badania cd.Wywiady eksperckie 3 wywiady z pracownikami firm doradczych / konsultingowych zajmujących się doradztwem w procesie aplikowania o środki w ramach RPO WK-P Analiza walidacyjna W ramach analizy walidacyjnej ocenie mogą zostać poddane tylko te projekty, dla których została zakończona ocena merytoryczna (109 wniosków spełniało ten warunek na dzień , kolejne 570 wniosków jest w trakcie oceny). Benchmarking Analiza kryteriów merytorycznych stosowanych dla wyboru projektów współfinansowanych ze środków EFS i EFRR w ramach wszystkich 16 Regionalnych Programów Operacyjnych na lata
17 Procedura aktualizacji Planu ewaluacji RPO WK-P na lata2014-2020Plan ewaluacji RPO WK-P (PE RPO ) PRZEGLĄD PE RPO konsultacje aktualności badań ewaluacyjnych I kwartał roku AKTUALIZACJA PE RPO WK-P w przypadku propozycji zmian w dokumencie II kwartał roku Komitet Monitorujący RPO WK-P Jednostki zaangażowane w realizację RPO WK-P Opiniowanie aktualizowanego PE RPO WK-P przez KJE Przekazanie aktualizowanego planu KM RPO WK-P do zatwierdzenia Przekazanie zatwierdzonego zaktualizowanego PE RPO WK-P do KJE w celu upublicznienia Grupa Sterująca Ewaluacją RPO WK-P
18 Wyniki przeglądu Planu ewaluacji RPO WK-P 2014-2020r. – informacja do członków GSE o zbieraniu tematów do Planu Ewaluacji na 2017 r. Otrzymaliśmy informację zwrotną dotyczącą konieczności przesunięcia terminu z II na IV kwartał r. w badaniu pt. „Ewaluacja wdrażania instrumentu RLKS (rozwoju lokalnego kierowanego przez społeczność) na obszarach objętych lokalnymi strategiami rozwoju w ramach RPO WK-P ”.
19 Działania ewaluacyjne zaplanowane na 2017 rokSzkolenia dla członków GSE RPO WK-P na lata Praktyczne relacje pomiędzy monitoringiem a ewaluacją (celem szkolenia będzie pozyskanie wiedzy z zakresu efektywnego wykorzystywania danych zdobytych w ramach monitoringu do celów ewaluacyjnych) Ewaluacja formatywna i konkluzywna (celem szkolenia będzie zwiększenie kompetencji w zakresie umiejętności rozróżniania obu typów ewaluacji oraz możliwości wykorzystywania wniosków z badań formatywnych na potrzeby ewaluacji konkluzywnych) Badania ewaluacyjne Ocena wpływu wsparcia kierowanego do osób w najtrudniejszej sytuacji na rynku pracy na ich sytuację po zakończeniu udziału w projekcie w ramach RPO WK-P Ewaluacja wdrażania instrumentu RLKS (rozwoju lokalnego kierowanego przez społeczność) na obszarach objętych lokalnymi strategiami rozwoju w ramach RPO WK-P
20 Dziękuję za uwagę