1 Projekt sfinansowany ze środków Europejskiego Funduszu Rozwoju Regionalnego „Ewaluacja systemu wyboru projektów” Prezentacja głównych wyników, wniosków i rekomendacji Luty 2009

2 Projekt sfinansowany ze środków Europejskiego Funduszu Rozwoju Regionalnego 2 PRZEBIEG PREZENTACJI CELE BADANIA I METODOLOGIA PODSTAWOWE WYNIKI I WNIOSKI REKOMENDACJE

3 Projekt sfinansowany ze środków Europejskiego Funduszu Rozwoju Regionalnego 3 CELE BADANIA Głównym celem badania było:  dokonanie oceny systemu wyboru projektów  w szczególności kryteriów wyboru  także organizacji procesu wyboru projektów  oraz zastosowanych procedur  aby odpowiedzieć na pytanie, czy system wyboru projektów zapewnia skuteczną i najbardziej efektywną realizację celów RPO Warmia i Mazury (2007-2013)

4 Projekt sfinansowany ze środków Europejskiego Funduszu Rozwoju Regionalnego 4 WYMIARY OCENY 1.Ocena jakości przyjętego systemu wyboru projektów (skuteczność, efektywność, przejrzystość, obiektywność, użyteczność); 2.Ocena funkcjonalności, czyli zdolności wyboru optymalnych projektów z punktu widzenia realizacji celów RPO WiM.

5 Projekt sfinansowany ze środków Europejskiego Funduszu Rozwoju Regionalnego 5  Zgodność kryteriów wyboru projektów z krajowymi i regionalnymi dokumentami strategicznymi oraz celami RPO WiM,  Zgodność kryteriów wyboru projektów RPO WiM z linią demarkacyjną przyjętą przez Komitet Koordynujący NSRO,  Przejrzystość i obiektywność systemu wyboru projektów, OBSZARY BADAWCZE

6 Projekt sfinansowany ze środków Europejskiego Funduszu Rozwoju Regionalnego 6  Poprawność systemu wyboru projektów pod względem udzielanych informacji potencjalnym beneficjentom,  Przygotowanie IZ, IP oraz IP II do sprawnego i skutecznego procesu wyboru projektów,  Najczęstsze przyczyny odrzucania wniosków i błędy popełniane przez wnioskodawców. Dodatkowo włączyliśmy następujący obszar badawczy:  Ogólna użyteczność i efektywność systemu wyboru projektów z punktu widzenia beneficjentów i instytucji wdrażających RPO WIM. OBSZARY BADAWCZE

7 Projekt sfinansowany ze środków Europejskiego Funduszu Rozwoju Regionalnego 7 PERSPEKTYWY BADAWCZE  Perspektywa wewnętrzna - ocena systemu ze strony instytucji tworzących system (badanie potencjału IZ, IP, IP II i relacji pomiędzy nimi);  Perspektywa zewnętrzna - ocena systemu ze strony beneficjentów Programu (badanie relacji instytucji systemu z otoczeniem);  Perspektywa ekspercka - czyli ocena systemu przez zespół ekspertów Wykonawcy, na podstawie zebranych i przeanalizowanych w trakcie badania danych pierwotnych i wtórnych.

8 Projekt sfinansowany ze środków Europejskiego Funduszu Rozwoju Regionalnego BADANE GRUPY INTERESARIUSZY  Kadra kierownicza IZ, IP i IPII  Pracownicy IZ, IP i IPII  Eksperci desygnowani do pracy w KOP  Wnioskodawcy  Firmy doradcze 8

9 Projekt sfinansowany ze środków Europejskiego Funduszu Rozwoju Regionalnego 9 ZASTOSOWANE TECHNIKI BADAWCZE  Desk Research (Analiza danych zastanych)  Indywidualne wywiady pogłębione (IDI)  Analiza kart oceny formalnej wniosków oraz symulowana ocena merytoryczna wniosków  Telefoniczne indywidualne wywiady pogłębione (ITI)  Wywiady telefoniczne wspomagane komputerowo (CATI)  Ankieta internetowa (CAWI)  Dyskusje warsztatowe (FGI)  Panel dyskusyjny

10 Projekt sfinansowany ze środków Europejskiego Funduszu Rozwoju Regionalnego 10 ZASTOSOWANY SCHEMAT BADAWCZY MODU Ł 1: EKSPLORACJA NARZ Ę DZIA: DESK RESEARCH, IDI Z KIEROWNICTWEM, ANALIZA OCEN WNIOSKÓW, WTÓRNA OCENA WNIOSKÓW PERSPEKTYWA: EKSPERCKA PERSPEKTYWA: ZEWN Ę TRZNA PERSPEKTYWA: WEWN Ę TRZNA MODU Ł 2: DIAGNOZA NARZ Ę DZIA:  IDI Z PRACOWNIKAMI UCZESTNICZĄCYMI W PROCESIE TWORZENIA SYSTEMU WYBORU PROJEKTÓW  IDI ORAZ FGI Z OSOBAMI UCZESTNICZĄCYMI W PROCESIE OCENY PROJEKTÓW  CAWI Z PRACOWNIKAMI ZAANGAŻOWANYMI W PROCES WYBORU PROJEKTÓW NARZ Ę DZIA:  ITI Z WNIOSKODAWCAMI  ITI Z FIRMAMI DORADCZYMI W ZAKRESIE POMOCY UNIJNEJ  CATI Z WNIOSKODAWCAMI  ANKIETA E-MAILOWA Z EKSPERTAMI KOP PERSPEKTYWA: EKSPERCKA MODU Ł 3: WERYFIKACJA NARZ Ę DZIA: PANEL DYSKUSYJNY

11 Projekt sfinansowany ze środków Europejskiego Funduszu Rozwoju Regionalnego GŁÓWNE WYNIKI I WNIOSKI Z BADANIA

12 Projekt sfinansowany ze środków Europejskiego Funduszu Rozwoju Regionalnego 12 GŁÓWNE WYNIKI I WNIOSKI Z BADANIA (1)  Przyjęte kryteria zasadniczo pozwalają na wybór projektów zgodnych z celami dokumentów strategicznych oraz celami RPO WiM. Kryteria wpisują się w przyjętą logikę interwencji.  Jednakże okres realizacji badania – gdy proces oceny był jeszcze mało zaawansowany – uniemożliwił zidentyfikowanie, które cele najtrudniej będzie osiągnąć przy przyjętym systemie wyboru projektów.

13 Projekt sfinansowany ze środków Europejskiego Funduszu Rozwoju Regionalnego 13 GŁÓWNE WYNIKI I WNIOSKI Z BADANIA (2)  System oceny projektów jest co do zasady wewnętrznie spójny i logiczny.  Wątpliwości budzić może fakt stosowania bardzo zbliżonych kryteriów na kilku poziomach (ocena formalna i ocena merytoryczna zerojedynkowa).  Wątpliwości może budzić brak uszczegółowionego opisu kryteriów merytorycznych punktowych w stosunku do Działań zarządzanych przez IP II.

14 Projekt sfinansowany ze środków Europejskiego Funduszu Rozwoju Regionalnego 14 GŁÓWNE WYNIKI I WNIOSKI Z BADANIA (3)  System kryteriów jest sprawiedliwy i niedyskryminujący - co do zasady nie wyklucza żadnych kategorii beneficjentów, ani określonych typów projektów, ani kategorii interwencji (jeżeli spełniają kryteria kwalifikujące).  Przyjęte kryteria co do zasady są zgodne z postanowieniami linii demarkacyjnej pomiędzy Programami Operacyjnymi Polityki Spójności, Wspólnej Polityki Rolnej i Wspólnej Polityki Rybackiej. W praktyce jednak występują pewne problemy z interpretacją możliwości aplikowania niektórych podmiotów o wsparcie w ramach RPO WiM.

15 Projekt sfinansowany ze środków Europejskiego Funduszu Rozwoju Regionalnego 15 GŁÓWNE WYNIKI I WNIOSKI Z BADANIA (4)  Liczba kryteriów zarówno formalnych, jak i merytorycznych jest wystarczająca do precyzyjnej oceny wniosków.  Jeśli chodzi o zakres kryteriów, to szczególnie przydatne dla oceny merytorycznej punktowej są pytania uszczegółowiające zawarte w tzw. kartach z opisem i definicją kryteriów.  Jednakże w przypadku kryteriów merytorycznych zerojedynkowych zastosowanie jednolitej listy tych kryteriów dla wszystkich osi priorytetowych powoduje, że ocena może być bardzo utrudniona.

16 Projekt sfinansowany ze środków Europejskiego Funduszu Rozwoju Regionalnego 16 GŁÓWNE WYNIKI I WNIOSKI Z BADANIA (5)  W przypadku oceny formalnej w niektórych działaniach występowały rozbieżności w ocenie przez różne osoby. Wynikały one m.in. ze zbyt rozbudowanej i skomplikowanej listy sprawdzającej.  Wśród osób biorących udział w ocenie formalnej pojawiały się opinie, że niektóre kryteria w systemie są zbędne. Wskazywano tu głównie na: niepotrzebne sprawdzanie zawartości merytorycznej załączników, kwalifikowalność kategorii kosztów oraz pytania nie dotyczące bezpośrednio beneficjenta.

17 Projekt sfinansowany ze środków Europejskiego Funduszu Rozwoju Regionalnego 17 GŁÓWNE WYNIKI I WNIOSKI Z BADANIA (6)  W systemie oceny wniosków wdrożonym w ramach RPO WiM zastosowano szereg rozwiązań zwiększających obiektywność oceny i minimalizujących ryzyko nieprawidłowości.  Jednakże istnieje ryzyko odchodzenia w praktyce od zasady „dwóch par oczu”, gdy każdy z trzech ekspertów (branżowy, ekonomiczny i finansowy) będzie oceniać wniosek tylko według tej części kryteriów, jaka została mu przypisana. W efekcie jedna osoba będzie miała znaczący lub nawet decydujący wpływ na ostateczną ocenę wniosku.

18 Projekt sfinansowany ze środków Europejskiego Funduszu Rozwoju Regionalnego 18 GŁÓWNE WYNIKI I WNIOSKI Z BADANIA (7)  Strony internetowe IZ, IP oraz IP II zawierające informacje dotyczące konkursów są zaprojektowane w stosunkowo przejrzysty sposób, choć pewne elementy wymagają uzupełnienia i usprawnienia.  Zapisy regulaminów naboru i oceny wniosku są przejrzyste i zrozumiałe. Jednakże brakuje w nich bardziej szczegółowego opisania zasad oceny wniosków (podział pracy między poszczególnych ekspertów). Takie informacje znajdują się tylko w niedostępnych dla projektodawców Instrukcjach Wykonawczych.

19 Projekt sfinansowany ze środków Europejskiego Funduszu Rozwoju Regionalnego 19 GŁÓWNE WYNIKI I WNIOSKI Z BADANIA (8)  Z generatora wniosków MAKS przy opracowywaniu wniosków korzystała ponad połowa beneficjentów. Ci, którzy znają generator mają o nim opinię raczej pozytywną (64% znających). Generator MAKS przez większość respondentów (55%) jest uważany za łatwy w obsłudze. Instrukcję obsługi generatora MAKS za zrozumiałą uznaje 69% respondentów, zaś tylko 13% ma na jej temat zdanie przeciwne.

20 Projekt sfinansowany ze środków Europejskiego Funduszu Rozwoju Regionalnego 20 GŁÓWNE WYNIKI I WNIOSKI Z BADANIA (9)

21 Projekt sfinansowany ze środków Europejskiego Funduszu Rozwoju Regionalnego 21 GŁÓWNE WYNIKI I WNIOSKI Z BADANIA (10)  Poziom zatrudnienia w instytucjach wdrażających RPO WiM wydaje się być wystarczający, choć z drugiej strony proces oceny trwa zdecydowanie za długo. Powodem tego są jednak raczej zbyt skomplikowane i sformalizowane procedury, nie zaś deficyt kadr.  Proces wyboru członków KOP można uznać za trafny i skuteczny. Wydaje się natomiast, że celowe byłoby praktyczne przygotowanie ekspertów (w formie warsztatów) do udziału w pracach KOP.

22 Projekt sfinansowany ze środków Europejskiego Funduszu Rozwoju Regionalnego 22 GŁÓWNE WYNIKI I WNIOSKI Z BADANIA (11)

23 Projekt sfinansowany ze środków Europejskiego Funduszu Rozwoju Regionalnego 23 GŁÓWNE WYNIKI I WNIOSKI Z BADANIA (12)

24 Projekt sfinansowany ze środków Europejskiego Funduszu Rozwoju Regionalnego 24 GŁÓWNE WYNIKI I WNIOSKI Z BADANIA (13)

25 Projekt sfinansowany ze środków Europejskiego Funduszu Rozwoju Regionalnego 25 GŁÓWNE WYNIKI I WNIOSKI Z BADANIA (14)  Wnioskodawcy najczęściej mieli problemy z prawidłowym zaprojektowaniem wskaźników, oświadczeniem wnioskodawcy dotyczącym dokumentów związanych z oceną oddziaływania na środowisko, często brakowało wymaganych załączników, wiele wniosków miało też uchybienia dotyczące prawidłowości złożenia podpisów, parafek lub poświadczeń „za zgodność z oryginałem”.  Procedura wnioskowania jest postrzegana przez respondentów jako trudna lub nawet jako bardzo trudna (uważa tak ponad 50% badanych). Szczególnie jest ona trudna dla firm najmniejszych.

26 Projekt sfinansowany ze środków Europejskiego Funduszu Rozwoju Regionalnego 26 GŁÓWNE WYNIKI I WNIOSKI Z BADANIA (15)

27 Projekt sfinansowany ze środków Europejskiego Funduszu Rozwoju Regionalnego 27 REKOMENDACJE

28 Projekt sfinansowany ze środków Europejskiego Funduszu Rozwoju Regionalnego 28 Rekomendacje (1)  Uszczegółowienie kryteriów merytorycznych punktowych, w odniesieniu do działań za które odpowiada IP II.  Opracowanie uszczegółowienia kryteriów zerojedynkowych oddzielnie dla każdej z osi priorytetowych RPO WiM, w szczególności dopasowanie ich do Poddziałań.  Rozważenie wymogu oceny każdego kryterium przez 2 ekspertów.

29 Projekt sfinansowany ze środków Europejskiego Funduszu Rozwoju Regionalnego 29 Rekomendacje (2)  Uproszczenie listy sprawdzającej w ocenie formalnej lub rezygnacja z niej, przy jednoczesnym rozwinięciu nieco samej listy kryteriów formalnych.  Dogłębne przeanalizowanie procesu oceny formalnej i znaczące jego uproszczenie w celu przyśpieszenia procesu. Następnie rozważenie rezygnacji z drugiego uzupełnienia.  Przeprowadzenie dla członków KOP praktycznych warsztatów dotyczących jednolitego rozumienia kryteriów oceny projektów, sposobu ich stosowania oraz przebiegu procesu oceny w KOP.

30 Projekt sfinansowany ze środków Europejskiego Funduszu Rozwoju Regionalnego 30 Rekomendacje (3)  Doprecyzowanie na stronach internetowych informacji, zgodnie z którymi ze wsparcia w ramach np. Osi Przedsiębiorczość są wykluczone projekty kwalifikujące się do wsparcia w ramach PROW 2007-2013. Wydanie jasnej interpretacji postanowień linii demarkacyjnej.  W celu doskonalenia systemu informacji należałoby okresowo badać zawartość i przejrzystość stron internetowych; celowe byłoby też zlecenie kompleksowej ewaluacji, systemu informacji i promocji np. w 2010 roku

31 Projekt sfinansowany ze środków Europejskiego Funduszu Rozwoju Regionalnego 31 Rekomendacje (4)  Upowszechnienie znajomości generatora MAKS oraz umiejętności jego obsługi – zwłaszcza wśród firm najmniejszych. Do tego celu najlepiej wykorzystać Internet oraz ogłoszenia w lokalnej prasie. Warto też upowszechnić tę wiedzę za pomocą punktów konsultacyjnych oraz specjalnie poświęconych temu szkoleń.

32 Projekt sfinansowany ze środków Europejskiego Funduszu Rozwoju Regionalnego 32 DZIĘKUJEMY ZA UWAGĘ